Hugging Face 發佈 2B 視覺語言模型系列 SmolVLM,開放模型與訓練流程
Hugging Face 發佈 SmolVLM 2B 視覺語言模型系列,提供 Base、Synthetic 和 Instruct 三個版本。模型檢查點、VLM 資料集、訓練配方及工具均採 Apache 2.0 授權開放;模型亦已整合至 transformers。
推薦理由:文中將 SmolVLM 與其他模型的多項基準、GPU 記憶體及吞吐量並列,提供評估小型視覺語言模型效能與資源取捨的依據。
Hugging Face 發佈 SmolVLM 2B 視覺語言模型系列,提供 Base、Synthetic 和 Instruct 三個版本。模型檢查點、VLM 資料集、訓練配方及工具均採 Apache 2.0 授權開放;模型亦已整合至 transformers。
推薦理由:文中將 SmolVLM 與其他模型的多項基準、GPU 記憶體及吞吐量並列,提供評估小型視覺語言模型效能與資源取捨的依據。
Mistral AI 為 le Chat 推出多項免費 beta 更新,新增網頁搜尋、Canvas、文件與圖像理解、圖像生成及智能體功能。文件與圖像理解由 Pixtral Large 與一款實驗模型支援,圖像生成則採用 Black Forest Labs 的 Flux Pro。新功能將於未來數週逐步推出。
推薦理由:網頁搜尋、Canvas、文件與圖像理解、圖像生成及可分享智能體同列免費 beta,呈現 le Chat 將對話延伸至知識工作多個環節的產品方向。
Mistral AI 發佈 Pixtral Large,一款基於 Mistral Large 2 的 124B 開放權重多模態模型,支援 128K 上下文窗口。
推薦理由:Pixtral Large 在 MathVista 得分 69.4%,並於 ChartQA、DocVQA 超越 GPT-4o 和 Gemini-1.5 Pro;這些結果提供數學視覺推理、圖表與文件理解的具體比較參照。
香港浸會大學藝術家與南豐集團社區計劃「In Time Of」合作,運用3D掃描、人工智能及擴增實境舉辦多媒體展覽,呈現本地店舖故事並探討社區保育。團隊走訪荃灣及新蒲崗六間店舖,以人工智能把掃描數據重建為虛擬3D點雲模型,並建立向公眾開放的網上資料檔案。
Runway 公開生成模型在安全、公平及誠信方面的防護措施,涵蓋內容審核、減少偏見及追溯 AI 生成媒體。其內部審核模型的 F1-score 為 83%、recall 為 88%,優於測試中表現最佳的第三方 API(70%、79%),誤報率亦較低(2.8% 對 5.6%)。
OpenAI 為微調 API 加入圖像支援,開發者現在可用圖像與文本微調 GPT-4o。此功能旨在提升 GPT-4o 的視覺能力。
推薦理由:這項更新把圖像納入 GPT-4o 的微調資料,並可與文本一同使用,讓開發者能用兩種資料形式針對視覺能力進行調整。
OpenAI 以基於 GPT-4o 的全新多模態審核模型升級 Moderation API,提升對有害文字和圖像的檢測準確度。此模型可協助開發者建立更穩健的審核系統。
Meta 發佈 Llama 3.2,共有 10 個開放權重模型,包括 5 個多模態模型和 5 個純文字模型,涵蓋 11B、90B 視覺模型及面向裝置端的 1B、3B 純文字模型。
推薦理由:Llama 3.2 涵蓋 11B、90B 視覺模型與 1B、3B 裝置端純文字模型,並列出 Transformers、llama.cpp 等運行示例,可作為選擇部署路徑的參考。
Mistral AI 公佈多項更新,包括 Mistral Small v24.09、la Plateforme 免費層、模型降價及 le Chat 免費提供 Pixtral 12B 圖像理解。
推薦理由:免費層涵蓋開發者的實驗、評估與原型製作,價格表亦列出模型新舊費率及降幅,呈現試用門檻和 API 成本的變化。
Mistral AI 發佈 Pixtral 12B,這款多模態模型採用基於 Mistral Nemo 的 12B 參數解碼器,以及從零訓練的 400M 參數視覺編碼器。它支援不同尺寸與長寬比的圖像,並可在 128K tokens 上下文窗口中處理多張圖片;在 MMMU 推理基準上取得 52.5%。模型採用 Apache 2.0 授權,可透過 Le Chat 或 La Plateforme 試用。
推薦理由:Mistral AI 以相同評測流程比較 Pixtral 12B 與多個開源及閉源模型,並列出 MMMU 52.5% 等基準結果,便於理解其多模態表現。
Edwin Toh、Steph Jeong 和 Alejandro Matamala-Ortiz 分享三種生成式媒體原型介面,探索文字提示詞以外的人機互動方式。設計遵循驚奇、探索、控制和回饋四項原則,並包括 Concept Cluster、Dynamic Control、Mashup concept 和 Snap Edit 等構想。這些介面旨在兼顧創意探索與精準控制,並透過即時回饋支援反覆創作。
Hugging Face Blog 介紹 TextImage Augmentation,這套與 Albumentations AI 合作開發的流程可同步增強文件圖像及其中的文字標註。它可隨機插入、刪除或交換文字,並搭配圖像變換生成多樣化訓練樣本。變更後文字及對應 bounding box 可提取,用於模型訓練。
Hugging Face 發佈 Docmatix 文件視覺問答數據集,包含 2.4 million 張圖片及 9.5 million 組問答,規模較先前數據集增加 240X。
Hugging Face Blog 示範以 DocVQA 微調 Microsoft 的 Florence-2,使其適配視覺問答任務。訓練 7 個 epochs 後,驗證集 Levenshtein 相似度由 0 升至 57.0。文中提供凍結視覺編碼器、batch size 6 的低資源方案,並記錄以 8 張 H100、batch size 64 微調全模型需時 70 分鐘。
推薦理由:文章以 DocVQA 示範 Florence-2 微調,並列出驗證集表現及不同 GPU 配置,可供評估下游任務適配與訓練資源。
擴散模型大幅推進圖像、音訊和影片生成,但依賴反覆採樣流程,令生成速度較慢。
Runway 公佈 Gen-3 Alpha,稱其相較 Gen-2 在模型保真度、一致性及動態表現方面有重大提升,並具備精細時間控制。
TII 發佈 Falcon 2 系列的 11B LLM 與 11B VLM,VLM 可接收圖像並回答相關問題。LLM 使用逾 5000B tokens 訓練,主要支援英語,並對另外 10 種語言具備良好能力。VLM 結合 CLIP ViT-L/14 視覺編碼器,先以 558K 圖像描述配對訓練多模態投影器,再以 1.2M 圖像文字指令資料微調。
Google 發佈 PaliGemma,一系列可接收圖像與文字並輸出文字的開源視覺語言模型。模型結合 SigLIP-So400m 圖像編碼器與 Gemma-2B 文字解碼器,提供 PT、Mix、FT 三類檢查點及 224x224、448x448、896x896 三種解像度。PaliGemma 是單輪模型,不適用於對話;Mix 檢查點適合以自由文字提示進行通用推理,但僅供研究用途。
推薦理由:文章整理 PT、Mix、FT 檢查點的用途,並指出高解像度會增加記憶體需求、多數任務的質素提升有限,有助按任務需要選擇模型。
OpenAI 宣佈 GPT-4 Omni(GPT-4o)為新的旗艦模型。該模型可即時跨音訊、視覺和文字進行推理。
推薦理由:公告把 GPT-4o 定位為新旗艦模型,並明確列出音訊、視覺和文字的即時推理能力,讓讀者掌握此次宣佈的多模態重點。
Hugging Face 發佈 Idefics2,這款 8B 參數多模態模型可接收文字與圖像序列並生成文字回應。模型權重採 Apache-2.0 授權,並已整合至 Transformers,支援圖像問答、OCR、圖表與文件理解。團隊亦公開 The Cauldron,收錄 50 個人工整理、供多輪對話使用的資料集。
推薦理由:Idefics2 同時公開 8B 權重、Apache-2.0 授權與多項視覺問答基準成績,便於對照小型多模態模型的效能表現和使用條件。
香港浸會大學在 FILMART 展示人工智能及藝術科技項目,並透過業界合作推動相關技術應用於影視製作。一間初創企業以自然語言腳本和視覺提示控制虛擬角色的外觀及動作,另一間則運用基於大型語言模型的演算法生成粵語歌曲。校方亦舉辦電影學院成立 15 週年活動,探討藝術科技與 AI 對電影未來發展的影響。
OpenAI 訓練文字條件式擴散模型,最大模型 Sora 可生成一分鐘高保真影片。模型在不同時長、解析度和長寬比的影片與圖像上聯合訓練,並以 Transformer 架構處理影片和圖像的時空區塊及潛在編碼。研究結果認為,擴大影片生成模型規模是構建通用物理世界模擬器的一條有前景路徑。
推薦理由:文章交代影片與圖像的聯合訓練方式及時空區塊架構,並呈現 OpenAI 將影片生成規模化連結至物理世界模擬器的研究思路。
通用世界模型(GWM)旨在表示並模擬廣泛的情境與互動,涵蓋現實世界中的各種情況。Gen-2 等影片生成系統是早期且能力有限的通用世界模型;研究挑戰包括生成一致的環境地圖、在環境中導航和互動,以及模擬世界動態和人類行為。
OpenAI 在 DevDay 公佈 GPT-4 Turbo、GPT-4 Turbo with Vision、DALL·E 3 API、新的 Assistants API 等模型與開發者產品。GPT-4 Turbo 配備 128K 上下文窗口,價格較低。
推薦理由:GPT-4 Turbo 的 128K 上下文窗口與較低價格,連同 Vision 及多項 API,勾勒出 DevDay 公佈的模型與開發者產品範圍。
香港浸會大學在 InnoCarnival 2023 展示數碼人文、藝術科技及綠色科技研究成果,涵蓋香港保衞戰互動歷史地圖、AI 修復技術、BuVatar 數碼化身及人機藝術創作。綠色科技項目包括以催化劑分解塑膠廢料並轉化為燃料,油產率超過 90%,以及利用細菌將有機殘餘物轉化為生物塑膠。
Renumics Spotlight 可直接讀取 Hugging Face datasets,讓使用者以一行程式碼建立互動式視覺化,檢視資料樣本與羣集。文章以 speech_commands 和 CIFAR-100 示範加入模型預測與嵌入向量,並利用相似度圖、混淆矩陣等視圖分析資料羣集及模型失敗模式。
Runway 梳理 Gen-2 的發展路徑,從以輸入影片控制輸出結構的 Gen-1,推進至直接以文字引導影片生成的 Gen-2。Runway 最近更新模型,支援以任意起始影格生成影片;公司把生成兩小時電影作為長期目標,構想是以生成模型逐場迭代完成,而非靠單一提示詞生成整部電影。
ChatGPT 現可看、聽及説話。
Hugging Face 發佈 IDEFICS,作為 Flamingo 的開放取用復現模型,可接收圖像與文字序列並生成文字。模型提供 9B 和 80B 規模及對話用途的 instruct 版本,訓練資料包括 Wikipedia、Public Multimodal Dataset、LAION 和 115B tokens 的 OBELICS。
推薦理由:IDEFICS 同時交代訓練資料、互動式資料集瀏覽工具、對抗提示評估與基礎模型授權,呈現開放多模態模型的建構和使用邊界。
教程提供以生成式 AI 製作 PS1 風格 3D 資產的逐步流程,從 Shap-E 依文字生成模型,到在 Unity 中查看成品。流程包括用 Blender 將模型減面、以 Dream Textures 生成貼圖、完成 UV 展開並匯出 FBX;文中説明,PS1 風格較能包容現階段文字生成 3D 模型的低保真表現。
Runway 宣佈融資 $141 million,並將資金用於擴大內部研究、開發多模態 AI 系統及招聘研究、工程和產品人才。公司表示,2023 年推出 Gen-1 和 Gen-2 影片生成模型,其 AI Magic Tools 套件正由 Fortune 500 和 Global 2000 企業使用。
Runway 宣佈與 AWS 建立多年期策略研究合作,並以 AWS 作為首選雲端供應商,以擴充高效能運算叢集。Runway 表示,合作後已把所有模型開發與訓練納入內部,以加快訓練及新模型和產品的部署。Gen-2 在 AWS 上與 NVIDIA 合作訓練,是可透過文字、圖像或影片片段生成新影片的多模態 AI 系統。
OpenAI 發佈 GPT-4,這是一款可接收圖像和文字輸入、輸出文字的大型多模態模型。它在多項專業及學術基準上達到人類水平表現,但在許多真實場景中的能力仍不及人類。
推薦理由:材料同時交代 GPT-4 的圖像與文字輸入、文字輸出形式,以及基準表現和真實場景能力的差異,可幫助讀者把握其能力描述的範圍。
Runway 的 Gen-2 是一套多模態 AI 系統,可透過文字、圖像或影片片段生成新影片。頁面展示 8 種模式,包括文字轉影片、文字加圖像轉影片、圖像轉影片、風格轉換、Storyboard、Mask、Render 及模型自訂。用戶研究中,Gen-2 相較 Stable Diffusion 1.5 的偏好比例為 73.53%,相較 Text2Live 為 88.24%。
推薦理由:頁面把 Gen-2 的多種輸入與影片生成模式逐一列出,並附上兩項用戶偏好比例,能讓讀者掌握其功能範圍及比較結果。
Kakao Brain 與 Hugging Face 公開 ViT、ALIGN 視覺語言模型,以及由 700 million 對圖文構成的開源 COYO 資料集。
推薦理由:ViT 與 ALIGN 連同 COYO 訓練資料一併開放,並提供與 Google 版本的任務比較,呈現資料可取得性對視覺語言研究復現的價值。
Hugging Face Blog 示範如何透過 Transformers 使用 CLIPSeg,以文字或參考圖像作為提示,為圖像生成零樣本分割遮罩。CLIPSeg 使用 352 x 352 像素圖像,輸出遮罩分辨率較低;文章示範將預測作為 Segments.ai 的粗略預標註,再人工修正以供後續模型訓練。
Runway 介紹 Gen-1,這項技術將圖像或文字提示詞的構圖與風格套用到來源影片的結構,生成新影片。Gen-1 提供風格轉換、分鏡、遮罩、渲染及模型自訂五種模式。用戶研究中,Gen-1 相對 Stable Diffusion 1.5 和 Text2Live 的偏好率分別為 73.53% 和 88.24%。
Runway 宣佈完成由 Felicis 領投的 $50m C 輪融資,現有投資者亦參與其中。新資金將用於加倍投入新一代創意工具、持續開發多模態 AI 系統,並擴大工程、研究、GTM 及內部創意團隊招聘。
Hugging Face 介紹如何以開源模型建立 Document AI 方案,並按任務梳理文件分類、版面分析、文件解析、表格處理及文件問答。文中以 RVL-CDIP 為例,列出 BERT-base、DiT、LayoutLMv3 和 Donut 的文件分類準確率分別為 89%、92% 及 95%,並討論授權、數據準備、微調與評估等實作考量。
推薦理由:文章按文件類型與任務梳理 Document AI 模型選擇,並串連授權、數據準備和評估考量,提供從小規模微調起步的實作思路。
香港浸會大學(HKBU)推出 Turing AI Orchestra,作為推進人類與 AI 藝術共創的下一個里程碑。該樂團是全球首個 AI 樂團,旨在促成人類與 AI 系統協同創作及演出。HKBU亦計劃運用區塊鏈技術,建立藝術創作的全球首個去中心化自治組織(DAO)生態系統。