跳到正文
目前篩選:一手
2024年11月26日週二
  1. Hugging Face Blog66

    Hugging Face 發佈 2B 視覺語言模型系列 SmolVLM,開放模型與訓練流程

    Hugging Face 發佈 SmolVLM 2B 視覺語言模型系列,提供 Base、Synthetic 和 Instruct 三個版本。模型檢查點、VLM 資料集、訓練配方及工具均採 Apache 2.0 授權開放;模型亦已整合至 transformers。

    推薦理由:文中將 SmolVLM 與其他模型的多項基準、GPU 記憶體及吞吐量並列,提供評估小型視覺語言模型效能與資源取捨的依據。

2024年11月18日週一
  1. Mistral AI76

    Mistral AI 為 le Chat 推出多項免費 beta 功能

    Mistral AI 為 le Chat 推出多項免費 beta 更新,新增網頁搜尋、Canvas、文件與圖像理解、圖像生成及智能體功能。文件與圖像理解由 Pixtral Large 與一款實驗模型支援,圖像生成則採用 Black Forest Labs 的 Flux Pro。新功能將於未來數週逐步推出。

    推薦理由:網頁搜尋、Canvas、文件與圖像理解、圖像生成及可分享智能體同列免費 beta,呈現 le Chat 將對話延伸至知識工作多個環節的產品方向。

2024年11月8日週五
  1. 香港浸會大學 · AI 研究及應用31

    香港浸會大學藝術家運用藝術科技呈現本地店舖故事,反思社區保育

    香港浸會大學藝術家與南豐集團社區計劃「In Time Of」合作,運用3D掃描、人工智能及擴增實境舉辦多媒體展覽,呈現本地店舖故事並探討社區保育。團隊走訪荃灣及新蒲崗六間店舖,以人工智能把掃描數據重建為虛擬3D點雲模型,並建立向公眾開放的網上資料檔案。

2024年10月8日週二
  1. Runway:News(網頁)46

    Runway 建立安全生成媒體的基礎

    Runway 公開生成模型在安全、公平及誠信方面的防護措施,涵蓋內容審核、減少偏見及追溯 AI 生成媒體。其內部審核模型的 F1-score 為 83%、recall 為 88%,優於測試中表現最佳的第三方 API(70%、79%),誤報率亦較低(2.8% 對 5.6%)。

2024年10月1日週二
2024年9月26日週四
2024年9月25日週三
  1. Hugging Face Blog79

    Meta 發佈 Llama 3.2,涵蓋視覺模型與裝置端小型模型

    Meta 發佈 Llama 3.2,共有 10 個開放權重模型,包括 5 個多模態模型和 5 個純文字模型,涵蓋 11B、90B 視覺模型及面向裝置端的 1B、3B 純文字模型。

    推薦理由:Llama 3.2 涵蓋 11B、90B 視覺模型與 1B、3B 裝置端純文字模型,並列出 Transformers、llama.cpp 等運行示例,可作為選擇部署路徑的參考。

2024年9月17日週二
  1. Mistral AI70

    Mistral AI 發佈 Pixtral 12B 多模態模型

    Mistral AI 發佈 Pixtral 12B,這款多模態模型採用基於 Mistral Nemo 的 12B 參數解碼器,以及從零訓練的 400M 參數視覺編碼器。它支援不同尺寸與長寬比的圖像,並可在 128K tokens 上下文窗口中處理多張圖片;在 MMMU 推理基準上取得 52.5%。模型採用 Apache 2.0 授權,可透過 Le Chat 或 La Plateforme 試用。

    推薦理由:Mistral AI 以相同評測流程比較 Pixtral 12B 與多個開源及閉源模型,並列出 MMMU 52.5% 等基準結果,便於理解其多模態表現。

2024年9月11日週三
  1. Runway:News(網頁)43

    生成式媒體時代的全新介面探索

    Edwin Toh、Steph Jeong 和 Alejandro Matamala-Ortiz 分享三種生成式媒體原型介面,探索文字提示詞以外的人機互動方式。設計遵循驚奇、探索、控制和回饋四項原則,並包括 Concept Cluster、Dynamic Control、Mashup concept 和 Snap Edit 等構想。這些介面旨在兼顧創意探索與精準控制,並透過即時回饋支援反覆創作。

2024年8月6日週二
2024年7月18日週四
2024年6月24日週一
  1. Hugging Face Blog63

    Florence-2 微調教程:Microsoft 視覺語言模型的 DocVQA 實作

    Hugging Face Blog 示範以 DocVQA 微調 Microsoft 的 Florence-2,使其適配視覺問答任務。訓練 7 個 epochs 後,驗證集 Levenshtein 相似度由 0 升至 57.0。文中提供凍結視覺編碼器、batch size 6 的低資源方案,並記錄以 8 張 H100、batch size 64 微調全模型需時 70 分鐘。

    推薦理由:文章以 DocVQA 示範 Florence-2 微調,並列出驗證集表現及不同 GPU 配置,可供評估下游任務適配與訓練資源。

2024年6月20日週四
2024年6月17日週一
2024年5月24日週五
  1. Hugging Face Blog58

    Falcon 2 發佈 11B LLM 與 11B VLM,LLM 以逾 5000B tokens 訓練並涵蓋 11 種語言

    TII 發佈 Falcon 2 系列的 11B LLM 與 11B VLM,VLM 可接收圖像並回答相關問題。LLM 使用逾 5000B tokens 訓練,主要支援英語,並對另外 10 種語言具備良好能力。VLM 結合 CLIP ViT-L/14 視覺編碼器,先以 558K 圖像描述配對訓練多模態投影器,再以 1.2M 圖像文字指令資料微調。

2024年5月14日週二
  1. Hugging Face Blog71

    PaliGemma:Google 的前沿開源視覺語言模型

    Google 發佈 PaliGemma,一系列可接收圖像與文字並輸出文字的開源視覺語言模型。模型結合 SigLIP-So400m 圖像編碼器與 Gemma-2B 文字解碼器,提供 PT、Mix、FT 三類檢查點及 224x224、448x448、896x896 三種解像度。PaliGemma 是單輪模型,不適用於對話;Mix 檢查點適合以自由文字提示進行通用推理,但僅供研究用途。

    推薦理由:文章整理 PT、Mix、FT 檢查點的用途,並指出高解像度會增加記憶體需求、多數任務的質素提升有限,有助按任務需要選擇模型。

2024年5月13日週一
2024年4月15日週一
  1. Hugging Face Blog71

    Hugging Face 發佈 8B 多模態模型 Idefics2,採 Apache-2.0 授權

    Hugging Face 發佈 Idefics2,這款 8B 參數多模態模型可接收文字與圖像序列並生成文字回應。模型權重採 Apache-2.0 授權,並已整合至 Transformers,支援圖像問答、OCR、圖表與文件理解。團隊亦公開 The Cauldron,收錄 50 個人工整理、供多輪對話使用的資料集。

    推薦理由:Idefics2 同時公開 8B 權重、Apache-2.0 授權與多項視覺問答基準成績,便於對照小型多模態模型的效能表現和使用條件。

2024年3月12日週二
  1. 香港浸會大學 · AI 研究及應用29

    香港浸會大學參與 FILMART,展示推動影視製作革新的藝術科技項目

    香港浸會大學在 FILMART 展示人工智能及藝術科技項目,並透過業界合作推動相關技術應用於影視製作。一間初創企業以自然語言腳本和視覺提示控制虛擬角色的外觀及動作,另一間則運用基於大型語言模型的演算法生成粵語歌曲。校方亦舉辦電影學院成立 15 週年活動,探討藝術科技與 AI 對電影未來發展的影響。

2024年2月15日週四
  1. OpenAI News77

    OpenAI 探討影片生成模型作為世界模擬器,並介紹 Sora

    OpenAI 訓練文字條件式擴散模型,最大模型 Sora 可生成一分鐘高保真影片。模型在不同時長、解析度和長寬比的影片與圖像上聯合訓練,並以 Transformer 架構處理影片和圖像的時空區塊及潛在編碼。研究結果認為,擴大影片生成模型規模是構建通用物理世界模擬器的一條有前景路徑。

    推薦理由:文章交代影片與圖像的聯合訓練方式及時空區塊架構,並呈現 OpenAI 將影片生成規模化連結至物理世界模擬器的研究思路。

2023年12月11日週一
  1. Runway:News(網頁)36

    通用世界模型(GWM)的研究方向

    通用世界模型(GWM)旨在表示並模擬廣泛的情境與互動,涵蓋現實世界中的各種情況。Gen-2 等影片生成系統是早期且能力有限的通用世界模型;研究挑戰包括生成一致的環境地圖、在環境中導航和互動,以及模擬世界動態和人類行為。

2023年11月6日週一
2023年10月29日週日
  1. 香港浸會大學 · AI 研究及應用32

    HKBU showcases cutting-edge innovations in digital humanities, art-tech and green technologies at InnoCarnival

    香港浸會大學在 InnoCarnival 2023 展示數碼人文、藝術科技及綠色科技研究成果,涵蓋香港保衞戰互動歷史地圖、AI 修復技術、BuVatar 數碼化身及人機藝術創作。綠色科技項目包括以催化劑分解塑膠廢料並轉化為燃料,油產率超過 90%,以及利用細菌將有機殘餘物轉化為生物塑膠。

2023年10月25日週三
2023年9月28日週四
  1. Runway:News(網頁)53

    Runway Gen-2 的發展路徑:規模、速度與階段推進

    Runway 梳理 Gen-2 的發展路徑,從以輸入影片控制輸出結構的 Gen-1,推進至直接以文字引導影片生成的 Gen-2。Runway 最近更新模型,支援以任意起始影格生成影片;公司把生成兩小時電影作為長期目標,構想是以生成模型逐場迭代完成,而非靠單一提示詞生成整部電影。

2023年9月25日週一
2023年8月22日週二
  1. Hugging Face Blog69

    Hugging Face 發佈 IDEFICS,開放復現 Flamingo 視覺語言模型

    Hugging Face 發佈 IDEFICS,作為 Flamingo 的開放取用復現模型,可接收圖像與文字序列並生成文字。模型提供 9B 和 80B 規模及對話用途的 instruct 版本,訓練資料包括 Wikipedia、Public Multimodal Dataset、LAION 和 115B tokens 的 OBELICS。

    推薦理由:IDEFICS 同時交代訓練資料、互動式資料集瀏覽工具、對抗提示評估與基礎模型授權,呈現開放多模態模型的建構和使用邊界。

2023年8月1日週二
2023年6月29日週四
2023年3月22日週三
  1. Runway:News(網頁)55

    Runway 宣佈與 AWS 建立多年期合作以擴充內部研究基礎設施

    Runway 宣佈與 AWS 建立多年期策略研究合作,並以 AWS 作為首選雲端供應商,以擴充高效能運算叢集。Runway 表示,合作後已把所有模型開發與訓練納入內部,以加快訓練及新模型和產品的部署。Gen-2 在 AWS 上與 NVIDIA 合作訓練,是可透過文字、圖像或影片片段生成新影片的多模態 AI 系統。

2023年3月14日週二
  1. OpenAI News87

    OpenAI 發佈 GPT-4 多模態模型

    OpenAI 發佈 GPT-4,這是一款可接收圖像和文字輸入、輸出文字的大型多模態模型。它在多項專業及學術基準上達到人類水平表現,但在許多真實場景中的能力仍不及人類。

    推薦理由:材料同時交代 GPT-4 的圖像與文字輸入、文字輸出形式,以及基準表現和真實場景能力的差異,可幫助讀者把握其能力描述的範圍。

2023年3月11日週六
  1. Runway:News(網頁)79

    Runway Gen-2:以文字、圖像或影片片段生成新影片

    Runway 的 Gen-2 是一套多模態 AI 系統,可透過文字、圖像或影片片段生成新影片。頁面展示 8 種模式,包括文字轉影片、文字加圖像轉影片、圖像轉影片、風格轉換、Storyboard、Mask、Render 及模型自訂。用戶研究中,Gen-2 相較 Stable Diffusion 1.5 的偏好比例為 73.53%,相較 Text2Live 為 88.24%。

    推薦理由:頁面把 Gen-2 的多種輸入與影片生成模式逐一列出,並附上兩項用戶偏好比例,能讓讀者掌握其功能範圍及比較結果。

2023年3月6日週一
2022年12月21日週三
  1. Hugging Face Blog56

    CLIPSeg 零樣本圖像分割使用指南

    Hugging Face Blog 示範如何透過 Transformers 使用 CLIPSeg,以文字或參考圖像作為提示,為圖像生成零樣本分割遮罩。CLIPSeg 使用 352 x 352 像素圖像,輸出遮罩分辨率較低;文章示範將預測作為 Segments.ai 的粗略預標註,再人工修正以供後續模型訓練。

2022年12月11日週日
  1. Runway:News(網頁)70

    Runway 介紹 Gen-1 影片生成技術

    Runway 介紹 Gen-1,這項技術將圖像或文字提示詞的構圖與風格套用到來源影片的結構,生成新影片。Gen-1 提供風格轉換、分鏡、遮罩、渲染及模型自訂五種模式。用戶研究中,Gen-1 相對 Stable Diffusion 1.5 和 Text2Live 的偏好率分別為 73.53% 和 88.24%。

2022年12月5日週一
2022年11月21日週一
  1. Hugging Face Blog64

    Hugging Face 分享以開源模型加速 Document AI 的方法

    Hugging Face 介紹如何以開源模型建立 Document AI 方案,並按任務梳理文件分類、版面分析、文件解析、表格處理及文件問答。文中以 RVL-CDIP 為例,列出 BERT-base、DiT、LayoutLMv3 和 Donut 的文件分類準確率分別為 89%、92% 及 95%,並討論授權、數據準備、微調與評估等實作考量。

    推薦理由:文章按文件類型與任務梳理 Document AI 模型選擇,並串連授權、數據準備和評估考量,提供從小規模微調起步的實作思路。

2022年8月9日週二