Mistral AI 發佈 7.3B 參數模型 Mistral 7B
Mistral AI 發佈 7.3B 參數的 Mistral 7B,稱其在多項基準測試中勝過或追平 Llama 2 13B。模型以 Apache 2.0 授權發佈,團隊亦提供使用公開指令數據微調的 Mistral 7B Instruct 聊天版。
推薦理由:文章以重跑評測比較 Mistral 7B 與 Llama 系列,並説明 SWA 如何降低長序列的推理計算與快取成本。
新模型的發佈、開源與迭代:大模型廠商的旗艦更新、開源權重放出、性能與價格變化的第一時間記錄。
Mistral AI 發佈 7.3B 參數的 Mistral 7B,稱其在多項基準測試中勝過或追平 Llama 2 13B。模型以 Apache 2.0 授權發佈,團隊亦提供使用公開指令數據微調的 Mistral 7B Instruct 聊天版。
推薦理由:文章以重跑評測比較 Mistral 7B 與 Llama 系列,並説明 SWA 如何降低長序列的推理計算與快取成本。
Code Llama 推出 7B、13B 和 34B 參數版本,是以 Llama 2 為基礎、專攻編碼任務的模型家族。基礎模型以 500 billion tokens 的程式碼資料訓練,另有 Python 專用版和指令微調版;模型採用與 Llama 2 相同的社羣授權,可商用。
推薦理由:文章並列 7B、13B、34B 參數規模、Python 與指令微調變體,以及 Hugging Face 接入方式,便於比較模型選擇和部署路徑。
Code Llama 已可透過 Ollama 在本機執行,提供 7B、13B 和 34B 參數版本。原文列出 `ollama run codellama:7b`、`ollama run codellama:13b` 和 `ollama run codellama:34b` 命令;13B 版本要求 16GB+ 記憶體,34B 版本要求 32GB+。
推薦理由:文章列出 13B 和 34B 版本的記憶體要求,以及基礎模型和 Python 專用版的 Ollama 命令,方便按本機資源選擇版本。
Hugging Face 發佈 IDEFICS,作為 Flamingo 的開放取用復現模型,可接收圖像與文字序列並生成文字。模型提供 9B 和 80B 規模及對話用途的 instruct 版本,訓練資料包括 Wikipedia、Public Multimodal Dataset、LAION 和 115B tokens 的 OBELICS。
推薦理由:IDEFICS 同時交代訓練資料、互動式資料集瀏覽工具、對抗提示評估與基礎模型授權,呈現開放多模態模型的建構和使用邊界。
Meta 發佈 Llama 2 開放存取大語言模型系列,涵蓋 7B、13B 和 70B 參數規模,採用允許商業用途的社羣授權。Hugging Face Hub 上架 12 個模型,並整合 Transformers、Text Generation Inference 和 Inference Endpoints。
推薦理由:文中把 Llama 2 的商用授權與 Hugging Face 上的推理、部署和 QLoRA 微調方法連在一起,呈現從取得模型到接入開發流程的實用路徑。
LMSYS 更新 Chatbot Arena 第 8 週排行榜,加入 MT-Bench,並推出參數量由 7B 至 33B 的 Vicuna-v1.3 模型系列,模型權重已開放。
推薦理由:文章將羣眾投票、MT-Bench 多輪評測與 MMLU 並列,並説明 GPT-4 評審與人類偏好的一致程度及限制,呈現排行榜指標的互補性。
Hugging Face 發佈 StackLLaMA,這是一個以 LLaMA 7B 為基礎、經 RLHF 微調、用於回答 Stack Exchange 問題的模型;完整訓練流程納入 Hugging Face TRL library。文章逐步示範監督式微調、獎勵模型訓練及 PPO 強化學習,並介紹 Stack Exchange 數據的偏好評分與 LoRA 等記憶體效率方法。
推薦理由:文章串聯 SFT、偏好獎勵模型與 PPO 三階段,並示範以 8-bit 載入和 LoRA 降低 RLHF 微調的記憶體需求,呈現可復用的訓練流程。
LMSYS 團隊推出開源聊天機械人 Vicuna-13B,將 LLaMA 以約 70K 段 ShareGPT 用戶分享對話微調而成。GPT-4 評估 80 條問題後,Vicuna 得分為 ChatGPT 的 92%,並在 45% 問題中獲評回答較佳或相同;團隊指出這套評估尚非嚴謹方法。
推薦理由:文章展示以 GPT-4 評估聊天機械人回答的流程,並指出該初步框架在編碼及數學任務評判上的不足,且尚非成熟嚴謹的評測方法。
OpenAI 發佈 GPT-4,這是一款可接收圖像和文字輸入、輸出文字的大型多模態模型。它在多項專業及學術基準上達到人類水平表現,但在許多真實場景中的能力仍不及人類。
推薦理由:材料同時交代 GPT-4 的圖像與文字輸入、文字輸出形式,以及基準表現和真實場景能力的差異,可幫助讀者把握其能力描述的範圍。
Runway 的 Gen-2 是一套多模態 AI 系統,可透過文字、圖像或影片片段生成新影片。頁面展示 8 種模式,包括文字轉影片、文字加圖像轉影片、圖像轉影片、風格轉換、Storyboard、Mask、Render 及模型自訂。用戶研究中,Gen-2 相較 Stable Diffusion 1.5 的偏好比例為 73.53%,相較 Text2Live 為 88.24%。
推薦理由:頁面把 Gen-2 的多種輸入與影片生成模式逐一列出,並附上兩項用戶偏好比例,能讓讀者掌握其功能範圍及比較結果。
Kakao Brain 與 Hugging Face 公開 ViT、ALIGN 視覺語言模型,以及由 700 million 對圖文構成的開源 COYO 資料集。
推薦理由:ViT 與 ALIGN 連同 COYO 訓練資料一併開放,並提供與 Google 版本的任務比較,呈現資料可取得性對視覺語言研究復現的價值。
OpenAI 介紹了名為 ChatGPT 的對話模型,該模型以對話方式與用户互動。對話格式使 ChatGPT 能回答追問、承認錯誤、質疑不正確前提,並拒絕不當請求。
推薦理由:原文把追問、承認錯誤、質疑錯誤前提及拒絕不當請求列為對話格式支持的行為,具體呈現 ChatGPT 的互動設計。
rinna Co., Ltd. 發佈 Japanese Stable Diffusion,這款文本生成圖像模型以日語標註圖片微調 Stable Diffusion,支援日語提示詞並生成反映日語文化圈的圖像。
推薦理由:文章拆解 Japanese Stable Diffusion 的兩階段微調流程,説明專用日語文本編碼器與聯合調整潛在擴散模型的作用,訓練數據約為 Stable Diffusion 訓練集的 1/20。
OpenAI 宣佈將其訓練的神經網絡 Whisper 開源。Whisper 在英語語音識別上的穩健性與準確度接近人類水平。
推薦理由:Whisper 的開源安排與英語語音識別表現並列,且以接近人類水平作比較,讓讀者可同時掌握模型發佈範圍與性能定位。
BLOOM 已正式發佈,這款具 176 billion parameters 的開放多語言大語言模型可生成 46 種自然語言及 13 種程式語言文本。最後一輪訓練歷時 117 days,並公開訓練中間 checkpoint 與 optimizer states,供研究者下載、運行及研究。
推薦理由:BLOOM 除模型外亦公開訓練中間 checkpoint 與 optimizer states,並提供下載及本地或雲端使用途徑,讓研究者能檢視模型行為與訓練過程。
OpenAI 發佈 GPT-3 和 Codex 新版本,讓模型可以編輯或插入既有文本內容,而非只接續文本。
推薦理由:新版本把 GPT-3 和 Codex 的操作從接續既有文本擴展到編輯或插入內容,清楚呈現兩種文本處理方式的差異。
OpenAI 表示,透過對齊研究訓練的 InstructGPT 比 GPT-3 更能遵循用户意圖,同時回答更真實、毒性更低。這些由人類參與訓練的模型已部署為 OpenAI API 的預設語言模型。
推薦理由:材料交代了 InstructGPT 相較 GPT-3 的改進方向、人類參與訓練方式及 API 預設部署,呈現對齊研究如何落到實際服務。
OpenAI 發佈改進版 Codex,這套 AI 系統可將自然語言轉換為程式碼,並自今日起透過 API 開放私人測試。
推薦理由:公告同時交代 Codex 的自然語言轉程式碼定位和 API 私人測試安排,讀者可掌握其用途與當時的接入範圍。
OpenAI 推出神經網絡 CLIP,讓模型透過自然語言監督高效學習視覺概念。只需提供待識別的視覺類別名稱,CLIP 即可套用於任何視覺分類基準,其零樣本能力類似 GPT-2 和 GPT-3。
推薦理由:CLIP 將自然語言監督與視覺分類連接,並以類別名稱作為套用基準的入口,呈現其零樣本使用方式。
OpenAI 訓練了名為 DALL·E 的神經網絡,可根據文字描述生成圖像,涵蓋自然語言能表達的多種概念。
推薦理由:材料指出 DALL·E 可按文字描述生成涵蓋多種自然語言概念的圖像,清楚交代了其輸入形式與生成範圍。