用 Bespoke-Minicheck 減少模型幻覺
Bespoke Labs 開發的事實核查模型 Bespoke-Minicheck 現已可在 Ollama 使用,可核對其他模型生成的回應,以偵測並減少模型幻覺。模型會將生成內容中的 Claim 與來源 Document 核對,並按文件是否支持該主張輸出 Yes 或 No。它尤其適用於檢索增強生成(RAG)應用,可在後處理階段檢查回應是否根據提供給 LLM 的檢索內容。
Bespoke Labs 開發的事實核查模型 Bespoke-Minicheck 現已可在 Ollama 使用,可核對其他模型生成的回應,以偵測並減少模型幻覺。模型會將生成內容中的 Claim 與來源 Document 核對,並按文件是否支持該主張輸出 Yes 或 No。它尤其適用於檢索增強生成(RAG)應用,可在後處理階段檢查回應是否根據提供給 LLM 的檢索內容。
HuggingChat 推出 Community Tools,讓使用者可把 Hugging Face 上的公開 Space 轉成模型可直接調用的工具。這些工具可用於理解圖片、生成影片或文字轉語音,也可建立文件 RAG 工具。建立助手時最多可選 3 個工具;該功能目前仍屬實驗階段。
推薦理由:文章展示如何把公開 Space、自建 Gradio 工具和文件 RAG 接入 HuggingChat,並在助手中組合最多 3 個工具,提供從建立到配置的實操路徑。
Hugging Face Blog 示範如何用 distilabel 為 Argilla 2.0 技術文件建立 RAG 聊天機械人。流程包括從文件建立切塊與合成查詢三元組、微調領域嵌入模型、建立向量資料庫,並將 Gradio 應用部署至 Hugging Face Spaces。聊天互動會記錄在 Argilla,供持續評估與改進。
推薦理由:文章串起文件切塊、合成查詢三元組、微調領域嵌入模型、向量檢索與對話評估,提供一套可複用的文件問答 RAG 實作流程。
Banque des Territoires、Polyconseil 與 Hugging Face 完成 EduRénov 首階段合作,開發主權數據 RAG 工具以支援地方政府。EduRénov 旨在協助 10,000 項公立學校設施翻新工程,並在 5 年內實現 40% 能源節省。項目要求確保所用運算服務與模型的主權。
Lilian Weng 梳理 LLM 外在幻覺,即生成內容虛構且不以提供的上下文或世界知識為依據,並回顧其成因、評估與緩解方法。文章指出,預訓練資料可能過時、缺漏或有誤,而微調新知識亦可能增加模型產生幻覺的傾向。評估方法涵蓋檢索輔助事實核查、抽樣一致性和未知知識校準;緩解路線包括 RAG、Chain-of-Verification 及事實性微調。
Hugging Face 宣佈 Embedding Container for Amazon SageMaker 正式 GA,AWS 客户可在 SageMaker 部署嵌入向量模型,支援包括 RAG 在內的生成式 AI 應用。
Continue 聯合創辦人 Ty Dunn 分享如何在 Visual Studio Code 或 JetBrains 中配合 Ollama 設定開源 AI 編碼助手,支援程式碼補全與聊天。
DeepSeek 將 deepseek-chat 升級至 DeepSeek-V2-0517,IFEval Benchmark Prompt-Level 準確率由 63.9% 升至 77.6%。
Hugging Face Blog 示範以 Intel Xeon CPU 運行嵌入模型、以 Intel Gaudi 2 運行 LLM,並透過 LangChain、Redis 和 TGI 構建及部署企業級 RAG 應用。
Ollama 支援嵌入模型,並示範如何透過嵌入向量與相似度搜尋,建立結合文件資料的 RAG 應用。文中列出 mxbai-embed-large(334M)、nomic-embed-text(137M)及 all-minilm(23M),並提供 REST API、Python 和 JavaScript 的使用方式。
Jack Morris 介紹 vec2text,這套方法透過反覆生成及修正文本假設,從文字嵌入向量還原輸入內容。在 50 步迭代及若干技巧下,方法可準確還原 92% 的 32-token 序列,BLEU 分數達 97。研究指出,這使將文字嵌入向量存入向量資料庫的做法面臨原文外洩風險,並提出嵌入長度與防護方式仍待進一步研究。
Mistral AI 發佈 Mistral Large 與 Mistral Small,並透過 Azure 提供 Mistral Large。Mistral Large 支援英語、法語、西班牙語、德語和意大利語,具備 32K tokens 上下文窗口及原生 function calling,並可用於文本理解、轉換和程式碼生成。
推薦理由:這次發佈同時涵蓋旗艦與低延遲型號,並以基準比較和多種接入渠道呈現兩款模型的能力定位及成本、延遲取向。
Jacob Lee 示範如何以瀏覽器端技術搭配本機模型,構建可與文件對話的 RAG 網頁應用。LangChain 處理文件載入與切分,量化後可在瀏覽器運行的 HuggingFace 嵌入模型和 Voy WebAssembly 向量資料庫負責嵌入與儲存;Ollama 則執行 Mistral 7B,並可在作者的 16GB M2 Macbook Pro 上順暢運行。
Ollama 的文章示範如何在 Obsidian 筆記中建立大語言模型問答流程,先為筆記建立可持久儲存的嵌入向量索引,再檢索相關內容交給模型生成答案。範例以 256 tokens 為分塊大小,從筆記中取回最相關的 5 個片段,並使用本機 Ollama 的 llama2 生成回答。文中亦提及可用摘要、關鍵詞或問答擴展筆記用途。
Lilian Weng 的《Prompt Engineering》整理瞭如何在不更新模型權重的情況下,透過提示詞引導自回歸語言模型產生預期結果。內容涵蓋零樣本與少樣本提示、指令提示、思維鏈和自洽性抽樣,也整理示例選擇與排序、檢索、程式執行及外部 API 調用等方法。文章指出,提示詞方法的效果會因模型而異,實際應用需要反覆測試。
Lilian Weng 系統梳理開放域問答系統的常見建構方式,涵蓋外部知識檢索與閲讀、檢索後生成,以及不依賴外部資料的閉卷問答。文章比較 DrQA、ORQA、REALM、DPR、RAG、T5 和 GPT3 等方案,並指出部分公開 QA 數據集存在訓練與測試資料重疊:58–71% 的測試答案曾出現在訓練集,28–34% 的測試問題在相應訓練集中有近似重述。