跳到正文
2024年9月18日週三
  1. Ollama:Blog47

    用 Bespoke-Minicheck 減少模型幻覺

    Bespoke Labs 開發的事實核查模型 Bespoke-Minicheck 現已可在 Ollama 使用,可核對其他模型生成的回應,以偵測並減少模型幻覺。模型會將生成內容中的 Claim 與來源 Document 核對,並按文件是否支持該主張輸出 Yes 或 No。它尤其適用於檢索增強生成(RAG)應用,可在後處理階段檢查回應是否根據提供給 LLM 的檢索內容。

2024年9月16日週一
  1. Hugging Face Blog67

    HuggingChat 推出 Community Tools,支援將 Hugging Face Spaces 轉為工具

    HuggingChat 推出 Community Tools,讓使用者可把 Hugging Face 上的公開 Space 轉成模型可直接調用的工具。這些工具可用於理解圖片、生成影片或文字轉語音,也可建立文件 RAG 工具。建立助手時最多可選 3 個工具;該功能目前仍屬實驗階段。

    推薦理由:文章展示如何把公開 Space、自建 Gradio 工具和文件 RAG 接入 HuggingChat,並在助手中組合最多 3 個工具,提供從建立到配置的實操路徑。

2024年7月16日週二
  1. Hugging Face Blog60

    如何利用 distilabel 為 Argilla 2.0 建立聊天機械人

    Hugging Face Blog 示範如何用 distilabel 為 Argilla 2.0 技術文件建立 RAG 聊天機械人。流程包括從文件建立切塊與合成查詢三元組、微調領域嵌入模型、建立向量資料庫,並將 Gradio 應用部署至 Hugging Face Spaces。聊天互動會記錄在 Argilla,供持續評估與改進。

    推薦理由:文章串起文件切塊、合成查詢三元組、微調領域嵌入模型、向量檢索與對話評估,提供一套可複用的文件問答 RAG 實作流程。

2024年7月9日週二
2024年7月7日週日
  1. Lilian Weng:Lil'Log60

    LLM 外在幻覺的成因、評估與緩解方法

    Lilian Weng 梳理 LLM 外在幻覺,即生成內容虛構且不以提供的上下文或世界知識為依據,並回顧其成因、評估與緩解方法。文章指出,預訓練資料可能過時、缺漏或有誤,而微調新知識亦可能增加模型產生幻覺的傾向。評估方法涵蓋檢索輔助事實核查、抽樣一致性和未知知識校準;緩解路線包括 RAG、Chain-of-Verification 及事實性微調。

2024年6月7日週五
2024年5月31日週五
2024年5月17日週五
2024年5月9日週四
2024年4月8日週一
2024年3月6日週三
  1. The Gradient66

    文字嵌入向量能否完整保留原文?vec2text 以 50 步還原 92% 的 32-token 序列

    Jack Morris 介紹 vec2text,這套方法透過反覆生成及修正文本假設,從文字嵌入向量還原輸入內容。在 50 步迭代及若干技巧下,方法可準確還原 92% 的 32-token 序列,BLEU 分數達 97。研究指出,這使將文字嵌入向量存入向量資料庫的做法面臨原文外洩風險,並提出嵌入長度與防護方式仍待進一步研究。

2024年2月26日週一
  1. Mistral AI79

    Mistral AI 發佈 Mistral Large、Mistral Small,並將 Mistral Large 接入 Azure

    Mistral AI 發佈 Mistral Large 與 Mistral Small,並透過 Azure 提供 Mistral Large。Mistral Large 支援英語、法語、西班牙語、德語和意大利語,具備 32K tokens 上下文窗口及原生 function calling,並可用於文本理解、轉換和程式碼生成。

    推薦理由:這次發佈同時涵蓋旗艦與低延遲型號,並以基準比較和多種接入渠道呈現兩款模型的能力定位及成本、延遲取向。

2023年10月13日週五
  1. Ollama:Blog62

    以客戶端技術構建由 LLM 驅動的網頁應用

    Jacob Lee 示範如何以瀏覽器端技術搭配本機模型,構建可與文件對話的 RAG 網頁應用。LangChain 處理文件載入與切分,量化後可在瀏覽器運行的 HuggingFace 嵌入模型和 Voy WebAssembly 向量資料庫負責嵌入與儲存;Ollama 則執行 Mistral 7B,並可在作者的 16GB M2 Macbook Pro 上順暢運行。

2023年9月21日週四
  1. Ollama:Blog59

    如何在 Obsidian 筆記中運用大語言模型

    Ollama 的文章示範如何在 Obsidian 筆記中建立大語言模型問答流程,先為筆記建立可持久儲存的嵌入向量索引,再檢索相關內容交給模型生成答案。範例以 256 tokens 為分塊大小,從筆記中取回最相關的 5 個片段,並使用本機 Ollama 的 llama2 生成回答。文中亦提及可用摘要、關鍵詞或問答擴展筆記用途。

2023年3月15日週三
  1. Lilian Weng:Lil'Log70

    Lilian Weng 系統梳理 LLM 提示詞工程方法

    Lilian Weng 的《Prompt Engineering》整理瞭如何在不更新模型權重的情況下,透過提示詞引導自回歸語言模型產生預期結果。內容涵蓋零樣本與少樣本提示、指令提示、思維鏈和自洽性抽樣,也整理示例選擇與排序、檢索、程式執行及外部 API 調用等方法。文章指出,提示詞方法的效果會因模型而異,實際應用需要反覆測試。

2020年10月29日週四
  1. Lilian Weng:Lil'Log57

    如何建立開放域問答系統?

    Lilian Weng 系統梳理開放域問答系統的常見建構方式,涵蓋外部知識檢索與閲讀、檢索後生成,以及不依賴外部資料的閉卷問答。文章比較 DrQA、ORQA、REALM、DPR、RAG、T5 和 GPT3 等方案,並指出部分公開 QA 數據集存在訓練與測試資料重疊:58–71% 的測試答案曾出現在訓練集,28–34% 的測試問題在相應訓練集中有近似重述。