從零打造 RAG 聊天機械人:我的 3 個教訓
作者在 Valentius Kryptix 實習期間,以 Python、Chroma 和 Gemini 建立小型 RAG 系統,讓模型先檢索文件內容再作答;測試中,系統從報告找出答案 1/6。實作顯示,分塊方式、檢查檢索結果及清晰指示都很重要;系統目前只用兩份文件,並固定檢索 top-4。
作者在 Valentius Kryptix 實習期間,以 Python、Chroma 和 Gemini 建立小型 RAG 系統,讓模型先檢索文件內容再作答;測試中,系統從報告找出答案 1/6。實作顯示,分塊方式、檢查檢索結果及清晰指示都很重要;系統目前只用兩份文件,並固定檢索 top-4。
Edward Izgorodin 分析 RAG 檢索能否識別可信來源,指出相關性排序只能找出與問題相關的文件,不能單獨判斷哪個來源有權決定答案。文章建議保存來源標題、類型、狀態及日期,並以生效日期判斷規則何時適用,避免把發布日期或最後修改日期當成生效日期。
零點擊搜尋指用戶在搜尋結果頁取得答案而不點開外部網站,文章指出這會令 GEO 重心由排名與點擊轉向引用和品牌提及。文中引述的 2025 年統計顯示,約 60% 搜尋以零點擊結束,手機端接近 75%;Pew Research Center 的分析中,出現 AI 摘要時傳統搜尋結果點擊比例為 8%,沒有摘要時為 15%。
Knovum 團隊以 Tauri 2、Rust 和 Vue 3 打造開源、本機優先的桌面知識工作空間,結合無限 2D 畫布與裝置端 AI 整合。應用程式閒置時約使用 45–65MB 記憶體,並以 SQLite 和內嵌 LanceDB 儲存及搜尋資料;筆記等內容除非用戶明確要求,否則不會離開裝置。Knovum 目前為早期存取版,並已在 GitHub 開源。
RAG 讓 AI 應用在生成回答前,先從外部來源檢索相關資訊,並將資料加入上下文,讓模型根據這些資訊作答。這種做法不會重新訓練模型;應用程式須負責從文件中找出相關內容,再交給模型使用。
Catalin Friptu介紹兩種將 PDF(包括掃描件)轉成適用於 RAG 的分塊方法:自行編寫 Python 腳本,或使用 Apify Store 上的 PDF Text Extractor API。
OpenClaw 的持久記憶分為即時上下文、工作階段記憶、持久用戶記憶及知識記憶,透過提取和排序,只保存高價值且穩定的資訊。寫入時先執行低成本檢查,必要時才交由 LLM 評估;讀取時則檢索並按相關性、新鮮度、可信度及政策限制排序,再控制 token 和延遲預算。
阿里雲 OSS 以對象桶、向量桶和表格桶承載不同類型的數據,並以 MetaQuery 提供跨桶查詢、OSS Agent 支援自動化運維。文章提供各桶的使用示例、MetaQuery 查詢及 OSS Agent 部署與巡檢流程,並涵蓋成本優化、性能調整與安全合規。
rag-critic 已在 PyPI 發佈,是專為 LangGraph 設計的輕量級模型幻覺審核與引文依據驗證工具。它會逐項檢查回答中的主張,提供依據評分及幻覺指數,並可按審核結果在批准、重寫和重新檢索之間路由。
研究提出 C0-C4 連線狀態框架及推理時信任機制分類,並在 Raspberry Pi 5 上評估本地檢索增強生成,測試三種 Qwen2.5 模型規模。檢索分數閘門識別知識缺口的 AUROC 為 0.97,但對主題內無法回答的問題表現較差,AUROC 為 0.68。有效簽署的污染知識包仍可通過所有檢查,令 30 條原本答對的問題全數答錯,當中 14 條返回注入答案;所測機制均不能確立證據真偽。
Context Rot 指大語言模型處理長上下文時表現退化:資訊雖在上下文窗口內,模型仍可能忽略中段內容,回答變得含糊或出現模型幻覺。文章介紹 Needle in the Haystack 測試,以及分拆任務、跨工作階段摘要交接、RAG 和 RLM 等應對方式。
RAG(檢索增強生成)會在收到問題時搜尋相關文件片段,連同問題提供給 LLM,讓模型根據可控的實際內容作答,而非只依賴既有知識。文件切分、嵌入向量和向量資料庫都會影響效果;更新文件即可改善助理,無須重新訓練,並可引用資料來源以供核實。
LangChain 以 Deep Agents 為例,説明智能體如何透過檢索按需取得資訊,並控制搜尋效率、上下文用量及資料相關性。文章建議按任務選用 glob、grep、語義搜尋或搜尋 API,分頁讀取大型檔案,並把檢索結果交由子智能體篩選後再摘要。文章亦提醒使用時效資料來源、核對引用來源與主張,並將檢索文字視為不可信資料,以應對提示詞注入風險。
文章提出以本機 SQLite FTS5 和向量擴充功能,配合 Cloud LibSQL 非同步同步,構建持久化 Agent 記憶,取代依賴遠端向量資料庫的標準 RAG 架構。測試中,本機混合搜尋延遲為 1.8ms,Pinecone Serverless 冷啟動延遲為 184ms;寫入及同步開銷為 12ms,並在關鍵執行路徑之外處理。
文章為市場平台刊登檢索提出四道私隱閘門和有界檢索設計,並附上 Go 集合發現範例。設計要求明確指定集合、核對受眾、限制候選結果數量,並保留來源脈絡;更新和刪除須以冪等方式處理。索引推廣前應以小型標註集評估檢索品質和延遲,Go 範例則透過 Infrai REST API 列出向量集合,並支援 HTTP 429 的 Retry-After 重試。
DAG 與狀態機是大模型工作流編排的兩種核心範式,分別以任務依賴和狀態流轉為重點。DAG 適合流程固定、無循環的批量任務,例如 RAG 流水線;狀態機則適合具備動態分支、循環或回滾需求的智能體交互場景,實際應用可按任務複雜度與交互需求選用或結合兩者。
Bayer Crop Science 基於 Amazon Bedrock AgentCore 建構 Agentic Decision Engine(ADE),作為 Connected Decision Engine(CDE)的多智能體自然語言介面,讓用戶查詢工作流程狀態、結果、模型行為及故障。
推薦理由:文章整理 ADE 從設計到投產的關鍵工程取捨,涵蓋狀態持久化、身份與工具權限、任務級監測及成本歸因,提供多智能體系統落地的具體參照。
具備產品思維的軟件工程師須瞭解業務,並以工作對公司的實際成效衡量成果;單有技術能力已不足以構成差異。AI 已承擔編寫程式碼的工作,因此理解業務、決定要構建甚麼,以及判斷程式碼能否解決問題,變得更重要。文章亦指出,清晰的架構和 AI harness 有助提升 AI 產出的準確性與可靠性。
LLM 智能體透過外置記憶層儲存資訊,並在每次呼叫前檢索相關內容加入提示詞,以跨工作和工作階段管理狀態。短期記憶保留當前工作狀態,長期記憶則跨工作階段保存偏好、任務結果及公司知識;RAG 讀取既有資料,但不會記錄智能體的新發現。記憶系統由資料儲存、寫入邏輯和檢索介面組成,可採用向量資料庫、純文字檔、知識圖譜或混合架構。
這篇 AI 術語入門文章解釋 Temperature、Context window、RAG 和 MCP,並以簡單例子説明其概念與用途。RAG 可根據用戶提供的私人資料生成內容,MCP 則標準化外部工具及數據來源的整合方式;系列第 1 部分,後續內容將在第 2 部分繼續。
澳洲薪酬合規平台和大學收生產品的設計,將涉及金額或法律後果的決策交由確定性規則處理,語言模型只負責解讀和説明。文中指出,美國五分之一的薪酬計算有錯誤,平均每宗成本為 $291,未計訴訟成本;Stanford RegLab 測試的 RAG 商業法律研究工具仍有 17% 至 33% 的模型幻覺。
批量取得 YouTube 頻道或播放清單逐字稿,可用 Apify 上的 YouTube Transcript & Subtitles Scraper 一次處理;工具會列出影片、擷取字幕,並按影片返回 JSON。
AdeloopData 是作者正在打造的 AI 數據分析平台,讓用戶連接外部數據來源或上載數據集,整理成供 AI 輔助分析使用的語義域。平台提供互動式 Notebook 及類似 ChatGPT 的數據分析對話介面,兩者可共用數據脈絡及指標、實體、關係和業務規則等定義。語義層協助統一不同工作流程的數據含義,但查詢和計算仍須在相應數據或執行環境中進行。
vLLM 在單張 24GB GPU 上以 bf16 運行 Llama 3.1 8B 時,約 5 GiB KV cache 只容納 4 個各約 8,500 tokens 的 RAG 請求。
LLM API 按輸入及輸出 token 等用量計費,AI 個人項目的實際成本亦受上下文長度、回覆長度、互動頻率和應用設計影響。以每月 1,000 次請求、每次 2,000 個輸入 token 和 500 個輸出 token 為例,假設每百萬個輸入 token 收費 $0.50、每百萬個輸出 token 收費 $2.00,估算月費為 $2.00;這些價格僅為計算示例。
RAG 試點停滯的主因是組織問題,而非技術問題;權責不清、成功指標事後才訂,以及工具選擇先於工作流程,都是常見障礙。成功推進的團隊會聚焦單一用途、每週量度成效,並為 RAG 設立明確負責人。兩週內可完成用途與指標決定、指派負責人、部署最小版本並評估是否繼續。
文章主張 LLMOps 應把語料、提示詞模板、工具回應和模型版本視作依賴項管理,而非只關注模型本身。建議在文件進入檢索索引前設置閘口,以追加式清單記錄 sha256、來源及信任級別,並由檢索層執行信任規則。另應關聯提示詞雜湊、評測執行 ID 和部署 ID,並記錄檢索文件及工具呼叫等追蹤資料,以便回查答案所用輸入。
RAG 讓大語言模型先檢索資料,再根據檢索結果生成答案;這也是生成式引擎整理資訊、引用內容的常見機制。對 GEO 而言,內容要具備清晰結構、明確語義、可靠事實、可抽取要點和穩定更新,才較有機會被檢索、判定可信並寫進答案。
Cohere Rerank 5 提供 Pro 和 Fast 兩個層級,本文按 RAG 流程的品質要求與延遲預算説明選擇方式。Cohere 報告的每次 96 份文件請求中位延遲分別為 11.7s 和 4.1s;Pro 在其 46 組綜合數據集中的 39 組勝出,品質數據尚待獨立複測。文章建議以代表性查詢測試兩個層級,並指出 Cohere 尚未公佈 v5 每請求定價。
截至2026年10月22日,文章整理 Google Gemini API、Groq、OpenRouter、Mistral、Cloudflare Workers AI、NVIDIA API Catalog、Cohere 和 SambaNova Cloud 八家服務的免費額度及限制。
作者在 Claude Code 的程式碼倉庫工作流中接入 ctxdb,以 top-k 和 threshold 調整記憶召回,並把硬約束與候選資訊分開組裝。任務目標、規則及執行狀態固定優先注入,個人經驗用 memory search 查找,團隊規範則透過 kb search 查閲原文;top-k 設定返回上限,threshold 用於篩除低分結果。
阿里雲瓴羊Quick Service以AI Agent閉環執行為核心,讓系統從回答問題延伸至辦理客服事務,並採用模型、平台、應用三層架構。系統可自動完成15類高頻業務操作,複雜多輪業務辦理成功率達87%。選型時應着重核驗任務完成率、轉人工時的上下文銜接,以及知識庫的持續營運機制。
AI 教培智能體技術框架涵蓋感知接入、大腦推理、教學動作執行、知識與儲存支撐,以及安全與運維保障五個層級。框架支援語音交互、多模態識別、教學策略引擎及多智能體協作,應用於個人化、專業化的英語教學。
作者以 NestJS、PostgreSQL、pgvector、混合搜尋(RRF)及 Claude on Amazon Bedrock,構建生產級文件問答系統。文章拆解文件匯入、分塊、向量與全文搜尋、提示詞快取和 API 流程,並示範如何用 RRF 合併兩路搜尋結果。文中亦指出重新索引時清除過期分塊等維護細節,並列出尚未實作的 Unicode 正規化、對話歷史改寫及引用驗證。
Cohere 推出企業級檢索重排模型 Rerank 5,提供 Pro 與 Fast 兩個版本,並新增上下文聚焦和經校準的相關性分數。Rerank 5 Pro 在 46 套數據集中取得 39 項第一、43 項進入前二,並在 BRIGHT 得分 82.2,較上一代高 12.4 分。
LlamaIndex 推出視覺語言文件解析模型 OCRia-1,並已將其整合至 LlamaParse,現有用戶無需加價即可獲得這項解析能力。OCRia-1 在 ParseBench 綜合得分 87.4,在 350 億參數以下梯隊排名第一;其圖表專項得分 85.1。LlamaIndex 以超過 10 萬頁文件建立訓練數據集,並結合 SFT 與 RLVR 訓練。
Deep Fusion Memory(DFM)架構令 13B 參數 LLM 的開放領域問答準確度提升 12%,每個 token 只增加 0.7 ms 延遲。DFM 將分塊參數記憶嵌入模型權重空間,並在推理時動態檢索相關內容、於多層融合。記憶庫可透過增量插入更新知識,無須重新訓練整個模型。
文件問答聊天機械人答錯,通常不是模型本身出問題,而是文件處理或搜尋沒有把正確段落交給模型。文章逐項檢查文字擷取、分塊、嵌入向量、搜尋設定及送入模型的內容,並建議用相同測試問題核對修正前後。文中示例修正前8題答對3題,修正後8題全對,未涵蓋的問題則明確回答文件沒有相關內容。
不少團隊把工具呼叫、帶記憶的聊天機械人或循環程式都稱為 AI 智能體,導致簡單流程過度工程化、複雜系統設計不足。實際部署多集中於客服分流、文件擷取和特定程式碼庫的程式碼審查,成效關鍵在工具設計、失敗處理和可觀測性。RAG 的檢索問題往往出在分塊或中繼資料,而非嵌入模型。
研究發現,在多項對話記憶基準測試中,直接檢索原始對話歷史的 Raw-RAG 整體表現勝過複雜的智能體記憶系統。Raw-RAG 在七種基準測試與模型設定中的六種排名第一,較最強的受測智能體記憶系統高 0.13–5.53 分。結果顯示,保留原始證據有助提升必要資訊的覆蓋率,樸素 RAG 是評估對話記憶系統的重要基線。