RAG 上下文預算指南:如何整理證據而不淹沒答案
Jack M 提出一套適用於不同向量資料庫和模型 API 的 RAG 上下文整理方法,主張預留回答空間,再按證據價值納入檢索結果。流程包括廣泛檢索、按實際問題重排、去除重複內容,並依 token 預算、來源權威性及多樣性選取證據。文章亦建議記錄候選與納入的片段及淘汰原因,以區分檢索、收納和生成環節的問題,並將檢索內容視為不可信資料。
Jack M 提出一套適用於不同向量資料庫和模型 API 的 RAG 上下文整理方法,主張預留回答空間,再按證據價值納入檢索結果。流程包括廣泛檢索、按實際問題重排、去除重複內容,並依 token 預算、來源權威性及多樣性選取證據。文章亦建議記錄候選與納入的片段及淘汰原因,以區分檢索、收納和生成環節的問題,並將檢索內容視為不可信資料。
文章以 Transformers.js 在 Node 中載入 all-MiniLM-L6-v2,示範如何從 token 隱藏狀態計算 mean pooling、CLS pooling 及 L2 正規化,並比較不同設定下的檢索排序。
作者審核一間牙科診所的 AI 知識庫,發現 61 頁中有 24 頁(39%)至少包含一項當天已不正確的陳述。當中 11 頁含過期資料、6 頁描述已不存在的服務或人員、4 組內容互相衝突、3 頁無人負責;作者建議為文件記錄 owner、source_of_truth、verified_at,並每週以 12 條問題對照 AI 與系統紀錄。
媒體檔案近似重複篩查應先按留存政策管理分塊版本,再檢索更多候選,按原始查詢重新排序,只把最佳候選送入提示詞。以每日處理 100,000 條記錄的規劃模型為例,四個分塊留存 30 日為 12,000,000 個分塊,留存 180 日則為 72,000,000 個。檢索 20 個、保留 5 個只是起始設定;若重新排序不改變最終重複判斷,便應移除這個額外步驟。
文章建議以綁定語料版本的人工相關性標註計算 Recall@K,並按高風險切片設定 RAG 檢索的離線發布門檻,而非單靠點擊訊號。點擊訊號可能受標題、摘要呈現及使用意圖影響,較適合發掘評估案例;排序、引文支持度、diff 準確度和端到端更新鮮度則須分開檢查。隨文 Go 程式讀取 JSON 測試資料、去重檢索結果 ID,計算 K 為 1、3、5、10 的宏平均 Recall@K,並拒絕格式不符的案例。
文章説明生產環境 AI 系統如何透過向量快取重用嵌入與檢索結果,以減少重複計算、向量搜尋延遲及下游模型呼叫成本。文中區分嵌入快取、檢索快取和上下文快取,指出快取鍵需納入租戶或授權範圍、索引版本及檢索設定。實作評估應使用真實請求重播,監測命中、失效、延遲和答案品質,並處理資料更新及權限變更造成的舊資料或越權風險。
作者分析了向量搜尋難以命中錯誤碼 E4012 的原因,並提出將 BM25 與向量搜尋並行執行,再以 Reciprocal Rank Fusion(RRF)合併排名。在自有的 120 條查詢測試中,混合檢索命中全部 38 條含識別符號的查詢,純向量搜尋則命中 21 條;作者指出這只是小型測試集,並非通用基準。實作時要避免 BM25 分詞器把錯誤碼等識別符號拆開,否則會削弱精確比對。
作者分享將 AI 推理由 OpenAI 遷移至 Hetzner 單台 GPU 伺服器自託管,稱月費由 $400 降至 $80。文中的成本表則列出總成本由每月 $490 降至 $195,節省約 $295;配置為 1× A100 80GB,透過 vLLM 執行 Qwen 2.5 72B,並使用 LiteLLM。
文章説明如何為 Node.js 內部 wiki 助手建構檢索,並把權限篩選設為查詢時的安全邊界。權限範圍應由已驗證的應用程式狀態導出,模型只根據獲準區塊作答;沒有答案時須明確表示不知道,並保留來源 ID。文章亦提出以保留文件數、平均分塊數及啟用中的嵌入版本估算索引容量,並比較 Pinecone、Weaviate、pgvector 與 Infrai 的運維取捨。
教學以 Next.js、Postgres、pgvector、OpenAI 官方套件和 pg 建構小型 RAG 應用,讀取 Markdown 和文字檔,檢索相關片段,再串流輸出附有引用的答案。
文章提出金融研究儀錶板的分階段檢索架構,透過只攝取有變更的文件、帶中繼資料條件的有限查詢,以及保留來源脈絡,令證據重排具可追溯性。示例以 Infrai 的 API 展示 upsert 和 query,並以內容雜湊、版本及墓碑記錄處理增量更新,同時要求攝取、檢索和答案組裝各階段輸出可觀測指標。
Isuru Wijesiri 將一系列從第一原理講解 AI 智能體構建的文章整理成《Harness Engineering 101》1.0 版,共 16 章,並以純 Python 逐步擴展一個約 300 行的玩具智能體。
VaultMind 是一款面向災難救援及無網絡遠徵的離線 AI 知識盒與語義檢索引擎,可在邊緣裝置本地運行量化開放權重模型及向量搜尋,網絡流出量為 0 KB。它可離線匯入文件並建立索引,所有語義計算均在記憶體內完成。項目以 MIT License 開源,可配合 SmolLM、Qwen2.5 及 Llama-3.2-1B 等模型。
提示詞注入是檢索增強應用的信任邊界問題,因為檢索文字與操作指令會進入同一輸入通道,攻擊者寫入的指令也可能影響模型。模型若能調用 API、傳送訊息、寫入資料庫或執行程式碼,成功注入便可能以應用程式權限和用戶工作階段執行操作。文章建議限制工具權限、要求重要操作確認、驗證輸出結構、限制網絡出口,並記錄工具調用及其參數、用戶工作階段和此前檢索的文件。
RAG 雖以外部脈絡減少大語言模型對參數記憶的依賴,仍可能因檢索到錯誤文件而生成看似有根據的錯誤答案,groundedness 評估亦未必能識別。文章提出四層防護:限制 temperature 至 ≤ 0.7(嚴格資料抽取或程式碼生成時調近 0.0–0.2)、按中繼資料篩選脈絡、以 Pydantic、Zod 或 AST 作確定性驗證,並以並排來源標示支援人工覆核。
這篇週報整理了 2026-10-12 至 2026-10-19 的 RAG/GraphRAG 動態,聚焦生產環境故障,以及智能體記憶的建構和評估問題。研究涵蓋 10 個 RAG 系統的 654 宗配置故障;FuseRAG 相較最佳 GraphRAG 基線,TTFT 提速 2.2–2.7x,且沒有品質損失。
StudyMate AI 是一款以本機推理為核心設計的 AI 學習助理,讓大學生就自己的學習材料提問,並協助理解概念、摘要筆記及生成練習測驗。其規劃中的架構使用 Ollama 執行開放權重大語言模型,並透過文件檢索找出相關段落,再生成附有來源參照的答案。若完整流程設定為在本機運行,可減少對外部 API 定價的依賴,並讓文件留在學生的裝置上。
Ayan 為 Graph Hacks 獨自構建 Lore,以 FalkorDB 圖譜和四個 Gemini agent 生成事故根因報告,每項主張均引用用戶有權查看的來源。
開發者修正 EPUB 轉 Markdown 轉換器,改按 spine 指定的閲讀順序處理章節,而非依檔名或 manifest 排序,避免章節錯序。轉換器會在引用位置內嵌註腳、把側欄轉成區塊引用,並支援 EPUB2 和 EPUB3 的導覽檔。單次 API 呼叫可接收 URL 或 base64 bytes,輸出保留章節結構的 Markdown,供 RAG pipeline 使用。
Awareness 説明其記憶層如何保存對話中的情景式鍵值資訊,讓新進程毋須重放歷史對話也能按需取回。作者報告 LongMemEval 的 Recall@5 為 96.0%,檢索過程不調用 LLM,並強調這種記憶不等於理解或推理。文章亦指出,O(1) 推理記憶只適用於無注意力的 O 系列;M 系列仍保留注意力。
教程示範以 Next.js、Gemini API 和 Supabase Postgres 配合 pgvector,建立可部署的 PDF 問答 RAG 應用程式,回答會串流輸出並引用來源頁碼。
Haseeb Sagheer整理了 30 道生成式 AI 與 LLM 面試題,並為每題提供可按個人項目調整的簡短示範答案。題目涵蓋 Transformer、預訓練與微調、提示詞及推理設定,以及正式環境中的安全、成本和評估。文中建議以實際項目例子説明答案,並建議尚未有 GenAI 項目的人製作 RAG 應用,練習嵌入向量、向量搜尋、提示詞及幻覺控制等概念。
作者把只在筆電運行的 RAG 示範服務移至免費伺服器,探查冷啟動與 token 預算哪一項先造成部署問題。測試中,冷啟動首個請求的延遲比暖機請求高一個數量級;服務以 1,200 token 上限拒絕超額請求並回傳 413 及估算值,空白 context 則回傳 422。文章以 MonkeyCode 的免費伺服器及免費模型存取作部署目標,並指出按字元估算 token 只能作預算警戒,不能用來計費。
深度求索(DeepSeek)於 2026年10月17日發佈 DeepSeek-V4.1-Flash-1017,並向所有用戶開放 Search API 與 Fetch API。
Statewave 作者比較六個開源 Supermemory 替代方案,重點檢視各工具能否重建智能體回答所用的完整上下文。比較中只有 Statewave 提供可重播的組裝提示詞及 HMAC-SHA256 簽署收據;其餘方案側重文件讀取路徑、記憶來源溯源、時間知識圖譜或版本化記憶。作者亦列出 Statewave 的限制,包括沒有託管雲端、實體關係圖和多模態 RAG。
作者 Nikitha Kishore Avadootha 開發 Articulate Me,以每日 5 分鐘課程教授口語溝通技巧,並提供對話練習。Gemma 4 以兩本大學教材的 1,138 段內容撰寫課程,並扮演對話對象;回饋須引用用戶實際説過的話,核對器會檢查引文是否出現在轉錄中。前三章免費,Pro 每月 $5,Prep Pack 一次性 $3;離線模式約需 1 GB RAM。
DeepSeek 本週更新 V4.1 Flash 1017,並推出 Search & Fetch API,文章將兩者視為模型推理與網頁搜尋兩線價格競爭的一部分。
推薦理由:文章把 V4.1 Flash 1017 的模型成本與 Search & Fetch API 定價並列,呈現 DeepSeek 如何從模型推理和網頁搜尋兩端改變 AI 開發者的成本結構。
Hansheng Li 根據一段影片整理出 6 個 AI 智能體由示範走向正式環境的設計概念,涵蓋 Agent loop、模型路由、工具設計、記憶與 RAG、協調方式,以及評估、可觀測性和安全。文章以客戶支援退款流程為例,建議減少不必要步驟、按任務選擇模型,並由後端驗證高風險操作;亦指出應透過評估和執行追蹤檢查系統表現。
RAG 系統即使檢索到正確文件,若送入模型的文字未包含相關段落,模型仍可能沒有取得回答所需的證據。文中的 SQLite FTS5 範例顯示,首 180 個字元沒有 Zephyr 訂單「17 days」的退貨期限,按查詢詞生成的片段則有包含。作者建議分開檢查檢索結果、傳遞的證據和回答是否正確;此示例沒有呼叫模型或評估答案準確度。
作者以小型標註語料比較 RAG 的固定長度、遞歸及語義分塊,recall@3 分別為 0.89、1.00 和 1.00。文中引用的 Mayo Clinic 研究顯示,自適應分塊的答案準確率為 87%,固定長度基線為 50%;其他研究則顯示,策略效果會隨語料、嵌入模型及評估目標而異。
RAG 管線不斷返回技術上正確、但缺乏上下文價值的結果,問題幾乎可以肯定出在分塊方式或中繼資料,而非嵌入模型。分塊邊界若切斷上下文,段落可能脱離前文被檢索,令模型產生幻覺。重疊窗口、語義分塊、父文件檢索,或儲存資訊的結構化表示,都是可行的改善方向。
DeepSeek API 已支援網頁搜尋與抓取,Search / Fetch 每 1000 次成功請求收費 5 元。透過 DeepSeek Harness / Claude Code / Codex 使用 DeepSeek API 時,Search / Fetch 呼叫目前不收費,並將於北京時間 2026 年 11 月 1 日 00:00 起按次收費。
文章提出一套播客語意搜尋流程:轉錄每集音訊、保留原始逐字稿,並按講者輪次切分工作副本建立索引。每筆記錄以確定性 ID 保存 episode_id、speaker、start_ms 和逐字稿文字;固定長度切分可能跨越講者邊界或令引文時間戳錯置。原始逐字稿另行保存,方便重新嵌入或調整切分規則而毋須再次轉錄;長講者輪次可再切分,但精確時間連結須依據實際時間資料。
保險理賠檢索架構應在相似度排序前套用存取規則,並把資料時效納入檢索 SLO。每次請求須帶有明確授權範圍,文件區塊則保留來源版本及生效日期,以便排除已撤銷或過期的內容。作者以 Go 示範請求流程,並建議透過政策延遲監測、授權版本紀錄及拒絕情境測試驗證安全性。
Member Assistant 是一款開源 AI 助手,讓購物中心小程序會員以自然語言查詢積分、泊車等資訊,並透過 SSE 串流取得附有引用來源的答案。系統以多語言嵌入向量和 FAISS 建立 RAG 知識庫,並以唯讀 SQLite、預設工具登記表及低信心答案轉交人工等方式限制操作。整套技術堆疊不使用封閉模型 API,並以 FastAPI 和 Docker 部署。
Roll-Call 自動整理 GitHub 和 Linear 的團隊活動,並以開放權重 Gemma 模型為每位成員撰寫英文每日站會摘要。託管流程使用 Gemma 4 26B A4B,經 OpenRouter 執行;報告儲存在 MongoDB Atlas。聊天 Agent 透過 Backboard 的 RAG,根據匯入資料回答團隊工作查詢。
文章提出 Node.js 變更紀錄搜尋的引用追蹤架構:先以倒排索引縮小候選集,再只對候選項重新排序,並在生成過程中保留不可變文件及文字跨度 ID。文中建議分兩階段控制檢索預算,例如先取約 50 個詞彙候選,再重新排序 10 至 20 個,並以 index_version 固定單次請求所用的索引版本。
HybridAgent 以混合式 AI 架構分開向量上的符號推理與大語言模型文字生成,藉此節省 tokens 並改善規劃。在路線規劃評測中,其準確度與純大語言模型相同,tokens 用量少 70%,延遲低 30%。文章亦提供以 Docker 部署 HybridAgent 的教學,並介紹 FAISS/Milvus 文件索引。
這篇指南提出一套離線 RAG 檢索測試方法,建議在更改聊天機械人的提示詞前,先確認檢索器是否找出足夠證據。測試以問題、人工標註的相關文件 ID 和文件修訂版本為基礎,程式按固定窗口計算 precision@k 及 recall@k,拒絕重複 ID,沒有相關性標籤時則不計分。指南指出,檢索分數不代表生成答案正確;比較設定時應固定測試集及文件版本,並另行檢查答案是否符合檢索內容。
Rimsha Kanwal 探討 RAG 中 BM25、向量搜尋及 RRF 混合檢索的排序差異,並提出一項尚未完成的試驗方案。在 AUTH_403 示例中,等權重 RRF(k = 60)把泛用登入建議排在含有解法的片段之前,説明排名融合不會核實片段是否能回答問題。