跳到正文
10月20日週二
  1. DEV Community64

    RAG 上下文預算指南:如何整理證據而不淹沒答案

    Jack M 提出一套適用於不同向量資料庫和模型 API 的 RAG 上下文整理方法,主張預留回答空間,再按證據價值納入檢索結果。流程包括廣泛檢索、按實際問題重排、去除重複內容,並依 token 預算、來源權威性及多樣性選取證據。文章亦建議記錄候選與納入的片段及淘汰原因,以區分檢索、收納和生成環節的問題,並將檢索內容視為不可信資料。

  2. DEV Community63

    牙科診所 AI 知識庫 61 頁中,24 頁至少有一項資訊已不正確

    作者審核一間牙科診所的 AI 知識庫,發現 61 頁中有 24 頁(39%)至少包含一項當天已不正確的陳述。當中 11 頁含過期資料、6 頁描述已不存在的服務或人員、4 組內容互相衝突、3 頁無人負責;作者建議為文件記錄 owner、source_of_truth、verified_at,並每週以 12 條問題對照 AI 與系統紀錄。

  3. DEV Community46

    Media Archive Rerank Guide: Fresh Chunks Before Sending to Models

    媒體檔案近似重複篩查應先按留存政策管理分塊版本,再檢索更多候選,按原始查詢重新排序,只把最佳候選送入提示詞。以每日處理 100,000 條記錄的規劃模型為例,四個分塊留存 30 日為 12,000,000 個分塊,留存 180 日則為 72,000,000 個。檢索 20 個、保留 5 個只是起始設定;若重新排序不改變最終重複判斷,便應移除這個額外步驟。

  4. DEV Community62

    如何評估 RAG 檢索質素:離線 Recall 與點擊訊號比較,為何相關性標註更合適

    文章建議以綁定語料版本的人工相關性標註計算 Recall@K,並按高風險切片設定 RAG 檢索的離線發布門檻,而非單靠點擊訊號。點擊訊號可能受標題、摘要呈現及使用意圖影響,較適合發掘評估案例;排序、引文支持度、diff 準確度和端到端更新鮮度則須分開檢查。隨文 Go 程式讀取 JSON 測試資料、去重檢索結果 ID,計算 K 為 1、3、5、10 的宏平均 Recall@K,並拒絕格式不符的案例。

  5. DEV Community57

    生產環境 AI 系統中的向量快取設計與風險

    文章説明生產環境 AI 系統如何透過向量快取重用嵌入與檢索結果,以減少重複計算、向量搜尋延遲及下游模型呼叫成本。文中區分嵌入快取、檢索快取和上下文快取,指出快取鍵需納入租戶或授權範圍、索引版本及檢索設定。實作評估應使用真實請求重播,監測命中、失效、延遲和答案品質,並處理資料更新及權限變更造成的舊資料或越權風險。

  6. DEV Community63

    向量搜尋為何找不到錯誤碼 E4012?BM25 與 RRF 混合檢索如何補足

    作者分析了向量搜尋難以命中錯誤碼 E4012 的原因,並提出將 BM25 與向量搜尋並行執行,再以 Reciprocal Rank Fusion(RRF)合併排名。在自有的 120 條查詢測試中,混合檢索命中全部 38 條含識別符號的查詢,純向量搜尋則命中 21 條;作者指出這只是小型測試集,並非通用基準。實作時要避免 BM25 分詞器把錯誤碼等識別符號拆開,否則會削弱精確比對。

  7. DEV Community62

    Node.js 校園知識聊天:如何為內部助手建構檢索

    文章説明如何為 Node.js 內部 wiki 助手建構檢索,並把權限篩選設為查詢時的安全邊界。權限範圍應由已驗證的應用程式狀態導出,模型只根據獲準區塊作答;沒有答案時須明確表示不知道,並保留來源 ID。文章亦提出以保留文件數、平均分塊數及啟用中的嵌入版本估算索引容量,並比較 Pinecone、Weaviate、pgvector 與 Infrai 的運維取捨。

  8. DEV Community52

    金融研究儀錶板的增量檢索與證據重排實作指南

    文章提出金融研究儀錶板的分階段檢索架構,透過只攝取有變更的文件、帶中繼資料條件的有限查詢,以及保留來源脈絡,令證據重排具可追溯性。示例以 Infrai 的 API 展示 upsert 和 query,並以內容雜湊、版本及墓碑記錄處理增量更新,同時要求攝取、檢索和答案組裝各階段輸出可觀測指標。

10月19日週一
  1. DEV Community37

    VaultMind:為災難應對及無網絡環境下的遠徵而設的 100% 離線 AI 知識盒

    VaultMind 是一款面向災難救援及無網絡遠徵的離線 AI 知識盒與語義檢索引擎,可在邊緣裝置本地運行量化開放權重模型及向量搜尋,網絡流出量為 0 KB。它可離線匯入文件並建立索引,所有語義計算均在記憶體內完成。項目以 MIT License 開源,可配合 SmolLM、Qwen2.5 及 Llama-3.2-1B 等模型。

  2. DEV Community58

    提示詞注入是檢索流程中的信任邊界漏洞

    提示詞注入是檢索增強應用的信任邊界問題,因為檢索文字與操作指令會進入同一輸入通道,攻擊者寫入的指令也可能影響模型。模型若能調用 API、傳送訊息、寫入資料庫或執行程式碼,成功注入便可能以應用程式權限和用戶工作階段執行操作。文章建議限制工具權限、要求重要操作確認、驗證輸出結構、限制網絡出口,並記錄工具調用及其參數、用戶工作階段和此前檢索的文件。

  3. DEV Community44

    RAG 驗證陷阱:為何 AI 在生產環境仍會出現模型幻覺,以及如何修正

    RAG 雖以外部脈絡減少大語言模型對參數記憶的依賴,仍可能因檢索到錯誤文件而生成看似有根據的錯誤答案,groundedness 評估亦未必能識別。文章提出四層防護:限制 temperature 至 ≤ 0.7(嚴格資料抽取或程式碼生成時調近 0.0–0.2)、按中繼資料篩選脈絡、以 Pydantic、Zod 或 AST 作確定性驗證,並以並排來源標示支援人工覆核。

  4. DEV Community18

    StudyMate AI: A Local-First AI Study Assistant Built with Open-Weight Models

    StudyMate AI 是一款以本機推理為核心設計的 AI 學習助理,讓大學生就自己的學習材料提問,並協助理解概念、摘要筆記及生成練習測驗。其規劃中的架構使用 Ollama 執行開放權重大語言模型,並透過文件檢索找出相關段落,再生成附有來源參照的答案。若完整流程設定為在本機運行,可減少對外部 API 定價的依賴,並讓文件留在學生的裝置上。

  5. DEV Community50

    EPUB 轉 Markdown 轉換器的教訓:章節編號不可信,spine 才是唯一依據

    開發者修正 EPUB 轉 Markdown 轉換器,改按 spine 指定的閲讀順序處理章節,而非依檔名或 manifest 排序,避免章節錯序。轉換器會在引用位置內嵌註腳、把側欄轉成區塊引用,並支援 EPUB2 和 EPUB3 的導覽檔。單次 API 呼叫可接收 URL 或 base64 bytes,輸出保留章節結構的 Markdown,供 RAG pipeline 使用。

  6. DEV Community55

    Awareness 説明沒有會話的進程如何保留情景記憶

    Awareness 説明其記憶層如何保存對話中的情景式鍵值資訊,讓新進程毋須重放歷史對話也能按需取回。作者報告 LongMemEval 的 Recall@5 為 96.0%,檢索過程不調用 LLM,並強調這種記憶不等於理解或推理。文章亦指出,O(1) 推理記憶只適用於無注意力的 O 系列;M 系列仍保留注意力。

  7. DEV Community51

    生成式 AI 與 LLM 面試題:30 題附示範答案

    Haseeb Sagheer整理了 30 道生成式 AI 與 LLM 面試題,並為每題提供可按個人項目調整的簡短示範答案。題目涵蓋 Transformer、預訓練與微調、提示詞及推理設定,以及正式環境中的安全、成本和評估。文中建議以實際項目例子説明答案,並建議尚未有 GenAI 項目的人製作 RAG 應用,練習嵌入向量、向量搜尋、提示詞及幻覺控制等概念。

  8. DEV Community51

    RAG 示範服務在闔上筆電後失效:小型部署案例研究

    作者把只在筆電運行的 RAG 示範服務移至免費伺服器,探查冷啟動與 token 預算哪一項先造成部署問題。測試中,冷啟動首個請求的延遲比暖機請求高一個數量級;服務以 1,200 token 上限拒絕超額請求並回傳 413 及估算值,空白 context 則回傳 422。文章以 MonkeyCode 的免費伺服器及免費模型存取作部署目標,並指出按字元估算 token 只能作預算警戒,不能用來計費。

  9. DEV Community57

    檢索日誌不等於審計追蹤:六個 Supermemory 替代方案比較

    Statewave 作者比較六個開源 Supermemory 替代方案,重點檢視各工具能否重建智能體回答所用的完整上下文。比較中只有 Statewave 提供可重播的組裝提示詞及 HMAC-SHA256 簽署收據;其餘方案側重文件讀取路徑、記憶來源溯源、時間知識圖譜或版本化記憶。作者亦列出 Statewave 的限制,包括沒有託管雲端、實體關係圖和多模態 RAG。

  10. DEV Community55

    Articulate Me 打造每日口語溝通課程

    作者 Nikitha Kishore Avadootha 開發 Articulate Me,以每日 5 分鐘課程教授口語溝通技巧,並提供對話練習。Gemma 4 以兩本大學教材的 1,138 段內容撰寫課程,並扮演對話對象;回饋須引用用戶實際説過的話,核對器會檢查引文是否出現在轉錄中。前三章免費,Pro 每月 $5,Prep Pack 一次性 $3;離線模式約需 1 GB RAM。

  11. DEV Community55

    AI 智能體系統設計:從示範走向正式環境的 6 個重要概念

    Hansheng Li 根據一段影片整理出 6 個 AI 智能體由示範走向正式環境的設計概念,涵蓋 Agent loop、模型路由、工具設計、記憶與 RAG、協調方式,以及評估、可觀測性和安全。文章以客戶支援退款流程為例,建議減少不必要步驟、按任務選擇模型,並由後端驗證高風險操作;亦指出應透過評估和執行追蹤檢查系統表現。

  12. DEV Community60

    RAG 檢索到正確文件,送入模型的內容仍可能缺少答案

    RAG 系統即使檢索到正確文件,若送入模型的文字未包含相關段落,模型仍可能沒有取得回答所需的證據。文中的 SQLite FTS5 範例顯示,首 180 個字元沒有 Zephyr 訂單「17 days」的退貨期限,按查詢詞生成的片段則有包含。作者建議分開檢查檢索結果、傳遞的證據和回答是否正確;此示例沒有呼叫模型或評估答案準確度。

  13. DEV Community56

    RAG 分塊實測:不同策略如何影響檢索效果

    作者以小型標註語料比較 RAG 的固定長度、遞歸及語義分塊,recall@3 分別為 0.89、1.00 和 1.00。文中引用的 Mayo Clinic 研究顯示,自適應分塊的答案準確率為 87%,固定長度基線為 50%;其他研究則顯示,策略效果會隨語料、嵌入模型及評估目標而異。

  14. DEV Community60

    播客音訊轉錄與語意搜尋:如何切分逐字稿並建立索引

    文章提出一套播客語意搜尋流程:轉錄每集音訊、保留原始逐字稿,並按講者輪次切分工作副本建立索引。每筆記錄以確定性 ID 保存 episode_id、speaker、start_ms 和逐字稿文字;固定長度切分可能跨越講者邊界或令引文時間戳錯置。原始逐字稿另行保存,方便重新嵌入或調整切分規則而毋須再次轉錄;長講者輪次可再切分,但精確時間連結須依據實際時間資料。

  15. DEV Community51

    保險理賠檢索架構如何落實存取規則、資料時效與稽核

    保險理賠檢索架構應在相似度排序前套用存取規則,並把資料時效納入檢索 SLO。每次請求須帶有明確授權範圍,文件區塊則保留來源版本及生效日期,以便排除已撤銷或過期的內容。作者以 Go 示範請求流程,並建議透過政策延遲監測、授權版本紀錄及拒絕情境測試驗證安全性。

  16. DEV Community39

    Member Assistant: An Open-Source AI Helper for Mall Mini-Programs

    Member Assistant 是一款開源 AI 助手,讓購物中心小程序會員以自然語言查詢積分、泊車等資訊,並透過 SSE 串流取得附有引用來源的答案。系統以多語言嵌入向量和 FAISS 建立 RAG 知識庫,並以唯讀 SQLite、預設工具登記表及低信心答案轉交人工等方式限制操作。整套技術堆疊不使用封閉模型 API,並以 FastAPI 和 Docker 部署。

  17. DEV Community54

    Node.js 變更紀錄搜尋的引用追蹤:以低成本擴展檢索

    文章提出 Node.js 變更紀錄搜尋的引用追蹤架構:先以倒排索引縮小候選集,再只對候選項重新排序,並在生成過程中保留不可變文件及文字跨度 ID。文中建議分兩階段控制檢索預算,例如先取約 50 個詞彙候選,再重新排序 10 至 20 個,並以 index_version 固定單次請求所用的索引版本。

  18. DEV Community60

    如何在更改聊天機械人提示詞前評估 RAG 檢索效果

    這篇指南提出一套離線 RAG 檢索測試方法,建議在更改聊天機械人的提示詞前,先確認檢索器是否找出足夠證據。測試以問題、人工標註的相關文件 ID 和文件修訂版本為基礎,程式按固定窗口計算 precision@k 及 recall@k,拒絕重複 ID,沒有相關性標籤時則不計分。指南指出,檢索分數不代表生成答案正確;比較設定時應固定測試集及文件版本,並另行檢查答案是否符合檢索內容。