跳到正文
10月16日週五
  1. DEV Community41

    How I Built a 768-Dimensional Vector Search Engine with Node.js, TypeScript, and Supabase

    作者以 Node.js、TypeScript 和 Supabase 建構向量搜尋引擎,透過段落感知分塊、768 維嵌入向量和 PostgreSQL pgvector,擷取與用戶查詢相關的文件段落。系統以 cosine similarity 排序結果,作者設定的語義搜尋效能目標是低於 200ms。文章指出,分塊方式、資料集大小、索引設定及硬件等因素都會影響搜尋品質和延遲。

  2. DEV Community44

    AI 智能體工程:熟悉的混亂,如今還會回話

    作者修讀 AI 工程課程後發現,智能體編排沒有消除熟悉的軟件工程混亂,只是模型如今也會回話。指定模型觸及每日 50 次請求上限後,改用其他模型可能令工具選擇和答案不同。RAG 練習的 11 項檢查中有 8 項通過,評估器本身沒有錯誤;作者指出,相關性不等於權限、資訊是否最新或內容真確。

  3. DEV Community38

    What Senior AI Engineers Actually Think About the Agent Hype (It's Complicated)

    資深 AI 工程師指出,現時不少被稱為智能體的系統只是工具呼叫或聊天介面;真正的智能體應能自主決定下一步、處理失敗並判斷何時完成。實際部署多集中於客服分流、文件擷取和程式碼審查等狹窄任務,成效更取決於工具設計、失敗處理和可觀測性。可靠的 AI 系統設計,比追逐模型更新或框架更重要。

  4. DEV Community36

    成功 AI 產品中反覆出現的 3 種智能體模式

    成功的 AI 產品反覆採用三種智能體模式:先規劃再執行、把檢索與推理分開,以及明確記錄智能體之間的交接。實際部署多聚焦於狹窄任務,成效取決於工具設計、失敗處理和可觀測性,而非單純更換最新模型。若 RAG 結果正確但缺乏語境用途,問題更可能在切分或中繼資料,而非嵌入模型。

  5. DEV Community53

    GraphRAG 與 Agentic RAG:如何選擇合適的檢索架構

    文章建議按系統瓶頸選擇 RAG 架構,先從基本 RAG 起步,再按檢索質素、關係推理或跨系統多步執行的需要升級。GraphRAG 適合依賴實體關係和多跳知識的查詢,Agentic RAG 則適合需要規劃、工具調用及反覆執行的任務。選型可追蹤 recall@k、precision@k、groundedness、任務成功率、p95 延遲及每次查詢成本,以衡量額外索引或編排複雜度是否合理。

  6. DEV Community47

    旅遊行程規劃器的檢索設計:限制存取範圍並附上來源引用

    旅遊行程規劃器應採用分階段檢索架構,為每項答案附上來源脈絡並限制資料存取範圍。檢索契約須設定行程、地區、語言、有效時間及存取範圍等條件,查詢套用強制篩選與候選數上限,缺少範圍時應拒絕搜尋。網頁搜尋用於最新外部資訊,向量查詢用於策劃語料;答案只引用通過網址、來源修訂版本及範圍驗證的結果。

  7. DEV Community57

    Java 搭配 pgvector 實作 AI 語義搜尋與 RAG,無需另設向量資料庫

    文章説明如何用 PostgreSQL 的 pgvector 擴展,配合 Java 和 Spring Boot 建立語義搜尋及 RAG 流程,毋須另設向量資料庫。示例以 JDBC 和 JdbcTemplate 儲存及檢索嵌入向量,並使用 HNSW 索引及查詢中的 tenant_id 篩選。文中亦介紹模型更換時的重新嵌入、召回率評估,以及將檢索內容視為資料而非指令的安全做法。

  8. DEV Community35

    What Is Repository Intelligence? How AI Coding Agents Understand Your Codebase

    Repository Intelligence 結合向量嵌入、AST 解析和知識圖譜,讓 AI 編碼智能體掌握整個程式碼庫的結構、依賴關係及關聯,而不只理解目前開啟的檔案。研究顯示,圖譜索引的 token 用量比逐個檔案探索約少 10 倍;一個研究系統以約三分鐘為 Linux kernel 建立包含約 2.1 million 個節點的圖譜。

  9. Hugging Face Blog60

    Granite Switch 4.1 推出 8B、30B 版本,單一端點整合對話、決策與語音轉文字

    Granite Switch 4.1 發佈 8B 和 30B 模型,讓對話、通用及專項決策與語音轉文字可透過同一個託管端點處理。兩款模型整合 Decision aLoRA、Guardian aLoRA 和 Granite-Speech-5.0-Turbo-CTC,合併後佔用的 GPU VRAM 約與基礎模型單獨運行相若,且可重用基礎模型生成的 KV cache。

    推薦理由:文章呈現以 aLoRA 組合通用及專項決策與語音辨識的方法,並交代共用 KV cache 如何使多項能力維持接近基礎模型的 GPU VRAM 佔用。

  10. DEV Community46

    Node.js 醫療科技更新日誌排序:比較 BM25 與向量檢索,選用混合訊號

    Node.js 醫療科技更新日誌追蹤器宜採用混合檢索:先以 BM25 擷取精確詞項,並行以向量搜尋處理改述,再由小型、經實測的重排器處理候選結果。版本等硬性限制應設為篩選條件,並按延遲預算分階段量度。評估須涵蓋對抗性查詢,追蹤候選召回率、nDCG 或 reciprocal rank,以及各階段 p95/p99 延遲。

  11. DEV Community63

    多租戶 RAG 向量搜尋的 metadata 過濾實測:低選擇率下後置過濾會回傳不足結果

    RecallRun 作者比較多租戶 RAG 的三種向量搜尋過濾方法,發現篩選條件與查詢內容無關時,後置過濾會隨選擇率下降而回傳不足結果。測試使用 100,000 個向量;在內容無關的分佈中,選擇率為 1% 時抓取前 100 個結果,後置過濾平均只保留 1.9 個,而選擇率為 0.1% 時圖內過濾延遲為 74.22 ms。

  12. DEV Community47

    為作品集 AI 助手建立個人知識圖譜

    作品集 AI 助手應以人物、項目、技術、角色、成果和來源構成小型本體,將作品集建模為附有證據的聲明。圖譜檢索適用於關係問題,向量檢索則用於語義相似度;回答須附來源,資料不足時拒答,並只索引可公開內容。評估應涵蓋實體解析、證據召回、引文正確性、無根據聲明比例、拒答質素及延遲。

  13. DEV Community31

    AI 現在能回答任何面試問題,我們因此為銷售通話打造即時助手

    作者團隊打造供銷售通話使用的即時 AI 助手,並明確表示不應用於面試。本機 C++ AI 智能體擷取通話音訊,由 Deepgram 即時轉錄,再把文字及相關知識庫內容傳送至雲端 LLM,於通話期間顯示提示;每家公司知識庫約有 100 頁文字。團隊仍在處理延遲、提示相關性,以及是否向通話另一方披露使用助手等問題。

10月15日週四
  1. DEV Community60

    用約 80 行 Python 在自有文件上評估 Anthropic 的 Contextual Retrieval 分塊前綴方法

    Gabriel Anhaia 提供約 80 行 Python 程式,讓用戶以自己的文件和 30 條人工標註問題,比較加入上下文前綴前後的 RAG recall@5。程式以 Claude Haiku 5.5 為分塊生成上下文,並結合 text-embedding-3-small 向量搜尋與 BM25;作者亦説明提示詞快取如何減少重複傳送文件的成本,以及標註和解讀結果時的注意事項。

  2. DEV Community44

    I Built a Faceless Video Factory That Remembers Which Content Pays

    Faceless Video Factory 是一套本地優先的影片製作流程,透過 Backboard 持久記憶記錄營收結果,並據此選擇下一條影片的主題。示範中,冷啟動時沒有回憶到資料;暖啟動時回憶到 4 條事實,並轉向曾帶來 $61.30 營收的主題。影片腳本由本機 llama.cpp 執行的開放權重 qwen 模型生成,Backboard Memory + RAG 是唯一雲端呼叫。

  3. DEV Community31

    AI 應用程式開發:打造 AI 驅動應用程式的完整指南

    開發 AI 應用程式須先界定問題與實際用途,再選擇技術、管理數據,並規劃系統在真實環境中的可靠運作。常見類型包括生成式 AI、聊天機械人、預測式 AI 和電腦視覺,可用於內容生成、預測及圖像影片辨識等任務。應用成效亦取決於數據質素、介面設計、回應速度、存取權限和風險控制。

  4. DEV Community57

    如何打造不受污染的 Agent 記憶架構

    文章提出以三層結構管理 Agent 記憶,分為已驗證事實、人工批准的決策,以及登出後清除的短期暫存。作者建議為各層設定 TTL、來源標記和讀取排序,並以跨工作階段的 poisoning suite 測試錯誤資訊是否洩漏。

  5. DEV Community31

    W2 Dev Challenge - MUNHelper

    MUNHelper 是為模擬聯合國代表設計的 ECOSOC 決議研究助理,透過 RAG 和開放權重 LLM 搜尋決議,並提供附有上下文引文的回答。它支援語義搜尋、更新決議文件及透過 Ollama 本機推理,讓用戶可在離線環境查找資料。作者測試指出,工具減少了翻閲 PDF 檔案的時間,並可在沒有流動網絡的模擬會議中使用。

  6. DEV Community50

    如何防止 AI 重複犯錯:從持久規則到自動驗證

    防止 AI 重複犯錯的做法,是把單次更正轉成可重用規則,並配合錯誤記錄、檢索及驗證流程。規則可存入專案指示、系統提示詞、持久記憶或版本控制設定,再透過 RAG 檢索相關內容;軟件任務則可用測試、型別檢查及回歸測試偵測問題。文章指出,微調通常不是開發者的最佳起點,也不能取代外部記憶、最新資訊或執行時驗證。

  7. DEV Community40

    When LLMs Outsmart Their Manuals: Version Conflict Detection in Trading Agents

    一個 LLM 交易智能體在處理交易訊號時,發現 RAG 知識庫記載的子帳戶上限與即時系統設定不符,遂優先採用較新的 v0.32.436 設定,將上限定為 2,而非知識庫所列的 3。文章説明如何透過注入即時 metadata、提示詞交叉核對版本,以及必要時呼叫工具取得設定,協助智能體處理過時資料。

  8. DEV Community60

    綠色勾號並不可靠:Cron 工作、工作程序與無聲 Web API 的後端錯誤追蹤

    文章提出一套適用於 Cron 工作、工作程序和 Web API 的錯誤追蹤設計,分開監測任務是否啟動、是否完成、是否拋出例外,以及結果是否符合應用程式合約。排程期限監測、完成訊號、例外事件和 schema 或 domain assertion 各自對應不同失效情況,並可用 run ID 串連。

10月14日週三
  1. Unite.AI32

    甚麼是 Hybrid Search?結合關鍵字與向量改善檢索

    Hybrid Search 結合詞彙匹配與向量相似度,令檢索既能匹配精確詞項,也能識別語義等價內容。其流程包括關鍵字或稀疏檢索、密集向量檢索、分數或排名正規化、合併候選清單,以及重新排序和篩選。只用 BM25 或嵌入向量作為唯一訊號,並不能呈現這種混合檢索的運作方式。