跳到正文
10月23日週五
  1. DEV Community52

    法律合約審閲工作區如何在索引成本壓力下復原檢索故障

    作者提出法律合約審閲工作區的檢索故障復原方案,將工作分階段並限制重播範圍,只重播受影響的合約區塊。方案以租戶、文件識別碼、版本和區塊位置建立穩定身份,並記錄集合、授權脈絡及來源識別碼;遇到 HTTP 429 時按 Retry-After 延遲重試,且不得無聲擴大至其他租戶或版本。

  2. DEV Community60

    網頁抓取與嵌入向量流程:端到端構建可引用的頁面變更提醒

    文章拆解一套媒體市場研究用的網頁抓取與嵌入向量流程,分成五個可獨立重試的階段,並以來源 URL 支援可追溯的變更提醒。五個階段依次為頁面發現、URL 去重、抓取、分塊與嵌入,以及向量寫入;600 個頁面的示例中,只有 55 個頁面到達向量索引環節,作者註明數字僅供説明,並非基準測試。流程要求為索引記錄保留來源 URL 和內容雜湊,索引確認寫入後才更新頁面狀態,並以冪等鍵避免重複提醒。

  3. DEV Community54

    AI 智能體測試實用指南:如何評估可靠性、工具使用與模型幻覺

    這份 AI 智能體測試指南説明如何驗證智能體的任務結果、工具執行及安全行為,而非只檢查最終回覆。指南列出 7 個測試面向,並提出定義預期行為、建立代表性測試集、檢查執行軌跡及重複回歸測試等流程。它建議以明確通過標準、確定性檢查和系統紀錄核實關鍵結果,並在部署後持續監察。

  4. DEV Community59

    LLM 回應緩慢時,GPU 未必是問題所在

    Ahmed Adawy提出一套診斷生產環境 AI 系統延遲的方法,建議先找出請求在哪些環節耗時,再考慮調整硬件或模型。他建議記錄檢索、模型首段內容及串流轉發等階段,並按模型、輸入長度和版本等維度比較追蹤資料。文中的檢索設定案例使用虛構數字;作者建議在控制模型等條件下進行對照測試,同時評估延遲和答案質素。

  5. DEV Community58

    Node.js 多租戶支援中心檢索:3 項引用檢查及其原因

    文章建議多租戶 SaaS 支援中心將持久化索引與即時查詢分開,並在排序前套用租戶中繼資料篩選,讓每個答案可追溯至租戶範圍內的來源。定期更新的文章適合持久化向量索引,即時更新要求高的內容可採用即時搜尋或擷取;頻繁重建索引會增加索引及嵌入向量工作,即時檢索則會增加請求延遲和依賴。文中提供程式檢查引用的租戶、文件和內容區塊是否與同一租戶實際返回的結果相符,並建議記錄各檢索階段的事件。

  6. AWS Machine Learning Blog48

    IskayPet 如何透過 Amazon Bedrock Managed Knowledge Bases 整合企業知識

    IskayPet 以 Amazon Bedrock Managed Knowledge Bases 建立企業知識助理,整合分散於 SharePoint 的營運資料,讓員工以自然語言查詢。助理支援四種語言及三個國家,按文件權限檢索並提供來源引用;託管 RAG 免除自行管理向量資料庫、嵌入向量及資料擷取流程。團隊使用 Kiro 和 Claude Haiku 4.5 建構整套方案。

  7. DEV Community58

    線上課程導師檢索架構:索引成本與方案選擇

    作者提出線上課程導師採用分階段檢索架構,將資料匯入、查詢及引用分開,透過明確集合、查詢上限和可追溯來源,讓索引成本與答案品質可被檢查。查詢最多返回 8 個片段,並為每項資料保留租戶、課程、報讀範圍、課堂和來源位置等中繼資料,再以召回率、精確率及引用覆蓋率評估檢索。

  8. n8n Blog50

    n8n 指南介紹 AI 智能體工作流的幻覺檢測方法

    n8n 的指南介紹如何在 AI 智能體工作流中分層檢測模型幻覺,並根據檢查結果安排後續處理。方法包括核對回答是否受上下文支持、對照權威外部來源,以及利用自我一致性和語義熵識別需要進一步審查的輸出。n8n 工作流可將可疑結果送往額外驗證、重試、錯誤處理流程或人工審核,執行記錄則有助追查模型輸入、檢索內容和後續操作。

10月22日週四
  1. DEV Community55

    AI 安全訓練平台評估指南:先測評分器

    評估 AI 安全訓練平台時,應先測試挑戰評分器會否在未完成攻擊時仍給分,再確認 Medium 與 Hard 是否採用不同防禦,而非只加長系統提示詞。文章以 AI Training Dojo 為例,指每個挑戰均為每位用戶配置獨有 secret token,並建議檢查平台是否提供 RAG 和工具調用實驗室。可遷移的是技巧類型而非提示詞字串,作者建議在自家 staging endpoint 重複測試。

  2. DEV Community60

    Go 微服務如何在工具邊界清理 LLM 驅動的函式呼叫以防範提示詞注入

    文章説明 Go 微服務如何在 LLM 工具分派邊界防範間接提示詞注入,透過明確的工具白名單、參數約束和會話權限檢查控制函式執行。注入指令可能藏於 RAG 檢索片段、資料庫資料或工具回應;文章建議在內容加入模型上下文前先清理或加上分隔標記,並在每個工具邊界重新驗證參數。派送日誌應記錄參數雜湊而非原始值,並監察異常工具呼叫。

  3. HuggingFace Daily Papers(社區熱門論文)51

    LASAGNA 評估 RAG 組合效果,發現單項技術收益難以預測整體表現

    LASAGNA 研究以開源框架評估不同規模的 RAG 流程,發現單項技術的收益未必能預測組合後的檢索品質、答案忠實度或大語料表現。研究測試 8 個基準上的 450 種配置,涵蓋 5K 至 200K 份文件;三種檢索技術預計組合提升 +47%,實際合用僅提升 +17%。研究亦發現,提升檢索品質與答案忠實度可能需要不同組合,且最佳組合會隨語料規模改變。

  4. MIT Technology Review · AI39

    AI 推理隱藏的儲存成本:推理會留下甚麼

    AI 推理會持續留下後端數據,令儲存成本隨推理規模增加,卻常在基建規劃中被忽略。WD 的內部測量顯示,一段 8 秒、以 3.97MB 720p 檔案交付的影片,在後端留下逾 500MB 數據,是輸出檔案大小的 130 倍。企業需按 AI 數據生命週期規劃儲存,兼顧效能、容量及總持有成本。

  5. Dify Blog31

    文本嵌入向量:基本概念與實作原理

    Embedding 將文字語義轉成多維浮點向量,向量間距可反映語義相似度,並支援搜尋、推薦、分類及聚類。OpenAI 的 text-embedding-ada-002 輸出 1536 維向量;文章亦説明以 Embedding 建立本地知識問答系統的流程,包括準備資料、分塊、向量化及儲存。文中列出 GPT-3.5 的 token 上限為 4K,GPT-4 則為 32K。

  6. Dify Blog45

    Dify.AI 整合 Jina AI 的 Embedding 模型

    Dify.AI 將 Jina Embeddings 模型整合至 Dify 平台,讓用戶可在 RAG 應用中使用 jina-embeddings-v2。該模型支援 8,192 tokens 上下文,文章指出,多數開源模型只支援 512 tokens。Jina Embeddings 可在 Dify Cloud 和 Community Edition 使用。

  7. Dify Blog51

    Dify v0.6.11 整合 Firecrawl,將網站資料接入知識庫

    Dify 發佈 v0.6.11,整合 Firecrawl 作為知識庫的網頁資料來源,可擷取網站並將資料處理後嵌入向量資料庫,供 RAG 應用使用。用戶可設定子頁數量、爬取深度及路徑篩選;Firecrawl 雲端版提供 500 free credits(pages),亦有可自行部署並支援無限爬取及抓取的 OSS 版本。

  8. Dify Blog60

    Dify 推出 Plugins 測試版插件系統

    Dify 宣佈以 beta 形式推出 Plugins,讓用戶透過插件為 AI 應用接入模型、工具、Agent 策略及外部服務。插件由五類核心組件構成,採用可獨立開發、部署和維護的套件架構,並支援 Marketplace 分發及本地調試。beta 測試雲端環境不可用於正式環境,所有測試資料會在正式發布前重設。

  9. Dify Blog52

    Dify v1.1.0 推出以自訂中繼資料篩選知識檢索的功能

    Dify 發佈 v1.1.0,加入以自訂中繼資料篩選知識檢索的功能,讓用戶按文件屬性篩選知識庫內容。中繼資料支援字串、數值及時間三種類型,篩選條件可自動從用戶查詢生成,亦可手動設定並以 And 或 OR 組合。此功能可用於提高檢索相關性及管理資料存取權限。

  10. Dify Blog54

    Dify 聊天機械人整合 InfraNodus 的進階問答與創意生成指南

    Dify 教學示範如何把 InfraNodus 接入聊天機械人,從知識圖譜的結構缺口生成問題,並將問題納入問答工作流。問答可選用 InfraNodus GraphRAG,或由 InfraNodus 生成問題、再交由 Dify 原生 RAG 檢索內容並生成回答;文章説明圖譜整理、HTTP Request 節點和工作流測試部署。生成的問題亦可用作對話開場、內容探索或 AI Agent 腦力激盪提示。

  11. Dify Blog37

    Dify 2025 年夏季更新亮點

    Dify 在 v1.7–v1.8 推出夏季更新,加入工具 OAuth 授權、工作流程改進,以及 LLM 節點提示詞優化和 Code 節點自動修復。更新亦支援多組 API keys、工作流程輸入預設值及更準確的 token 用量統計,並提升執行速度與穩定性。Dify 計劃推出視覺化 RAG 數據處理流程,支援文字、圖片和表格等多模態資料。