Knowledge Pipeline 插件生態:Dify 邀請全球夥伴共建企業級 RAG
Dify 邀請具備數據處理專長的全球夥伴加入 Knowledge Pipeline 插件生態,共建企業級 RAG。開放式插件架構涵蓋連接器、數據匯入處理及儲存,讓企業按需要組合工具。Dify 開源版下載次數超過 2.4M,雲端服務覆蓋 120 多個國家和地區。
Dify 邀請具備數據處理專長的全球夥伴加入 Knowledge Pipeline 插件生態,共建企業級 RAG。開放式插件架構涵蓋連接器、數據匯入處理及儲存,讓企業按需要組合工具。Dify 開源版下載次數超過 2.4M,雲端服務覆蓋 120 多個國家和地區。
Dify 強調可靠的視覺化智能體工作流程,主張以工作流程協調智能體、模型與人類協作,而非依賴單一智能體處理所有任務。Dify 過去兩年一直建構開源、適合投入生產的 AI 平台,讓用戶由簡單工作流程逐步擴展至複雜邏輯。
Dify Marketplace 現已提供 Tavily 數據來源插件,讓用戶將即時網絡資料擷取並嵌入知識管道,以提升資料準確度並保持內容更新。Dify 示範以 Tavily 擷取説明文件、生成問答對並存入知識庫,供聊天機械人、智能體及工作流程等 Dify 應用使用。
Bright Data 的 Web Scraper 插件上架 Dify Marketplace,可把網絡上的即時結構化資訊接入 Dify Knowledge Pipeline,作為數據來源豐富知識內容。Dify Marketplace 現有 500+ 插件;用戶可安裝插件、設定 Bright Data 帳戶及 API key,並在 Dify 建立 Knowledge Pipeline。
Dify 原生整合以 Rust 構建的向量資料庫 Qdrant,為 AI 及知識型應用提供低延遲檢索、混合搜尋和可擴展效能。開發者可在 Dify 開源社羣版設定 Qdrant 作為向量儲存,並透過一次 API 呼叫實現混合搜尋。
Dify 的 Knowledge Pipeline 正式整合 TiDB Vector,讓處理後的知識可供下游 AI 應用重用,並以分散式向量儲存支援大規模檢索。TiDB Vector 支援 SQL 與向量混合搜尋,可先用 SQL 篩選結構化中繼資料,再進行語義檢索。開發者可透過 Knowledge Node 擷取知識庫內容,為 LLM 提供上下文。
Dify透過 Agent Node 工作流程實現 Agentic RAG,讓智能體分析用戶意圖、選擇工具和資料來源、改寫搜尋查詢,並評估檢索結果後重試或改用其他策略。這種迭代方式有助提升答案的依據和可靠性,但亦會增加延遲、成本和整體複雜度。
Dify 知識庫自 v1.11.0 起支援多模態檢索,可在 Workflow 應用中共同理解、檢索和使用文字與圖片。系統將圖片和文字放入統一語義空間,支援 Image-to-Text、Text-to-Image 和 Image-to-Image 檢索,並可從 Markdown 連結提取 JPG、PNG、GIF 圖片,大小上限為 2MB。
Dify 分享在 NVIDIA DGX Spark 上部署私有 AI Agent 的流程,透過本地模型推理服務連接 Dify,讓資料輸入、模型推理及應用輸出留在本地環境。文章列出 Docker、Dify 與 TensorRT-LLM 的部署設定,並説明如何連接模型、建立工作流及正式部署應用。
Dify 可將 InfraNodus GraphRAG 接入外部知識庫,供工作流程查詢圖譜中的語義匹配內容及概念關係。設定檢索時,建議將 Top K 設為 10、Score Threshold 設為 0.3;如只要直接匹配結果,則可保留預設的 0.5。
Dify 1.12.0 引入 Summary Index,為知識庫的每個分塊加入摘要欄位;摘要匹配時,系統會一併檢索共享相同或語義相近摘要的分塊。用戶可手動編輯摘要或透過 Service API 匯入;Community Edition 支援自動生成,Workflows 的 Knowledge Retrieval 節點亦可使用 Summary Index。
Dify 提出一套為工作流程設計 LLM 應用提示詞的方法,強調輸出要可重複、以提供的上下文為根據,並採用一致格式。方法建議把固定規則放在 system prompt,將每次輸入放在 user prompt,並以證據要求和 JSON schema 約束輸出。Dify 的視覺化工作流程建構器、企業級基礎設施、知識來源整合及 RAG pipelines,則用於在工作流程中實踐這套提示詞設計。
Dify 支援用戶建立 AI 應用,涵蓋聊天機械人、Agent、文字生成器、Workflow 及 Chatflow,並可選用不同模型供應商。Dify cloud 提供 200 個免費訊息額度,供用戶試用 OpenAI、Anthropic(Claude)、Google(Gemini)及 xAI(Grok)。
企業 AI 概念驗證往往卡在示範可行與日常、可靠、大規模投入業務運作之間,因為它們通常只為展示而建,未按正式運行要求設計。文章提出將 AI 工作流程投入正式環境的五階段框架,重點包括從一開始便兼顧可運行性、分離業務邏輯與技術實作,以及以機構知識支援工作流程。
Dify 以 LLM 編排平台協助行銷團隊把提示詞轉為可重複執行的 AI 工作流程,並在流程中串接模型、知識庫、外部 API、邏輯步驟及人工審核。文中列出多渠道內容生成、潛在客戶評分與分流,以及行銷知識庫三種應用。Dify 適合需要依既定步驟和邏輯執行的自動化,聊天助手則適合一次性任務。
Dify 在 Marketplace 上推出 MongoDB Atlas 和 Voyage AI 兩款插件,讓用戶在工作流程和 Agent 中直接連接 MongoDB 數據,並進行語義檢索及結果重排序。MongoDB RAG 範本展示了以 Voyage AI 將查詢轉為嵌入向量、透過 Atlas Vector Search 搜尋文件,再以 Voyage AI 重排序的流程。
企業 IT 團隊應把重點放在建構可管理的 AI 應用,而非從零打造底層平台,並由現成平台提供共用基建。2025 年有 42% 的企業放棄大部分 AI 項目,平均有 46% 的概念驗證未能進入生產階段。Dify Cloud 提供 LLM、內置 RAG、視覺化工作流程及可觀測性,並設有免費 Sandbox tier。
Dify 的入門指南示範如何匯入文件建立知識庫,設定分塊、索引與檢索方式,再連接至「Chat with Your Documents」模板。指南建議採用 General 分塊、High Quality 索引及 Vector Search,並以 OpenAI 的 text-embedding-3-small 作為嵌入模型的入門選擇。
Chroma Research 評估在嵌入向量上套用線性轉換,以提升檢索準確度的做法。只調整查詢嵌入向量,使用最少 1,500 組已標註的查詢與文件配對,檢索準確度較單獨使用預訓練嵌入模型最高提升 70%。從未標註為相關的文件中隨機抽取負面例子已足以達成改善,有助降低標註成本。
Chroma Research 提出以 token 為單位評估 AI 檢索表現的方法,並用生成及篩選所得的查詢與相關摘錄,按 precision、recall 和 intersection-over-union 衡量檢索結果。
Chroma Research 提出一套生成式基準測試方法,先篩選與用戶情境相關的文件,再根據情境和範例查詢生成測試查詢,以評估檢索系統。研究在 9 個公開數據集及 Weights and Biases 的 WandBot 生產資料上測試,生成查詢大致保留嵌入模型的相對排名;在 WandBot 案例中,相關檢索指標亦較接近真實查詢。團隊並提供完整程式碼,供用戶為自己的數據建立基準。
Chroma 訓練並公開 Context-1,一個以超過 8,000 項合成任務訓練的 20B 參數搜尋智能體,模型權重採 Apache 2.0 授權。Context-1 會把高層問題拆成子查詢並多輪搜尋,按相關性修剪檢索內容;研究稱其檢索表現可與前沿模型相比,推理速度最高可達 10x,成本較低。Chroma 亦公開合成任務生成流程的完整程式碼,以支援重現和後續研究。
這份技術指南説明如何將檢索系統分為候選生成與相關性排序兩個階段,先提高召回率,再提升精確度。指南以向量索引或 BM25 生成 Top-N 候選,經 LLM 重排序後選出 Top-k,並提出相關架構、延遲目標及評估指標。評估標準包括 200 條條款查詢的召回率至少 0.85、95 百分位延遲不高於 150 ms,以及 Precision@k 至少 0.78。
文章以 Go 示範近似重複客服工單的三段式相似度閘門,將工單判為新工單、送交人工審核或重複項目。方案要求固定嵌入與正規化流程、限制候選集,並以標註樣本校準閾值;相似度只作排序訊號,不能證明工單描述同一事件。文章亦建議記錄版本、分數與審核結果,監察重複證據、不同事件覆蓋率及審核積壓,以免錯誤抑制影響檢索增強生成。
作者選擇以 Node.js 建構新聞監測檢索,結合持久向量索引與即時搜尋,並讓兩條路徑共用證據契約以保留可核查的引用。三項可觀測性檢查包括檢索召回率與精確率、引用覆蓋率,以及按檢索模式拆分的新鮮度延遲。
現代 AI 開發已不再只是調整提示詞,而是把 AI 整合到可擴展、具韌性的軟件系統中。文章指出,開發重點包括以 RAG、向量資料庫和上下文窗口管理做好上下文工程,以及建構能拆分任務、執行命令和重試的 AI 智能體。針對特定技術堆疊,經微調的小型開源模型也正成為選擇,可在本地或專用雲端執行。
生產環境中的 RAG 可透過 CDC、webhook 或輪詢偵測來源變更,再以增量索引、刪除標記及資料新鮮度 SLA 維持索引與來源同步。文件版本資料(source ID、checksum、timestamp 及 embedding model version)可用來判斷只更新 metadata、重新嵌入或重新分塊;還要監察同步延遲、刪除傳播、快取失效和故障恢復。
Node.js 向量搜尋應以請求級期限限制檢索時間、預留回應組裝時間,逾時時回退至詞彙檢索或相容快取,並明確標記降級狀態。可用 AbortController 取消向量呼叫,但需確認資料庫客戶端會遵從取消訊號;父請求取消時則應停止兩條檢索分支,而非回傳降級結果。文章建議分開監測期限耗盡、降級比例和延遲,並以人工評估查詢的召回率與資料新鮮度作為品質護欄。
ESTsoft 獲 Jeju Free International City Development Center(JDC)合約,為其建置內部生成式 AI 語言模型及業務支援平台。
Node.js 內部工程文件檢索應採用分階段架構,並把文件版本管理納入檢索契約,避免模型根據過時文件生成答案。流程分為變更正規化、限時檢索候選文件,以及按版本重新排序或篩選並附上來源脈絡;每個階段都設有請求時限、命中數上限及重試預算。移除的文件須明確標記刪除並移除其文本區塊,評估則應追蹤召回率、引文覆蓋率及選中舊版本答案的比率。
文章説明,RAG 知識庫的分塊邊界會影響檢索結果能否包含完整答案及足以支持引用的上下文。建議用同一組標註問題比較固定長度、標題感知,以及保留完整程序或表格的切分方式,並按生產環境實際返回結果數評估答案涵蓋率、引用充分性、重複結果率和索引大小。文章亦指出,改用向量服務本身不會修正不合適的切分策略。
在 6 GiB RTX 3060 Laptop GPU 上以 Ollama 比較 Qwen3 4B 和 0.6B,0.6B 的生成速度約快 3 倍,4B 則通過全部 6 項文件檢查,0.6B 通過 4 項。兩者的整張 GPU 峯值記憶體分別為 3.12 GiB 和 1.04 GiB;這是單一筆電上的探索性測試,不能據此判定整體準確度。
RAG 透過先從外部來源檢索相關資料,再交由 LLM 生成回答;文章亦説明這種架構的適用情況。文中拆解資料準備、檢索、分段、權限控制與評估等環節,指出 RAG 不保證檢索結果正確,也不會自動消除模型幻覺。作者檢視自己的教育應用後,決定先修正已知學生資料的上下文組裝,暫不加入文件檢索;改動的消耗、延遲、完整度和忠實度仍需透過對照案例評估。
旅遊行程規劃器應採用分階段檢索,明確指定資料集、限制查詢範圍,並按行程決策設定分塊邊界,讓答案連同可追溯的來源脈絡呈現。文章建議先以小型標註資料集測試,再投入正式環境;檢索單位應保留相關行程條件,避免把例外規定與其限制的時間表拆開。
排查 Go RAG 引用指向錯誤頁面的核心,是確認引用文字、位元組偏移量、頁碼及文件版本均來自同一次解析。文章建議由同一份解析結果產生分塊與引用中繼資料,驗證通過後再切換索引,並保留舊版本供回滾。每次更改解析器或分塊器後,應抽查十條引用,並核對文字雜湊值、來源頁碼及文件版本;檢索結果正確不代表引用座標正確。
文章建議以分階段檢索、明確集合和有界查詢,設計 Node.js 新聞監測服務的 RAG 合約,平衡爬取範圍、分塊與資料新鮮度,並讓變更告警保留可追溯來源。合約應回傳候選段落、穩定文件 ID、來源 URL 及租戶和存取中繼資料;檢索時先按租戶、文件時間及存取權限篩選,再把 URL、文件 ID、爬取時間和區塊位置附於告警。
Cohere 發佈企業檢索模型 Rerank 5,提供 Pro 與 Fast 兩個版本,並新增 Context Focus,從文件中定位相關文字段落。Rerank 5 Pro 在評估的 46 個複合數據集中有 39 個排名第一、43 個至少排名第二;Fast 面向對延遲和成本敏感的工作負載。
作者比較 GraphRAG 與 LLM Wiki 後認為,小規模知識庫可先採用 LLM Wiki,資料量大且關係複雜時則應考慮 GraphRAG。兩者都用 LLM 將原始資料蒸餾成較高層次的知識,但分別組織為按實體、關係和社羣構建的圖,以及按目錄、索引頁和文件連結組成的 Wiki。
作者比較 GraphRAG 與 LLM Wiki 兩類 LLM 知識庫,指出兩者都以 LLM 將原始資料蒸餾為更高層次的知識表示。兩者共同面對生成內容錯誤、知識過時、來源脈絡流失及難以按特定用途評估等問題。作者認為小規模起步可先選 LLM Wiki,因 Markdown 較易閲讀和修改;資料量大且關係複雜時,則應考慮 GraphRAG。
Node.js 醫療預約檢索指南建議,以單一回應時限約束檢索與重排,只處理期限內到達的證據,並在答案中保留來源 URL 或文件 ID。指南建議按問題意圖選取檢索路徑,只有預留時間足夠時才重試;遇 HTTP 429 時遵從 Retry-After 並採用指數退避。索引更新應以來源修訂版本為完成單位,移除已刪內容後才啟用新版本,避免過期資訊繼續被檢索。