跳到正文
10月21日週三
  1. DEV Community33

    檢驗索引檢索結果:12 題答對 10 題,以及每篇文章限取一個區塊的代價

    作者以 12 條問題測試包含 741 個區塊的索引,正確文章有 10 次排第一;兩個未命中案例中,一個可能是標籤過窄,另一個看來是真正的檢索失誤。每篇文章限取一個區塊,令正確文章進入前 5 名的次數由 10 次增至 12 次,但對已答對的問題,正確文章在前 5 名的區塊平均由 3.8 個減至 1 個。作者認為這是取捨而非修正,並提醒 12 題的結果只是粗略參考。

  2. DEV Community51

    提示詞注入攻擊解析:真實案例與防禦方法

    提示詞注入攻擊透過用戶輸入或檢索內容中的指令,誘使大語言模型偏離預期行為,並可能導致資料洩露或未授權操作。文章建議把外部內容視為資料而非指令,配合內容隔離、最小權限、政策檢查及高風險操作的人手審批。RAG、MCP 及智能體流程還應保留來源資訊、收窄權限並在伺服器端執行政策驗證,且在上線前及重大變更後進行濫用測試。

  3. DEV Community58

    ClearPath Security 詳解面向客戶聊天機械人的 AI 紅隊測試方法

    ClearPath Security 説明一套面向客戶聊天機械人的 AI 紅隊測試方法,涵蓋系統範圍、風險排序、受控測試和修復後重測。方法要求先界定使用渠道、資料來源、工具和信任邊界,再按資料外洩及未經授權操作等業務影響排列測試優先次序。測試應使用專用帳戶、完整記錄和回滾方案,並在模型、提示詞、RAG 資料或工具有重大變更後重測。

  4. DEV Community32

    從文件到答案:構建 RAG 系統的經驗

    RAG 系統先從文件中擷取文字、切分文本並建立嵌入向量,再以語義搜尋找出相關內容,交由語言模型根據文件資料生成答案。項目使用 all-MiniLM-L6-v2 產生 384 維嵌入向量,並以 ChromaDB 儲存資料;切分設定約為 220 個 token,每段重疊 45 個 token。實作經驗指出,檢索品質與生成同樣重要,各個處理環節都應獨立測試。

  5. DEV Community39

    RepairSloth:在更換之前先修理

    RepairSloth 是一款以本機運作為主的 AI 家電故障排查助理,讓用戶上載洗衣機照片並描述症狀,以取得附有佐證的故障排查指引。項目以 Ollama 在本機運行 Gemma 3 4B,並採用開源技術堆疊,讓用戶和開發者檢視及自訂排查流程。AI 建議只代表可能原因;電器工程、內部維修等危險工序應交由合資格技術人員處理。

  6. Hugging Face Blog62

    NVIDIA 擴展 Nemotron Retriever 系列,推出 Nemotron 3.5 Embed、Nemotron 3.5 Rerank 及 Nemotron 3.5 Parse

    NVIDIA 擴展 Nemotron Retriever 系列,推出可商用的開放模型 Nemotron 3.5 Embed、Nemotron 3.5 Rerank 及 Nemotron 3.5 Parse,涵蓋多模態檢索、重排及文件抽取。

    推薦理由:這次更新把多模態嵌入、重排與文件解析納入同一檢索系列,並列出多項基準與吞吐數據,呈現準確度和部署效率的取捨。

  7. DEV Community45

    GraphRAG 與 Vector RAG:企業多跳推理的成本效益

    GraphRAG 以較高的前期抽取成本,換取跨文件多跳推理及可追溯的來源脈絡;Vector RAG 則適合低風險的單文件查詢。GraphRAG 的圖譜抽取需要定期更新,會帶來持續成本,但社羣摘要可減少每次查詢的綜合成本。文章建議在企業架構中結合向量索引與知識圖譜,以應對需要跨越 3 個或以上跳轉的查詢。

  8. DEV Community57

    拒絕基準測試作弊:如何為企業建立 LLM 評估系統(LLM-as-a-Judge)

    企業 LLM 評估系統應涵蓋 LLM-as-a-Judge 偏差、RAG 指標計算及非確定性系統的回歸檢查。文中建議對調 A/B 答案並採用不同架構的評審模型,另以 Faithfulness 和 Context Precision 衡量答案對上下文的忠實度及檢索排序。測試集可由 80% 合成案例與 20% 生產環境負面回饋紀錄組成;CI 回歸檢查則用配對任務、預設非劣效界限及信賴區間評估。

  9. DEV Community52

    深入剖析 AI Agent 架構如何由提示詞工程演進至循環工程

    文章梳理 AI Agent 工程由提示詞工程、上下文工程、Harness 工程演進至循環工程的四層控制架構。四層由外至內相互嵌套,分別處理任務生命週期、執行約束、資訊選取和指令表達;循環工程並要求設定可客觀判定的目標、獨立檢查、迭代上限、預算上限及無進展檢測。文章亦把常見故障症狀對應至可能出問題的層級及建議處理方式。

  10. DEV Community67

    把 LLM 智能體視作新入職銀行櫃員,套用金融系統安全控制

    配備工具的 LLM 智能體應像新入職銀行櫃員一樣採用金融系統的安全控制,而不是隻依賴提示詞。文章列出五項做法:在模型外以程式碼閘門控制工具權限和不可逆操作的人手批准,將檢索內容標為不可信、記錄所有工具調用、檢查調用頻率,並按租戶限制資料庫憑證。作者指出,閘門可能配置錯誤、模型可能無視分隔標記,租戶範圍憑證亦需管理,因此這並非已解決的安全問題。

  11. DEV Community47

    為何 AI 專案在原型與正式環境之間失敗

    不少 AI 專案由原型邁向正式環境時會失敗,問題往往不在模型,而在令模型於真實應用中可靠運作所需的工程工作。資料品質、評估不足、整合故障、效能與成本、安全漏洞及監控缺失,都可能令系統無法符合實際要求。要降低失敗風險,應把 AI 視為完整的軟件系統,而非只把模型連接到 API。

  12. DEV Community64

    QA 工程師如何測試 LLM 應用:實用測試案例

    QA 工程師測試 LLM 應用時,應結合傳統功能檢查與針對 AI 行為的測試,涵蓋答案準確度、對話上下文、提示詞注入防護、回應一致性及 JSON 格式驗證。測試 RAG 應用時,還要核對檢索文件是否支持生成內容、是否遵守存取權限,並以代表性提示詞建立回歸測試;高風險情境可加入人工審核。

  13. DEV Community50

    電商工程文件檢索索引的刪除語義解析

    電商工程文件檢索應分開管理文件生命週期與向量索引,刪除時同步移除可搜尋的向量,並在來源系統保留刪除標記。文章建議以版本檢查避免舊同步任務恢復已刪內容,並在新版本可搜尋後再移除舊向量。驗證時應在刪除情境下測試小型標註問題集,同時監測相關性與 p95 延遲。

  14. DEV Community55

    線上課程導師的檢索架構:發布檢查清單

    文章提出線上課程導師應採用分階段檢索架構,發布前分別驗證內容攝取、檢索和引用,並確保租戶存取權限資料貫穿整個流程。架構要求查詢設限、內容版本可追溯,並測試課程更新、刪除及無權限用戶不會取得私人內容。評估時應分開記錄 k=5 和 k=10 的來源召回率、引用精確度、p50/p95 階段延遲及正確拒答比例。

  15. DEV Community48

    訓練管線問題:虛假主張很容易被用來訓練語言模型

    語言模型訓練管線可能把反覆轉載、缺乏獨立支持的統計數字學成可信説法,並在日後以既定事實的口吻重現。資料收集、去重、品質篩選、指令微調、偏好最佳化及檢索等環節都可能保留或放大風險,重複出現並不構成獨立佐證。評估應測試主張歸因、信心校準、來源變化對答案的影響,以及模型在證據不足時能否表達不確定。

  16. DEV Community42

    Ruflo:面向智能工作流程的 Agent 元框架

    Ruflo 是 ruvnet 開發、專為 Claude Code 和 Codex 設計的 Agent 元框架,旨在協調多個 AI Agent 與自主工作流程。其功能包括自適應記憶、自我學習、聯邦架構及 Vector RAG 整合。核心功能須使用 Claude Code 2.1.287 或更新版本,安裝設定較繁複,社羣討論亦指出 witness signatures 驗證失敗問題。

  17. DEV Community54

    醫療預約助理在檢索負載下的有據故障恢復手冊

    醫療預約助理應在檢索故障時輸出可核實的處置結果,而非讓模型生成更流暢的猜測。方法要求每段檢索內容保留來源識別碼及修訂時間,只在固定期限內重試冪等讀取,並在證據缺失、過時或矛盾時改為澄清或轉交處理。文章亦建議以空結果、過時版本、逾時及規則衝突建立重播測試,並監察引文覆蓋率、轉交率和來源過時率。

  18. DEV Community58

    為何多個部門共用 AI 伺服器時,單靠資料列隔離並不足夠

    文章指出,企業多個部門共用 AI 伺服器時,tenant_id 欄位及查詢過濾只控制存取,不能單獨保證資料隔離。作者建議在儲存、向量索引、模型上下文、憑證及日誌等層面採用部門專屬命名空間;快取或除錯工具漏套過濾時,資料可能跨部門流出。共享硬件可共用閒置率高的 GPU,但主機作業系統或 hypervisor 遭入侵仍會形成共同風險;有監管或密級要求的工作負載則需實體分隔。

  19. DEV Community67

    先分類再建立嵌入向量:RAG 管線忽略的存取控制問題

    作者指出,企業 RAG 系統若先把文件切分並建立嵌入向量、之後才處理權限,可能令用戶無權讀取的資料進入模型上下文。作者建議在匯入前盤點來源權限並保留來源資訊,於文本區塊層級分類敏感度,再在向量搜尋與上下文組裝之間加入硬性權限過濾。作者亦指出,來源文件經摘要、翻譯等轉換後,敏感度標籤應如何承襲仍未有明確做法。

  20. HuggingFace Daily Papers(社區熱門論文)38

    用於檢索增強大語言模型搜尋狀態感知的自我評估強化學習

    Self-Assessment Reinforcement Learning(SARL)讓模型在訓練期間識別搜尋狀態、改善搜尋行為,無須在推理時額外評估。雙重獎勵設計鼓勵有效而高效的搜尋軌跡,SARL 較最強基線相對提升 24.3%,在多跳推理及深度研究基準上平均分別提升 35.9% 和 27.9%。作為獨立強化學習框架,SARL 在延長搜尋過程中仍能保持訓練穩定。

  21. AWS Machine Learning Blog62

    Octave 如何在 Amazon Bedrock 上打造安全的多租戶 AI 基礎平台

    Octave 為 Reliance 在 Amazon Bedrock 上建立三層多租戶 AI 基礎平台,以支援受監管產業的文件搜尋與 AI 工作流程。平台採用 Cohere Embed v4,並以每租戶向量儲存、AgentCore 隔離執行環境及 Amazon Bedrock Guardrails 分層控制資料存取與內容風險。

    推薦理由:文章拆解多租戶合規場景中的隔離、身份與內容安全取捨,並呈現如何把共用基礎設施轉化為可重用的 AI 功能底座。

10月20日週二
  1. DEV Community30

    LLM 與 RAG 實作:PDF 文件檢索流程

    這份 RAG 實作以 LangChain 處理 PDF 文件載入、清理、分塊及向量化,建立向量資料庫供檢索並生成回答。分塊設定為 chunk_size=1000、chunk_overlap=150;嵌入使用本機 Ollama 的 nomic-embed-text,回答則由 Groq 的 gpt-oss-120b 處理。掃描版 PDF 需要使用 OCR。

  2. DEV Community34

    透過 Novu 將多渠道通知工作流程匯入 Cognee 知識圖譜

    Novu 社羣連接器 cognee-community-connector-novu 設計以 dlt 將通知中繼資料同步至 Cognee 知識圖譜。資料涵蓋工作流程、主題、通知羣組及供應商整合,支援知識圖譜和語意搜尋。連接器以 SHA-256 指紋識別變更,並設計刪除標記和憑證遮蔽;下游清理取決於所配置的匯入及清理機制。

  3. DEV Community65

    RAG 聊天機械人為何忽略你設定的規則

    文章指出,RAG 聊天機械人可能因檢索沒有把規則送入模型上下文,令模型在相關問題上無法依照規則回答。作者建議把每次都必須提供的規則、價格等內容固定加入上下文,再以 BM25 按問題篩選其餘內容;對數百個段落的知識庫,BM25 無需模型、向量資料庫或 API 呼叫。

  4. DEV Community36

    Inside AI Search #4:問答系統

    Quasiris 説明 AI 搜尋中的問答系統如何理解問題、檢索及評估資料,再生成附有來源、可追溯的答案。企業問題可能需要跨文件多輪搜尋;資料不足時,系統亦應明確表示無法確認,以免產生模型幻覺。Microsoft Research 的 AgenticRAG 在 FinanceBench 的答案正確率為 92%,較可直接取得正確佐證的情境低 2 個百分點。

  5. Unite.AI46

    企業 AI 要獲得自主權,必須先建立累積業務脈絡

    企業 AI 要可靠地承擔自主工作,必須先建立累積業務脈絡,理解數據定義、關係、假設、流程和決策。單靠按需檢索無法形成組織記憶,業務脈絡亦須可治理、修正及追溯來源。Stanford 2026 AI Index 指出,2025 年有 88% 受訪機構使用 AI,但幾乎所有業務職能的 AI 智能體部署率仍為個位數。

  6. DEV Community20

    Terms - AI ( PhD )

    LangChain 是協助開發者連接大語言模型與外部資料庫、API 及工具的開源協調框架;AI Agent 能使用工具並循環執行步驟以達成目標,生成式 AI 則根據提示詞產生文字、程式碼或答案。Ollama 可在電腦或伺服器上管理及執行 LLaMA 和 Qwen 模型。項目計劃以檢索增強生成(RAG)技術建構大語言模型,回答 ABC portal 上有關通函及 RBC 手冊的查詢。

  7. DEV Community56

    如何為網頁抓取的 RAG 內容進行結構感知分塊

    網頁抓取文件的 RAG 分塊應先按結構切分,再用 tokenizer 處理超出模型輸入上限的區段,並把標題路徑保留為 metadata。文中提供一段保留 fenced code 的標準程式庫範例,並建議以 10–30 條真實文件任務查詢,在相同頁面、embedding model、索引設定和問題下比較策略。