跳到正文
10月26日週一
  1. DEV Community46

    Node.js 產品支援的語義搜尋:為混亂目錄維持穩定的聊天 API 契約

    Node.js 產品支援聊天機械人應先呼叫 embeddings 進行語義搜尋,再把租戶範圍內的匹配記錄交給 /v1/chat/completions 生成回答。租戶篩選、檢索儲存及用量記錄應由應用程式管理,模型不應決定用戶可查看哪些資料。Infrai 提供跨 20 個模組、295 個路由的單一金鑰及單一帳單方案。

  2. DEV Community55

    Node.js 廉價 LLM 文字分類 API 解説:租戶、文件、檢索與生成四個邊界

    文章指出,Node.js 廉價 LLM 文字分類 API 處理物流 CSV 時,成本應按可追蹤的檢索作業核算,並劃分租戶、文件、檢索及生成四個邊界。建議按階段記錄 token、位元組數及狀態,以冪等重試避免重複計費,並讓例行遙測不保留原始物流文字;抽樣追蹤不可取代作業帳本。

  3. DEV Community47

    臨牀智能體系統的 Evidence-Aware RAG 評估:為何標註覆蓋率決定檢索評分

    臨牀 AI 團隊指出,RAG 檢索評分不只反映檢索器質素,也受相關證據的標註覆蓋率影響,並提出區分標註覆蓋率與系統質素的評估方案。測試中,18 個查詢的證據跨度由 25 增至 37、chunk 目標由 36 增至 51,檢索結果不變,Recall@3 維持 0.94。團隊建議追蹤標註覆蓋率,並分辨檢索失敗、標註缺口與語料證據不足。

  4. DEV Community63

    上下文工程:提示詞工程演變出的工作範疇

    上下文工程是按每次請求控制模型可見資訊的工作,涵蓋指示、檢索知識、記憶、工具結果及對話狀態;提示詞工程則只處理指示措辭。文章建議為各資訊來源設定預算、先做權限過濾並記錄來源;智能體則應把任務狀態保存在模型以外,每一步重新組合上下文,避免工具結果不斷累積。

  5. DEV Community44

    以 Node.js 建構 8 個生產級網頁爬蟲及 Manifest V3 瀏覽器擴充功能

    作者以 Node.js 建成並發布 8 個雲端爬蟲,以及兩款跨瀏覽器 Manifest V3 擴充功能。爬蟲結合 Crawlee 的 CheerioCrawler、平台 JSON 端點及正則表達式 DOM 解析器,可將記憶體開銷和執行成本降低超過 85%。8 個爬蟲已上架 Apify Store,兩款擴充功能則已在 Mozilla Add-ons Store 發布。

  6. DEV Community43

    開發者應瞭解的 10 個實用 LLM 應用場景

    開發者正把 LLM 用於自動化重複工作、構建智能應用、分析非結構化資料,以及建立可與實際系統互動的 AI agents。10 個實用場景包括程式編寫助手、文件 RAG 搜尋、自動化代碼審查與測試、自然語言轉 SQL、文件資料抽取、客戶支援自動化、多步驟工作流程及多語言本地化。要在正式環境可靠運作,須按場景選擇模型,並配合驗證、權限管理、測試及人工審核。

10月25日週日
  1. 阿里雲開發者社區 AI51

    700 億個數字裏,沒有一個寫着「貓」:模型的知識究竟存在哪裏?

    文章指出,大模型的知識並非對應某一個參數,而是分散編碼於多個參數的協同作用中。權重的實際貢獻取決於輸入,權重大小不能直接代表重要性,而偏置會影響神經元的激活門檻。研究曾把部分知識定位至 Transformer 前饋層及稀疏神經元,但定位不等於可解釋或可控;文章建議穩定背景知識可編入權重,易變事實則使用 RAG。

  2. DEV Community41

    ReplyLater:讓電郵收件箱在夜間整理,助你重拾私人時間

    ReplyLater 是一款以本機優先、開源的 AI 電郵協作工具,將未讀電郵整理成下週待辦,讓用戶稍後檢視分類結果和回覆草稿。它使用透過 Ollama 本機執行的 Gemma 2B,可分類電郵、擷取承諾及草擬回覆;遇到缺失資訊時會標示不確定性,而非自行編造答案。郵件內容用於推理時無須傳送至第三方模型 API,但私隱保障取決於實際部署和設定。

  3. DEV Community64

    RAG 答案出錯?先檢查檢索,再調整提示詞

    RAG 答案出錯時,應先確認正確資料是否已納入索引並出現在檢索結果,再判斷問題是否出在生成階段。指南建議記錄檢索到的分塊 ID、文字和分數,檢查索引內容與結果排名,最後才調整提示詞。另可用 10 至 20 條真實問題建立測試集,量度答案所在分塊是否出現在 top k 結果。

  4. DEV Community34

    企業 RAG 系統:實用實作指南

    這份實作指南説明如何建構、評估及部署生產級 RAG 流程,將大型語言模型連接至企業私有數據集。流程涵蓋文件處理、智能分塊、向量資料庫與嵌入模型選擇、混合搜尋及重新排序,並以 RAGAS 指標評估答案忠實度、相關性和上下文召回率。

  5. DEV Community50

    VEKTOR 2.0.2:LongMemEval 記憶基準測試結果

    VEKTOR 2.0.2 在 LongMemEval 的 120 題配對測試中取得 89.2%,高於前一版本的 84.2%;全數 500 題測試得分為 84.0%。團隊調整記憶召回數量及資料儲存方式,並以控制組和已答對題目樣本檢查測試結果。新增的「Remember when things happened」開關設於偏好設定面板。

  6. DEV Community39

    會逐漸瞭解你的個人 AI 助理

    文章示範如何透過 Ollama 在 MacBook 本機運行 llama3.2,建立免費、私密且快速的個人 AI 助理,並稱其達到 GPT-4 級別。文中列出 llama3.2、codellama、mistral、phi3 和 gemma2 等可用模型,作者表示已用這套技術建立 45 個免費、本機及開源工具。

  7. DEV Community44

    我的 RAG 分塊時間戳是 00:01:25,但首句實際在 00:00:56 説出

    一名 Apify Actor 開發者發現,啟用重疊分塊後,RAG 分塊的時間戳和字數仍按未加入重複內容的正文計算,導致時間戳晚於引文實際説出的時間。修正方法是先計算重疊引文,再設定分塊起始時間和字數,並加入 overlapChars 和 bodyStart 區分重複內容與新正文。程式亦調整重疊段落的選取方式,盡量在句子結尾切分,並限制向前回溯範圍。

  8. 阿里雲開發者社區 AI26

    AI 英語培訓智能體的開發技術

    AI 英語培訓智能體採用感知、大腦、行動三層架構,整合多模態輸入輸出、即時語音、教研知識檢索、長期記憶及多智能體協作。系統以教學狀態機規範教學流程,並設有主講教師、糾錯助教及評估測試智能體。開發流程涵蓋場景定義、文字對話驗證、語音與多模態整合,以及教研資料融合和系統優化。

  9. DEV Community47

    Knovum 0.0.2:以 Tauri 2、Vue 3 和 Rust 建構開源、本地優先的 AI 畫布

    Knovum 推出開源、本地優先的桌面 AI 知識工作區 Knovum 0.0.2,以無限 2D 畫布整理知識,採用 Tauri 2、Vue 3 和 Rust,閒置時約佔用 45MB RAM。新版本加入差異化空間索引、串流對話區塊邊界、互動語音預覽,以及會在來源筆記變更後標示的引用功能。Knovum 以 Apache-2.0 授權免費開源,支援 macOS 和 Windows。

  10. DEV Community63

    DSPy:告別提示詞工程,構建模組化、可優化的 AI 程式

    Kevin Madura 在分享中介紹 DSPy,示範如何以 Python 程式和模組化工作流構建 LLM 應用,並透過優化器迭代調整底層提示詞。內容涵蓋簽名、模組、工具、適配器、優化器和指標,並展示情感分類、PDF 分析、多模態處理及 ReAct Agent。分享亦指出,優化器可利用質素良好的 10-100 組輸入輸出對按指標改進程序,產生的模組可儲存或直接調用。

  11. 阿里雲開發者社區 AI32

    企業級大模型私有化部署:如何從零到一高效推進?

    企業級大模型私有化部署涵蓋需求評估與軟硬件選型、推理框架搭建、RAG 與智能體工作流整合,以及安全管控和持續運維。方案可按業務複雜度選擇 7B、14B 或 70B+ 模型,並以 vLLM 支援高並發推理。整合企業知識庫、內部系統及權限管控,可支援知識問答與業務流程處理。

  12. 阿里雲開發者社區 AI26

    阿里雲 RDS 雲數據庫全新發布:以 HTAP 自動分流、AI 原生能力與 Serverless 彈性伸縮重塑雲數據庫

    阿里雲 RDS 雲數據庫推出新版,涵蓋 HTAP 自動分流、內核優化、AI 原生能力、Serverless 彈性伸縮、安全管控及運維自動化。新版透過 DuckDB 分析只讀實例分流 OLTP 與 OLAP 請求,複雜分析查詢性能提升 10–100 倍,並支援 MySQL 8.4 LTS、PostgreSQL 18 向量能力及內置 RAG Agent、RDSClaw。

  13. DEV Community56

    如何在 Node.js 中比較市集文字摘要 API 成本

    Node.js 市集知識庫的文字摘要 API 成本比較,應涵蓋完整工作流程,而非只比較供應商的單位價格。比較時應記錄輸入及輸出 token、檢索與重排序呼叫、重試、逾時、備援呼叫和需人工覆核的比例,並以相同的脱敏問題集及固定檢索結果重播測試。文章建議先用單一適配器和固定測試集,每週記錄成效,累積四份報告後再判斷是否需要第二個適配器。

  14. DEV Community47

    上下文工程解析

    隨着上下文窗口增至數十萬個 token,團隊開始把模型接收的所有內容視為需要精心設計的上下文預算,而非只追求完美提示詞。預算包括系統提示詞、RAG 檢索文件、工具結果、對話歷史及記憶;無關內容會分散模型注意力並降低準確度。建立 RAG 或 Agent 系統時,應精簡及整理上下文,而非一味擴大模型或累積內容。

  15. HuggingFace Daily Papers(社區熱門論文)55

    記憶税:剖析智能體記憶的淨價值

    這項研究透過多項基準測試和不同模型骨幹的大規模評估,發現不少專用記憶系統在許多情況下不及直接從原始歷史檢索的簡單 RAG,呈現負淨價值。研究以 RAG 為參照,把記憶的淨價值拆分為「記憶收益」與「記憶税」;記憶處理可能移除或遮蔽證據,造成記憶税。作者表示將向社羣開源程式碼和結果,並希望這個概念能引導更可靠的記憶設計與評估。

  16. DEV Community42

    SlothAuth:以本地 Gemma、LangGraph 和 pgvector 自動準備過夜預先授權資料

    SlothAuth 是一款全本機運行的預先授權準備智能體,使用本地 Gemma、LangGraph.js、PostgreSQL、pgvector 和 Next.js 16,在夜間整理病歷證據、核對承保指引,並預先草擬申請信。醫護人員可在 30 秒內審核資料並簽署;系統亦會標示缺漏化驗,並為不符合階段治療要求的個案草擬例外理由。

  17. DEV Community61

    如何將 PDF 轉成 Markdown,供 RAG 和聊天機械人使用,以及何時不應轉換

    將 PDF 轉成 Markdown 供 RAG 使用前,先確認是否含文字層;掃描檔須先做 OCR,再按版面選擇轉換工具。文中列出 PyMuPDF、Marker、Docling 和 MarkItDown,並建議檢查表格、多欄閲讀順序及重複頁首頁尾,再按標題分塊並保留頁碼。若所用的託管聊天機械人支援直接上載 PDF,可省去自建流程,但無法控制分塊方式。

10月24日週六
  1. DEV Community55

    Agent 的資訊洩漏不在檢索,而在生成的句子

    Agent 即使只檢索用戶有權讀取的文件,仍可能把分屬不同知識區隔的資訊組合成敏感推論,並寫入更廣泛可見的內容。作者主張把檢查移到生成答案的句子,追蹤每句依據的區隔,並按輸出位置決定概括、遮蓋或拒答。較低成本的做法,是在同一工作階段出現第二個區隔後啟用嚴格檢查,並記錄草稿句子及其支持資料;作者亦指出這只能降低風險,不能完全消除。

  2. DEV Community47

    RAG、CAG 與 KAG:如何為 NodeJS 選擇合適的上下文層

    HazelJS 將 RAG、CAG、KAG 與 Memory 視為互補的上下文層,並比較它們在 NodeJS 中的用途與取捨。RAG 用於檢索相關內容,CAG 快取可重用的穩定上下文,KAG 管理具來源資訊的結構化知識,Memory 則維持用戶或工作階段的連貫性。HazelJS 提供各層套件及無需 API keys 的離線實驗。