Node.js 產品支援的語義搜尋:為混亂目錄維持穩定的聊天 API 契約
Node.js 產品支援聊天機械人應先呼叫 embeddings 進行語義搜尋,再把租戶範圍內的匹配記錄交給 /v1/chat/completions 生成回答。租戶篩選、檢索儲存及用量記錄應由應用程式管理,模型不應決定用戶可查看哪些資料。Infrai 提供跨 20 個模組、295 個路由的單一金鑰及單一帳單方案。
Node.js 產品支援聊天機械人應先呼叫 embeddings 進行語義搜尋,再把租戶範圍內的匹配記錄交給 /v1/chat/completions 生成回答。租戶篩選、檢索儲存及用量記錄應由應用程式管理,模型不應決定用戶可查看哪些資料。Infrai 提供跨 20 個模組、295 個路由的單一金鑰及單一帳單方案。
文章指出,Node.js 廉價 LLM 文字分類 API 處理物流 CSV 時,成本應按可追蹤的檢索作業核算,並劃分租戶、文件、檢索及生成四個邊界。建議按階段記錄 token、位元組數及狀態,以冪等重試避免重複計費,並讓例行遙測不保留原始物流文字;抽樣追蹤不可取代作業帳本。
Omar Wael 開發的 DocFlow 可從 GitHub 儲存庫自動整理 NestJS 後端的資料庫結構、REST 端點與授權路徑,並找出授權缺口。
臨牀 AI 團隊指出,RAG 檢索評分不只反映檢索器質素,也受相關證據的標註覆蓋率影響,並提出區分標註覆蓋率與系統質素的評估方案。測試中,18 個查詢的證據跨度由 25 增至 37、chunk 目標由 36 增至 51,檢索結果不變,Recall@3 維持 0.94。團隊建議追蹤標註覆蓋率,並分辨檢索失敗、標註缺口與語料證據不足。
上下文工程是按每次請求控制模型可見資訊的工作,涵蓋指示、檢索知識、記憶、工具結果及對話狀態;提示詞工程則只處理指示措辭。文章建議為各資訊來源設定預算、先做權限過濾並記錄來源;智能體則應把任務狀態保存在模型以外,每一步重新組合上下文,避免工具結果不斷累積。
作者以 Node.js 建成並發布 8 個雲端爬蟲,以及兩款跨瀏覽器 Manifest V3 擴充功能。爬蟲結合 Crawlee 的 CheerioCrawler、平台 JSON 端點及正則表達式 DOM 解析器,可將記憶體開銷和執行成本降低超過 85%。8 個爬蟲已上架 Apify Store,兩款擴充功能則已在 Mozilla Add-ons Store 發布。
開發者正把 LLM 用於自動化重複工作、構建智能應用、分析非結構化資料,以及建立可與實際系統互動的 AI agents。10 個實用場景包括程式編寫助手、文件 RAG 搜尋、自動化代碼審查與測試、自然語言轉 SQL、文件資料抽取、客戶支援自動化、多步驟工作流程及多語言本地化。要在正式環境可靠運作,須按場景選擇模型,並配合驗證、權限管理、測試及人工審核。
作者以 gpt-4o-mini 比較 OpenAI Agents SDK、LangGraph 與單次 RAG,發現 SDK 預設設定確有引用格式漂移,亦有較小的實際引用流失。
NornicDB 團隊把自家圖資料庫納入工程流程,將程式碼索引成圖,供改碼前檢索並協調多模型 Agent 工作。自訂 harness 以 RRF、語義相似度和 AST 所有權分析尋找疑似重複實作,並把 develop 開發與 release 驗收分開,以逐項 cherry-pick 和人工審查控制變更。
文章建議把 token 預算設為應用程式不變條件,在生成前核對租戶用量,並以窄化檢索、限制上下文及精簡輸出控制 LLM API 成本。客服工單範例先讀取帳戶用量,再以 token 計數結果決定是否進行模型呼叫,超出政策時停止或截短內容。
文章指出,大模型的知識並非對應某一個參數,而是分散編碼於多個參數的協同作用中。權重的實際貢獻取決於輸入,權重大小不能直接代表重要性,而偏置會影響神經元的激活門檻。研究曾把部分知識定位至 Transformer 前饋層及稀疏神經元,但定位不等於可解釋或可控;文章建議穩定背景知識可編入權重,易變事實則使用 RAG。
ReplyLater 是一款以本機優先、開源的 AI 電郵協作工具,將未讀電郵整理成下週待辦,讓用戶稍後檢視分類結果和回覆草稿。它使用透過 Ollama 本機執行的 Gemma 2B,可分類電郵、擷取承諾及草擬回覆;遇到缺失資訊時會標示不確定性,而非自行編造答案。郵件內容用於推理時無須傳送至第三方模型 API,但私隱保障取決於實際部署和設定。
RAG 答案出錯時,應先確認正確資料是否已納入索引並出現在檢索結果,再判斷問題是否出在生成階段。指南建議記錄檢索到的分塊 ID、文字和分數,檢查索引內容與結果排名,最後才調整提示詞。另可用 10 至 20 條真實問題建立測試集,量度答案所在分塊是否出現在 top k 結果。
這份指南説明如何把 Dialogflow CX 客服流程遷移至採用 LlamaIndex 和 OpenAI Responses API 的 RAG 智能體,並梳理兩者在意圖處理、狀態管理及工具呼叫上的差異。
這份實作指南説明如何建構、評估及部署生產級 RAG 流程,將大型語言模型連接至企業私有數據集。流程涵蓋文件處理、智能分塊、向量資料庫與嵌入模型選擇、混合搜尋及重新排序,並以 RAGAS 指標評估答案忠實度、相關性和上下文召回率。
Slothbox 是一款以 Telegram 為入口的本地優先 AI 知識庫,用戶可直接投放文字、連結、圖片或 PDF,無須手動分類整理。它透過 Ollama 協調 moondream、gemma3:1b、nomic-embed-text 和 qwen3:4b,進行圖片分析、摘要、嵌入向量索引及 RAG 搜尋。
VEKTOR 2.0.2 在 LongMemEval 的 120 題配對測試中取得 89.2%,高於前一版本的 84.2%;全數 500 題測試得分為 84.0%。團隊調整記憶召回數量及資料儲存方式,並以控制組和已答對題目樣本檢查測試結果。新增的「Remember when things happened」開關設於偏好設定面板。
文章示範如何透過 Ollama 在 MacBook 本機運行 llama3.2,建立免費、私密且快速的個人 AI 助理,並稱其達到 GPT-4 級別。文中列出 llama3.2、codellama、mistral、phi3 和 gemma2 等可用模型,作者表示已用這套技術建立 45 個免費、本機及開源工具。
一名 Apify Actor 開發者發現,啟用重疊分塊後,RAG 分塊的時間戳和字數仍按未加入重複內容的正文計算,導致時間戳晚於引文實際説出的時間。修正方法是先計算重疊引文,再設定分塊起始時間和字數,並加入 overlapChars 和 bodyStart 區分重複內容與新正文。程式亦調整重疊段落的選取方式,盡量在句子結尾切分,並限制向前回溯範圍。
AI 英語培訓智能體採用感知、大腦、行動三層架構,整合多模態輸入輸出、即時語音、教研知識檢索、長期記憶及多智能體協作。系統以教學狀態機規範教學流程,並設有主講教師、糾錯助教及評估測試智能體。開發流程涵蓋場景定義、文字對話驗證、語音與多模態整合,以及教研資料融合和系統優化。
Crawl4AI 提供 MCP 伺服器,讓 Claude Code 可爬取、擷取及搜尋網頁;教程介紹託管服務與自行執行開源方案兩種接入方式。託管方案免費版每月提供 1,000 credits、每分鐘 10 個請求及同時處理 2 個請求,付費方案每月 $10 起;另提供 /search、/serp 和 /answer。
Knovum 推出開源、本地優先的桌面 AI 知識工作區 Knovum 0.0.2,以無限 2D 畫布整理知識,採用 Tauri 2、Vue 3 和 Rust,閒置時約佔用 45MB RAM。新版本加入差異化空間索引、串流對話區塊邊界、互動語音預覽,以及會在來源筆記變更後標示的引用功能。Knovum 以 Apache-2.0 授權免費開源,支援 macOS 和 Windows。
Kevin Madura 在分享中介紹 DSPy,示範如何以 Python 程式和模組化工作流構建 LLM 應用,並透過優化器迭代調整底層提示詞。內容涵蓋簽名、模組、工具、適配器、優化器和指標,並展示情感分類、PDF 分析、多模態處理及 ReAct Agent。分享亦指出,優化器可利用質素良好的 10-100 組輸入輸出對按指標改進程序,產生的模組可儲存或直接調用。
企業級大模型私有化部署涵蓋需求評估與軟硬件選型、推理框架搭建、RAG 與智能體工作流整合,以及安全管控和持續運維。方案可按業務複雜度選擇 7B、14B 或 70B+ 模型,並以 vLLM 支援高並發推理。整合企業知識庫、內部系統及權限管控,可支援知識問答與業務流程處理。
阿里雲 RDS 雲數據庫推出新版,涵蓋 HTAP 自動分流、內核優化、AI 原生能力、Serverless 彈性伸縮、安全管控及運維自動化。新版透過 DuckDB 分析只讀實例分流 OLTP 與 OLAP 請求,複雜分析查詢性能提升 10–100 倍,並支援 MySQL 8.4 LTS、PostgreSQL 18 向量能力及內置 RAG Agent、RDSClaw。
阿里雲 OSS 升級為融合對象、向量與表格存儲的 AI 原生多模態存儲平台,支援非結構化、向量及結構化數據在同一體系內存儲與管理。平台提供向量檢索、Apache Iceberg 表格存儲、MetaQuery 和 OSS Agent 等能力,數據可靠性為 12 個 9。
Node.js 市集知識庫的文字摘要 API 成本比較,應涵蓋完整工作流程,而非只比較供應商的單位價格。比較時應記錄輸入及輸出 token、檢索與重排序呼叫、重試、逾時、備援呼叫和需人工覆核的比例,並以相同的脱敏問題集及固定檢索結果重播測試。文章建議先用單一適配器和固定測試集,每週記錄成效,累積四份報告後再判斷是否需要第二個適配器。
Qdrant v1.20 將 BM25 評分整合至 payload 文字索引,並新增 TurboQuant 向量格式與專用程式碼分詞器。文中稱 turbo8 和 turbo16 可將向量儲存空間最多縮減 60-75%,同時維持召回率;BM25 分數亦可透過 universal query API 與密集向量距離分數合併查詢。
隨着上下文窗口增至數十萬個 token,團隊開始把模型接收的所有內容視為需要精心設計的上下文預算,而非只追求完美提示詞。預算包括系統提示詞、RAG 檢索文件、工具結果、對話歷史及記憶;無關內容會分散模型注意力並降低準確度。建立 RAG 或 Agent 系統時,應精簡及整理上下文,而非一味擴大模型或累積內容。
CampusCopilot 建立一個整合式 AI 學習工作空間,協助大學生管理 DSA 練習、編程錯誤、學習材料、作業和考試。平台提供 StudyBuddy、CodeExplain、Campus Planner、Learning Profile 和 Next Best Move,串連學習、練習、找出弱項及規劃下一步。
這項研究透過多項基準測試和不同模型骨幹的大規模評估,發現不少專用記憶系統在許多情況下不及直接從原始歷史檢索的簡單 RAG,呈現負淨價值。研究以 RAG 為參照,把記憶的淨價值拆分為「記憶收益」與「記憶税」;記憶處理可能移除或遮蔽證據,造成記憶税。作者表示將向社羣開源程式碼和結果,並希望這個概念能引導更可靠的記憶設計與評估。
文章指出,將 RAG 從 Notebook 帶到 Production,可靠性取決於檢索前後的決策,而非單純加入檢索。文中整理 RGB、CRAG、Adaptive-RAG、FreshLLMs、RAGChecker 和 PoisonedRAG 的研究,涉及證據核查、檢索調整、資料更新、故障定位及知識庫投毒。
RAG 評估應分開衡量檢索品質和生成品質,並按兩者分別選用指標及測試流程。檢索指標包括 precision@k、recall@k、MRR 和 nDCG;生成評估則包括 faithfulness、answer relevance、context recall 和 context precision。
SlothAuth 是一款全本機運行的預先授權準備智能體,使用本地 Gemma、LangGraph.js、PostgreSQL、pgvector 和 Next.js 16,在夜間整理病歷證據、核對承保指引,並預先草擬申請信。醫護人員可在 30 秒內審核資料並簽署;系統亦會標示缺漏化驗,並為不符合階段治療要求的個案草擬例外理由。
將 PDF 轉成 Markdown 供 RAG 使用前,先確認是否含文字層;掃描檔須先做 OCR,再按版面選擇轉換工具。文中列出 PyMuPDF、Marker、Docling 和 MarkItDown,並建議檢查表格、多欄閲讀順序及重複頁首頁尾,再按標題分塊並保留頁碼。若所用的託管聊天機械人支援直接上載 PDF,可省去自建流程,但無法控制分塊方式。
ssorg.dev 是一款以本機處理為主的開源 AI 截圖整理工具,使用 Tesseract 擷取文字,並透過 Ollama 執行 Gemma 3 4B,生成摘要和結構化中繼資料。
ssorg.dev 是一款以本機處理為主的開源 AI 截圖整理工具,使用 Tesseract 擷取文字,並透過 Ollama 執行 Gemma 3 4B,生成摘要和結構化中繼資料。
Agent 即使只檢索用戶有權讀取的文件,仍可能把分屬不同知識區隔的資訊組合成敏感推論,並寫入更廣泛可見的內容。作者主張把檢查移到生成答案的句子,追蹤每句依據的區隔,並按輸出位置決定概括、遮蓋或拒答。較低成本的做法,是在同一工作階段出現第二個區隔後啟用嚴格檢查,並記錄草稿句子及其支持資料;作者亦指出這只能降低風險,不能完全消除。
HazelJS 將 RAG、CAG、KAG 與 Memory 視為互補的上下文層,並比較它們在 NodeJS 中的用途與取捨。RAG 用於檢索相關內容,CAG 快取可重用的穩定上下文,KAG 管理具來源資訊的結構化知識,Memory 則維持用戶或工作階段的連貫性。HazelJS 提供各層套件及無需 API keys 的離線實驗。
文章以請求是否重複、重用答案是否仍準確及重用是否可接受為三項判斷,説明何時使用 AI 回應快取;若任何一項不成立,應避免對該類流量使用回應快取,改用提示詞快取。