推薦產品前:B2B 搜尋實驗揭示訪客意圖
MilliporeSigma 的站內搜尋實驗取消自動完成中的直接產品推薦,改用搜尋詞建議協助訪客表達任務需求。團隊自述,搜尋互動和後續加入購物車均錄得雙位數增幅,但樣本分佈未公開,亦缺少信賴區間。文章建議追蹤規格錯誤退貨、每次結帳引發的技術支援查詢比例及 RFQ 合資格率,避免只看即時指標。
MilliporeSigma 的站內搜尋實驗取消自動完成中的直接產品推薦,改用搜尋詞建議協助訪客表達任務需求。團隊自述,搜尋互動和後續加入購物車均錄得雙位數增幅,但樣本分佈未公開,亦缺少信賴區間。文章建議追蹤規格錯誤退貨、每次結帳引發的技術支援查詢比例及 RFQ 合資格率,避免只看即時指標。
作者為本地 RAG 系統加入提示詞行為規則,要求模型只使用提供的上下文,缺少答案時回覆「NOT IN CORPUS」,並標註各項事實的來源標題。作者以已知不在語料中的查詢測試拒答,並指出案例中的檢索已找到相關內容,幻覺出現在小模型生成階段。
多租戶 SaaS 支援中心應以 Postgres 保存身份、租戶歸屬、內容新鮮度和引用資料,並把向量索引視為可替換的投影。檢索單位應是可獨立引用、更新和刪除的最小來源段落;索引副本預算則需計入單位數、語系、並存嵌入版本及環境。文章建議以相同語料和標記查詢比較 pgvector、Pinecone、Qdrant、Weaviate 等方案,並把租戶隔離、遷移期間的重複副本和引用追蹤納入評估。
企業 AI 開發正由提示詞實驗轉向可投入生產的業務系統,涵蓋 RAG、AI 智能體及生產環境整合。RAG 以向量搜尋連接企業文件並提供可核實引文;AI 智能體可規劃多步驟任務、調用 API 工具及執行操作,生產架構則需加入個人資料清理、結構驗證、速率限制和人工監督。
Orca Security 在 Amazon Bedrock 上建構 Discovery AI,將自然語言問題轉換為 Sonar 查詢,並已在生產環境每日處理數千次查詢。相較初始基準,輸入 token 減少 93%、查詢成本降低 90%,端到端延遲由約 60 秒降至 15 秒。系統結合 RAG 範例檢索、Cohere Rerank 3.5、按階段分配模型,以及專家持續標註。
紅隊測試自家日誌閲讀 AI 助理時發現,日誌指令可誘使模型把資料庫密碼放進 Markdown 連結,受污染的搜尋結果亦能寫入持久記憶。這次內部測試沒有造成入侵;團隊發現,單靠系統提示詞不足以防護,並採用連結掃描及限制讀取網頁或檔案後的記憶寫入。
GPT Engineer 新增提交目標分支選擇及 Hot Projects 分頁,並改善網絡錯誤偵測和大型專案的上下文管理。系統以 Retrieval-Augmented Generation(RAG)識別並檢索每次請求相關的程式碼,亦會自動偵測並補全「// rest of the code」等佔位內容,令程式碼完整並可運作。
GPT Engineer 改善版本管理,並為大型專案帶來 12x 速度提升。各版本新增描述標籤,預覽更易查看,亦可快速存取最近 8 次編輯;聊天訊息改為捲動時按需載入。下調使用 RAG 的門檻後,小型專案錯誤減少 25%。
MCloudBridge 推出 Ai 365 Unified AI Platform,讓公共部門、教育及研究機構按資料敏感度、權限和政策,選用本地部署 AI 或外部 SaaS 服務。平台以 G1、G2、G3 分級路由資料,支援本地處理敏感資料,並可按政策處理後將 G2 資料交予公有 LLM。平台亦支援管理不同任務的 AI agents,並按查詢、資料特性和機構政策選擇處理環境。
文章區分 AI 的主動記憶與持久記憶:前者涵蓋當前回應可用的資訊及應用程式維持的任務狀態,後者則是跨越回應或工作階段保留、供日後使用的資訊。它梳理資訊寫入、檢索、更新及遺忘的流程,指出資料已儲存不代表模型會自動取得,從提示詞中移除也不等於刪除所有保留副本。專案助理案例展示如何保留資訊來源、適用範圍、例外及狀態,以免把過時或未經確認的內容當成現行事實。
AWS 示範使用多節點 Ray LLM Deep Learning Containers,在 Amazon EKS 將單一大型語言模型部署至兩個 GPU 節點,由兩個節點分別執行 prefill 與 decode,並透過單一 OpenAI 相容端點提供服務。
長上下文、RAG 與微調分別用於提供臨時資訊、選取外部證據及改變模型行為;選擇前應判斷問題屬於知識缺口還是行為問題。指南建議衡量文件數量及更新速度、測試長上下文基線,並在需要篩選及資訊新鮮度時加入檢索,只有面對重複行為需求才考慮微調。
企業應自行掌握可跨供應商延續的工作脈絡,讓記錄、權限和未完成工作不會因更換 AI 模型而失去可用性。模型更換成本不只涉及生成模型,還包括嵌入模型變更後重建索引、微調模型退役,以及重新驗證提示詞和工具行為。文章建議保留可還原的來源資料與權威記錄,並透過匯出還原演練和評測套件,測試替代供應商能否延續工作流程。
Redpine 宣佈與多家出版商建立內容合作,透過授權讓 AI 智能體經 API 和 MCP 存取逾 20 million 篇經同行評審論文。Redpine Science 提供論文全文和表格,檢索段落附有 DOI 及頁碼,產品頁列明定價為 $1 per 1,000 tokens,無預付訂閲費。
Postman 分享如何透過 Amazon Bedrock 為 40 million 名開發者運行 Agent Mode,並歸納將成熟產品接入 AI 智能體的生產架構經驗。核心做法包括按任務動態篩選工具、以結構化資料支援查詢,以及為不同實體建立專用上下文處理器;修改應用程式狀態前仍須用戶批准。Agent Mode 亦使用模型選擇、跨區域推理、為支援模型設定的零數據保留,以及分層提示詞快取。
推薦理由:文章拆解 Postman 如何按任務動態配置工具、以結構化資料查詢及專用上下文設計,處理成熟產品接入智能體的工程難題。
Sakana AI 的日語大型語言模型 Sakana Namazu 已獲採用,整合至醫療 AI 公司 Iris 提供的醫師證據搜尋工具 Evidence Finder。
Cartesia 説明,Voice AI 評估應按各項檢測事件分別報告精確率(precision)和召回率(recall),不能只依賴 accuracy。文章以 VAD、turn_start 和 turn_end 為例,指出應先界定目標事件及誤報、漏報,再按錯誤成本選擇指標和閾值。
Perplexity 發佈 pplx-embed-v2-late,包含 0.6B 與 9B 兩款 ColBERT-style 多模態嵌入模型,可檢索文字、圖像及 PDF 頁面渲染圖,並共用嵌入空間。
HPE 公佈首批 ProLiant Gen 13 伺服器,面向企業 AI 推理及智能體工作負載,並加強運算、記憶體、網絡、安全及管理能力。四款系統均採用 AMD 6th Gen Epyc 9006 SP7「Venice」CPU;DL585a 預計於 March 2027 推出,DL525 則於下月推出。iLO 8 加入硬件儲存加密及多方授權等安全功能。
Docker Agent 是一款 Docker CLI 插件,可透過聲明式 YAML 配置建立及運行 AI 智能體,並支援多智能體協作。它可使用內置工具或連接本地、遠端及基於 Docker 的 MCP 伺服器,並提供 BM25、嵌入向量、混合搜尋及重排等 RAG 檢索選項。
Amazon Quick 與 Amazon Bedrock Knowledge Bases 加入查詢時即時 ACL 核驗,直接向權威資料來源確認用戶的文件存取權限。系統先以索引中已儲存的 ACL 篩選候選文件,再於查詢時核實權限,只把獲授權的文件段落交予 LLM。AWS 表示,用戶存取權被撤銷後,變更會在短時間內反映於 AI 回應,而非等候數小時或數天。
Qlik 利用 Amazon Bedrock 構建 Qlik Answers,讓企業員工以自然語言提問,並從知識庫、即時分析應用、詞彙表或文件取得附有來源的答案。
UNREAL 提出模型原生的證據選擇框架,以單一機制涵蓋語料庫檢索與長上下文推理,並新增少於 500K 個可訓練參數,保持骨幹模型不變。在包含 3B 個 token、21M 個文本區塊的 Wikipedia 索引上,四種密集及混合式骨幹模型均勝過最先進的檢索器—重排序器系統;最佳模型在 HotpotQA 的召回率由 49.1% 提升至 73.2%。
Google 推出 EmbeddingGemma 2,將 EmbeddingGemma 的嵌入能力由文字擴展至程式碼、圖像、影片和音訊,並把不同內容映射至同一嵌入空間。
Google DeepMind 發佈 EmbeddingGemma 2,將文字、程式碼、圖像、影片及音訊映射至同一嵌入空間,供裝置端推理使用。
推薦理由:EmbeddingGemma 2 將文字、程式碼、圖像、影片及音訊映射至同一嵌入空間,並列出裝置端記憶體與向量儲存數據,方便評估跨模態搜尋的本地部署。
智能體檢索透過 ReAct 智能體迴圈,結合大語言模型的推理能力與檢索器探索語料的效率,以應付複雜檢索任務。使用相同嵌入模型時,它較標準檢索的 nDCG@10 高 8.7 分,並在 ViDoRe v3 和 BRIGHT 排行榜取得具競爭力的結果。代價是每次查詢平均需時 107.4 秒,消耗 764.1K 個輸入 token 和 5.8K 個輸出 token;標準檢索平均需時 0.67 秒。
這份選購指南比較六款 OCR 文件管理方案:LlamaParse、ABBYY FineReader、Amazon Textract、Google Cloud Vision、Microsoft Azure OCR 和 Hyperscience。
EmbeddingGemma 2 開發者指南介紹這款基於 Gemma 4 的開放模型,可將文字、程式碼、圖像、影片和音訊映射至同一個 768 維向量空間。模型可按需載入由文字與程式碼的 270M 參數配置,擴展至完整多模態的 740M 參數配置,各配置共用同一向量空間。
AWS 教程示範如何在航空應用程式中,以 Amazon Bedrock AgentCore、Amazon Bedrock Knowledge Bases 和 Amazon Nova 2.5 Sonic 建立語音旅遊禮賓服務。
Cohere 推出 Parse,這款文件解析視覺語言模型現已透過 Cohere API、Model Vault、Microsoft Foundry 和 AWS SageMaker 提供。
企業可用生成式 AI 搜尋及整合知識、創作內容、提供對話支援、協助軟件開發與數據分析,並自動化多步工作流程。用得其所可提升生產力和工作質素、擴大個人化體驗,並加快創新。採用時須先確認生成式 AI 能否切合具體業務需要並值得投資,避免在缺乏明確商業理據下增加成本與複雜程度。
Zyphra 提出 MixPR,一套結合兩類 PageRank 檢索、用於高效預處理長上下文輸入的 RAG 系統。系統按任務採用 PageRank 作全域檢索,或 Personalized PageRank 作局部檢索,並在多項長上下文基準測試取得 SOTA 結果。MixPR 可配合任何現有基礎模型,把有效 LLM 上下文長度延伸至十億級,並可在 CPU 上高效運行。
Liquid AI 發佈 Liquid Nanos,一系列 350M–2.6B 參數的基礎模型,可在手機、手提電腦及嵌入式裝置上本機運行。首批實驗性模型涵蓋資料抽取、英日雙向翻譯、RAG、工具調用及數學推理,另包括社羣製作的法語微調模型。模型現已在 Liquid Edge AI 平台(LEAP)及 Hugging Face 提供,並以開放授權向學術界、開發者及小型企業開放。
Cohere 的企業檢索平台 Compass 以雲端託管服務 Compass Cloud 形式進入私人測試。Cohere 將管理完整檢索流程及模型推理,開發者可透過 APIs、MCP server 或 Python SDK 使用。自行託管部署仍可供有私隱限制的項目使用,Cohere 正與有限數目的企業團隊合作測試。
Cohere 發佈 Embed 5 嵌入模型系列,分為面向最高檢索品質的 Pro 和麪向低延遲、高流量工作的 Fast,兩款均支援多模態輸入、100+ 種語言及 128K-token 上下文窗口。
Google Cloud 預覽 AlloyDB 與 Cloud SQL for PostgreSQL 17+ 的原生 BM25 索引,透過 Tiger Data 開源的 pg_textsearch 擴充功能,讓全文關鍵字搜尋直接在資料庫內執行。這可與向量搜尋組成混合搜尋,避免另設全文搜尋後端;AlloyDB 提供使用 RRF 的混合搜尋 UDF,Cloud SQL 則可用 CTE 合併搜尋結果。
AWS 文章示範如何以 LangChain 在 Amazon Bedrock Knowledge Bases 建立 RAG 應用,並比較標準檢索與 Agentic retrieval 處理多部分問題的方式。
研究以 HotpotQA 和 MuSiQue 比較智能體 RAG 的評測預算分配,涵蓋問題數、搜尋軌跡及重複作答。在 34.14--34.39M 模型 tokens 的預算下,增加問題覆蓋率,較重複讀取五次的標準誤低 33%,較三條搜尋軌跡低 12.6%。按記錄的模型費用,搜尋價格為每 1,000 次請求 $0--1 時,增加問題數優於增加搜尋軌跡;增加問題數或重複讀取的費用排名則未有定論。
LlamaIndex 提供一套無需 ground-truth labels 的 QA 系統評估流程,依次生成問題、答案與來源節點,再檢查查詢、回答及來源是否匹配。
LlamaIndex 推出 Document Summary Index,先為每份文件生成摘要,再按摘要檢索文件並返回所選文件的全部節點。檢索可由 LLM 判斷摘要相關性,或按摘要嵌入向量相似度選取文件,與直接檢索文本塊不同。文章以城市 Wikipedia 條目示範索引建置、檢索及問答查詢。