pgvector、PostgreSQL 全文搜尋與 Hybrid RRF:30 個 RAG 片段測試發現的問題與零成本修復
作者在 PostgreSQL 17、pgvector 0.8.7 上,以 30 個企業資料片段和 15 條查詢比較三種檢索方式;測試中 Hybrid RRF 的 Recall@1、Recall@3、Recall@5 均為 100.0%,MRR@10 為 1.000。
作者在 PostgreSQL 17、pgvector 0.8.7 上,以 30 個企業資料片段和 15 條查詢比較三種檢索方式;測試中 Hybrid RRF 的 Recall@1、Recall@3、Recall@5 均為 100.0%,MRR@10 為 1.000。
文章提出招聘候選人搜尋的分階段檢索架構,先按租戶及角色限制候選資料,再進行語義檢索,最後附上來源資訊。每筆索引資料應保留不可變租戶 ID、存取範圍、來源文件 ID 及更新時間,並以租戶 metadata 過濾及複核結果,避免跨租戶資料進入模型。
文章説明 E5 嵌入向量應在問題和段落前分別加入 `query: ` 與 `passage: `,並提供 Node 腳本以自有語料和問題集比較不同設定的 recall@5。腳本涵蓋 no prefix、both、swapped 和 query only 四種組合;文中亦指出 Nomic 和 BGE 的前綴慣例不同。
作者提出一套在為助理加入持久文件記憶前使用的工程測試方案,檢查文件刪除後的可用性,以及各類副本和衍生資料的處理情況。方案先盤點上載檔案、解析文字、檢索索引、回答紀錄、診斷資料及復原副本,再用合成標記檢查刪除流程與競態情況。文中説明這只是未執行的測試設計,不代表任何產品已通過測試,也不構成業務法律保留政策。
PDF 表格攤平成純文字會丟失列、欄與數值間的空間關係,令 RAG 數值查詢出錯並造成模型幻覺。文章示範以 PyMuPDF 的文字邊界框按 Y 座標分列、按 X 座標識別欄位,再組成 Markdown 表格。文章亦建議避免按任意 token 上限拆開表格;如需分塊,應在後續片段重複標題列,並檢查欄位對齊、負數格式及查詢召回。
RAG 系統可在生成前設定相似度門檻,並在檢索結果不足時回覆知識庫未有相關資訊,以減少知識庫外查詢引發的錯答。文中以 0.72 作為起始門檻,建議按領域以黃金評測集校準;一般通用語料的參考範圍為 0.65–0.78。
osFoundry 的 MCP 知識庫工具以文章 ID、更新時間和事件序號追蹤內容變更,讓 Claude 可透過事件輪詢識別已變更或已取消發佈的引用。作者以 SQLite 重建 400 篇文章、120 個問題及 300 次儲存的 8 小時模擬;1,200 個引用中有 369 個已過時,僅檢查標題只能發現其中 41.2%。
GEO 項目中,實體資訊一致性是大語言模型穩定檢索引用結構化內容的前置門檻;不同來源的實體描述互相衝突,可能令模型降低置信度並過濾該實體。治理流程包括建立 Schema 基線、巡檢全網描述、修正高優先級信源、對齊對外內容,以及持續監控模型引用情況。
在摩洛哥選擇 AI 機構或工程合作夥伴,應評估多模型路由、Darija/3arabizi 語言處理、數據合規、RAG 防幻覺及程式碼所有權。文章列出 7 項工程評估準則,並指出合作方應於部署後移交 100% 源碼所有權。
Anas Rhimi 在自己的 Proxmox 家庭實驗室持續運行一套自託管 AI 與 Kubernetes 技術堆疊,由 Talos、Cilium、ArgoCD、PostgreSQL + pgvector 及 n8n 五層組成。
Google 的 NotebookLM 是一款根據用戶提供的文件進行分析的研究工具,能以來源段落作答並附上引用。它可生成由兩位 AI 主持人對談的 Audio Overview,每個筆記本最多可上載 50 個來源。NotebookLM 免費,適合分析特定文件;文章指出,它與 Notion AI、Perplexity 和 ChatGPT Deep Research 的用途互補。
作者以按揭利率歷史資料示範如何按觀測身份識別重複項、保留數值修訂,並避免相同觀測跨越訓練與測試分區。流程按系列、月份及 512 個 token 的預算建立檢索文件,並以 2026-10-01 為界,將較早觀測分入 train,其餘分入 test。文章指出,觀測日期切分無法還原來源何時發布修訂值,因此不能單獨確保前瞻性評估。
一名具 3 年業界經驗的 IT 工程師分享如何與 AI 協作,構建企業級 AWS RAG 平台 DocLab。ChatGPT、Gemini 和 Claude 參與生成、修訂及除錯相當部分程式碼,但架構取捨由工程師以系統思維主導。平台開發期間,他亦排查了 PowerShell 密碼截斷、SageMaker UTF-8 解碼錯誤及 BM25 搜尋零匹配等問題。
阿里雲百煉大模型服務平台在雙十一推出多項優惠,涵蓋150多款模型低至4.5折、AI用量達量返現,以及 Wan3.0-Video 限時7折。平台提供模型推理、應用開發、知識庫 RAG、Agent、模型微調及專屬部署,並設有按量付費、Token Plan 等方案。新用戶實名認證後可獲超7000萬免費 Token,有效期90天。
Tencent 的 WeKnora 將分散文件整合成可查詢的知識系統,提供附引用的 RAG 答案、多步智能體及連結式 Wiki 三種查詢方式。新增文件會併入現有頁面;刪除文件時,引用該文件的頁面會被改寫或移除。
FunkyMEDIA 提出一套 RAG 診斷方法,逐步檢查品牌資訊是否在索引、搜尋、上下文建構或最終回答階段被遺漏。方法建議以同一試次 ID 記錄問題、資料版本、片段識別碼、實際上下文及回答。文中的示例為合成資料,品牌未出現在回答中也不一定代表錯誤,仍須按任務要求評估。
知識圖譜以實體、屬性及關係組織資訊,將分散資料連結成可供搜尋、探索與推理的知識網絡。內容涵蓋 RDF 與屬性圖等資料模型、圖譜建構及品質管理,並説明知識圖譜如何配合 LLM 和 RAG 提供結構化脈絡。
DocLab 採用 BAAI/bge-reranker-base 在 SageMaker 上重排序,將 100,000 多份文件篩至 15 個候選,再選出 3 個相關段落,總檢索時間低於 60ms。配置的 ml.m5.large 提供低於 50ms 的推理延遲;文章亦介紹透過 AWS Bedrock ConverseStream 傳送 SSE,首個 token 時間低於 400ms。
SteadyScrape 示範以其託管 Actor「YouTube Transcript API: Captions with Timestamps」批量取得公開 YouTube 影片現有字幕及時間戳,再用 Python 搜尋短語並產生跳轉連結。
SteadyScrape 作者示範如何批量提取 PDF 文字及 Markdown,供搜尋或 RAG 索引使用,並以其自建的 Apify Actor 展示實際輸出。
Go 可作為 AI 生產基礎設施的骨幹,負責服務編排、LLM 串流整合及分散式處理,支援可靠而可擴展的 AI 系統。建議配合 PostgreSQL 和 pgvector 建立 RAG 流程,並以 Kafka 或 NATS、Redis、OpenTelemetry、Prometheus 和 Grafana 處理分散式工作及監察系統。
作者以 MCP 規格建立 RAG 向量索引,提出涵蓋文件與分塊、嵌入與索引、檢索及答案評審的四層檢查方法。在 50 道可回答問題中,正確頁面有 49 道進入前 5,但一題所需片段排第 6,模型因此回答「I don't know」。以 536 個向量比較 HNSW 與暴力搜尋時,recall@10 為 0.998;作者提醒,這個規模只展示檢查方法,不代表大型索引結果。
評估以 LlamaParse 為核心的多模態 AST 版面引擎,並探討文件結構失真如何導致企業 RAG 檢索失敗。測試涵蓋 10 個受規管企業領域的 1,500 頁文件,LlamaParse 的表格儲存格 IoU 為 0.964、標題樹 F1 為 0.942,較傳統 OCR 高 52.2 個百分點。另提供開源端到端連接器,將解析結果轉為文件節點並存入 PostgreSQL。
DocLab 以 Amazon S3、Amazon SQS 和 Claim-Check 模式,將文件上載與解析解耦,API 在 50 毫秒內以 HTTP 202 ACCEPTED 回應,並把解析工作交由背景工作者處理。
Strata 與多種 Agent 記憶方案比較,核心差異在於不只讓 Agent 找回資訊,也管理資訊是否可信,以及錯誤資訊會造成甚麼影響。文章指出,RAG 擅長大規模檢索,Zep 保留資訊的有效時段與歷史,而 Strata 以 Markdown 檔案記錄資訊狀態,並在事實被推翻後保留舊記錄、檢查依賴它的內容。
文章建議金融研究儀錶板先訂明文本區塊與資料新鮮度契約,再選擇檢索引擎,並把新鮮度及引文沿革設為應用層不變條件。檢索需限定 collection、topK、asOf 時間及 metadata filters;資料匯入、查詢與引文組裝則分開記錄事件,追蹤來源識別碼、修訂版本、時間和排序。
作者以 Hindsight 為 Foresight 值班智能體建立事故記憶,並透過來源分組及相關度門檻減少跨事故錯誤引用。系統把 11 份事後檢討和 3 項環境資料轉成 86 條關聯記憶,召回上限設為 8 條,相關度門檻設為 0.1;遇到 iOS 啟動崩潰等沒有匹配記錄的警報時,會明確回覆找不到匹配歷史。
FlakeTrail 將 Hindsight 設於 CI 失敗與建議層之間,先檢索相似調查紀錄,再保存開發者提交的處理結果,讓後續調查可參考過往經驗。系統以 proposed、failed、passed_unmerged、verified 區分調查結果,並由後端驗證只有 CI 通過且已合併的變更可標記為 verified。
DealMind 使用 Vectorize Hindsight 建立銷售流程智能體,讓它在企業交易歷程中保留記憶。系統分開處理快速推理與長期記憶,並透過資料匯入、混合檢索及跨交易反思三個循環運作。
作者為企業 API 支援系統設計並建置 API CaseTracker,以按客戶隔離的 Hindsight 記憶庫取代單一共享向量索引,避免檢索到其他客戶的錯誤解決方案。系統只從該客戶的記憶庫召回資訊,信心分數未達 0.70 時會拒絕推測並標記為需要調查;工程師核實根因和修復方案後,才將結果存回記憶庫。
SEO-MIND 團隊以 Hindsight 記憶架構改造 SEO 智能體,讓系統參照過往實驗結果,避免重複造成搜尋點擊率下跌的錯誤。一次標題修改後,14 天內自然搜尋點擊減少 12.0%,點擊率由 3.20% 降至 2.75%,相對跌幅為 14.0%。
API CaseTracker 使用 Hindsight,為每名客戶建立獨立記憶庫,讓事故分析只搜尋該客戶的歷史記錄,避免跨客戶資料混用及重複排查。重複事故的平均解決時間由 4.2 小時降至 120 毫秒召回加 2 分鐘審核,時間減少 99.2%。記憶信心低於 0.70 時,系統會標記 needs_investigation: true,不猜測答案。
MSME-360 為小型企業打造 AI 助手及儀錶板,結合文件檢索與 Hindsight 記憶,分別處理業務紀錄中的事實,以及店主的習慣、決策和指示。收據、帳單及發票會轉成文字和 384 維嵌入向量,存入 MongoDB Atlas,檢索時按 userId 篩選。系統使用 Groq 的 llama-3.3-70b 和 openai/gpt-oss-120b,並會在工具呼叫格式錯誤時捕捉問題並重試。
RecallOps 以 PostgreSQL 保存運維資料,並透過 Hindsight 建立長期情節記憶,讓 AI 事故應對系統能調用過往事故的原因及處置結果。
RecallOps 打造事故應變智能體,透過機構記憶記錄失敗處置,避免建議重複犯錯。以 40 宗歷史事故進行測試,Top-1 診斷準確率由 32.5% 升至 80.0%,平均形成假設時間由 45.0 分鐘降至 21.1 分鐘;已知失敗處置的重複建議則由 23 次降至 0 次。
OpsRecall 的前端以可核查的來源資訊呈現 Hindsight 召回過往事故的依據,讓工程師查看過往事故的已核實資料、原始事實,以及記憶如何影響分析。介面可並列比較使用與不使用記憶的分析,並清楚標示不相關或未經工程師核實的記憶。確認頁亦會説明哪些資料會被保留,並如實顯示記錄是否已存入 Hindsight。
God's Eye 將競爭情報流程改為採用持續記憶的 Agent,並以 Vectorize Hindsight 追蹤事實、實體關係及時間變化。系統透過 retain、recall 和 reflect 儲存已核實資訊、檢索歷史觀察,並綜合跨時期市場動向。報告涵蓋競爭對手定價、7 日內已核實新聞及策略建議。
作者從試過的 20 多門 Udemy AI 與 LLM 課程中,整理出 2026/2027 年的 10 門推薦課程,涵蓋 AI 工程、RAG、微調及 AI 智能體。課程內容由基礎知識延伸至智能體架構、系統部署和實作項目,適合不同階段的工程師。
Corevia 已完成可投入生產的 V3,正規劃 V4,目標是將框架擴展為支援多執行環境的應用平台。V4 路線圖涵蓋 19 個主要工作流,計劃納入 SaaS、AI 整合、背景作業、離線同步、部署彈性、安全及相容性等能力。V4 尚未推出,完整範圍將在實施和驗證後以一次重大公開版本發布。
文章指出,多欄 PDF 的粗略文字抽取會打亂閲讀次序,令 RAG 在嵌入前便混合不同主題的文字。文中提出三種處理方式:以垂直分帶和全寬區塊劃分版面、使用版面感知視覺模型辨識閲讀次序,或在文件產生端輸出 Tagged PDF。文章亦建議先抽查欄間銜接、表格標題、公式完整性,以及座標排序與原始輸出的差異,再評估嵌入模型。