我們掃描逾 370k 個網站檢查 AI 就緒度:多數網站為何不合格,以及如何修正
AI-Primed 分析逾 370,000 個網域,指出網站常因前端 JavaScript 未渲染、WAF 錯誤封鎖 AI 爬蟲,以及缺少 llms.txt 等機器可讀端點,無法供 AI 智能體讀取。文章建議提供伺服器渲染或靜態 HTML、檢查防火牆規則並允許指定機器人,亦可用 AI-Primed 檢查網站並生成 llms.txt。
AI-Primed 分析逾 370,000 個網域,指出網站常因前端 JavaScript 未渲染、WAF 錯誤封鎖 AI 爬蟲,以及缺少 llms.txt 等機器可讀端點,無法供 AI 智能體讀取。文章建議提供伺服器渲染或靜態 HTML、檢查防火牆規則並允許指定機器人,亦可用 AI-Primed 檢查網站並生成 llms.txt。
作者測試其多智能體接案助手 GigBid,發現需求拆解未改善檢索排序;加入最低收費門檻後,投標判斷 F1 由 0.89 升至 0.98。檢索測試中,hybrid BM25 加 cross-encoder rerank 的 MRR 為 0.92,需求拆解按 chunk 或 project 合併則為 0.42 和 0.45。
Miktam Bible 的 AI 查經助手在手機上運行 SmolLM2,並以離線資料庫檢索到的經文作為回答依據。模型以 4-bit 量化並採用 GGUF 格式;每次提問會先搜尋聖經,再取 10 節最相關經文生成回答。助手不使用 API 或伺服器,手機切換至飛行模式後仍可使用;Miktam Bible 正在 Google Play 封閉測試。
文章建議大多數 RAG pipeline 選用 Brave Search API:在 2,182 道問題的單次搜尋基準中,它答對更多多跳題、搜尋較快,且搜尋成本相同或較低。
裝置端 AI 可在沒有網絡時回答,因為模型檔案載入本機後,llama.cpp 等 runtime 會在本機 CPU 或 GPU 執行推理,無須連接遠端伺服器。文章估算小型模型與 8B 模型的權重分別約 0.91 GB、4.85 GB,解碼速度約 86、16 tokens/s;速度數字是假設估算,尚未用真實模型測量。
阿里雲百煉大模型服務平台涵蓋模型推理、應用開發、知識庫 RAG、Agent、模型微調及專屬部署六大模組,並提供多種計費方案。雙 11 優惠包括 150 多款模型低至 4.5 折、新用戶超 7000 萬免費 Token,以及 Wan3.0-Video 限時 7 折。平台另有 Token Plan、節省計劃和專屬部署等方案,供不同用量及團隊規模選擇。
作者整理了九個公開項目,涵蓋 RAG、LangGraph 智能體、LLM 微調及分散式推理,並提供原始碼、實作示例和技術文件。項目涉及 FastAPI、Qdrant、LoRA、DPO、ORPO 和 PyTorch DDP,並探討檢索品質、模型評估及 GPU 效能等工程議題。作品集亦區分分散式訓練與多工作程序推理,提醒實作示例不等同已驗證效能。
文章比較 RAG 與微調在 AI 應用中的作用:RAG 用於在提問時檢索外部證據,微調則透過額外訓練適配任務行為,兩者也可配合使用。文章以虛構的退款政策案例説明,資訊缺失時可先測試檢索,格式等行為問題則先嘗試清晰指示和結構化輸出控制;若仍有可衡量的落差,再以未見過的請求評估微調效果。
作者實測並整理 DeepSeek Harness 的 10 款熱門插件,涵蓋插件市場、視覺增強、本地檔案引用、搜尋、長期記憶、費用監控、知識管理及介面等用途。教程介紹各款插件的功能和適用場景,並建議先安裝 dshmarket 和 modlens,再按需要加入介面及場景插件。文中提醒,一次安裝全部 10 款插件可能引發依賴衝突,亦會拖慢整體運行速度。
文章整理 Agentic 搜尋的五種主要架構模式,指出具型別工具、上下文隔離、硬性預算及可觸發重新規劃的評估器,是控制生產環境風險的關鍵。同一 embedding model 下,Agentic retrieval 的 nDCG at 10 高 8.7 點,但每次查詢耗時 107.4 秒、輸入 764.1K tokens;標準單次檢索則需 0.67 秒。
Graph Deep Learning 第 5 章探討圖生成與推理,涵蓋生成、補全圖結構,以及利用圖中的關係進行推理。文中介紹 GraphVAE、生成對抗方法和圖擴散模型,並説明知識圖譜推理如何結合邏輯、路徑與神經方法。知識圖譜亦可透過實體和關係組織檢索證據,支援檢索增強生成。
作者團隊為 TrakCare 培訓場景建立聊天機械人,整合考核答案與訓練影片,提供英語及阿拉伯語查詢。團隊從 36 份考核的 PDF 整理出 433 組已核實問答,並處理 43 段影片,製成 11 份主題資料。檢索採用 BM25,處理約 1,100 個文本區塊,並以阿拉伯文正規化及臨牀同義詞對照,讓用戶可用阿拉伯語提問、檢索英文內容,再以阿拉伯語回答。
作者在沒有 GPU 的環境測試 Ollama 0.40.14,發現 /api/embed 將 7,510-token 文件靜默截至 4,095 tokens,回應沒有截斷標示。
文章主張醫療預約助理採用分階段檢索,把檢索架構視為安全邊界,並在答案旁保留來源 URL 或文件 ID。排序流程先按集合、租戶、文件狀態和時間限制候選,再進行詞彙或向量檢索,最後依專科與地點匹配、預約日期新鮮度、來源權威性及政策是否過時等訊號重排。
作者指出,1M token 上下文窗口並未讓檢索失去必要性,應按資料規模、變動程度和使用情境選擇把資料放入提示詞或按需檢索。作者以約 20k tokens 的資料庫結構為例,發現把穩定結構放入快取前綴成本較低,也可避免檢索漏掉關聯資料表而令模型自行推斷 join。對大型、常變或按用戶區分的資料,檢索仍涉及成本、延遲、準確度和權限考量,作者建議用實際問題比較兩種方案。
文件檢索架構應按文件類別設定新鮮度窗口,並分開觀察、分類、索引與提供檢索結果,以限制過時資料進入答案。比較方案時,使用相同頁面快照、標註查詢及索引預算,檢查過期或已刪除資料不會返回、來源可追溯且寫入量符合預算。文中附有 Go 程式碼,用 Infrai 的 discovery API 核對 `/v1/vector/query` 契約;相關整合主張並非基準測試結果。
HushGPT 是以 Python 和 Flask 構建、本地優先且可自行託管的開源 AI 工作空間,旨在讓開發者整合多種 AI 工作流程。它涵蓋 AI 對話、文件處理、圖像處理、語音互動、對話記憶、檢索及網絡輔助資訊檢索,並支援可配置模型和具備重試、取消及狀態追蹤功能的背景工作。
作者提出以留存台帳管治 marketplace SaaS 的瀏覽器直傳訓練素材,並以私有物件儲存、短效預簽署 URL 和完成驗證控制後續處理。上傳前由伺服器建立素材記錄並綁定操作 ID、租戶和政策,工作程序只處理完成驗證的記錄;冪等狀態轉換可避免重複處理。文章建議測試跨租戶請求、重複完成回呼、分段上傳中斷和刪除重試,並指出不得把預簽署 URL 寫入日誌。
開源模組化 PHP 應用程式框架及執行環境 Corevia V4.0.0 已在 GitHub 提供。新版本加入版本化套件、分階段升級、資料庫及身份功能,以及排程、重試和故障處理能力。AI 輸出、檢索和工具執行等功能均屬可選,並擴展跨執行環境整合及離線同步能力。
文章為私隱優先的個人知識管理器提出分階段檢索架構,以有界快取、明確集合、來源上下文及新鮮度規則管理檢索。建議快取標準化檢索結果而非生成答案,快取鍵納入查詢、集合、篩選條件、嵌入模型版本及新鮮度區間,並保存文件修訂編號和來源 URL。文章亦涵蓋快取失效、重試與故障測試,並比較 Qdrant、Weaviate、Pinecone 和 Infrai 在資料邊界及維運上的取捨。
餐廳餐單助手可採用分階段檢索架構,按餐廳、餐單版本及政策文件分開集合,並在更新時從集合移除舊記錄,避免已刪項目仍被引用。文章以餐單項目刪除測試驗證舊 document_id 不再出現在檢索上下文,並建議檢查刪除後的陳舊記錄率、p95 檢索時間及答案包含可解析來源識別碼的比例。
旅遊行程規劃器宜採用分階段檢索設計,以明確的集合、有限制的查詢和可追溯的來源脈絡,兼顧資料新鮮度、延遲與刪除語義。文章建議先用託管向量服務,並訂明集合識別、 metadata 篩選和來源引用等檢索規約。若需要嚴格刪除審核或精確控制 p99 延遲,自建索引或直接採用專門服務可能更合適。
作者示範使用 Google ADK、Gemini、Google Drive 和 Streamlit,建立可回答企業政策文件問題的 AI 智能體。方案以記憶體內的詞彙搜尋式 RAG 檢索文件,毋須向量資料庫,並在回覆中提供原始文件參考;教程涵蓋本地環境設定、Google Drive 認證、文件索引及聊天介面。
作者示範以 Google ADK、Gemini、Google Drive 和 Streamlit,建構可查詢企業政策文件的 AI 智能體。方案以記憶體內的詞彙式 RAG 索引檢索文件,不使用向量資料庫;回答會附上原始文件來源,資料不足時則應明確説明。
文章提出法律合約審閲的語義檢索方案,建議按條款與義務劃分文本,並以分階段查詢保留租戶權限及來源脈絡。實作上,先選定集合,再以受限的 top-k 和元數據篩選查詢,並在模型讀取文本前附上來源識別碼及條款位置。文章亦介紹 Infrai 的 REST 查詢方式,並指出如需特定區域託管或刪除證明,應選擇能直接提供相關保障的專業服務。
文章提出法律合約審閲工作區的 11 項檢索快取設計實踐,建議使用包含語料快照、權限範圍、切分策略及檢索設定的版本化鍵,並按文件事件使快取失效,讓最終答案只短期保留。文中建議分開快取解析頁面、文本區塊、嵌入向量、檢索結果和生成答案,並在返回證據前重新驗證授權及引用。
多租戶 SaaS 支援中心可將租戶篩選、有限查詢及來源引用驗證納入檢索合約,讓供應商遷移時無須改寫授權邏輯。遷移時應以相同的標註查詢測試新舊後端、比對已授權來源 ID,並通過私隱負例測試後才切換讀取端。
文章建議在選擇生產模型前,先挑選輸出目標穩定的高頻單一步驟,對照測試前沿模型與一個小型語言模型候選者。標註集應納入真實生產失敗、邊界措辭和含糊輸入;以同等提示詞投入比較通過率、p50 和 p95 延遲,以及每項成功任務成本。只有候選模型達到前沿模型測得的通過率門檻後,才考慮微調或知識蒸餾,並安排生產測試。
Ryan Sharma 分享在 Render 512 MB RAM 免費服務運行 RAG 文件問答應用,並把嵌入處理交由 Qdrant Cloud 的 Cloud Inference。
旅遊行程規劃器以版本化向量索引保存持久文件,另設即時檢索路徑處理變動資訊;需要歷史紀錄和最新引文時,便結合兩者。已發佈版本應採只新增、不覆寫的方式管理,並在引文中保留文件版本,避免回答引用過時資料。Infrai 的公開探索端點涵蓋 20 個模組、295 條路由,可用一個金鑰連接向量儲存及其他後端服務。
房地產知識機械人應先以語義檢索擴大候選範圍,再按穩定的來源身份合併重複物業記錄,並套用資料新鮮度及業務篩選條件。來源身份應優先於內容相似度;保留每次觀測記錄,避免較舊資料因較晚抵達而覆蓋最新資訊。示例中的 14 天篩選窗口只是政策例子,應按物業出租週期設定,並監察被排除的記錄。
保險理賠資料受理應以不可變文件修訂版本作為檢索單位,透過明確的版本閘門限定可搜尋內容,並讓回答引用精確來源版本。新版本須完成分段索引及核驗後才切換現行版本指標,再移除舊版或已撤回資料;上線前以標註問題集評估檢索品質,並量度端到端延遲。
文章提出多租戶更新日誌檢索的隔離設計,主張在向量化前按租戶隔離資料,並在向量查詢中強制套用租戶篩選。範例以 Python 示範資料導入邊界,作者指出同一契約可由 Node.js worker 使用;建議以 350–600 個 tokens 作為初始分塊範圍,再按檢索質素與延遲實測調整。檢索時應從已驗證工作階段取得租戶身份,並測試跨租戶查詢在重新索引後仍不會返回其他租戶的資料。
文章提出金融研究儀錶板的 Postgres 檢索限制設計,先在觸及索引前驗證查詢範圍,再分別設定候選項目與上下文預算,並回報拒絕或截斷狀態。TypeScript 範例以 422 回應超出範圍的請求,並在回應中提供候選項目、上下文用量及受限狀態;示例數值只是配置示例,並非通用建議。對需要完整覆蓋大型語料的研究,文章建議改用具備進度、分頁及持久化結果的非同步研究工作,並以證據覆蓋率評估限制是否合適。
Abdesslem Amri 示範使用 Truvec 為 RAG 檢索建立固定問題集、比較模型及策略,並逐項優化設定。示例中兩款模型的 hit rate 同為 90%,MRR 分別為 0.900 和 0.850;較佳者每 1M tokens 收費 $0.020,另一款為 $0.100。優化時應每次只改一項,檢視相對基準修復或破壞的問題,並可在文件變更或切換模型前透過 API 執行測試。
客戶支援知識庫搜尋應先以租戶、產品範圍、文件可見性及語系等中繼資料落實存取邊界,再只對篩選後的小批候選結果重新排序。分開記錄資料匯入、查詢及答案引用各階段,有助追查內容未被索引、遭篩除或排序流失的原因。Infrai 以單一 REST API 提供集合建立、寫入及查詢,減少原型整合所需的 SDK 和憑證銜接。
作者提出,餐廳菜單 RAG 助手應把 metadata 篩選視為具型別的政策,在向量搜尋前套用硬性條件,並在生成前核實篩選後的證據。篩選欄位包括 venue_id、service_date、menu_version、dietary_tags、language 和 availability;檢索結果應附上菜單項目及來源等證據,證據空白或互相矛盾時則拒絕回答。
PDF RAG 切塊前應為提取文本保留頁碼及區塊 ID,並在合併時傳遞這些引用資料,避免正確檢索結果指向錯頁。跨頁內容應保留有序頁碼清單;評估時同時核對答案文本和引用對應的區塊及實體頁碼。
文章提出以 PostgreSQL 搭配 pgvector 儲存文件與嵌入向量,利用同一資料庫的交易和權限控制,避免 RAG Agent 檢索已刪除文件。文件刪除時,ON DELETE CASCADE 會連同分塊及向量一併刪除;更新則透過 outbox 工作流程重新生成嵌入,檢索時在同一 SQL 查詢中套用相似度及租戶權限。
PDF 轉文字時,可逐頁檢查提取文字,以識別掃描頁並判斷何時使用 OCR。程式把少於 20 個字符的頁面視為空白,空白頁達總頁數的 90% 時標記為疑似掃描文件;混合文件則只對空白頁執行 OCR。文中亦建議以 300 dpi 渲染、設定文件語言,並保留信心分數供低信心頁麪人工檢查。