文件網站如何讓 AI 讀懂:llms.txt、Markdown 副本及三個踩過的坑
作者分享將文件網站改造成方便 AI 爬蟲讀取的實作方法,涵蓋 llms.txt、每頁 Markdown 副本、JSON-LD 結構化資料,以及帶有 lastmod 的 sitemap。
作者分享將文件網站改造成方便 AI 爬蟲讀取的實作方法,涵蓋 llms.txt、每頁 Markdown 副本、JSON-LD 結構化資料,以及帶有 lastmod 的 sitemap。
作者統計自營網站的流量,Google 帶來 1,791 名訪客,ChatGPT 帶來 108 名。Google 表示,AI Overviews 和 AI Mode 使用一般 Google 搜尋索引,連結仍按一般搜尋的方式發揮作用;ChatGPT 則未説明反向連結是否影響結果排名。
作者統計 16 天的網站流量,Google 帶來 1,791 名訪客,ChatGPT 帶來 108 名,Perplexity 則為 0。另一個網站上,ChatGPT 以 47 比 28 超越 Google,流量來自 DKIM checker 等窄用途工具頁;答案式頁面則吸引 AI 流量。
美妝行業 GEO 以品牌可信知識資產為核心,透過 AI 場景推薦承接品牌認知、產品種草、消費決策及口碑治理需求。落地方向包括洞察用戶意圖、建立標準化知識體系、製作 AI 友好內容、升級官網結構化資訊,以及協同全渠道內容並統一資訊口徑。
這套 AI 產品全生命週期知識洞察管理系統以接入、處理、儲存、應用四層架構整合各階段知識,結合向量檢索與知識圖譜,提供語義問答和影響分析。Python 原型以 TF-IDF 實現知識檢索和階段分佈洞察;生產環境建議改用預訓練語義模型,並考慮資料脱敏、權限校驗及知識版本管理。
電商 PDF 的圖片説明搜尋應以每張圖片為檢索邊界,建立一筆包含説明、有限範圍附近文字及文件版本的記錄。文章建議以真實商品查詢比較分塊方案,並透過目前版本篩選及召回、過期結果和索引延遲等指標,評估嵌入方式及索引流程。
指南梳理企業在 ChatGPT Business Hub 認領商家頁面的流程,並建議提交前先統一網站、JSON-LD、Google Business Profile 和 Bing Places 上的商家名稱、地址、電話等資料。
文章主張產品搜尋採用雙速檢索架構,以快速索引處理價格和供應狀態,並以較慢的語義索引處理描述內容。文中列出的起始時限是價格與供應狀態數秒至 1 分鐘、商品資料 5 至 30 分鐘、描述及支援文字數小時至一天,並強調應按欄位需求調整。作者建議用真實目錄事件重播及按欄位追蹤的時效指標驗證設計,並指出兩速架構需要團隊能處理事件排序、重播及時效監控。
Otter Basic 只保留最近 25 段對話,每月限 300 分鐘,匯出格式只有 TXT 或 MP3;文章建議由最舊的對話開始匯出,按日期、客戶和主題命名,並將完整謄本集中保存。MeetScribe 是可離線使用的桌面應用程式,核心版本一次付費 $29,首 5 場會議免費;Pro 版每月 $9,增加 Fathom 同步。
GEO 並非付費即可令品牌即時獲 AI 推薦,企業資訊須經抓取、解析、召回及生成四個環節,最終是否獲引用由 AI 平台決定。成效應分收錄、覆蓋及引用質量三階段衡量,所需時間視乎行業、企業內容基礎及競品情況。分層監測可協助定位卡點,並據此調整內容與資訊。
江蘇企業可核對主體、資質、知識產權及案例四類證件,並查看診斷與監測兩份報告,評估 GEO 服務商的綜合實力。團隊人數、媒體發稿量和案例數量都不能單獨作為實力指標,還應按服務商類型比較。微盟星啟公開披露 30 餘項技術專利及自研監測優化系統,可作為參照樣本。
選擇江蘇 GEO 服務商,可依次核驗簽約主體、項目案例與合同條款,確認公司資料、實際交付及責任安排。合同應列明交付物、驗收標準、內容與數據資產歸屬,以及退出機制。文章以微盟星啟作為主體與合同資訊較完整的參考,並指出區域團隊的優勢是回應快、本地理解較好。
文章提出一套供市集搜尋及私隱導向個人知識管理器使用的分階段檢索架構,將分塊與資料新鮮度分開調校,限制候選數量後再重排。調校可先用代表性資料檢查召回率與精確率,再逐項改動分塊大小、新鮮度門檻及候選數;文中以先取 20 個候選、重排後保留 5 個作起點,並指設定須視目錄密度等情況調整。
騰訊在28週年當天正式推出元寶搜索 C端網頁版,並開放 so.qq.com 及 QQ 瀏覽器最新版內的使用入口。官方稱其搜尋鏈路從召回、排序、網頁理解到答案生成均以大模型重新構建,並接入微信公眾號、視頻號、騰訊新聞等內容,亦索引全球頂尖論文期刊學術庫。平台表示會嚴格區分廣告與自然結果,並以相關性控制廣告匹配。
文章分析國內大模型 GEO 優化愈來愈難的原因,歸納為引用衡量不再等同頁面排名、通用改寫手法的收益因競爭而收窄,以及檢索取用單位由整頁轉向可摘取段落。文中説明,排名與引用的部分量化證據來自英文搜尋引擎,國內模型尚無公開等價數據。實務建議包括固定問題池和採樣口徑、追蹤引用位次與答案主張,並提供帶有可核驗資料、能獨立回答子問題的段落。
文章為多租戶 SaaS 支援中心提出分階段檢索架構,以明確集合、有界分頁及可跨供應商保留的來源上下文,讓檢索適配器可以替換。應用程式自有契約保存 tenant_id、collection、cursor 和 as_of,檢索先做詞彙搜尋,再查租戶範圍內的向量集合,並限制最多兩頁;結果保留來源 URL、修訂版本及區塊位置。
DeepSeek Harness 提供 10 款插件,涵蓋跨會話記憶、文件解析、視覺辨識、模型切換、搜尋、費用監控及登入憑證刷新等功能,將聊天工具擴展為可配置的 AI 工作台。文章亦説明插件安裝、部署和模型接入方式,並提醒用戶留意版本要求、插件來源及敏感資料處理。
Google News Scraper with Original Article URLs 可將 Google News RSS 的跳轉連結解析為出版商原始網址,並按查詢、語言及國家返回標題、出版商、日期和摘要。
IT早報彙總英偉達 CEO 去留消息、華為星芒官宣及 iPhone 20 週年款前瞻等科技資訊。AI 方面,阿里全新一代千問大模型 Qwen4 預覽版已上線;Claude Mythos Preview 僅用 3 天便讓另一模型在 AMD MI355X GPU 上運行。華為麒麟 9050 系列支持 30B MoE 大模型端側運行。
AWS 宣佈 Amazon Bedrock AgentCore 推出 Web Search API,讓應用程式透過單次 API 呼叫搜尋網頁,並取得 Amazon 營運的網頁索引所提供的排序結果。
推薦理由:文章清楚區分 Web Search API 與 AgentCore Gateway 的適用場景,並説明直接 API 呼叫無須預先建立資源,方便按現有架構選擇接入方式。
AWS 於 2026 年 11 月 11 日為 Amazon Bedrock AgentCore 推出獨立 Web Search API,讓應用程式透過一次經簽署的呼叫取得排序網頁結果,無須建立 Gateway。
作者打造 Public Domain Book Finder,透過一個 API 同時搜尋 Project Gutenberg、Open Library 和 LibriVox,並合併重複書目。API 可提供免費書籍的不同格式、清理後的逐頁文本,以及按章節提供的有聲書 MP3;Open Library 結果僅限完全公開、無須借閲的掃描本。
律師行網站若只在 JavaScript 執行後載入正文,不執行 JavaScript 的 AI 爬蟲可能只能讀到頁面框架。可用 curl 檢查初始 HTML 是否包含正文、標題、常見問題答案及律師姓名,並在每次發布後重測。網站可透過伺服器端渲染、靜態生成或將內容直接輸出至 HTML,讓爬蟲讀取重要資訊。
BotOfMouth介紹一套檢查方法,按問題、AI 助理及多次執行統計企業被提及的比例,並分開記錄自家網站是否獲引用。文章建議保留名稱別名、留意同名企業,並保存每次原始回答及日期;示例中,一間泰國島嶼的度假屋租賃公司在 3 種語言的 23 條非品牌問題、共 69 個回答中均未被提及。作者亦指出,API 結果可能與應用程式答案不同,應視為可重複的代理指標並清楚説明。
Databricks 宣佈 Genie 已成為自主 AI 同事,可按排程或事件觸發任務,並同時處理多項長期工作。用戶仍可設定哪些行動須先獲批准;Genie Ontology 已正式提供,Genie Search 已支援 Google Drive、Jira、Confluence 和 Workday,SharePoint 則處於 beta。
作者團隊為烏克蘭建立 Telegram 頻道地圖,將 4,076 個頻道定位至 277 個城市及城鎮,無須人工標註訓練集。流程先寬鬆匹配地名,再按提及頻率與城市人口、跨境同名情況及兩個分類器排除誤配;相同流程亦透過各國設定套用於烏茲別克斯坦和伊朗。烏克蘭地圖載入約 234 KB 靜態檔案,開啟時不會發出 API 請求。
JioStar 使用 OpenAI API,在 JioHotstar 開發對話式影片及板球數據探索助手,服務逾 5 億用戶,並支援多達 72.5 million 名觀眾同時觀看直播體育賽事。團隊在約八週內完成支援 15 種以上語言的體驗,並在準確度、延遲和成本之間取捨。超過 60% 的用戶使用語音而非文字。
研究提出加權 state souping,透過學習依據查詢調整的權重來組合已快取的狀態,改善狀態空間模型在長而密集的上下文中的表現。該方法提升多種文件問答、資訊檢索、變數追蹤和工具使用任務的表現;其稀疏版本在維持或提升效能的同時,令編碼成本近乎不隨上下文長度增加。
Bill Hunt 提出的 GEO 框架主張,除品牌可見度外,亦應衡量企業能否提供可檢索、可信的證據,支持買家按決策準則評估品牌。在一項以 38 個提示詞測試五個 AI 平台、共分析 190 個回應的測試中,品牌出現在 98.4% 的回應,但 73.7% 的回應缺乏或只有薄弱證據支持關鍵主張或建議。這些結果反映,品牌被提及或列入推薦名單,不代表已有足夠證據支援買家決策。
全球數源中心在廣州南沙發布國家數據基礎設施平台建設成果,並上線涵蓋知識產權和跨境貿易的精品數據應用。專利檢索、侵權風險分析及標訊處理等應用可提升處理效率;「外貿企業營銷寶」單品月均新增採購商線索200條,使用企業成單率提升300%。平台已上架數據產品2700餘款,並以區塊鏈、私隱計算和數據沙箱保障原始數據不出域。
虎博科技將 GEO 定位為 AI 時代的品牌資訊基礎設施,透過品牌事實治理、官網知識建設、外部可信信源協同及多平台監測,提升品牌在 AI 回答中的可見度、準確性與可信度。公司把已完成國家備案的自研基礎大模型 TigerBot 用於問題分析、語義理解和品牌資訊組織,並以 UnderAI 監測品牌提及、引用、推薦及資訊準確性。其 GEO 服務涵蓋多個行業及海外市場,並採用 RaaS 模式交付。
Databricks 於 2026 年 11 月 11 日推出新版 Genie,定位為可持續處理長期企業工作的自主 AI 協作助手。Genie 可執行排程或事件觸發工作、追問缺漏資料並同時管理多項任務,用戶可設定哪些行動須經批准。
這篇教學示範如何用 Python 和 SQLite 記錄 People Also Ask 搜尋快照及問題,讓沒有問題的成功檢查也納入統計分母。示例按 requestId 避免重複匯入,並正規化問題文字後統計各問題在指定搜尋條件和時段內的出現次數,供編輯判斷文件是否需要補充。
AgentSearch MCP 可透過一條 npx 指令接入支援 stdio 的 MCP 客戶端,提供免 API key 的網頁搜尋、頁面擷取及 JavaScript 頁面渲染。免費搜尋每日每 IP 最多 25 次;擷取和渲染分別有每日每 IP 5 次及 3 次的免費試用額度。超出額度後,可透過 Base 上的 USDC 錢包以 x402 按次付款;指南亦介紹多款客戶端的安裝、工具搭配和限額處理。
Databricks 將 Genie One 擴展為企業 AI 協作工作空間,整合企業搜尋、簡報/儀錶板/互動頁面製作及跨工具操作,並以 Genie Ontology 和 Unity Gateway 提供業務脈絡與治理。
Databricks 宣佈 Genie Ontology 正式開放使用,讓智能體從企業日常工作產物中持續學習業務脈絡,並由人員治理關鍵定義。在與 Turing 合作建立的基準測試中,Genie 答案通過率為 91%,高於 Agent A 的 45% 和 Agent B 的 58%;平均每次運行需 100 秒及 432K tokens。
Databricks 推出全新 Genie,這款自主 AI 協作助手可持續承接複雜企業工作,追蹤進度、跟進缺失資料並按新資訊採取行動。
承包商可用 JSON-LD 標記業務類型及服務頁面,讓業務身分、服務項目和服務地區等資料更清晰。Sourci 團隊在 50 個美國都會區取得的 300 個 ChatGPT 和 Gemini 答案中,承包商網站分別佔兩者引用來源的 58% 和 76%;這項研究衡量的是引用,並未證明 JSON-LD 會帶來推薦。
文章示範如何用 Sentence Transformers 為多向量嵌入模型加入 Token Pooling 感知訓練,令模型同時以原始及壓縮後的文件向量進行檢索訓練。
推薦理由:文章將壓縮後的檢索目標納入訓練損失,並在相同儲存預算下比較一般訓練與池化感知訓練的檢索品質保留差異。
元寶搜索正式上線,搜尋結果頁會優先整理並顯示關鍵結果,亦可切換至 AI 模式繼續追問。服務接入微信公眾號、視頻號等騰訊生態內容,並可按相關類別篩選搜尋結果。用戶可透過 so.qq.com 使用,也可在 QQ 瀏覽器 PC 端及手機端切換至元寶搜索。