AI 爬蟲能否讀取你的網站?檢查 robots.txt、llms.txt 及 JavaScript 渲染
這篇指南提供檢查網站能否被 AI 爬蟲讀取的方法,涵蓋 robots.txt 規則、原始 HTML 中的文字,以及 llms.txt。作者指出,沒有主要 AI 引擎確認會以 llms.txt 決定引用哪些品牌;robots.txt 及 JavaScript 渲染則會影響爬蟲能否存取和讀取頁面。
這篇指南提供檢查網站能否被 AI 爬蟲讀取的方法,涵蓋 robots.txt 規則、原始 HTML 中的文字,以及 llms.txt。作者指出,沒有主要 AI 引擎確認會以 llms.txt 決定引用哪些品牌;robots.txt 及 JavaScript 渲染則會影響爬蟲能否存取和讀取頁面。
文章以單一 Python 檔案 adtrack.py 建立 Facebook Ads Library 擷取工具,提供八個命令搜尋廣告、查看廣告主及追蹤廣告新增、消失或創意變更。作者在雲端伺服器測試時,Meta Ad Library 網頁介面的請求均返回 HTTP 403。文章建議優先使用官方 Meta Ad Library API,並提醒自動擷取可能違反 Meta 條款。
osFoundry 桌面應用程式可在本機建立程式碼索引,並讓 AI 智能體以自然語言搜尋與問題語義相近、但用詞不同的程式碼。索引使用本機免費的 bge-m3 嵌入模型,不會上傳資料或收費;程式碼按約 700 tokens 分塊,並重疊 80 tokens。
作者在 psf/requests v2.32.3 上以 10 條問題比較語義搜尋、BM25 與混合排序,結果顯示單靠嵌入向量搜尋未能穩定勝過關鍵詞排序。bge-m3 的答案前 5 命中率為 4/10,BM25 為 6/10;混合排序在整個程式庫的前 10 命中 7/10,限制至 src/ 後則為 9/10,測試和文件會影響排名。
文章示範用 Python 標準函式庫讀取 RSS 和 Atom,並以 RSS Feed Reader Actor 建立可按關鍵字篩選、只輸出新項目的新聞監察流程。約 50 行的讀取器涵蓋兩種格式,並説明日期格式、穩定 ID 去重及 Atom 連結解析等易錯點。文中亦提供 Python 和 Node.js 範例,以及定時執行和避免重複輸出的設定。
Xiilab 推出 XAIVA Agent,讓用戶以自然語言搜尋及分析閉路電視影片中的事件。XAIVA 引擎使用超過 130 個視覺 AI 模型即時偵測事故,Agent 可整理統計數據、比較每週變化,並生成 PDF 報告。所有分析均在客戶內部伺服器進行,亦支援隔離網絡的本地部署,無須連接外部互聯網。
OpenAI 表示,ChatGPT 類搜尋查詢量已達 Google 約兩成,但沒有公佈實際次數。外界按 Google 每日約 160 億次搜尋推算,ChatGPT 約為每日 32 億次;這是媒體估算,而 OpenAI 按每次觸發網上搜尋計算,同一對話內多次觸發亦分開計。
作者開發 SellerMind,為 Etsy 賣家即時計算平台費用、每件商品淨利及利潤率。計算器涵蓋每件 $0.20 上架費、6.5% 交易費、3% + $0.25 付款處理費,以及適用時的 12% 站外廣告費。工具亦以正則表達式檢查商品標題的 SEO 結構,毋須使用 LLM 或支付 API 費用。
NoREA 團隊分享 Telegram 機械人靜態網站發布前後的檢查方法,涵蓋頁面生成、標題與 canonical 等標記、連結及部署後驗證。檢查中 sitemap 包含 22 個唯一網址,頁面均回應 HTTP 200,但 Search Console 當時仍未確認 sitemap 已處理。
Lex Sentinel 為巴西法院官方來源建立持續監察平台,並已獲裏約熱內盧州法官協會(AMAERJ)採用。平台監察司法議程及電子司法公報,去重並篩選新公佈,再透過電郵、WhatsApp 和 Telegram 發送通知;每日營運報告及公開狀態頁顯示系統運作情況。其 AI 層 LexIA 為每項公佈生成結構化報告,協助法律專業人士掌握相關資訊。
Alba LM 用 PageSignal 審查 40 個網站首頁,31 個結果可用;6 間新聞網站均封鎖至少一種 AI 搜尋或助理爬蟲,10 間 SaaS 及開發工具公司則沒有。
OpenAI消費者產品負責人Adam Fry表示,觸發ChatGPT網頁搜尋的查詢量約為Google的20%。他在11月2日紐約一場活動中説明,每當用戶提問並促使ChatGPT搜尋網絡,就算一次搜尋,不觸發搜尋的回答則不計。報道指出,這個比例缺少可核實的搜尋總次數和統計時段,而查詢量亦不等同搜尋市場份額或網站流量。
Kagi 宣佈任何人現可前往 kagi.com 搜尋網頁,毋須帳戶即可搜尋 50 次,註冊後可再獲 100 次搜尋額度。Android app 的主頁經過重新設計,語音搜尋亦已重建。Kagi 亦指出,Google 計劃於 2027 年初預設關閉學校帳戶的 AI 工具時,Google Search 也會一併關閉,並呼籲學校考慮替代方案。
新聞監測服務應以評測集設計分階段檢索架構,明確劃分資料集、限制查詢範圍,並保留可供審核追溯的來源脈絡。建議先建立涵蓋一般查詢、對抗性近似結果及失敗案例的測試集,文中示例包括 200 個一般查詢和 30 個對抗性查詢。評估時分開追蹤召回率、首頁精確率及引文有效性,並比較新舊索引結果,以便審核索引變更和及早發現成本回升。
作者以 Ranklogs 的 MCP 伺服器示範如何把 SEO 數據連接到 Claude、Claude Code、ChatGPT 或 Cursor,讓助手直接查詢帳戶資料。
這份 SaaS 上線檢查清單按時間整理上線前 4 週、前 2 週、上線週及上線後 1 個月的工作,並説明每項工作的原因。清單涵蓋產品頁、目錄刊登、推廣、用戶回應及成效追蹤。作者在 CapyLaunch 建立了互動版本,可在瀏覽器儲存進度並複製為 Markdown;相關工具免費使用,無需帳戶。
作者建立了付費 Apify 工具 eBay Search Scraper,可透過 Python 或 Node 將 eBay 搜尋結果整理成 JSON 資料列,無需瀏覽器。工具以 HTTP 抓取搜尋頁面,預設使用 Apify 住宅代理,並保留價格文字及貨幣,避免不同地區的價格混淆。文章亦示範在三個 eBay 網站比較二手 iPhone 13 的每週價格中位數。
Apple 研究人員在 ICML 2026 發表 Amortizing Maximum Inner Product Search with Learned Support Functions,透過離線訓練的小型神經網絡,為固定的 key 數據庫學習查詢路由,以加快並提升 MIPS 檢索準確度。
Hubort 是作者自製的桌面程式和瀏覽器擴充功能,可在一處搜尋 ChatGPT、Claude、Gemini 和 Grok 的多個帳戶聊天記錄。聊天記錄存入本機 SQLite;Pro 功能另可搜尋 Claude Code 和 Codex 工作階段,並透過 MCP 讓已連接的 AI 應用程式搜尋及讀取舊聊天。
作者分享在學業、網店及技術問題間感到疲憊,並整理管理社交媒體內容和推廣電郵的工具流程。Buffer 免費方案可連接最多 3 個社交媒體網站;Google bot 會把媒體上載至 Cloudflare R2,再載入 Buffer,檔案 30 天後自動刪除。清理失效連結後,作者透過 Claude 檢查 Supermetrics,並開始分析廣告點擊和流量,以瞭解銷售問題。
大量生產的 AI SEO 文章難以取得搜尋排名,問題不在文筆,而在於內容沒有提供搜尋結果中尚未有的資訊。排名得以維持的文章,通常包含作者的親身經驗、第一手資訊,或整理主題的新角度,並會説明建議適用的條件及回應讀者接下來的問題。作者建議讓 AI 協助構思大綱、檢查標題和編輯,而由作者親自撰寫核心論點與經驗。
LinkDigest 的小紅書搜尋 API 可透過一次呼叫搜尋話題、讀取帖子全文並按熱度排序,內容包括圖片文字、影片語音及熱門留言。熱度按讚數加兩倍收藏數再加留言數計算;一次實測讀取 4 篇帖子,共用 7 credits。無法讀取的結果會跳過並由備用結果取代,而且不收費。
Box 在 BoxWorks 公佈 Box Context Retrieval 搜尋引擎及 Box Architect 工作流程建構工具,並擴大與 Nvidia 的合作。
AI 助理帶來的引薦流量遠少於 Google Organic,但 GA4 引薦數據未必能反映 AI 對購買決策的影響。一項涵蓋約 100 個網站、約 145 million 次工作階段的分析顯示,ChatGPT 引薦流量相當於 Google Organic 的 0.62%,轉換率則為 13.8%,高於 Google Organic 的 3.02%。
文章指出,單靠搜尋 API 往往不足以讓 AI 智能體完成可靠的網絡研究,因為搜尋結果只提供候選連結,後續仍需擷取頁面、抽取資料及核實來源。Olostep 以 API 支援搜尋、擷取、抽取和核實等步驟,文章並示範如何用 Python 建立相關工作流程。
pytrends 已於 2025 年 4 月封存,文章比較 2026 年以 Python 取得 Google Trends 數據的 4 種方案。方案包括官方 Google Trends API alpha、自行抓取、託管 API,以及其他託管爬取服務和 SERP API;作者亦介紹自己建立的 Apify Actor Google Trends Compare。
Box 在 Box Content Retrieval 中整合 Nvidia 的 Nemotron 嵌入系統,讓智能體可依據嵌入式元資料更有效地回答查詢。Nvidia 副總裁預計,查詢速度可快 4 倍、錯誤少 20%,使用的 tokens 少 90%。系統將於明年初起分階段提供予 Box Enterprise Advance 客戶。
作者指出,按僱主行業篩選 IT 職位,可能在嵌入模型處理職位描述前排除銀行工程師,因為行業代表僱主業務,而職業分類代表工作職能。文章建議分開保存職業分類與僱主行業,並只按查詢需要施加相應篩選;文中提供欄位配置、序列化程式碼及合成職位案例。合成案例用於檢查納入邏輯,不能代表實際分類準確度;檢索召回及市場覆蓋仍須另行評估。
文章整理一套減少 AI 從影片逐字稿提取工具時產生幻覺的方法,要求每項結果附逐字引文,並以程式核對工具名稱、引文和時間戳。連結解析會加入工具類別和簡介、接受 GitHub 倉庫作正式來源,並以信心門檻拒絕低可信結果;長逐字稿則應分段處理並標示覆蓋範圍。四部影片的測試中,精確率由約 89% 升至約 96%,召回率由約 76% 升至約 93%;作者提醒測試只有四部影片,每部只測一次,數據僅供參考。
小型企業要讓網站出現在 AI 搜尋答案中,應為每項服務建立專頁,以清晰文字説明服務內容、服務地區、價格及聯絡方式。每頁加入客戶常問問題的直接答案,並確保網站在手機上載入快速、易於閲讀,資料保持最新。原文指出,大部分小型企業毋須重建網站,先改善主要服務頁面即可。
文章提供檢查 AI 爬蟲能否讀取網站的方法,先核對 robots.txt,再用 curl 比較一般瀏覽器與不同爬蟲 User-Agent 的伺服器回應。方法涵蓋用於訓練或索引的爬蟲,以及用戶提問時抓取頁面的爬蟲;若爬蟲回應 403 或 429,而瀏覽器為 200,可能是主機、CDN 或防火牆阻擋。
網站上線後,應分別檢視流量、轉化及營運狀況,以掌握訪客來源與瀏覽頁面、哪些頁面帶來轉化,以及網站是否穩定。文章建議先定義關鍵事件並統一命名,再以 GA4 配合 gtag.js 或 Google Tag Manager 設定追蹤,同時串連前端事件與伺服器日誌。
這份 GEO 診斷手冊將內容未被 AI 引用的問題分為三種症狀和六類病因,並為各類病因列出檢查與修復方法。六類病因包括檢索盲區、段落不可提取、實體口徑混亂、數據無口徑、結構化標記問題,以及內容陳舊且缺乏監測。修復順序由確認頁面是否進入候選集開始,再處理段落與數據、實體口徑和結構化標記,最後建立監測及更新機制。
網上商店若只用 AI 增加廣告、貼文和產品影片,卻未納入市場需求等外部訊號,可能會更快走錯方向。荷蘭傢俱市場的數據顯示,傢俱整體搜尋需求下跌 24%,小客廳角落梳化的搜尋量卻上升 81%,其搜尋佔比增加 141%。文章建議結合搜尋、社交媒體對話、競爭對手活動及評價,找出供需落差,並以合適的產品和送貨承諾回應需求。
Google 將在明年初把 K-12 教育帳戶中的 AI 工具預設關閉,由學校管理員決定是否啟用;但學校若停用 AI,也會一併失去 Google 搜尋。文章指出,Chromebook 佔美國學校學生設備發放量逾一半,Google Workspace for Education 覆蓋逾 1.7 億名學生和教師,令學區難以退出其生態。
2026年,教育培訓機構的招生資訊入口正轉向AI對話,GEO旨在讓機構的真實資訊被大模型理解、採信,並在回答中準確呈現。GEO與關注搜尋結果排名的SEO不同,重點是整理課程、師資及服務等可核實資訊,並透過公開信源保持內容一致。選擇服務商時,應評估診斷、內容溯源、合規審核、監測復盤及轉化承接能力。
Tavily 是面向大語言模型的 AI 原生搜索 API,會執行查詢改寫、網頁召回、正文抽取、內容壓縮及可信度評分,並返回可供模型使用的結構化結果。它提供基礎搜索和深度搜索,可接入 LangChain、LlamaIndex 及 Agent;服務以 SaaS 方式提供,不能私有化部署。中文檢索和正文抽取能力較弱,且按檢索次數收費。
針對35家法國服務業中小企的測試顯示,不提供企業名稱時,GPT推薦17家,Claude推薦4家。兩者只共同推薦3家;提供名稱及網站時,GPT能正確描述35家企業的業務,Claude則能描述34家。ZH-HK
Vercel 的研究指出,受測主要 AI 爬蟲不會執行 JavaScript,因此只在瀏覽器端生成的內容對它們不可見。研究提到 Gemini 使用 Googlebot 的基礎設施,AppleBot 亦透過瀏覽器式爬蟲渲染;文章示範以 curl 或 DOMParser 檢查爬蟲可讀取的 HTML。文章建議把主要內容、metadata 和導覽放進伺服器傳送的 HTML,客戶端渲染則留作附加內容。
Google 於 2026年11月5日宣佈,美國使用其 K-12 教育軟件的學校若不啟用 Gemini 等 AI 工具,學生將無法使用 Google 搜尋。民主黨籍政要批評此舉涉嫌敲詐及反競爭,FTC 前主席莉娜·汗則稱其凸顯壟斷風險。Google 表示 AI 權限預設關閉,學校可分項選擇啟用功能,並稱此安排旨在回應教育工作者對可控性與學習質素的訴求。