528 個網站的 robots.txt 測量:封鎖 GPTBot 的網站中,三分之二也封鎖帶來流量的 AI 爬蟲
作者測量 528 個高排名網站的 robots.txt,發現封鎖 GPTBot 的網站中,66.5% 也封鎖可帶來流量的 AI 爬蟲。GPTBot 用於收集訓練資料;OAI-SearchBot 建立 ChatGPT 瀏覽功能的搜尋索引,ChatGPT-User 則在用戶等待回答時抓取內容。
作者測量 528 個高排名網站的 robots.txt,發現封鎖 GPTBot 的網站中,66.5% 也封鎖可帶來流量的 AI 爬蟲。GPTBot 用於收集訓練資料;OAI-SearchBot 建立 ChatGPT 瀏覽功能的搜尋索引,ChatGPT-User 則在用戶等待回答時抓取內容。
這份教學展示如何用現成爬蟲整理 Mercari Japan 的已售商品,輸出包含日文及英文標題、日圓和美元價格的表格。搜尋結果可匯出為 CSV 或 Excel,亦可設定定時監察新商品及價格變動。搜尋 120 件商品需 $0.24;加上英文標題則需 $0.36。
1688 Product Scraper 可將 1688 搜尋結果及商品頁整理成可排序、翻譯和比較的表格,協助用戶尋找供應商及比較批發價格。每個關鍵詞最多可取得 180 個搜尋結果;測試中,抓取 100 個完整商品頁需時略多於兩分鐘。每 1,000 個完整商品頁收費 $3.00,每個關鍵詞讀取 180 個結果需 $0.09。
得物 App 宣佈接入國行 Apple 智能,用戶可用支援該功能的 iPhone 拍攝感興趣的商品,再透過得物搜尋相關商品。搜尋結果可連至得物 App 的商品詳情頁,查看在售商品及價格,並瀏覽材質、功能參數、AI 解讀、真實用戶評價和歷史價格走勢。
得物 App 宣佈接入國行 Apple 智能,支援用戶在兼容 iPhone 上拍攝商品,再於得物搜尋相關商品。用戶可查看平台在售商品及價格,並進入得物 App 的商品詳情頁,瞭解商品資料、歷史價格走勢、AI 解讀和真實用戶評價。
阿里雲萬網推出 2026 雙11「域名+官網+AI推廣」組合方案,涵蓋 AI 建站、.COM 域名及 GEO 推廣。活動期為 11.2–11.30;萬小智 AI 建站新客首月 9.90 元,搭配指定產品購買 .COM 首年 60 元,萬小智 GEO 標準版首月 99 元。
作者提供 Python 腳本,以本地嵌入向量比較各頁面在 Search Console 出現的查詢語意,找出精確字詞比對容易漏掉的關鍵字蠶食,毋須 API key。
撰寫 Meta Description 時,應先確認頁面內容及讀者需求,以一至兩句自然文字準確概括頁面,避免堆砌關鍵字或重複標題。搜尋引擎可能採用頁面其他內容作為搜尋摘要,因此 Meta Description 不保證原樣顯示;120–160 字符只是編輯參考,並非技術限制。大量頁面可用模板產生草稿,但須核實內容;評估效果時應一併查看曝光、點擊、CTR 及平均排名,不能將變化全歸因於描述。
文章指出,中小企做 GEO 的重點不是追求 AI 推薦,而是讓業務資訊易理解、可核實、值得引用,並追蹤是否帶來有效線索。建議先統一業務資料,再補齊產品頁、技術文件、案例和 FAQ 等能回答客戶決策問題的頁面,並提供可核實的證據。文中提出以 20 到 50 條高意向問題建立監測表,按 30 天分週整理資訊、更新頁面、抽樣測試及檢視有效訪問和諮詢。
SteadyScrape 示範以其託管 Actor「YouTube Transcript API: Captions with Timestamps」批量取得公開 YouTube 影片現有字幕及時間戳,再用 Python 搜尋短語並產生跳轉連結。
YuGPT 推出版面更新,可在本機備份 ChatGPT 和 Codex 對話,並提供彈性搜尋。開發者亦開始改善多語言支援,因為 YuGPT 在日本以外亦有客戶。
文章把 AI 使用網頁資料拆成「選中」與「吸收」兩步,並提供企業自查清單,分別檢視內容是否進入引用來源,以及被引用後是否實際用於答案。
文章整理兩項 2026 年研究及作者的監測觀察,指出只調整文章結構、不改內容,AI 引用率由 45.0% 升至 52.8%。
tech.rebounder.jp 發現,只向 Bing Webmaster 提交 sitemap-index.xml 會令 UrlCount 停在 1;直接提交列出文章網址的子 sitemap 後,UrlCount 升至 203,網站當日即被爬取。
作者以本機資料夾和 PixRoom 整理開發工作用的截圖、螢幕錄影及示範影片,並用標籤、評分和搜尋管理素材。檔案留在 Mac,不會上載至雲端;免費版支援標籤、評分、快速瀏覽、搜尋及影片播放。可選購 $19.9 的 AI Upgrade,加入本機自然語言搜尋和智能標籤建議。
作者展示一套在 2 GB 雲端 VM 上運行的 Agent 記憶系統,從 grep 檢索擴展至 BM25 和混合檢索,並以實測比較設計取捨。夜間整理把提示詞由 161 KB 降至 57 KB,之後的快照為 110 KB;內容是移入檔案卡,而非刪除。
作者結合企業服務及自身監測經驗,把 AI 搜不到公司的情況分為未能識別、與名稱相近的公司混淆,以及已識別但未獲推薦三類。文章建議分別詢問公司全稱、品牌名及不帶公司名的客戶問題,並在各 AI 上每題至少測試兩次,再按回答情況處理公開資料、公司資訊一致性或推薦理由。案例中,一家民宿在攜程網頁端上線並累積真實評價後,AI 在 10 個相關問題中提及它 5 次。
SEO AI Audits 團隊在 2026 年 10 月審核 106 個網站、共 24,184 個頁面,發現 AI 搜尋大多能觸及及讀取網站,但內容可引用性是主要缺口。
作者在 psf/requests v2.32.3 的 318 個程式碼區塊上測試 10 條 grep 找不到結果的問題,BM25 與 bge-m3 混合排序有 7 條進入前 10,單用向量搜尋則有 5 條。只搜尋 src/ 的 84 個區塊後,文中指出混合搜尋有 9/10 條進入前 10。測試及文件常因措辭貼近問題而排在實作程式碼之前,作者建議以路徑篩選或標記這些結果。
Google 在 Q3 2026 業績溝通中表示,正把 AI Overviews、AI Mode 與傳統搜尋整合為一個無縫產品,並將智能體視為連接旗下產品用戶旅程的一層。這並非宣佈取代 Google Search 或推出新排名系統;網站團隊應一併留意 AI 引用、品牌提及及自然搜尋流量等指標。
EasyData Labs 介紹其在 Apify 上的 Google Trends Growth Checker,可一次檢查最多 1,000 個關鍵字,並按年度變化和近期動能生成可排序的增長分數。
文章建議金融研究儀錶板先訂明文本區塊與資料新鮮度契約,再選擇檢索引擎,並把新鮮度及引文沿革設為應用層不變條件。檢索需限定 collection、topK、asOf 時間及 metadata filters;資料匯入、查詢與引文組裝則分開記錄事件,追蹤來源識別碼、修訂版本、時間和排序。
作者在客戶的 Shopify 商店發現,Liquid 的 truncate 篩選器把產品頁標題和 H1 截斷在詞中。搜尋曝光最高的 12 個產品頁,其 title 標籤都在 69 或 70 個字符處停止;truncate 按字符截斷,空字串作為後綴時不會顯示省略標記。作者建議移除 H1 和 title 標籤上的截斷,並提供可保留款式名稱的 Liquid 寫法及巡查全店的 Python 腳本。
英國競爭及市場管理局(CMA)要求 Google 提供按出版商細分的 AI Overviews 和 AI Mode 曝光、點擊及點擊率(CTR)數據,並與一般自然搜尋結果分開。
一項工作論文分析發現,在所研究的美國數據中,ChatGPT 廣告付費流量每個工作階段帶來的收入低於 Google 搜尋廣告。ChatGPT 每個工作階段收入為 $0.89,轉換率為 0.37%;Google 搜尋廣告則為 $2.45 和 1.17%。
Google 重申,既有 SEO 做法及技術 SEO 仍是生成式搜尋中網站獲得曝光的基礎。生成式優化不是 SEO 的替代方案;技術健全的網頁亦不保證必定出現在 AI 生成答案中。
SeenLens 作者以 30 個網站的測試説明,robots.txt 允許 GPTBot 等爬蟲,不代表網站伺服器或 CDN/WAF 會提供頁面。在該次掃描中,5 個網址未回傳 HTTP 200(4 個 HTTP 403、1 個 HTTP 202);其中一個頁面的 robots.txt 允許全部 13 個受測 AI 爬蟲 token,請求仍收到 HTTP 403。
LYNX 是 Anoneurx 開發的私隱網頁搜尋引擎,透過自建爬蟲、索引和排名提供搜尋結果,而非借用 Bing 或 Google 的結果。現行版本 v0.1.0,索引約 1.2M 個網頁、涵蓋約 42K 個網域;擴展規模及多區域部署仍在計劃中。
古巴思想多媒體平台主任蘭迪·阿隆索期待在世界媒體峯會與各地媒體交流人工智能應用及媒體合作。他表示,人工智能可協助生成圖片、設計產品及分析公眾意見,但始終需要人工審核。若媒體內容未被人工智能有效索引,便可能逐漸從搜尋引擎消失。
作者 Sedat Pehlivantürk 製作並提供免費工具 AI Search Readiness Checker,供用戶檢查 AI 爬蟲及搜尋引擎能否存取和讀取指定網頁。
orenhacham-lab 發現,封鎖 GPTBot 的 161 個網站中,66.5% 也封鎖可帶來訪客的 AI 爬蟲。這項檢查涵蓋七個 ccTLD 市場共 700 個高排名網域,其中 528 個網站提供可讀的 robots.txt;只有 10.2% 選擇封鎖 GPTBot 的模型訓練用途、保留搜尋發現。
傳統 SEO 在生成式搜尋興起下已不足以應對需求,網站應轉向 GEO,並以 Next.js 16 和 Edge Runtime 建構搜尋架構。文章主張採用 Server Components、結構化資料及靜態 HTML,提升頁面效能與 AI 搜尋引擎擷取、引用內容的能力。
Tiger Data 發佈仍處於 alpha 的開源 PostgreSQL 擴充套件 pg_vectorsearch,以 PRISM 索引提供向量相似度搜尋,採用分區與壓縮,而非 pgvector HNSW 的圖式方法。
YuGPT 可在本地備份 ChatGPT 和 Codex 對話,並支援彈性搜尋;產品正逐漸找到買家。開發者感謝已購買的用戶,並表示正改進產品,計劃 soon 推出更新。
Reddit計劃逐步轉向以登入用戶為主的瀏覽模式,未登入者未來可能只能看到帖子標題,以應對 Google AI Mode 摘要分流網站流量。2026年第三季,Reddit在美國的每日活躍獨立訪客數由上季的5320萬降至5070萬;公司預計今年第四季全球每日活躍獨立訪客數可能按低於兩位數百分比的幅度下跌。
ChatGPT、Claude、Grammarly、Perplexity 和 Canva 可協助轉職人士撰寫履歷及求職信,涵蓋關鍵字轉換、內容撰寫、語氣校對、行業研究和版面設計。ChatGPT 可按目標職位改寫過往經歷,Claude 可協助撰寫個人化求職信;Grammarly、Perplexity 和 Canva 則分別用於潤飾文字、研究行業資訊及設計履歷。
作者正打造 StartupsMap,讓用戶透過互動地圖按地點探索全球初創公司,並發掘不同城市、國家及行業的創辦人與企業。平台的初創公司檔案可包括公司簡介、創辦人、地點、行業、融資及社交媒體資料,創辦人亦可免費提交公司資料。作者亦正探索額外曝光及精選展示等可選方案。
文章以 Gemini 4 示範外貿站 Google SEO 與 GEO 的四步優化流程,涵蓋 URL 收錄檢查、長尾詞分層、Schema 審計及 AI 引用驗收。每一步均附提示詞模板,並提醒以工具核實搜尋量、確保 Schema 與頁面可見內容一致,以及同時觀察搜尋排名和 AI 引用。
何瑜以同一個蘇州醫美問題測試 5 個中國 AI 助手,觀察它們如何識別位置、改寫搜尋查詢及篩選交給模型的來源。測試中,千問改寫出 1 條查詢、Kimi 3 條、豆包 5 條;千問檢索 20 項素材後只把 5 項交給模型。作者建議 GEO 測試控制對話上下文,並分開觀察檢索、閲讀、引用和推薦;這次測試只進行一次,不能代表平台的一般行為。
Manol T. 為其追蹤 TikTok 和 Instagram 創作者的付費 SaaS 打造 20 多款免費工具,作為產品入口。每款工具各有專屬頁面,毋須註冊,能在瀏覽器處理的工作便不交由伺服器處理。趨勢頁面使用付費產品已追蹤的貼文數據,並標明各項數據的來源。