如何在 2 分鐘內為網站或文件建立 /llms.txt 檔案(附範本)
/llms.txt 是放在網站根目錄的 Markdown 檔案,為 LLM 和 AI Agent 提供核心頁面的精簡導覽,協助它們理解網站內容。它不會取代 robots.txt 或 sitemap.xml,而是補充兩者各自負責的爬取權限和完整網址索引;文章提供檔案規格、可複製範本及免費瀏覽器生成器。
/llms.txt 是放在網站根目錄的 Markdown 檔案,為 LLM 和 AI Agent 提供核心頁面的精簡導覽,協助它們理解網站內容。它不會取代 robots.txt 或 sitemap.xml,而是補充兩者各自負責的爬取權限和完整網址索引;文章提供檔案規格、可複製範本及免費瀏覽器生成器。
FirstDay AI 開源 MIT 授權的 Naukri 求職者個人檔案檢查工具,按自訂規則評分,總分為 100 分。評分涵蓋標題、關鍵技能、個人簡介、工作經歷、活躍度及求職設定,其中標題與關鍵技能各佔 25 分;這些規則並非 Naukri 未公開的排名演算法。程式碼見 https://github.com/FirstDay-AI/naukri-profile-optimizer。
Perplexity 推出 Monitor API,可按排程監察網絡搜尋或最多 10 個指定網頁,並只在結果符合相關性等門檻時透過 webhook 向應用程式及 Agent 發送更新。
文章提供一套結合 Search Console 和 GA4 的方法,判斷產品上線後的搜尋數據是真正機會還是雜訊,避免把曝光量直接視為需求。方法是按曝光量、CTR 和排名分類搜尋查詢,再核對查詢相關性及 GA4 的互動和事件,為每組查詢與頁面標記「立即處理」、「觀察」或「忽略」。Search Console 數據可能經抽樣、匿名化或延遲,GA4 數據則視乎事件設定,應視為決策依據而非定論。
作者以 Rust 開發 Windows 本機記憶工具 Synapse Mind,並以記憶體傾印檢查其私隱防護;v0.1.1 測試傾印 41 個程序,未找到原始秘密或金鑰。
Pandex 提供涵蓋歐盟及七個歐洲國家的官方法例與最高法院判決搜尋服務,並可透過 REST API 和 MCP server 接入現有 AI 工具。平台收錄 2.8M 份官方文件,41 個機構中有 33 個完整收錄,並連結 37M 條引文。搜尋支援任意語言的關鍵字、語義及混合搜尋。
theomnikit.com 為不同搜尋意圖建立各自的工具頁面,並以獨立內容、預設設定和結構化資料區分頁面;其 /llms.txt 列出 768 項工具及 1,035 個頁面。
文章分享為服務型企業網站加入 llms.txt 的做法,並整理檔案結構與部署注意事項。檔案列出公司資料、服務、地點及資源連結,並透過 CI 驗證連結、部署後通知 IndexNow。直接成效仍太早衡量,但整理過程有助修正網站及商業目錄中不一致的公司資料。
Atakan Elik 整理了 Claude Code 和 Cursor 可用的免費網頁搜尋 MCP 伺服器,並比較免 API key、帳戶及自架要求。DuckDuckGo MCP 在本機執行,Exa 和 Clawifi 提供免 key、免帳戶的託管搜尋;SearXNG 需要自備或選擇執行個體,而 Jina Reader 免 key 可讀取網頁,但搜尋需要 key。
Google 正在全球推出重新設計的桌面搜尋首頁,移除傳統的 Google Search 按鈕,並加入 Gemini AI 功能捷徑及可收合的 AI Mode 對話側欄。
FreshGauge 是一款 Bifrost gateway 插件,會抽取每個 completion 中可核實的事實,並以即時網頁證據及來源權威度與時效的加權評分判斷資訊是否過時。
判斷網站能否讓 AI Agent 存取,應依序檢查 robots.txt、伺服器對各 user-agent 的回應,以及 CDN 或 WAF 的機械人規則。內容將機械人分為訓練爬蟲、搜尋爬蟲和用戶觸發的 Agent,建議分開決定是否允許,並避免把 robots.txt 當成強制控制。
作者在 n8n 工作流中加入 Jev AI 篩選層,在生成話題前評估 RSS、Google Trends、新聞及 YouTube 候選項目。流程每批處理 8 項,按 0.45 門檻保留;若保留項目少於 8 項,便補回高分淘汰項目,批次出錯時則讓候選項目直接通過。
電商產品搜尋應以權威產品記錄及當前可售狀態設定爬取邊界,並在檢索架構中明確管理資料新鮮度。每個檢索片段應連結父級產品記錄、有效期及 SKU、variant、locale 和 revision 等中繼資料;先套用身份、範圍和新鮮度篩選,再進行詞彙與語義排序,價格及庫存則於回答時向交易資料來源查詢。上線前應測試完整爬取、重播、亂序更新和刪除事件,過期或不符合條件的結果應排除或讓系統拒答。
這套面向 7 個開發者更新日誌頁面的檢索架構,以來源 URL 和標準化內容雜湊識別記錄,在檢索前去重,並為保留記錄附上引用。引用欄位須保留至排序階段,候選區塊按 canonical_record_id 分組,並按發布者維持多樣性。告警應比較標準化雜湊對應的版本,而非抓取快照;以 outbox 和冪等消費處理重試,可避免重複記錄或缺少引用。
文章建議以僅追加的變更流驅動逐房源、具冪等性的索引更新,並以定期對帳修補缺漏,避免每次資料流執行都重建整個語料庫。索引寫入須以來源版本原子拒絕舊資料,刪除則使用墓碑記錄或明確可見性變更。分塊策略可比較 256、512、1,024 tokens 的文字窗口,固定嵌入模型和查詢集,同時衡量檢索品質與 p95 索引至可搜尋延遲。
文章示範如何用 Python 抓取毋須登入即可瀏覽的 LinkedIn 職位資料,先從搜尋結果取得職位 ID,再讀取職位頁補充詳情。作者測試中,來自數據中心 IP 的請求有 13–15% 收到 HTTP 429,LinkedIn 約在 1,000 筆結果附近停止分頁。文中亦介紹作者自建的 Apify 託管工具,收費為 $1 per 1,000 jobs plus $0.0005 per run。
建置者分享一款 Instagram 追蹤者搜尋工具的設計取捨,透過資料供應商的搜尋功能查找名單,避免逐頁載入整個追蹤者清單。工具按帳戶、搜尋方向及詞語快取結果,並以免費額度、付費點數及多層防機械人措施控制成本與濫用。工具只查閲公開資料,搜尋結果可能不完整,尤其是大型帳戶。
產品探索衝刺通常由小型團隊用一週,在投入開發前回答一項重要產品問題或風險;指南提出 AI 輔助的五日流程和三小時版本。AI 可加快整理既有通話、工單和筆記,但三小時只能梳理現有證據,不能取代客戶訪談與測試;指南建議探索性研究至少保留三場真人訪談,並引述 2026 Nielsen Norman Group 研究指出,只有 3/10 名參與者認為 AI 主持的對話自然。
智能體商務正由商品搜尋逐步走向實際購買,AI 智能體可跨商店搜尋、比較商品,並在用戶批准後完成結帳。UCP、ACP 與 AP2 分別涉及購物流程、結帳及付款授權;Crossmint Menta 是一款可向 3,000 間商店購物的開源外掛,Crossmint 報稱測試完成率為 91%。目前多數購物仍停留在商品搜尋階段,信任和商品資料品質影響代理購物能否進一步完成下單。
文章提出,招聘候選人搜尋應把檢索品質與延遲視為同一回應契約,只執行預算內可完成且能提供證據的檢索,並明確標示降級結果。先套用硬性資格條件,若結果證據不足,只在剩餘預算內啟用一種備援;無匹配、證據不足與階段超時應分開記錄。作者建議以本地查詢重播調校門檻,並記錄各階段耗時、證據數量、語料快照及備援原因;違反硬性條件的結果不可因延遲壓力而接受。
BAMS Digital 創辦人 Alisa Bolokhovets 在 2026 年 11 月 17 日測試 ChatGPT with search、Google AI Overviews 和 Perplexity,檢查公司在 49 個回答中的 AI 能見度。
minia2a 為語義搜尋服務加入計數器及健康端點,區分真正沒有匹配結果與服務無法回答的請求。30 個並發測試查詢中,12 個到達語義服務,4 個返回結果、8 個因佇列逾時遭拒;另有 18 個在到達服務前被閘道的 token bucket 拒絕。閘道的買家端標示仍待部署,因此這些計數無法反映所有買家看到的零結果。
作者為 Kwai 建立的影片轉錄工具已發佈為 Apify Actor,可按個人頁面、hashtag 或關鍵字擷取影片語音文字、觀看次數及讚好數。
眾通社GEO中心依據相關標準,將內部方法草案 v3整理成涵蓋輸入、處理、輸出、校驗四層的205項GEO復測核對清單。清單提出知識切片須獨立成義並保留品牌,每條斷言須可追溯至不少於3個獨立URL,AI採用時保留品牌名的比例不低於85%。
robots.txt 只能表達網站對 AI 爬蟲的偏好,不能阻止請求;要確實封鎖,須透過 CDN、伺服器規則或登入限制執行。OpenAI 和 Anthropic 分別設有訓練、搜尋及用戶觸發抓取的爬蟲,網站可按用途設定,並在封鎖訓練抓取的同時允許搜尋引用。llms.txt 則是尚未成為標準的提案,透過精簡資訊和頁面連結協助 AI 助手準確讀取網站內容。
LuxurAI 在 NexInova 開發平行智能體網絡搜尋,將技術問題拆成多個子查詢,由不同工作執行緒同步搜尋官方文件、GitHub 討論及社羣案例,並在生成答案前核對來源與版本資訊。回答附有可點擊的引用連結;用戶每日可免費獲得 100K 輸入 tokens 和 50K 輸出 tokens,付費搜尋按每個 credit ₹0.25 計費。
一項以 184 條問題進行的記憶搜尋實驗發現,加入 cross-encoder 重排序後,正文問題及連結筆記目標的 nDCG 下降。正文問題的 nDCG 由 0.821 降至 0.658,連結筆記目標則由 0.267 降至 0.166;標題問題的 nDCG 上升,而時間性問題樣本僅 4 條,無法支持可靠的一般結論。
文章提供代帳及財税企業在 AI 回答未列出自家時,對照同行頁面檢查服務對象、服務項目及所在地是否同屏呈現的方法。企業可用四欄差距表記錄三項資訊及出現位置,並優先補清首頁首屏表述。之後以真實客戶問法持續觀察回答和引用頁面;頁面寫得清楚不代表一定會被 AI 引用或獲得排名。
Cloudflare 於 2026年11月20日為 Cloudflare Radar 漏洞資訊網站 Zero Wire 的所有已公開 CVE 新增個別頁面,讓用戶查閲受影響產品、漏洞利用情況及建議行動。
教育培訓機構可按自身需求選擇GEO服務商,並以診斷、事實來源、合規、信源鋪設和效果度量五個問題評估合作方。服務方可分為監測工具型、內容投放型、搜索轉型型、垂直行業型和一體化系統型,文章亦拆解三類機構的落地路徑。信源積累以月計,AI回答的可見度變化通常需數周至數月逐步顯現。
作者 nonacosa 建立 PastNoise(pastnoise.com),可搜尋 206M+ 帶時間戳的 Podcast 字幕行,將 5 至 6 位不重複主要講者的片段編排成連續瀏覽頁,並列呈現 Wikipedia、PubMed、Crossref 和 OpenAlex 引文。
企業可透過生成式引擎優化(GEO),為地址、價格、資質等公開資訊指定責任人,並建立核對節奏,以減少不同渠道的資訊不一致。建議每季度巡檢,遇到價格或型號調整時在五個工作日內更新,並以十到二十個客戶常見問題作為觀察集。這套方法不保證 AI 引用或排名,重點是讓公開資訊準確、一致、便於核驗。
元寶的引用清單由 11 月 9 日那週的 6 條本人內容,變為 11 月 16 日那週的 5 條本人內容及 1 篇通用英文 GEO 文章,呈現來源漂移。同期,Kimi 引用清單新增百度百科「劉磊聊GEO」詞條,屬於權威背書類來源。文章建議每週記錄本人、通用及同名異人來源的數量和代表條目,再按來源類型決定補充、觀察或優先處理。
DeepSeek 於 2026 年 11 月 13 日透過 API 向開發者開放多項消費者 App 功能,五項內置工具可在 deepseek-flash 上使用,另有獨立 Search、Fetch、OCR、ASR 和 TTS API 開放。
教程示範如何用 Python 建立本地化 SERP 監測流程,涵蓋搜尋結果採集、解析、SQLite 儲存,以及按地點、語言、裝置和時間比較變化。文章建議保留原始回應,並把各項搜尋請求背景存為獨立資料,避免混合不同搜尋環境進行比較。SERP 數據亦可接入 AI Agent 或 RAG 工作流,並保留來源 URL、標題、摘要、擷取時間及搜尋查詢,以便審核。
韓國一名高中生獨自開發的 OWN SHARK,在最近三天修正地鐵路線推薦錯誤,並把地點及地址資料擴展至全韓國。系統會比較三種地鐵搜尋結果,按實際到站時間選出最早抵達的路線;商戶停業資料則須與政府牌照資料中的建築物及名稱吻合。產品仍未推出,現支援日文、中文、越南文、韓文及英文回答。
搜尋公司品牌全名時,答案提及同行多數不代表被搶;關鍵是關於公司的名稱、地址和主營業務是否準確。文章按答案完全沒有提及公司、提及同行、資訊有誤或認錯同名企業等情況分類,建議先核對並統一官網、地圖及企業查詢網站的名稱寫法,再修正錯誤資訊來源。
教程示範以 Docker Compose 配合 Redis 自行架設 SearXNG 私人元搜尋引擎,並透過 HTTPS 反向代理對外提供服務。文章列出設定持久化、限制公開存取及處理常見問題的方法;一次沙盒測試中,兩個容器的記憶體峯值合計為 138.6 MB,HTTP 探測回傳 200,數據只反映該次測試。
Ram 提供一套網站 AI 爬蟲存取檢查指南,涵蓋 robots.txt、llms.txt 和 curl 驗證。指南建議按搜尋與訓練用途分開設定爬蟲規則,並檢查 sitemap、noindex、伺服器回應及 CDN/防火牆;設定約需 30 分鐘,另需 15 分鐘驗證。