跳到正文
阿里雲開發者社區 AI·· 6 天前AI 評分57

AI 爬蟲不執行 JavaScript:企業站 SSR/SSG 遷移的診斷步驟與驗收口徑

AI爬虫不执行JavaScript:企业站SSR/SSG迁移的诊断步骤与验收口径

AI 導讀

文章整理企業站在 AI 爬蟲不執行 JavaScript 時,診斷核心內容是否可讀及驗收 SSR/SSG 遷移的方法。診斷包括以 curl 關閉 JavaScript 抓取、檢查 robots.txt 和 Sitemap,以及確認 PDF/圖片中的關鍵事實是否有文本版本;建議產品頁等核心頁採用 SSR/SSG。

正文

2026-11-16 15

版权

版权声明:

本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写 侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

简介: 企业站在 AI 时代的 “隐形门槛”,不是排名,而是爬虫能不能读到内容。大量企业官网的产品页、资质页、案例页依赖 JavaScript 渲染,导致关闭 JS 的 AI 爬虫只能抓到空壳 HTML。本文给出一套可复现的诊断命令,包括关闭 JS 抓取、检查 robots.txt、Sitemap 和 PDF / 图片事实暴露情况,并提出核心页 SSR/SSG 迁移的最小配置思路。迁移完成后,还需通过关键参数文本命中、AI 爬虫放行、结构化文本存在、JSON-LD 完整和多平台实测五项验收口径,确保企业站真正被 AI 读懂。

摘要:用关闭JS的抓取工具实测页面,很多企业站核心页只返回空壳HTML。本文给出一套可复现的诊断命令、SSR/SSG迁移的最小配置思路,以及迁移后“AI能不能读到”的验收口径。

一、问题现象:浏览器里看得到,AI爬虫读到的是空壳

用关闭JavaScript的抓取方式拉取一个典型企业站的产品页,返回的HTML里经常只有导航骨架和几段占位文字,产品参数、检测报告、资质证书全部不存在——它们在浏览器里是JS执行后渲染出来的。对不执行JS的爬虫来说,这个页面没有任何有效信息。

公开数据里,超85%的AI引荐流量来自不执行JavaScript的爬虫。对依赖AI搜索获取询盘的企业站来说,这不是“优化项”,是准入门槛:内容再专业,爬虫读不到,等于不存在。

二、诊断步骤(可直接照做)

以下命令在Linux/macOS终端执行,替换成你的目标URL。

  1. 关闭JS抓取,对比浏览器DOM
# 模拟不执行JS的抓取,保存返回内容
curl -L -A "Mozilla/5.0 (compatible; AICrawlerCheck/1.0)" \
  "https://example.com/product/xxx" -o page_nojs.html

# 统计页面可见文本量(粗略)
grep -oP '(?<=>)[^<]{2,}' page_nojs.html | wc -l

# 检查关键参数是否存在于原始HTML
grep -i "精度\|量程\|认证\|检测报告" page_nojs.html

如果浏览器里能看到“精度±0.01mm”,而 curl 返回的HTML里 grep 不到,说明这段内容在JS渲染层,爬虫读不到。

  1. 检查robots.txt是否放行AI爬虫
curl -s "https://example.com/robots.txt"

重点看有没有对 GPTBot、ClaudeBot、Bytespider、Google-Extended 等UA做 Disallow。很多站点的robots是从旧模板抄的,默认拦了不认识的爬虫。

  1. 检查Sitemap完整性与核心页覆盖
curl -s "https://example.com/sitemap.xml" | grep -c "<loc>"
curl -s "https://example.com/sitemap.xml" | grep -i "product\|cert\|case"

产品页、资质页、案例页是否在Sitemap里;数量是否和站内实际核心页对得上。

  1. 检查关键事实是否以PDF/图片存在
# 抓取页面中所有PDF和图片链接
grep -oP 'href="[^"]+\.pdf"' page_nojs.html | sort -u
grep -oP 'src="[^"]+\.(jpg|png|webp)"' page_nojs.html | head

检测报告、资质证书如果是扫描PDF或图片,且页面上没有对应的结构化文本摘要,AI爬虫无法识别其中的事实。

三、迁移方案:SSR/SSG的最小配置思路

诊断确认内容在JS渲染层后,迁移方向是核心页服务端渲染(SSR)或静态生成(SSG),交互型页面可以保留CSR。不需要全站重构,按页面类型分:

  • 必须SSG/SSR:产品详情页、资质页、案例页、解决方案页——这些是AI抽取事实的主要来源;
  • 可保留CSR:后台、表单、个性化推荐模块;
  • 必须转文本:PDF/图片中的关键参数、认证编号,在页面上以结构化文本复述一遍。

以Next.js为例,产品页用 getStaticProps 或 getServerSideProps 输出参数表:

// pages/product/[id].js
export async function getStaticProps({
    params }) {
   
  const product = await getProduct(params.id);
  return {
    props: {
    product }, revalidate: 3600 };
}

export default function Product({
    product }) {
   
  return (
    <main>
      <h1>{
   product.name}</h1>
      <table>
        <tbody>
          {
   product.specs.map(s => (
            <tr key={
   s.key}><th>{
   s.key}</th><td>{
   s.value}</td></tr>
          ))}
        </tbody>
      </table>
      <section>
        <h2>资质与认证</h2>
        {
   product.certs.map(c => (
          <p key={
   c.id}>{
   c.name}:{
   c.number}(有效期至{
   c.expiry})</p>
        ))}
      </section>
    </main>
  );
}

同时注入Schema/JSON-LD,让实体和属性可被机器解析:

<script type="application/ld+json">
{
    
  "@context": "https://schema.org",
  "@type": "Product",
  "name": "示例产品",
  "brand": {
     "@type": "Brand", "name": "示例品牌" },
  "additionalProperty": [
    {
     "@type": "PropertyValue", "name": "精度", "value": "±0.01mm" }
  ]
}
</script>

非Next.js站点同理:模板层直出HTML,或用预渲染中间件对爬虫UA返回静态版本。关键是首屏HTML里就有事实文本,不依赖客户端JS。

四、验收口径:怎么算“迁移完成”

不看本地文件,不看构建日志,只看线上可观测结果。以下五条全过才算验收通过:

  1. 关闭JS抓取,核心页能 grep 到关键参数和资质文本(用第二节的 curl 命令复测);
  2. robots.txt 放行主流AI爬虫UA,且Sitemap包含全部核心页;
  3. 产品参数、认证编号、检测结论以结构化文本存在,PDF/图片仅作附件,不作唯一载体;
  4. JSON-LD 可被解析:用 curl 抓页面后检查 application/ld+json 块完整、字段无空值;
  5. 至少两个主流AI平台实测:用固定问题集提问(如“某类设备精度能做到多少”),确认品牌或产品信息能被召回,而不是只看搜索引擎收录。

验收记录建议做成表:URL、抓取时间、关闭JS后的文本命中项、robots状态、JSON-LD状态、AI平台召回结果。这份表比任何“优化完成”的口头结论都有用。

五、常见踩坑

  • 只改了首页:首页SSR了,产品页还是CSR,AI抽取事实主要发生在产品页;
  • robots误拦:新加的爬虫UA没放行,或沿用了拦截所有非主流UA的旧规则;
  • PDF当唯一载体:参数只在PDF里,页面上没有文本复述;
  • Schema字段空值:JSON-LD写了但 value 为空,解析后等于没写;
  • 验收只看浏览器:浏览器能看≠爬虫能读,必须用关闭JS的方式复测。

关于作者:司曜珩GEO交付团队,GEO服务商,专注AI友好型网站建设与AI获客优化,服务制造业B2B企业,立足江门、覆盖大湾区。

來源:阿里雲開發者社區 AI · developer.aliyun.com