AI 爬虫就绪检查

已知爬虫矩阵

粘贴文本中的 Sitemap

• https://example.com/sitemap.xml

两份记录分列保存

生成式助手开始出现在引荐来源里之后，站点要把两份事实分开存放。第一份是 robots.txt 里某个 User-agent 的路径规则。GPTBot、ChatGPT-User、ClaudeBot、PerplexityBot 和 Google-Extended 都在本页的已知名单中，各自可以命中自己的规则组。第二份是已经发生的引荐访问。Vaneform 的 AI 引荐榜按生成式助手带来的访问估计排序，每一行带着月份和估计口径。允许判定记录的是粘贴文件对当前路径的说法。榜上的数字记录的是该统计期的估计。两份结果写进同一条笔记时，列要分开：一列是 User-agent 和匹配规则，另一列是引荐访问、月份和可信度。

GEO 相关的工作常常从这份文件开始，因为助手要先取到 URL 才谈得上引用，训练爬取也只能留下文件允许的 URL。引荐访问仍然要回到流量查询。先在首页查域名的全站估计，再打开 AI 引荐榜看助手渠道。衡量 AI 引荐访问的指南说明怎样把这些访问和一项内容任务对齐。本页停在文件本身。

GPTBot 与 Googlebot 可以走不同的规则组

本页与 robots.txt 测试使用同一套匹配。先用 User-agent 全字相等的组，字母大小写忽略。没有同名组时用 *。两组都没有，路径按默认允许。最长且匹配的 Allow 或 Disallow 生效。空的 Disallow 会被跳过，所以一个组里只有空白 Disallow 时，这条路径不会被该组挡住。文件因此可以在 * 组或 Googlebot 组里允许 /，同时只给 GPTBot 写上 Disallow: /。框里的示例就是这样排的。把路径改成 /private 后，* 组里更长的 Disallow: /private 会压过较短的 Allow: /。示例中的 Googlebot 组只有 Allow: /，所以 /private 对 Googlebot 仍然允许：同名组一旦存在，就不会再回退到 *。

Googlebot-Image 在名单里是另一个名字。写给 Googlebot 的组不会套到 Googlebot-Image。没有 Googlebot-Image 组时，它使用 *。服务器日志说明把 Google-Extended 记为 robots.txt 令牌，并把 Gemini 的抓取记在 Googlebot 下。Google-Extended 的 Disallow: / 改变的是这个令牌在文件里的规则。首页对 Googlebot 是否开放，看 Googlebot 组；没有该组时看 *。Bingbot 出现在这里的搜索名单里；同一份日志说明把它记为 Bing 索引的 User-agent，Copilot 也会用到。

矩阵在数什么

矩阵只覆盖测试器的已知名单：Googlebot、Googlebot-Image、Bingbot、GPTBot、ChatGPT-User、ClaudeBot、anthropic-ai、PerplexityBot、Google-Extended、Bytespider、CCBot。其中 Googlebot、Bingbot、GPTBot、ChatGPT-User、ClaudeBot、PerplexityBot 也出现在站点的 AI 访问日志分类里。anthropic-ai、Bytespider、CCBot 出现在站点概况的 AI 爬虫名单和这个测试器里。这些名单用来说明行名从哪里来。每一行的允许或禁止来自粘贴文本和当前路径。页面不会请求该域名的 robots.txt，也不会把判定写成该爬虫已经来过。

空白粘贴没有任何规则组，因此每个已知名字都是默认允许。解析提示列出本地语法问题，例如缺少冒号，或 Allow 出现在任何 User-agent 之前。Sitemap 行从粘贴文本中抽出。robots.txt 测试页可以填写名单以外的 User-agent；你关心的名字不在这里时，用那一页。OAI-SearchBot、Claude-SearchBot 和 Perplexity-User 出现在访问日志分类里，当前已知名单没有它们，所以矩阵里也没有对应行。

用示例走一遍 / 和 /private

框里现成的文本是为本页准备的示例，好让图上有可数的判定。要看某台主机的文件时，用你复制的 robots.txt 换掉它。路径为 / 时，GPTBot 走自己的组，匹配 Disallow: /，这一行是禁止。Google-Extended 同样匹配它自己的 Disallow: /，也是禁止。Googlebot 走自己的组，匹配 Allow: /，这一行是允许。ChatGPT-User 被自己的 Allow: / 允许。ClaudeBot 的组里同时有 Allow: / 和 Disallow: /private；其中只有 Allow: / 匹配 /，所以 ClaudeBot 是允许。名单里其余名字没有自己的组，回退到 *。* 组里 Allow: / 匹配，Disallow: /private 不匹配，这些行是允许。因此路径 / 的图上，日志中的 AI 爬虫只有 GPTBot 一条禁止，robots.txt 令牌 Google-Extended 一条禁止。

按下「测试 /private」后，同一份文件会改变 * 组的结果。Allow: / 和 Disallow: /private 都匹配 /private，而 /private 更长，所以走 * 的行变成禁止。ClaudeBot 自己的组里也有这条更长的禁止，因此 ClaudeBot 也变成禁止。Googlebot 和 ChatGPT-User 的组里仍然只有 Allow: /，同名组存在时不会回退到 *，所以这两行保持允许。GPTBot 和 Google-Extended 仍然禁止，因为 Disallow: / 匹配每一条路径。图能做的分析就是这些：路径一变，把十一个已知名字重新加总。你要维护的真实 robots.txt，盖掉这段示例即可，表格会按那份文本重算。

llms.txt 文本框只读粘贴内容

第二块面板对你粘贴的内容统计三件事：有没有 Markdown 标题，有没有 http 或 https 链接，以及有没有写出字符 /llms.txt。同时显示字符数和行数。Vaneform 把自己的代理导航放在 /llms.txt，可索引页面用 rel="describedby" 指向它。客户端把 text/markdown 放在最高权重时，报告页、方法页和指南会以 Content-Type: text/markdown; charset=utf-8 返回，HTML 头部也带有 text/markdown 的 alternate。这段协商已经写在公开的 llms.txt 里，描述的是 Vaneform 自己的页面。

从别的主机复制来的文本，只能证明这些字符此刻在浏览器里。标题和链接作为文本要么出现，要么缺席。它们不能确立该主机在 /llms.txt 提供了文件、返回了哪个状态，或哪个爬虫取过它。站点概况若探测并保存过某个域名的 /llms.txt，那次观察会在公开文件记录里留下 HTTP 状态和预览。本页不打开那条记录。文本框适合在发布前看草稿里有没有标题和链接；线上 URL 要看已保存的探测，或你自己发起的请求。

先记下什么，再去哪里看

笔记里留下域名、路径、User-agent、实际采用的规则组（同名组、* 或默认允许），以及匹配到的 Allow 或 Disallow 原文。再加上你复制这份文件的日期。后来改过 robots.txt，判定会变，较早的流量月份仍是那个月，所以两个日期都要在。上图只是把这些行加总：搜索爬虫、访问日志点名的 AI 爬虫、Google-Extended 令牌，以及站点概况名单里其余的名字。点图下的名单按钮，表格只留同一批行。

下一步是在首页查询这个域名，然后打开 AI 引荐榜，再读衡量 AI 引荐访问的指南。首页给出带有来源和日期的访问估计。榜给出助手渠道的估计和增长排序。指南用来判断这个渠道的变化对你要发布的页面意味着什么。三个问题保持分开：这份文件如何判定路径，估计写了什么，以及你准备怎样记录引荐。

拿判定去对照流量查询

查询域名 →AI 引荐榜 →衡量 AI 引荐访问 →robots.txt 测试 →更多工具 →