跳到主要内容

工具

robots.txt 测试

粘贴 robots.txt,测试 Googlebot、Bingbot 以及 GPTBot 等 AI 爬虫对路径的规则。在浏览器内完成。随后可打开 Vaneform 站点概览。

判定

允许 · 匹配规则: Allow: /

常见爬虫

  • 允许
  • 禁止
  • 禁止
  • 禁止
  • 禁止
  • 禁止
  • 禁止
  • 禁止
  • 禁止
  • 禁止
  • 禁止

Sitemap

  • https://example.com/sitemap.xml

匹配规则说明

最长且匹配的 Allow / Disallow 优先。空的 Disallow 表示该组全部允许。没有对应 User-agent 时回退到 *,再没有则默认允许。本工具按常见 Google/Bing 路径规则本地判断,不抓取线上 robots.txt。

站点概览工具 →更多工具 →