工具
粘贴 robots.txt,测试 Googlebot、Bingbot 以及 GPTBot 等 AI 爬虫对路径的规则。在浏览器内完成。随后可打开 Vaneform 站点概览。
允许 · 匹配规则: Allow: /
最长且匹配的 Allow / Disallow 优先。空的 Disallow 表示该组全部允许。没有对应 User-agent 时回退到 *,再没有则默认允许。本工具按常见 Google/Bing 路径规则本地判断,不抓取线上 robots.txt。
站点概览工具 →更多工具 →