AI 爬虫规则检测
AI Robots.txt 检测工具
检查 robots.txt 是否允许重要 AI 和搜索爬虫访问首页、sitemap、博客、文档、价格页和关于页等公开路径。
ChatGPTPerplexityClaudeGeminiGoogle AI OverviewDeepSeek豆包Kimi
AI 爬虫可访问性审计
检测 AI 爬虫访问和文件发现
此工具只检查首页、robots.txt、sitemap.xml、llms.txt 和常见爬虫 user-agent 的技术可访问性，不保证 AI 搜索系统或大模型一定引用、排名或推荐该网站。
主要检测内容
GPTBot、OAI-SearchBot、ChatGPT-User、ClaudeBot、PerplexityBot、Google-Extended、Googlebot、Bingbot 规则
是否误拦截 /blog、/docs、/pricing、/about、/sitemap.xml
robots.txt 中的 sitemap 指令
不同 user-agent 规则是否冲突
优先修复方向
保持应该被发现的公开页面对搜索和 AI 爬虫开放
避免无意中使用 Disallow: / 阻断全站
在 robots.txt 中加入 Sitemap 指令
按首页、博客、文档、价格、关于等模板路径逐项测试
中文落地建议
先验证需求，再扩大翻译范围
第一版中文页重点服务搜索流量和工具转化。等中文页面有稳定曝光、审计提交和付费点击后，再扩展更多长尾页与本地 AI 平台。
工作流
把 AI 可见性拆成可执行的检查项
不只看某一次 AI 回答有没有提到品牌，而是先确认公开页面可抓取、品牌实体清楚、答案块能被抽取、页面有证据可引用，然后再做持续提示词监控。
| 阶段 | 目标 | 保留证据 |
|---|---|---|
| 技术可访问 | 确认 AI 和搜索爬虫能访问公开页面 | robots.txt、sitemap、llms.txt、状态码 |
| 实体清晰 | 让模型知道品牌、品类、产品和可信来源 | schema、标题、H1、关于页、sameAs |
| 内容可引用 | 把页面写成容易摘取的答案和事实块 | FAQ、表格、来源、日期、作者 |
| 持续监控 | 记录品牌提及、引用 URL、竞品出现和情绪 | 提示词、平台、日期、截图或 URL |
相关中文入口
继续搭建中文 GEO 工作流
robots.txt 能保证 AI 平台一定遵守吗？
不能保证所有平台行为一致，但 robots.txt 仍是公开爬虫访问策略的基础信号，值得保持清晰和可审计。
AI Robots.txt 检测和 AI 爬虫可访问性检测有什么区别？
Robots.txt 检测更聚焦规则本身；爬虫可访问性检测还会一起检查首页、sitemap.xml、llms.txt 和 HTTP 状态。