AI 爬虫访问检测
AI 爬虫可访问性检测
检测首页、robots.txt、sitemap.xml、llms.txt 以及关键公开路径是否能被 AI 爬虫和搜索爬虫正常访问。
ChatGPTPerplexityClaudeGeminiGoogle AI OverviewDeepSeek豆包Kimi
AI 爬虫可访问性审计
检测 AI 爬虫访问和文件发现
此工具只检查首页、robots.txt、sitemap.xml、llms.txt 和常见爬虫 user-agent 的技术可访问性，不保证 AI 搜索系统或大模型一定引用、排名或推荐该网站。
主要检测内容
首页、robots.txt、sitemap.xml、llms.txt 状态码
GPTBot、OAI-SearchBot、ClaudeBot、PerplexityBot、Googlebot、Bingbot 访问规则
robots.txt 中 sitemap 指令
可复制的 robots.txt 和 llms.txt 初始模板
优先修复方向
确保公开页面返回 200 状态
不要误用 Disallow 阻止应该曝光的路径
在 robots.txt 中声明 sitemap 地址
在域名根目录发布简洁的 llms.txt
中文落地建议
先验证需求，再扩大翻译范围
第一版中文页重点服务搜索流量和工具转化。等中文页面有稳定曝光、审计提交和付费点击后，再扩展更多长尾页与本地 AI 平台。
工作流
把 AI 可见性拆成可执行的检查项
不只看某一次 AI 回答有没有提到品牌，而是先确认公开页面可抓取、品牌实体清楚、答案块能被抽取、页面有证据可引用，然后再做持续提示词监控。
| 阶段 | 目标 | 保留证据 |
|---|---|---|
| 技术可访问 | 确认 AI 和搜索爬虫能访问公开页面 | robots.txt、sitemap、llms.txt、状态码 |
| 实体清晰 | 让模型知道品牌、品类、产品和可信来源 | schema、标题、H1、关于页、sameAs |
| 内容可引用 | 把页面写成容易摘取的答案和事实块 | FAQ、表格、来源、日期、作者 |
| 持续监控 | 记录品牌提及、引用 URL、竞品出现和情绪 | 提示词、平台、日期、截图或 URL |
相关中文入口
继续搭建中文 GEO 工作流
是不是所有 AI 爬虫都要放开？
不一定。工具会提示阻断点和权衡，但内容授权、商业模式和私有路径仍需要你自己决定策略。
只检查首页够吗？
不够。AI 搜索通常需要价格页、文档页、博客、关于页、对比页等多种公开路径一起形成可信实体。