robots.txt 解析器
粘贴 robots.txt，可选输入 User-agent 和待检查路径，在浏览器本地判断 Allow/Disallow/未命中结论，列出匹配规则、规则长度、Sitemap 列表和 Crawl-delay/Host 提示。
支持 * 通配和 $ 结尾锚；仅解析粘贴文本，不远程抓取 URL，不验证 Sitemap 是否可访问，不向后端提交输入。robots.txt 是爬虫约定，不是访问控制；不要在 robots.txt 暴露敏感路径。输入上限 64 KiB。
0User-agent 组
0Allow/Disallow 规则
0Sitemap
0格式告警
等待分析
粘贴 robots.txt 后点击分析。
| 行 | User-agent 组 | Directive | 路径规则 | 规则长度 | 匹配 | 结论 |
|---|---|---|---|---|---|---|
| 等待分析 | ||||||
输入上限 64 KiB。仅本地解析粘贴文本，不远程抓取 URL，不验证 Sitemap。