robots.txt 解析器
解析 robots.txt，检查指定 User-agent 对路径的访问规则。
支持 * 通配和 $ 结尾锚；仅解析粘贴文本，不远程抓取 URL，不验证 Sitemap 是否可访问，不向后端提交输入。robots.txt 是爬虫约定，不是访问控制；不要在 robots.txt 暴露敏感路径。输入上限 64 KiB。
输入上限 64 KiB。仅本地解析粘贴文本，不远程抓取 URL，不验证 Sitemap。
等待分析粘贴 robots.txt 后点击分析。
规则证据、Sitemap 与完整报告
0User-agent 组
0Allow/Disallow 规则
0Sitemap
0格式告警
| 行 | User-agent 组 | Directive | 路径规则 | 规则长度 | 匹配 | 结论 |
|---|---|---|---|---|---|---|
| 等待分析 | ||||||