Robots.txt 生成器 使用指南
「User-agent: * Disallow: /admin」 禁止抓取后台。
核心功能
- 生成站点 robots.txt 内容并实时预览
- 可填写 Sitemap 地址一并写入
- 结果可直接保存为根目录下的 robots.txt
- 帮助规范搜索引擎抓取范围
适用场景
- 生成爬虫允许/禁止规则。
- 新站上线前配置抓取规则：屏蔽后台、搜索结果页与接口路径，避免爬虫把无价值页面抓满配额。
使用步骤
- 按需要设置抓取规则（允许/禁止的路径与爬虫）
- 在 Sitemap 框填入站点地图完整 URL
- 在预览区核对生成的内容
- 把文本保存为 robots.txt 并上传到站点根目录
- 上线后用搜索引擎的 robots 检测工具确认解析无误
实用技巧
- 不能，仅建议，敏感路径仍需鉴权
- 新站上线前配置抓取规则：屏蔽后台、搜索结果页与接口路径，避免爬虫把无价值页面抓满配额。
常见问题
- robots 能强制保密吗？
- 不能，仅建议，敏感路径仍需鉴权。
- 为什么屏蔽了还是被搜到？
- 因为 robots.txt 只规范「抓取」，不禁止「索引」：若有外部链接指向该页面，搜索引擎仍可能把它收录（显示为「未抓取」的结果）。真正不想被收录应使用 noindex 响应头或 meta 标签；涉及敏感内容则必须做登录鉴权，robots.txt 反而会暴露路径。