Robots.txt 生成器 使用指南
「User-agent: * Disallow: /admin」 禁止抓取後臺。
核心功能
- 生成站點 robots.txt 內容並即時預覽
- 可填寫 Sitemap 地址一併寫入
- 結果可直接儲存為根目錄下的 robots.txt
- 幫助規範搜尋引擎抓取範圍
適用場景
- 生成爬蟲允許/禁止規則。
- 新站上線前配置抓取規則：遮蔽後臺、搜尋結果頁與介面路徑，避免爬蟲把無價值頁面抓滿配額。
使用步驟
- 按需要設定抓取規則（允許/禁止的路徑與爬蟲）
- 在 Sitemap 框填入站點地圖完整 URL
- 在預覽區核對生成的內容
- 把文本儲存為 robots.txt 並上傳到站點根目錄
- 上線後用搜尋引擎的 robots 檢測工具確認解析無誤
實用技巧
- 不能，僅建議，敏感路徑仍需鑑權
- 新站上線前配置抓取規則：遮蔽後臺、搜尋結果頁與介面路徑，避免爬蟲把無價值頁面抓滿配額。
常見問題
- robots 能強制保密嗎？
- 不能，僅建議，敏感路徑仍需鑑權。
- 為什麼遮蔽了還是被搜到？
- 因為 robots.txt 只規範「抓取」，不禁止「索引」：若有外部連結指向該頁面，搜尋引擎仍可能把它收錄（顯示為「未抓取」的結果）。真正不想被收錄應使用 noindex 響應頭或 meta 標籤；涉及敏感內容則必須做登入鑑權，robots.txt 反而會暴露路徑。