Robots.txt 生成器

← ToolBox / Robots.txt 生成器
📖 檢視「Robots.txt 生成器使用指南」

✨ Robots.txt Generator

Robots.txt Generator

📐 工作原理與說明
生成控制爬蟲抓取範圍的 robots.txt。
  • 語法：User-agent 指定目標爬蟲，Disallow/Allow 控制路徑，Crawl-delay 限速，Sitemap 宣告站點地圖地址。
  • 匹配：路徑採用字首匹配，支援 * 通配與 $ 結束錨定（後者為廣泛支援的擴充套件）。
  • 含義：Disallow: / 為全站禁止；值為空則表示全部允許。
  • 侷限：robots.txt 屬君子協定，無法阻止惡意爬蟲；敏感內容必須做鑑權。
📌 常見預設（一鍵套用）

預覽

📌 說明
  • 每個規則組可新增多個 User-agent 與路徑規則。
  • 支援 `Allow`、`Disallow` 以及自定義 Crawl Delay。
  • 文本直接生成，可用於網站根目錄放置。

🔗 相關工具

✨ .gitignore 生成器.gitignore 生成器是一款免費的線上IT 開發工具，生成後儲存為專案根目錄的 .gitig… 📄 .properties 解析器Java .properties 檔案解析：支援 key=value、key:value、行內註釋… ✨ API 簽名生成器生成帶時間戳與隨機數的介面簽名 ✨ ASCII 目錄樹生成器把路徑列表一鍵生成 ASCII 目錄樹（├── └── │ 風格），支援檔案/資料夾標記，複製進… 💻 AST抽象語法樹檢視器AST 抽象語法樹檢視器 🔤 Base64 檔案轉換檔案與 Base64 互轉：圖片/文件/壓縮包轉 Base64 字串（含 data URI 字首…

📚 深度解析：Robots.txt 生成器

💡 常見使用場景

生成
`User-agent: * Disallow: /admin` 禁止抓取後臺。

❓ 常見問題（FAQ）

robots 能強制保密嗎？
不能，僅建議，敏感路徑仍需鑑權。
為什麼遮蔽了還是被搜到？
因為 robots.txt 只規範「抓取」，不禁止「索引」：若有外部連結指向該頁面，搜尋引擎仍可能把它收錄（顯示為「未抓取」的結果）。真正不想被收錄應使用 noindex 響應頭或 meta 標籤；涉及敏感內容則必須做登入鑑權，robots.txt 反而會暴露路徑。