編碼識別器

🔤 Charset Detector

Detect text character encoding and guess the most likely charset.

📐 工作原理與說明
依據位元組序列特徵推測文本的字元編碼。
  • BOM:UTF-8 為 EF BB BF,UTF-16LE 為 FF FE,UTF-16BE 為 FE FF。
  • 合法性:UTF-8 的多位元組序列有嚴格規則,出現非法序列即可排除 UTF-8。
  • 統計:對雙位元組編碼(GBK/Big5/Shift-JIS)用字頻與雙位元組分佈做機率判斷。
  • 侷限:推測並非確定結論,短文本極易誤判,需結合語言上下文人工確認。

📚 深度解析:編碼識別器

💡 常見使用場景

識別亂碼
輸入 GBK 位元組 `C4E3BAC3` → 識別為 GBK,解碼得“你好”(而非 UTF-8 的亂碼)。

❓ 常見問題(FAQ)

識別一定準嗎?
短文本可能誤判,建議結合語言與來源綜合判斷。
為什麼有時判斷不準?
因為短文本資訊量不足:GBK 與 Big5 的位元組區間大面積重疊,純 ASCII 內容在幾乎所有編碼下都合法,UTF-8 與 Latin-1 也無 BOM 可區分。工具只能給出機率最高的猜測,可靠做法是結合語言先驗(中文優先 GBK/UTF-8)與業務來源,或直接要求資料方宣告編碼。