编码识别器

🔤 Charset Detector

Restore text from common double-encoding mojibake and report its character composition.

📐 工作原理与说明
双重编码判定:把文本中的每个字符还原为其在 cp1252 中的字节值(≤0xFF 直接用码位,€ “ ” 等特殊符号按映射表折算),得到字节序列后按 UTF-8 严格解码(fatal 模式);解码成功且结果与原文不同 ⇒ 判定为「UTF-8 字节被按 Latin-1/Windows-1252 解读」并输出还原文本;出现非法序列则不做修复。另统计字符构成:中日韩字符、拉丁字母、U+FFFD 替换符、控制字符各自的数量。
两档入口,按输入形态自动选择:① 粘贴十六进制字节串(如 C4 E3 BA C3 或 C4E3BAC3)时,用浏览器原生 TextDecoder 分别按 UTF-8 / GB18030 / Big5 / UTF-16LE / UTF-16BE 严格解码(fatal 模式),只有不出现非法序列的编码才列入候选,再按可读性打分排序,并识别 UTF-8 / UTF-16 BOM。② 粘贴已解码的文本时,只做可验证的双重编码还原(UTF-8 字节被当作 Latin-1/Windows-1252 显示)。单凭字节无法区分 GBK 与 GB18030(GBK 是 GB18030 的子集,浏览器 gbk 标签即按 GB18030 解码),故候选统一标注 GB18030;GB18030 与 Big5 的字节区间大面积重叠,短文本只能给概率结论。若原文已含 U+FFFD 替换符,说明解码时信息已丢失,任何工具都无法还原,只能回到原始字节重新解码。
  • 字节模式:输入为偶数位十六进制(可含空格);含 >=0x80 字节或带空格分隔才按字节处理,避免把 2024 这类纯数字文本误判。
  • 可修复:UTF-8 → Latin-1/cp1252 双重编码(整串字符均可折算为字节且 UTF-8 解码合法)。
  • 不可修复:含 U+FFFD(数据已丢失)、含超出 cp1252 的字符、或 UTF-8 解码非法(多为单向 GBK 乱码或纯 Latin-1 文本)。
  • 局限:GBK / GB18030 / Big5 无法仅凭字节严格互斥判定;判定须结合语种与来源人工确认。

Formula & Standard References

Item Formula / Note Source / Standard
Double encoding UTF-8 bytes read as Windows-1252 can be mapped back to the original bytes WHATWG Encoding Standard (windows-1252 index)
Strict UTF-8 decode lead byte determines length; continuation bytes must be 0x80–0xBF; illegal sequences fail RFC 3629 / TextDecoder fatal mode
Replacement character U+FFFD indicates decoding already failed; the original information cannot be recovered from the text Unicode U+FFFD

📚 深度解析:编码识别器

💡 常见使用场景

识别乱码
输入 GBK 字节 `C4E3BAC3` → 识别为 GBK,解码得“你好”(而非 UTF-8 的乱码)。

❓ 常见问题(FAQ)

识别一定准吗?
短文本可能误判,建议结合语言与来源综合判断。
为什么有时判断不准?
因为短文本信息量不足:GBK 与 Big5 的字节区间大面积重叠,纯 ASCII 内容在几乎所有编码下都合法,UTF-8 与 Latin-1 也无 BOM 可区分。工具只能给出概率最高的猜测,可靠做法是结合语言先验(中文优先 GBK/UTF-8)与业务来源,或直接要求数据方声明编码。