Unicode 规范化 使用指南
将文本按 NFC/NFD/NFKC/NFKD 等范式进行 Unicode 规范化,统一异体字与组合字符,解决跨系统显示与比对异常。
功能说明
将文本按 NFC/NFD/NFKC/NFKD 等范式进行 Unicode 规范化,统一异体字与组合字符,解决跨系统显示与比对异常。
典型使用场景
- 去重前归一:把「é」的多种编码(预组合/分解)统一,避免同一字符被当两条。
- 搜索匹配:归一后「café」与「café」(不同编码) 才能正确相等。
- 存储统一:入库前用 NFC,保证跨系统一致显示。
算例参考
- NFC 与 NFD 统一:「é」可写作预组合 U+00E9 或 e+组合声调 U+0301;NFC 归并为前者、NFD 拆为后者。归一后两处「café」字符串相等,去重与比对才正确。
注意事项
本工具在浏览器本地运行,输入内容不会上传服务器;结果为模型估算,工程决策请结合实测数据复核。
- NFC/NFD/NFKC 怎么选?
- 存储与比对常用 NFC;NFKC 还会兼容等价(如全角转半角、罗马数字转字母),适合清洗但可能改变语义,谨慎用于展示。
- 归一会丢信息吗?
- NFC/NFD 不丢;NFKC 可能把「①」变「1」、全角变半角,改变原意,仅用于内部匹配时不要直接展示 NFKC 结果。