Unicode 規範化 使用指南
將文本按 NFC/NFD/NFKC/NFKD 等範式進行 Unicode 規範化,統一異體字與組合字元,解決跨系統顯示與比對異常。
功能說明
將文本按 NFC/NFD/NFKC/NFKD 等範式進行 Unicode 規範化,統一異體字與組合字元,解決跨系統顯示與比對異常。
典型使用場景
- 去重前歸一:把「é」的多種編碼(預組合/分解)統一,避免同一字元被當兩條。
- 搜尋匹配:歸一後「café」與「café」(不同編碼) 才能正確相等。
- 儲存統一:入庫前用 NFC,保證跨系統一致顯示。
算例參考
- NFC 與 NFD 統一:「é」可寫作預組合 U+00E9 或 e+組合聲調 U+0301;NFC 歸併為前者、NFD 拆為後者。歸一後兩處「café」字串相等,去重與比對才正確。
注意事項
本工具在瀏覽器本地執行,輸入內容不會上傳伺服器;結果為模型估算,工程決策請結合實測資料複核。
- NFC/NFD/NFKC 怎麼選?
- 儲存與比對常用 NFC;NFKC 還會相容等價(如全形轉半形、羅馬數字轉字母),適合清洗但可能改變語義,謹慎用於展示。
- 歸一會丟資訊嗎?
- NFC/NFD 不丟;NFKC 可能把「①」變「1」、全形變半形,改變原意,僅用於內部匹配時不要直接展示 NFKC 結果。