為什麼中文 token 數不固定？

不同模型對中文的子詞切分不同(按字/按詞/混合)，同一段中文 token 數可差數倍；本估算僅給量級，精確需對應分詞器。

程式碼為什麼更費 token？

程式碼含大量符號、縮排與識別符號，資訊密度高、子詞切分更碎，同等字元數常比自然語言消耗更多 token。

🔑 Token Usage Estimator

Estimate token usage by the mix of Chinese, English and code in your text, and see how much tokenizers disagree.

📐 計算公式 / 原理

tokens ≈ 中文字數 / 1.5 + 英文詞數 / 0.75 + 程式碼字元數

混合內容按三類分別折算：中文按字元、英文按詞、程式碼按字元（切分最碎）。這是粗略預算工具，實際值隨分詞器與符號密度浮動 ±20%，用於判斷是否接近上下文上限時應留出安全餘量。

中文字數

英文詞數

程式碼片段 tokens

中英混排估算

一段 500 中文字+200 英文詞：中文≈500×1.5=750 token，英文≈200×1.3=260 token，合計≈1010 token。實際因模型分詞不同會有偏差。

為什麼中文 token 數不固定？: 不同模型對中文的子詞切分不同(按字/按詞/混合)，同一段中文 token 數可差數倍；本估算僅給量級，精確需對應分詞器。
程式碼為什麼更費 token？: 程式碼含大量符號、縮排與識別符號，資訊密度高、子詞切分更碎，同等字元數常比自然語言消耗更多 token。