Token 數量估算

🔑 Token Count Estimator

Estimate how many tokens a piece of text will consume, so you can keep prompts inside the context window and control cost.

📐 計算公式 / 原理
估算 token 數 = ⌈字元數 × 語言係數 / 重疊係數⌉;英文參考 = ⌈字元數 × 0.3 / 1.5⌉;成本 ≈ token 數 / 10⁶ × 單價
不同語言與分詞器的壓縮率差異很大:中文常約 1–1.5 字元/token,英文約 4 字元/token。此式為量級估算,精確計費必須呼叫對應模型的官方 tokenizer;程式碼與數字因切分更碎,實際 token 數常高於純文本估計。

📐 計算公式與說明

中文 ≈ 0.6-1 token/字
英文 ≈ 0.2-0.25 token/字

不同分詞器結果差異較大。

📚 深度解析:Token 數量估算

💡 常見使用場景

長度估算
一段 800 中文字的文本,按 1.5 字/token 估算≈533 token;若疊加 200 英文詞≈260 token,合計≈793 token,接近 1k 上下文佔用的 80%。

❓ 常見問題(FAQ)

估算和真實計費差多少?
量級基本一致,精確值取決於具體模型分詞器;中文差異可能被放大數倍,正式計費以廠商返回 token 數為準。
怎麼避免超出上下文?
先在本地估算文本 token,長文本做摘要或分塊,預留生成空間(通常留 20%~30%),避免觸發截斷導致資訊丟失。