Token 用量估算

🔤 Token 用量估算

按中英文与代码估算 token 用量。

📐 计算公式与说明

中文≈字数/1.5,英文≈词数/0.75

不同分词器差异较大,仅供参考。