Token 数量估算

← ToolBox / Token 数量估算

📝 Token 数量估算

根据文本长度估算大模型 Token 数量。

📐 计算公式与说明

中文 ≈ 0.6-1 token/字
英文 ≈ 0.2-0.25 token/字

不同分词器结果差异较大。

🔗 相关工具

🎲 Dropout 保留期望Dropout 保留期望 🔧 L1 L2 正则化惩罚L1 L2 正则化惩罚 📥 RAG 召回率RAG 召回率 📈 ROC AUC 近似ROC AUC 近似 R ReLU 与 LeakyReLUR ReLU 与 LeakyReLU S Sigmoid 输出S Sigmoid 输出