推理吞吐估算

← ToolBox / 推理吞吐估算

🚀 推理吞吐估算

由生成 token 与时延估算推理吞吐。

📐 计算公式与说明

吞吐 = tokens / 耗时；人均 = 吞吐 / 并发

实际受批大小与排队影响。

🔗 相关工具

🎲 Dropout 保留期望Dropout 保留期望 🔧 L1 L2 正则化惩罚L1 L2 正则化惩罚 📥 RAG 召回率RAG 召回率 📈 ROC AUC 近似ROC AUC 近似 R ReLU 与 LeakyReLUR ReLU 与 LeakyReLU S Sigmoid 输出S Sigmoid 输出