为什么吞吐不随并发线性增长？

显存带宽与算力是共享瓶颈，多请求竞争 KV 缓存与计算单元，边际吞吐递减；需实测找到拐点再定并发上限。

首 token 延迟和吞吐冲突吗？

常冲突。大模型首 token 受预填充耗时影响，吞吐受解码并行影响；优化方向相反时按业务(对话要低延迟、批处理要高吞吐)取舍。

🔮 Inference Throughput Estimator

Estimate inference throughput in tokens per second from the generated token count and end-to-end latency, for capacity planning.

📐 计算公式 / 原理

推理总吞吐（本页代码口径）：总吞吐=生成 tokens÷端到端耗时秒（tokens/s），仅由 token 数与耗时决定。校验：无强校验，空值按 0 兜底，耗时为 0 使结果非有限时追加警示「部分结果无定义」。判据：无固定分级，总吞吐衡量服务整体利用率，结果保留 1 位小数、非有限时显示 —。

推理服务的核心指标：总吞吐衡量集群利用率，单请求吞吐才是用户感知的快慢。batching 能显著提升总吞吐但会拉长单请求延迟，在线服务通常需要在两者间按 SLO 折中。

生成 tokens

耗时秒

并发数

单请求吞吐

生成 200 token 耗时 4s → 吞吐=50 tokens/s。若单卡支持 4 并发且各 50 tok/s，总吞吐≈200 tok/s；但实际共享 KV 缓存与带宽，并发增益低于线性。

为什么吞吐不随并发线性增长？: 显存带宽与算力是共享瓶颈，多请求竞争 KV 缓存与计算单元，边际吞吐递减；需实测找到拐点再定并发上限。
首 token 延迟和吞吐冲突吗？: 常冲突。大模型首 token 受预填充耗时影响，吞吐受解码并行影响；优化方向相反时按业务(对话要低延迟、批处理要高吞吐)取舍。

Item	Formula / Note	Source / Standard
Definition	throughput equals total generated tokens divided by total elapsed time	MLPerf Inference rules
Time to first token	first token latency is measured separately from subsequent inter-token latency	MLPerf Inference rules
Concurrency effect	batching raises aggregate throughput while raising per-request latency	NVIDIA Triton inference server docs