推理吞吐估算 使用指南

推理吞吐估算器，由生成 token 數與端到端時延估算大模型推理吞吐(tokens/s)，輔助服務容量與併發規劃。

計算公式與原理

吞吐 = tokens / 秒；單請求吞吐 = tokens / (秒 × 併發批次)

推理服務的核心指標：總吞吐衡量叢集利用率，單請求吞吐才是使用者感知的快慢。batching 能顯著提升總吞吐但會拉長單請求延遲，線上服務通常需要在兩者間按 SLO 折中。

使用步驟

1. 填寫「生成 tokens」。
2. 填寫「耗時 秒」。
3. 填寫「併發數」。
4. 結果區會即時更新；可一鍵複製結果用於記錄或彙報。

典型使用場景

• 吞吐≈生成 token 數 / 端到端時延(tokens/s)，衡量服務處理速度。
• 受模型大小、批大小、KV 快取與硬體頻寬共同影響，非僅由 FLOPs 決定。
• 容量規劃用 吞吐×併發上限 估算峰值 QPS，需預留餘量防雪崩。

算例參考

• 單請求吞吐：生成 200 token 耗時 4s → 吞吐=50 tokens/s。若單卡支援 4 併發且各 50 tok/s，總吞吐≈200 tok/s；但實際共享 KV 快取與頻寬，併發增益低於線性。

注意事項

結果為按上述公式得到的理論估算值，實際表現受資料分佈、實現細節與執行環境影響，落地決策請以實測為準；本工具純前端執行，輸入不上傳伺服器。

為什麼吞吐不隨併發線性增長？

視訊記憶體頻寬與算力是共享瓶頸，多請求競爭 KV 快取與計算單元，邊際吞吐遞減；需實測找到拐點再定併發上限。

首 token 延遲和吞吐衝突嗎？

常衝突。大模型首 token 受預填充耗時影響，吞吐受解碼並行影響；最佳化方向相反時按業務(對話要低延遲、批處理要高吞吐)取捨。