上下文窗口占用 使用指南
統計提示詞與生成回覆的 token 數，計算其對模型上下文視窗的佔用比例，適用於長文本處理、上下文截斷預警與計費估算。
計算公式與原理
佔用率 = (系統提示 + 使用者輸入 + 預期回覆) / 上下文視窗 × 100%；剩餘 = 視窗 − 已用
規劃對話時把預期回覆長度一併計入，避免生成到一半撞上視窗上限被截斷。長視窗模型雖標稱很大，但注意力成本隨長度平方增長，且中段內容容易被忽略（lost-in-the-middle），並非越長越好。
使用步驟
- 填寫「系統提示 tokens」。
- 填寫「對話 tokens」。
- 填寫「回覆 tokens」。
- 填寫「上下文上限」。
- 結果區會即時更新；可一鍵複製結果用於記錄或彙報。
典型使用場景
- 佔用比=提示詞 token + 生成 token / 視窗上限(如 4k/32k/128k)。
- 中英混排時中文按字或 subword 計，需以具體分詞器為準估算。
- 佔用超 100% 將截斷，長任務應預留生成空間並定期壓縮歷史。
算例參考
- 佔用預警：視窗 8k，提示 6k + 預計生成 2k = 8k 恰好滿；若實際生成超 2k 即溢位。建議提示控制在 5k 以內留 3k 給生成。
注意事項
結果為按上述公式得到的理論估算值，實際表現受資料分佈、實現細節與執行環境影響，落地決策請以實測為準；本工具純前端執行，輸入不上傳伺服器。
- 為什麼顯示佔用滿了卻還能聊？
- 部分實現會滾動丟棄最早歷史以維持視窗，表現為'能繼續但忘了開頭'；嚴格實現則直接報錯。佔用比應預留生成餘量。
- 不同模型 token 數一樣嗎？
- 不同。同一段中文在 GPT/Claude/國產模型下 token 數差異明顯，估算僅供參考，精確值需對應分詞器計數。