上下文窗口占用

📚 Context Window Usage Calculator

Count the tokens in your prompt and expected completion and see how much of the model context window they consume.

📐 計算公式 / 原理
佔用率 = (系統提示 + 使用者輸入 + 預期回覆) / 上下文視窗 × 100%;剩餘 = 視窗 − 已用
規劃對話時把預期回覆長度一併計入,避免生成到一半撞上視窗上限被截斷。長視窗模型雖標稱很大,但注意力成本隨長度平方增長,且中段內容容易被忽略(lost-in-the-middle),並非越長越好。

📐 計算公式與說明

佔用 = 系統+對話+回覆;佔用率 = 已用/上限

超出上限需截斷或摘要歷史。

📚 深度解析:上下文窗口占用

💡 常見使用場景

佔用預警
視窗 8k,提示 6k + 預計生成 2k = 8k 恰好滿;若實際生成超 2k 即溢位。建議提示控制在 5k 以內留 3k 給生成。

❓ 常見問題(FAQ)

為什麼顯示佔用滿了卻還能聊?
部分實現會滾動丟棄最早歷史以維持視窗,表現為'能繼續但忘了開頭';嚴格實現則直接報錯。佔用比應預留生成餘量。
不同模型 token 數一樣嗎?
不同。同一段中文在 GPT/Claude/國產模型下 token 數差異明顯,估算僅供參考,精確值需對應分詞器計數。