提示詞上下文視窗

🤖 Prompt Context Window Usage

Count the tokens used by a multi-turn conversation and see what share of the model context window they occupy, so you know when to trim or compress history.

📐 計算公式 / 原理
已用 tokens = 系統提示 + 歷史 + 當前輸入;剩餘 = 上下文視窗 − 已用;佔用率 = 已用 / 視窗 × 100%
上下文視窗是硬性上限,輸入加輸出總和超限會被截斷或報錯。佔用超過 90% 時應壓縮歷史、摘要舊對話或改用更長上下文模型;注意輸出也要預留額度,不能把視窗填滿。

📐 計算公式與說明

上下文佔用 = 系統 + 歷史 + 當前輸入

接近上限時需截斷或總結歷史。

📚 深度解析:提示詞上下文視窗

💡 常見使用場景

長對話溢位預警
視窗 32k,當前累計 28k token → 佔用 87.5%,剩餘 4k 僅夠約一句長回覆。若再追加 5k 歷史將溢位,應裁剪最早 6k 或用摘要替代原文。

❓ 常見問題(FAQ)

為什麼超出視窗會被截斷?
模型注意力只能覆蓋固定長度上下文,超出的字首會被丟棄(或報錯)。裁剪應保留最近對話與關鍵事實,避免丟失約束指令。
壓縮歷史會丟資訊嗎?
會。摘要壓縮以語義概括替代原文,可能損失細節;權衡做法是保留最近 N 輪原文、更早的做摘要,關鍵引數始終置頂。