Token 到底怎麼算
英文約 4 個字符一個 Token，中文約 1-1.5 個字一個 Token。粗估公式：中文字數 × 1.5 + 英文單詞數，結果再上浮 20% 留餘量。系統提示詞每次請求都會重複計入，長提示詞的賬單大頭往往在這裏。
上下文超限的真正原因
模型上下文 = 系統提示 + 全部歷史消息 + 本輪輸入 + 本輪輸出的總和。多輪對話裏歷史消息越滾越大，不是「這條消息太長」，而是累計超了。
三種截斷策略
- 滑動窗口：只保留最近 N 輪，最簡單，適合客服類對話
- 摘要壓縮：把更早的歷史讓模型壓縮成一段摘要再注入，資訊保留最好，多一次調用成本
- 分層注入：關鍵事實放系統提示，過程性對話按窗口保留，適合 Agent 長任務
順手省錢
開啓前綴快取（prompt cache）後，重複的系統提示按快取價計費，長系統提示的對話成本能降一半以上。具體折扣見各模型頁的「快取價」標注。