
上下文窗口是什么?128K、1M 上下文到底能装多少字
一句话定义:上下文窗口(context window)是大模型一次能同时「看」的内容总量上限,相当于模型的工作记忆,就像书桌上一次只能摊开这么多资料,超过桌面就放不下了。
上下文窗口是什么:模型的「工作记忆」
模型每回复你一次,窗口里装的东西包括:系统提示词、你发过的全部消息、模型自己之前的回复,以及正在生成的新内容,全部换算成 token 计量。
关键在于:窗口之外的内容,模型完全不知道。OpenAI 官方文档说得很直白(https://developers.openai.com/api/docs/guides/advanced-usage ):如果一条消息从对话里被移除,模型就失去了对它的全部记忆。所以「聊久了 AI 会忘事」,不是它健忘,是旧内容被挤出了窗口。
128K、1M 到底能装多少字
先建立 token 的换算感。OpenAI 官方给出的粗略估算:英文里 1 个 token 约等于 4 个字符或 0.75 个单词。据此推算:
- 128K token 约等于 9.6 万英文单词,接近一部长篇小说。
- 换成中文,按主流分词器粗略折算,128K token 大约对应 15 到 20 万汉字,也差不多是一本长篇小说的量(不同模型分词器不同,这是估算值)。
- 1M token 约等于 75 万英文单词,相当于七八本长篇小说的体量(同样是粗略估算)。
窗口上限这几年涨得很快:GPT-3.5 时代的上限只有 4097 token(约几千字),GPT-4o 已经到 128K,谷歌的 Gemini 1.5 Pro 更是把窗口推到了 100 万 token(见维基百科 Gemini 词条:https://en.wikipedia.org/wiki/Gemini_(language_model) )。


为什么会「丢中间」:丢中间症
窗口大不代表全都用得上。斯坦福大学研究者在论文《Lost in the Middle》(https://arxiv.org/abs/2307.03172 )里的发现是:当相关信息放在输入的开头或结尾时,模型表现最好;放在长上下文的中间位置时,表现明显下降,连专门的长上下文模型也不能幸免。
这和人很像:资料摊了满满一桌,反而最容易漏看压在中间那份。
上下文超限会发生什么
塞进窗口的内容超过上限,通常两种结果:要么直接报错,要么被自动截断。截断就意味着失忆,被截掉的部分模型再也看不见。长任务和长对话尤其容易撞上这个问题,比如《OpenClaw 429 报错怎么解决》里讲的长上下文限流(https://www.ai345.info/ai-guide/openclaw-429-error-fix),以及《Ox Alpha 报错怎么办》里的上下文超限(https://www.ai345.info/ai-guide/ox-alpha-errors-fix),本质都是内容体量和窗口上限的冲突。
长文怎么分段喂:三个实用做法

- 重要信息放开头或结尾:既然模型对中间内容记忆最差,就把关键约束、核心数据放在提示词的开头或结尾,别埋在长文中间。
- 先摘要后细节:先让 AI 读全文给一份摘要,确认它抓住了重点,再针对具体章节逐段提问,比一次塞全文更稳。
- 控制体量就是控制成本:长文按 token 计费,窗口越大账单越贵,先裁剪再投喂,省钱技巧见这篇《怎么省 token》:https://www.ai345.info/ai-guide/how-to-save-token
另外提醒一句:跑长任务的 AI Agent 最吃上下文,理解了这个概念才能看懂它为什么「跑到一半开始重复或忘事」,Agent 的运作方式见《AI Agent 是什么》:https://www.ai345.info/ai-guide/what-is-ai-agent
上下文越大越好吗
不是。更大的窗口意味着更贵的价格和更慢的响应,而且中间内容照样容易丢。对多数人来说,够用就好:日常问答几万 token 绰绰有余,只有整本书、整个代码库级别的任务才真正需要百万级窗口。
延伸阅读
把这篇吃透后,建议按这个顺序接着读:
- Ox Alpha 报错怎么办?429/超时/上下文超限解决方法一次讲清(2026)
- OpenClaw 429 报错怎么解决?长上下文限流的 3 个修复方法
- Context Mode 是什么?给 AI 编程省 98% 上下文
- 怎么省 token?2026 AI 编程省钱指南:Claude Code / Codex 实测 10 个技巧
参考资料
常见问题
上下文窗口和「记忆」是一回事吗?
答:不是。窗口只在单次会话内有效,会话结束或内容被挤出窗口,模型就不再记得。模型本身没有跨对话的长期记忆。
128K 上下文等于多少中文字?
答:按主流分词器粗略估算约 15 到 20 万字,不同模型的分词方式有差异,精确数字以各官方文档为准。
为什么 AI 聊久了会忘掉前面说的话?
答:对话总长度超出窗口上限后,早期内容被截断或挤出去,模型对这些内容彻底失忆,只能靠用户重新粘贴。
上下文窗口越大越贵吗?
答:是。输入的 token 越多费用越高,处理速度也越慢,所以长文档投喂前先做裁剪和摘要更划算。
怎么知道我的对话超没超限?
答:超限一般会直接报错;更隐蔽的情况是模型开始忽略早期内容,开发者可以查看 API 返回的 usage 字段确认 token 消耗。

京ICP备2024094994号-29