上下文窗口是什么?128K、1M 上下文到底能装多少字封面图
AI 百科约 6 分钟

上下文窗口是什么?128K、1M 上下文到底能装多少字

AI 指南··◉ 0 浏览

一句话定义:上下文窗口(context window)是大模型一次能同时「看」的内容总量上限,相当于模型的工作记忆,就像书桌上一次只能摊开这么多资料,超过桌面就放不下了。

上下文窗口是什么:模型的「工作记忆」

模型每回复你一次,窗口里装的东西包括:系统提示词、你发过的全部消息、模型自己之前的回复,以及正在生成的新内容,全部换算成 token 计量。

关键在于:窗口之外的内容,模型完全不知道。OpenAI 官方文档说得很直白(https://developers.openai.com/api/docs/guides/advanced-usage ):如果一条消息从对话里被移除,模型就失去了对它的全部记忆。所以「聊久了 AI 会忘事」,不是它健忘,是旧内容被挤出了窗口。

128K、1M 到底能装多少字

先建立 token 的换算感。OpenAI 官方给出的粗略估算:英文里 1 个 token 约等于 4 个字符或 0.75 个单词。据此推算:

  1. 128K token 约等于 9.6 万英文单词,接近一部长篇小说。
  2. 换成中文,按主流分词器粗略折算,128K token 大约对应 15 到 20 万汉字,也差不多是一本长篇小说的量(不同模型分词器不同,这是估算值)。
  3. 1M token 约等于 75 万英文单词,相当于七八本长篇小说的体量(同样是粗略估算)。

窗口上限这几年涨得很快:GPT-3.5 时代的上限只有 4097 token(约几千字),GPT-4o 已经到 128K,谷歌的 Gemini 1.5 Pro 更是把窗口推到了 100 万 token(见维基百科 Gemini 词条:https://en.wikipedia.org/wiki/Gemini_(language_model) )。

主流模型上下文窗口容量对比示意图

「丢中间症」现象示意图

为什么会「丢中间」:丢中间症

窗口大不代表全都用得上。斯坦福大学研究者在论文《Lost in the Middle》(https://arxiv.org/abs/2307.03172 )里的发现是:当相关信息放在输入的开头或结尾时,模型表现最好;放在长上下文的中间位置时,表现明显下降,连专门的长上下文模型也不能幸免。

这和人很像:资料摊了满满一桌,反而最容易漏看压在中间那份。

上下文超限会发生什么

塞进窗口的内容超过上限,通常两种结果:要么直接报错,要么被自动截断。截断就意味着失忆,被截掉的部分模型再也看不见。长任务和长对话尤其容易撞上这个问题,比如《OpenClaw 429 报错怎么解决》里讲的长上下文限流(https://www.ai345.info/ai-guide/openclaw-429-error-fix),以及《Ox Alpha 报错怎么办》里的上下文超限(https://www.ai345.info/ai-guide/ox-alpha-errors-fix),本质都是内容体量和窗口上限的冲突。

长文怎么分段喂:三个实用做法

长文档分段投喂模型的三个实用做法示意图

  1. 重要信息放开头或结尾:既然模型对中间内容记忆最差,就把关键约束、核心数据放在提示词的开头或结尾,别埋在长文中间。
  2. 先摘要后细节:先让 AI 读全文给一份摘要,确认它抓住了重点,再针对具体章节逐段提问,比一次塞全文更稳。
  3. 控制体量就是控制成本:长文按 token 计费,窗口越大账单越贵,先裁剪再投喂,省钱技巧见这篇《怎么省 token》:https://www.ai345.info/ai-guide/how-to-save-token

另外提醒一句:跑长任务的 AI Agent 最吃上下文,理解了这个概念才能看懂它为什么「跑到一半开始重复或忘事」,Agent 的运作方式见《AI Agent 是什么》:https://www.ai345.info/ai-guide/what-is-ai-agent

上下文越大越好吗

不是。更大的窗口意味着更贵的价格和更慢的响应,而且中间内容照样容易丢。对多数人来说,够用就好:日常问答几万 token 绰绰有余,只有整本书、整个代码库级别的任务才真正需要百万级窗口。

延伸阅读

把这篇吃透后,建议按这个顺序接着读:

参考资料

常见问题

上下文窗口和「记忆」是一回事吗?

答:不是。窗口只在单次会话内有效,会话结束或内容被挤出窗口,模型就不再记得。模型本身没有跨对话的长期记忆。

128K 上下文等于多少中文字?

答:按主流分词器粗略估算约 15 到 20 万字,不同模型的分词方式有差异,精确数字以各官方文档为准。

为什么 AI 聊久了会忘掉前面说的话?

答:对话总长度超出窗口上限后,早期内容被截断或挤出去,模型对这些内容彻底失忆,只能靠用户重新粘贴。

上下文窗口越大越贵吗?

答:是。输入的 token 越多费用越高,处理速度也越慢,所以长文档投喂前先做裁剪和摘要更划算。

怎么知道我的对话超没超限?

答:超限一般会直接报错;更隐蔽的情况是模型开始忽略早期内容,开发者可以查看 API 返回的 usage 字段确认 token 消耗。

评论 (0)

?
0/1

还没有评论,来发第一条吧

网站上的服务均为第三方提供,
请用户注意自行甄别。

北京酷讯互动科技有限公司

备案京ICP备2024094994号-29

© 2026 AI345 · All Rights Reserved

用户服务协议·隐私政策