Token 是什么？1 个汉字等于几个 Token，为什么按它计费

Token 是大模型处理文字的最小单位，可以理解成模型眼里的“积木块”：模型读的不是完整的字或词，而是先把文本切成一小块一小块，再逐块处理。API 按 token 收费，上下文上限也按 token 计数，所以无论你用 ChatGPT 还是接 API，都绕不开这个概念。

一句话定义：模型眼里的积木块

模型不认识“字”，也不认识“词”，它只认识 token。一个 token 可能是一个字符、半个词、一个完整词，也可能是一个标点。OpenAI 官方帮助中心的定义就是：token 是模型处理文本所用的单位，同一句话在不同模型、不同语言下，切出来的 token 数都可能不一样。

英文有个粗略换算：1 个 token 约等于 4 个英文字符，100 个 token 约等于 75 个英文单词。注意这只是英语的估算。

1 个汉字等于几个 Token

中文和英文差别很大。我们用 OpenAI 官方分词库 tiktoken 实测了几句中文（本站一手数据）：

1. “人工智能正在改变世界”（10 个字）：新编码 o200k_base 只算 5 个 token，旧编码 cl100k_base 要算 11 个。
2. “今天天气不错，我们去公园散步吧。”（16 字符）：o200k 是 12 个 token，cl100k 是 19 个。
3. “深度学习是大模型的核心技术”（13 个字）：o200k 是 9 个，cl100k 是 16 个。

结论：新分词器下中文大约 2 个字合 1 个 token（每字约 0.5 个），旧分词器则接近 1 字 1 个 token。同一个字切法完全由各家模型自带的分词器决定，没有统一答案，粗略按“1 个汉字约 0.5 到 1 个 token”估算即可。

为什么 API 按 Token 收费

因为 token 是模型真实消耗的计算单元：输入要逐 token 编码进模型，输出要逐 token 生成，算力成本和 token 数直接挂钩。

OpenAI 帮助中心把 token 分成几类，价格并不相同：

1. 输入 token：你发给模型的内容，也叫 prompt token，单价通常最低。
2. 输出 token：模型生成给你的内容，生成比读取更费算力，单价通常更高。
3. 缓存输入 token：重复出现的输入命中缓存后，价格更低。
4. 推理 token：推理模型的思考过程，不显示在回答里，但按输出 token 计费。

举个体感例子：你问一个问题花了 200 个输入 token，模型内部思考了 2000 个 token，最后回答 500 个 token，按输出计费的是 2500 个，而不是你肉眼看到的 500 个。这是很多人账单超预期的第一大原因。

上下文窗口的 K 是什么意思

模型参数里的 128K、200K 指的是上下文窗口：一次请求里模型能处理的 token 总量，输入、输出、思考过程全都占这个额度，超了就会报错或被截断。

按我们上面的实测比例粗算，128K token 大约能装下一本一二十万字的中文书（取决于分词器，浮动很大）。

注意窗口大和便宜是两回事：窗口是容量，费率是价格，账单等于费率乘以实际用量，塞满窗口可不便宜。想让每次调用更省，可以看站内的AI 编程省 token 十个技巧和省 token 实测十招；推理模型的思考长度是可以设预算的，原理见字节思维预算机制解读。