AI 百科约 7 分钟

大语言模型是怎么工作的？预测下一个词背后的全部秘密

AI 指南·更新于 2026-09-16·◉ 0 浏览

一句话定义：大语言模型（LLM，Large Language Model）是在海量文本上训练出来的 AI 模型，核心本领只有一件事：预测下一个词。你在 ChatGPT 里看到的每一段流畅回答，都是它一个词一个词接龙接出来的。

核心机制：文字接龙

给它「床前明月」，它接「光」；给它「今天天气真」，它接「好」。这个接法不是查来的，是它在训练时读过海量文本后，算出来的统计上最合理的下一个词。

Hugging Face 的 LLM 课程（https://huggingface.co/learn/nlp-course/chapter1/1 ）和维基百科的定义（https://en.wikipedia.org/wiki/Large_language_model ）都指向同一件事：语言模型通过学习文本规律来生成、总结、翻译和分析语言。GPT 这个名字本身就写明了机制：Generative（生成的）Pre-trained（预训练的）Transformer（一种神经网络架构），一个逐词生成文字的接龙引擎。

理解了这一点，很多行为就说得通了：它能续写小说，因为它一直在续写；它会一本正经地编造（幻觉），因为接龙只有「顺不顺」，没有「对不对」的开关。

参数量：模型大脑里有多少「突触」

模型内部有海量可调节的数值，叫参数。可以把它想象成大脑里的突触连接：每个参数记录着一小块语言规律，比如某个词后面常跟什么词、什么语境该用什么语气。参数越多，模型能装下的语言模式越丰富。

规模感可以看一个数字：2020 年发布的 GPT-3 有 1750 亿个参数，这是它那个年代最大的模型之一，论文《Language Models are Few-Shot Learners》（https://arxiv.org/abs/2005.14165 ）正是靠这个规模第一次让模型展现出「看几个例子就会做新任务」的能力。今天的主流模型参数量普遍更大，架构也更高效。

为什么模型越大越聪明：能力会涌现

小模型只会接龙，大模型却能做题、写代码、做翻译。这种「量变到质变」的现象叫涌现（emergence）：维基百科的描述是，模型规模跨过某个临界点后会突然出现小模型不具备的「涌现能力」（涌现能力详见维基百科：https://en.wikipedia.org/wiki/Large_language_model ），这些能力不是谁显式编程出来的，而是从复杂结构中自己长出来的。

GPT-3 论文给出的证据是：随着模型规模放大，它不需要重新训练就能完成新任务的表现大幅提升，甚至能和一些专门微调过的系统打平。类比一下：背一万个单词是量，能读原版小说是质，语言能力就是这样从规模里长出来的。

一篇文章串起 LLM 的知识地图

Token：模型读的不是字，是 token，计费和上下文上限都按它算，省钱技巧见《怎么省 token》：https://www.ai345.info/ai-guide/how-to-save-token
Transformer：GPT 最后一个字母 T 指的就是它，几乎所有主流大模型的地基架构，进阶阅读见《Looped Transformer 是什么》：https://www.ai345.info/ai-guide/openai-astra-looped-transformer
预训练与微调：先海量阅读打通用能力（预训练），再用专业示例练专项技能（微调），类似先读大学再进岗位培训。
上下文窗口：一次接龙能带着多少资料上场，窗口外的内容它完全不知道。
幻觉：接龙机制的副产品，只顺不对，缓解方法见《如何减少 AI 幻觉的 8 个方法》：https://www.ai345.info/ai-guide/how-to-reduce-ai-hallucinations
AI Agent：给接龙引擎装上手脚，让它不只是答，还能动手执行任务，见《AI Agent 是什么》：https://www.ai345.info/ai-guide/what-is-ai-agent

30 秒讲清大语言模型

被问到「LLM 是什么」时，按这四句答就够了：

定义：在海量文本上训练的生成式 AI 模型，ChatGPT、Claude、Gemini 的底层都是它。
机制：逐词预测下一个 token，把回答一个词一个词接出来。
能力来源：数据规模加参数规模，量变引发质变，产生涌现能力。
局限：知识停在训练截止时间、会幻觉、有上下文长度上限，所以关键信息要人工核验。

想从零开始上手，配合《AI 新手入门》边读边练效果最好：https://www.ai345.info/ai-guide/ai-for-beginners

延伸阅读

把这篇吃透后，建议按这个顺序接着读：

参考资料

权威来源：en.wikipedia.org/wiki/Large_language_model
权威来源：arxiv.org/abs/2005.14165
权威来源：huggingface.co/learn/nlp-course/chapter1/1

常见问题

LLM 和 ChatGPT 是什么关系？

答：LLM 是模型本身，ChatGPT 是基于 LLM 包装出来的聊天产品。模型是引擎，产品是整车。

参数越多模型越强吗？

答：总体正相关但不是唯一因素，数据质量、训练方法、架构效率同样关键，小而精的模型也能在特定任务上赢过大模型。

GPT 里的 T 是什么意思？

答：Transformer，2017 年提出的神经网络架构，擅长处理文本中的长距离关联，是几乎所有主流大模型的地基。

LLM 会一直记住我聊过的内容吗？

答：不会。它只在上下文窗口内记得当前对话，窗口外和会话结束后的内容一概不知，也没有跨对话的长期记忆。

LLM 为什么会一本正经地胡说八道？

答：因为它只负责预测下一个词，编造的句子和真实的句子在机制上没有区别，流畅和正确是两回事，这就是幻觉。

普通人需要懂大语言模型吗？

答：懂三个概念就能避开绝大多数坑：它有上下文上限、它会幻觉、它的知识有截止时间。剩下的用起来自然会。