大模型训练数据从哪来？3 分钟看懂 AI 的教材

大模型的教材不是一本本书，而是整个互联网：网页、书籍、代码、论文、论坛问答，抓下来、洗干净、按比例调配，再喂给模型。本文讲清这套教材的准备流程，以及为什么数据清洗直接决定模型质量。

模型的教材是怎么准备的？

把训练数据想象成给一个天才学生编教材。流程大致五步：先用爬虫大规模抓取公开网页；再清洗，去重、去噪、去害；然后按配方把不同来源的数据混合；接着切成模型能读的 Token；最后进入预训练。整个过程像做一桌菜：采购、洗菜、配菜、切配、下锅。

学术圈常用的开源数据集 The Pile 可以当作「课程表」的实物例子：它有 825 GiB 文本，由 22 个不同来源的子集组成，包括 arXiv 论文、GitHub 代码、书籍、Stack Exchange 问答等（The Pile 论文）。22 个子集就像 22 门课，这门课学理论、那门课学动手。

什么是 Token？它相当于模型读课本的「字词单位」，感兴趣的可以看站内这篇Token 是什么。

网页、书籍、代码的比例怎么定？

1. 网页：体量最大、覆盖面最广，通常是大头，负责见多识广。
2. 书籍和论文：密度高、逻辑完整，负责深度知识。
3. 代码：负责逻辑和推理能力，近年新模型普遍加码。
4. 问答与论坛：负责真实的对话语气和实用经验。

具体百分比是各家反复调试出来的配方，属于核心机密，外界只能看方向。一个可查的参考点：OpenAI 2020 年的 GPT-3（1750 亿参数）走的就是大规模网页语料为主的路线，但论文作者也明确提到，在网页语料上训练会带来方法论问题，比如评测数据和训练数据可能交叉（GPT-3 论文）。网页数据好用，但脏，这是共识。

还有一个近年趋势值得知道：各家越来越看重精选的高质量数据和合成数据，单纯堆网页量的打法在退潮。粗糙原料吃多了会学坏，精加工的教材越来越贵，这也从侧面解释了下面这节的主题：清洗为什么越来越重要。

数据清洗为什么决定模型质量？

清洗环节通常有四道工序，缺一不可：

1. 去重：同一篇文章被转贴一万次，不处理的话模型就会「背课文」，复读成性。
2. 去噪：广告、乱码、错别字、机器批量生成的垃圾内容要筛掉。
3. 去害去敏：隐私信息、有害内容、高版权风险内容要处理。
4. 质量分层：同一批网页里，百科和营销号不该是一个权重，好料要加重。

为什么这么关键？因为模型是在模仿数据。数据里谣言多，模型就爱编；数据里重复多，模型就复读；数据质量高，模型才算「读过好书」。很多模型表现出的AI 幻觉问题，一部分根源就在训练数据本身。训练环节的完整过程，见站内的预训练是什么。

一段话讲清训练数据来源？

「大模型训练数据主要来自网页爬取、书籍、论文、代码仓库和论坛问答，流程是抓取、清洗、配比、切分再训练。网页提供广度，书籍论文提供深度，代码提升逻辑能力，配比是各家模型的核心配方。数据清洗决定质量：去重防背诵，去噪防学坏，去害防风险，质量分层提效率。清洗得越好，模型的底子越干净，因为模型本质上是在模仿数据。」

数据从哪来，也带走了什么争议？

版权是绕不开的话题：很多内容被抓取时并没有获得作者授权，各国正在通过诉讼和立法划边界。对从业者的启示是：如果自己训练或微调模型，数据合规要提前想，不能只看效果。另外模型知识有截止日期，抓不到训练之后的信息，这也是为什么生产系统常给模型外挂资料库，见RAG 是什么。