扩散模型是什么？图解文生图从噪点到成图全过程

扩散模型是当前文生图的主流技术路线：先把一张好图一步步加噪点，直到变成雪花屏；再训练一个神经网络学会把这个过程反过来，从纯噪点里一步步去噪，「洗」出一张符合文字描述的图。这个反着来的过程，就是生成。

关键转折发生在 2020 年：Jonathan Ho 等人发表 DDPM 论文，让去噪模型第一次生成了高质量图像（DDPM 论文）。如今 Stable Diffusion、Midjourney、DALL-E 3 用的都是这条技术路线。

从噪点里洗出画面：像擦玻璃一样生成

打个比方：想象一扇结满冰花的浴室玻璃。你不需要无中生有地画出一幅画，只需要反复擦，每擦一遍画面清晰一点，擦到第十遍，镜中的景象完全清楚。扩散模型的生成就是这个「反复擦」的过程，只是它一开始面对的是一整面纯噪点的毛玻璃。

训练分两个方向：

1. 正向（加噪）：拿海量真实图片，按固定规则一步步加噪点，直到图片彻底变成随机噪点。这一步不需要学习，是确定性的规则。
2. 反向（去噪）：训练神经网络，每一步只做一件事：预测这张图里的噪点长什么样，然后减掉一点。练习几十亿次之后，模型就掌握了从任意噪点状态还原图像的能力。

生成时，模型从一团随机噪点出发，在文字提示的引导下重复去噪几十步，每一步画面都更清晰一点，最后得到成图。这就是文生图的完整过程。

为什么扩散模型比 GAN 后发先至

在 2021 年之前，图像生成的主角是 GAN（生成对抗网络）：两个网络互相博弈，一个造假、一个打假。GAN 出图快，但训练出了名的不稳定，还容易「模式崩塌」，翻来覆去只会生成几种安全牌画面。

转折点是 OpenAI 的论文《Diffusion Models Beat GANs on Image Synthesis》：扩散模型在 ImageNet 128x128 上拿下 FID 2.97 的成绩，首次在生成质量上超过当时的 GAN 最佳水平（论文地址）。扩散模型赢在两点：训练目标稳定，去噪是明确的监督信号，不像 GAN 靠博弈；覆盖度高，不容易偷懒只生成少数几种图。

2021 年底出现的潜在扩散模型（Latent Diffusion）又推进了一大步：把去噪从像素空间搬进低维「潜空间」，训练和出图成本降了一个量级，还通过交叉注意力让文字提示指挥去噪方向，这就是后来开源 Stable Diffusion 的技术底座（潜在扩散论文）。

一段话讲清扩散模型

「扩散模型的核心思想是把生成变成去噪。训练时先给真实图片逐步加噪点直到变成纯噪声，再训练网络学习每一步如何预测并去除噪点；生成时从随机噪点出发，在文字条件的引导下反复去噪几十步得到图像。DDPM 论文在 2020 年证明了高质量生成的可行性，2021 年扩散模型在 ImageNet 上质量超过 GAN，加上潜在扩散把算力成本降了一个量级，才有了 Stable Diffusion 这类主流文生图产品。」

它和你每天用的产品的关系

Midjourney、Stable Diffusion 出图，底层都是扩散模型；不止图像，主流文生视频模型同样是扩散模型加时空处理的组合，甚至有团队把去噪思想搬回文本生成，OpenRouter 上的 Mercury 系列就是扩散大语言模型（Mercury 2.5 是什么？OpenRouter 上的扩散大模型）。

想把基础知识补齐，可以对照站内的预训练是什么？大模型是怎么练出来的和Transformer 是什么？图解 AI 大脑的工作原理，扩散模型的主干网络正是 Transformer 家族。