文生视频原理一次讲透：图片怎么动、穿帮为何多

文生视频的本质，是让图片扩散模型学会「时间维度上的去噪」：把一段视频切成带时间信息的碎片，训练模型同时看懂画面内容和画面之间怎么连贯地动，然后从一堆噪点碎片里逐步「洗」出一段流畅的视频。它和文生图是同一套去噪思想，多出来的难点只有一个字：动。

这个「动」字难在哪、为什么生成视频里手指和物理经常穿帮，下面一层层拆开。

图片怎么动起来：从帧到时空碎片

打个比方：文生图像一本翻页小人书，画好一页容易；难的是每一页之间都要接得上，翻起来才像「动」，而不是抽搐。文生视频模型要同时当画家和动画师。

技术上分两步：

1. 压缩：视频数据量太大，先用压缩网络把视频压进低维潜空间，时间和空间一起压缩。OpenAI 在 Sora 技术报告里明确说明，Sora 先把视频压进潜空间，再在潜空间里训练和生成（官方技术报告）。
2. 切碎片：把压缩后的视频切成一个个「时空碎片」（spacetime patches），相当于既管画面又管帧与帧之间的衔接，再用扩散 Transformer 从噪点碎片逐步去噪。

2022 年 Google 的视频扩散论文验证了一个关键做法：把图像和视频数据混在一起训练，能明显降低训练难度（视频扩散论文）。更早 Meta 的 Make-A-Video 则证明可以「从图片学长什么样、从无标注视频学怎么动」，绕开了昂贵的图文视频三配对数据（Make-A-Video 论文）。

时空一致性为什么是最难的坎

一张图错一个细节，用户未必看得出来；一段视频错一个细节，几十帧里会被反复放大。模型要保证同一辆车压过减速带时形变连贯，同一张脸在镜头切回来时还是那张脸。OpenAI 把这类能力叫做长程一致性和物体永久性，并在报告里承认模型「经常、但并不总是」做得到，被遮挡或离开画面的物体可能凭空出现或消失。

更难的还有物理。Sora 报告明确列出局限：玻璃碎裂这类基础物理交互就模拟不准，吃东西也不总能正确改变物体状态。

为什么手指和物理最容易穿帮

1. 手指穿帮：手是高频细节，指头之间的边界在压缩和去噪里都属于模糊地带，模型对手的正确形态缺乏强约束，数错、粘连就在所难免。
2. 物理穿帮：模型学到的是「视频里通常长这样」的统计规律，不是牛顿力学。水往高处流、人穿墙而过，只要训练数据里少见，生成时就容易露馅。
3. 时间越长越难：去噪误差会随帧数累积，几分钟的连贯叙事对现在的模型仍是大坎，OpenAI 报告把长时长样本里的不连贯列为常见失败模式。

一段话讲清文生视频原理

「文生视频是扩散模型从图像到时间维度的扩展。视频先被压缩进潜空间，再切成包含时间维度的时空碎片，扩散 Transformer 从噪点碎片出发，在提示词引导下逐步去噪，解码还原成片。核心难点是时空一致性：几十帧之间要保持物体外观、运动和物理规律的连贯。图像视频混合训练、用无标注视频学运动等做法降低了训练门槛，但长视频连贯性和物理准确性仍是当前模型的公开短板。」

给产品经理的两点判断

1. 现阶段文生视频适合做短镜头、氛围镜头和素材生成，长片叙事、强物理交互的场景要谨慎，穿帮会被逐帧放大。
2. 评估生成质量别只看首帧惊艳，要抽帧检查人物一致性和动作衔接，这才是这类产品真正的护城河。对训练数据从哪来感兴趣，可以补一篇预训练是什么？大模型是怎么练出来的。

想理解底层模型为什么能「看懂」画面，再补两篇站内基础：Transformer 是什么？图解 AI 大脑的工作原理、多模态大模型是什么？能看图、能听声的 AI 是怎么做到的。