多模态大模型是什么？能看图、能听声的 AI 是怎么做到的

能看图、能听声、还能和你打字聊天的 AI，背后多数是多模态大模型：能同时处理文字、图片、声音、视频等多种信息形式的 AI 模型。模态（modality）就是信息的种类，「看图、听声、说话、写字」全都行的，就是多模态。

以前的 AI 是单科生

早年的 AI 模型各管一摊：文字模型只识字，给它发图片它看不懂；图像模型只认图，让它写一句说明都很费劲；语音模型专攻听声。它们像一群单科生，语文满分的不懂数学，数学满分的不懂英语。

维基百科对多模态学习的定义是（https://en.wikipedia.org/wiki/Multimodal_learning ）：整合并处理文本、音频、图像、视频等多种数据类型的深度学习方法。这种整合让模型对复杂信息的理解更完整，直接提升了视觉问答、看图说话、图文检索这类任务的效果。

多模态就是五官打通

多模态大模型干的事，相当于把单科生的眼睛、耳朵、嘴巴连起来：看一张图能写出文案，听一段话能接住上下文，看设计稿能改代码。信息不再被「文字、图片、声音」的类型墙隔开，而是汇进同一个大脑一起理解。

两个标志性节点：OpenAI 的 GPT-4 引入了图像理解能力（GPT-4V），能看懂截图、图表和照片；谷歌官方博客在 2023 年 12 月 6 日发布了 Gemini（官方公告：https://blog.google/technology/ai/google-gemini-ai/ ），由 DeepMind 研发，从设计之初就是一个多模态模型家族（https://en.wikipedia.org/wiki/Gemini_(language_model) ），文字、图片、音频、视频都可以作为输入。

图片和声音怎么变成模型能懂的东西

模型底层只认数字。所以多模态的第一步是「翻译」：图片被切成小块、音频被切成片段，分别由编码器转成一串数字表示，可以理解为把它们做成了「数字积木」。关键在于，这些积木和文字词块被放进同一个语义空间，图片里的狗和文字里的「狗」在空间里离得很近，模型才能把它们对应起来。

打通之后，模型就能做「跨模态」的事：给一张图让它写诗，给一句话让它画图，给一段语音让它总结要点。本质都是不同模态的积木在同一个空间里互相翻译。

你其实每天都在用多模态

1. 拍照解题：把数学题拍下来让 AI 讲解，靠的是图像理解和文字推理打通。
2. 语音聊天：对着手机说话直接对话，音频被实时转成模型能理解的内容。
3. 看图写文案：电商给商品图自动生成卖点文案，图像信息直接变成文字。

站内可以延伸看的例子：OpenAI 的图像模型GPT Image 2 是什么、字节的音视频生成模型Seedance 2.0 是什么，以及微信开源的多模态嵌入模型WeMM-Embedding 全解，分别对应多模态的生成端和检索端。

多模态为什么值得关注

因为它决定了 AI 的下一个台阶：只识字的模型只能做信息处理，五官打通的模型才能接管人类真实的工作场景。比如让 AI 看屏幕、点按钮、操作软件的 AI Agent，前提就是它能「看懂」界面，Agent 的运作原理见《AI Agent 是什么》：https://www.ai345.info/ai-guide/what-is-ai-agent

参考资料

• 权威来源：en.wikipedia.org/wiki/Multimodal_learning
• 权威来源：blog.google/technology/ai/google-gemini-ai/
• 权威来源：en.wikipedia.org/wiki/Gemini_(language_model)