ASR 语音识别是什么？语音转文字原理与准确率一次讲透

ASR（Automatic Speech Recognition，自动语音识别）就是让机器把声音转成文字的技术：你说一句话，屏幕上出一段字。会议转写、视频字幕、语音输入法、车载语音指令，背后都是它。这篇用「速记员」的比喻讲清识别链路和准确率的真实口径，解释方言和多人对话为什么特别难，最后附一段可复述的说法。

ASR 是什么：一句话定义

ASR 指把人类语音自动转换成文本的技术，也常叫语音识别或语音转文字。它和 TTS 互为逆向：一个管听，一个管说。一条典型处理链路是先把连续的声音切成小片段、提取声学特征，再由模型把特征翻译成音素和文字，最后用语言模型把句子捋顺。

对刚入行的产品经理，记住一个判断标准就够：凡是「人对机器说话」的场景，语音助手、录音转写、字幕生成、外呼质检，底层都压着 ASR。

比喻主线：一位逐字记录的速记员

把 ASR 想象成一位速记员，他的工作分四步：

1. 听音：把连续的声音切成很小的片段，判断每段大概是什么音。
2. 认字：结合发音和上下文，把音对应到具体的字词，同音字靠语义猜。
3. 顺句：按语言习惯调整语序和标点，让句子读起来像人写的。
4. 交稿：输出最终文本，供搜索、存档或二次加工。

速记员的水平，就用「错别字率」来衡量，这个指标有个正式名字：词错率（WER）。

准确率的口径：WER 到底怎么算

WER 的算法是：把识别结果和标准答案逐词对齐，数出替换错了多少词、漏了多少词、多插了多少词，三者之和除以标准答案的总词数。举例：标准答案 10 个词，识别结果替换错 1 个、漏 1 个、多插 1 个，WER 就是 30%。也就是说替换、漏字、多字三类错误加在一起算，不是简单看「对了几句」。

除以 10 算出 30%)

引用准确率数据时还要看测试条件。Google 2020 年 5 月的 Conformer 论文在 LibriSpeech 这个英语朗读基准上把词错率做到 1.9%（配合外部语言模型），但那是干净、清晰的单人朗读；换到嘈杂会议或方言口语，数字会明显变差。

看到厂商宣传「准确率 98%」，先问三个问题：什么语言、什么场景、什么口径。

为什么方言和多人对话难

方言难，难在数据少、变化多。主流模型的训练语料以普通话和英语为主，方言的可用数据远少于前者，口音、连读、俚语的变化又被进一步放大。OpenAI 2022 年 12 月的 Whisper 论文给出了一个方向：用 68 万小时多语言、多任务的互联网音频做弱监督训练，模型不做任何微调就能在标准基准上做到接近人类的准确率和鲁棒性，关键是靠数据规模带来泛化能力。

多人对话难，难在声音是重叠的。几个人同时说话，波形混在一起，模型要先把不同说话人的声音分开、再分别识别，这被称为「鸡尾酒会问题」。人脑能在嘈杂酒会上专注听一个人说话，机器没有天然的分层能力，所以会议转写产品都要先做说话人分离，业界也专门为此造模型，比如小米开源的鸡尾酒会语音识别模型 CocktailASR-1。

一段话讲清 ASR

被问到「讲讲语音识别」，可以按这个口径复述：

「ASR 是把语音转成文字的技术，链路是先提取声学特征，再由模型解码成文字。衡量它用词错率 WER，替换、漏字、多字都算错，而且要区分朗读、嘈杂、方言这些测试条件，脱离场景谈准确率没有意义。方言难在训练数据少、口音变化大，多人对话难在声音重叠、需要先做说话人分离。」

常见追问有两个。「和 TTS 什么关系」：互为逆向过程，一个管听一个管说。「准确率已经这么高，为什么还转错」：多半是嘈杂环境、专业名词或口音，这三类问题靠领域词表、说话人分离和上下文纠错来缓解。

想上手从哪里开始

打开任意一款语音输入法或会议软件的转写功能，录一段自己的话，观察它错在哪里，就能直观理解 WER。

想看转写产品怎么选，可以读微软语音转文字模型 MAI-Transcribe-2 解读和流式语音识别 VibeVoice 介绍；关心实时语音方案的成本，可以看GPT-Live-1 价格怎么算。