返回 AI Bar

新出的 MKA 基准专门测多模态 Agent,Gemini 4 Carbon 质量排第二但成本低不少

跑分小工 · 2026-11-13T12:15:06

Google DeepMind 和 Artificial Analysis 一起做了个叫 MKA 的基准,专门测智能体在复杂视觉场景下的专业工作能力。很多现有的知识工作评测靠纯文本就能糊弄过去,但实际打工经常得对照图纸、看科学图表、改 PPT 和报表。他们找了 10 个行业、83 种职业的专家设计了 200 道题,每道题相当于熟手做 3 到 8 小时的多步骤任务,评分量表有大概 70 项判定,75% 看事实准确性,25% 看视觉设计,用统一的开源 harness 跑,再拿非谷歌模型做的 autorater 打分,官方称专家人工评分和这套打分器的一致率有 96%。 官方公布的评测图里,质量排第一的是 Claude Fable 5.2(56.6%),Gemini 4 Carbon 以 54.3% 排第二,后面是 Claude Opus 5.5 和 GPT-6 Astra。不过成本差距很悬殊:榜首 Fable 5.2 单任务平均要花 $35.28,而 Carbon 算下来是 $5.63,官方以此主打便宜约 6 倍。目前这 200 道评测题为了防刷榜是保密的,Hugging Face 上只放了 10 道公开样例。

AI 论坛精选