MiniCPM-V 4.7 本地部署教程:3GB 内存跑 35B 模型封面图
AI 入门约 7 分钟

MiniCPM-V 4.7 本地部署教程:3GB 内存跑 35B 模型

AI 指南··◉ 0 浏览

MiniCPM-V 4.7 本地部署分三步:先在线体验,再手机端,最后桌面端。模型权重开源,下载免费。10 月 13 日刚发布,中文部署教程还很少。这篇把三条路径一次讲清,附硬件要求表和报错速查。

先搞懂一件事:3GB 内存怎么跑 35B

35B-A3B 的 35B 是总参数,不是实际占用。它用 MoE 混合专家架构,总参数 350 亿,每次推理只激活 30 亿。模型跑起来要的内存主要由激活参数决定,所以 3GB 内存够用。这就是「3GB 跑 35B」的原理。

MiniCPM-V 4.7 官方模型卡截图

面壁还配套了 LES 前瞻专家调度技术。MoE 每次回答要换专家,传统做法是临时把专家搬进内存,一搬一停就卡。LES 提前预判下一位专家,边算边加载,加载和计算同步推进。官方称这是业界独家开源方案。

除了 35B 版,还有 1B 版本,实际参数 1.3B。它的 OCR、数学和视频理解在同尺寸里属第一梯队,适合更老的设备。

部署前准备:选版本、查设备、定渠道

先选版本。两个版本对比如下:

项目 35B-A3B 1B
总参数 350 亿 约 13 亿
每次激活 30 亿 约 13 亿
内存需求 约 3GB 更低
实测速度 iPhone 17 Pro Max 上 13+ token/s 官方未公布
适合场景 旗舰手机、平板、电脑 中低端手机、可穿戴

再看设备。35B 版建议手机有约 3GB 可用内存,支持 iOS、安卓、鸿蒙。电脑端官方称支持主流推理框架,具体要求以模型卡为准。

面壁智能官网 MiniCPM-V 4.7 介绍截图

最后定下载渠道。国内推荐 ModelScope 魔搭,速度快、可直连。Hugging Face 官方模型卡 是首发渠道,国内下载慢,可能需要加速。

路径一:在线体验(最快验证)

不想折腾就先在线试。面壁智能官网 提供在线演示入口,媒体实测推理速度在秒级:

  1. 打开官方在线演示入口
  2. 上传一张图片,或直接输入文字问题
  3. 等待生成,常规任务基本秒级返回
  4. 和官方演示效果对比,再决定要不要本地部署

注意一个限制:在线平台对输出长度可能设上限。复杂问题可能答不完整。本地部署没有这个问题。

路径二:手机端部署(iOS、安卓、鸿蒙)

手机端是 4.7 的最大卖点,断网也能跑。官方提供开源端侧适配代码,覆盖三大移动系统。整体流程:

  1. 到官方 GitHub 仓库 OpenBMB/MiniCPM 拉取端侧适配代码
  2. 按仓库说明准备手机端推理环境
  3. 下载量化后的模型权重
  4. 编译并安装到手机
  5. 加载模型,传图提问

官方实测数据:iPhone 17 Pro Max 上用 3GB 内存跑出 13+ token/s。iPad Pro 上超过 15 token/s。图片和文档不用上传云端,隐私性更好。

卡点提醒:端侧部署需要开发者环境,普通用户门槛偏高。建议先在线体验,确认效果再决定是否折腾。

路径三:桌面端部署(主流推理框架)

电脑部署更省心。官方称发布当日就支持主流推理框架。通用流程:

  1. 安装 Python 环境,建议 3.10 以上
  2. 安装 Transformers 等推理依赖
  3. 从 Hugging Face 或 ModelScope 下载权重
  4. 用框架加载模型,传图提问
  5. 或起一个本地服务,供其他程序调用

MiniCPM-V 4.7 关键基准得分数据图

注意:4.7 的 GGUF 量化包发布时间,官方还没公布。想用 Ollama 一键跑的,可以盯官方模型卡的更新。同类思路可参考站内的 MiniCPM 5 本地 Ollama 部署教程。也可以看 腾讯混元 Hy-MT2 部署教程。

怎么确认跑通了

部署完跑三个自测任务:

  1. 图片问答:传一张菜单照片,问有哪些推荐
  2. OCR 测试:传一张带文字的截图,让它提取内容
  3. 视频理解:传一段短视频,让它按时间线描述画面

答案完整、速度可接受,就算跑通。官方在文档解析基准 OmniDocBench 拿了 94.24 分。这块是强项,可以重点试。

3GB 内存运行 35B MoE 模型的 LES 调度原理示意图

常见报错速查

现象 原因 解法
内存不足(OOM) 可用内存不够 3GB 换 1B 版本,或关掉后台应用
下载太慢 Hugging Face 网络不稳 改从 ModelScope 下载
输出被截断 在线平台限制输出长度 改本地部署
首轮出字慢 首次加载专家 先跑一轮预热,之后提速

常见问题

MiniCPM-V 4.7 部署要花钱吗?

模型权重开源,下载和使用免费。只需自己的设备,没有订阅费用。商用授权以官方模型卡标注为准。

3GB 内存是跑满 35B 全部参数吗?

不是。35B 是总参数,MoE 架构每次只激活 30 亿。内存需求由激活参数决定,所以 3GB 能跑。

老手机(运存 4GB)能部署吗?

35B 版建议 3GB 可用内存。老设备更推荐 1B 版本,实际参数 1.3B,对内存更友好。

MiniCPM-V 4.7 和 MiniCPM 5 是什么关系?

MiniCPM 5 是面壁的端侧语言模型系列。MiniCPM-V 4.7 是多模态模型,能看图、分析文档和视频。两个系列侧重点不同,可看站内 [MiniCPM 5 是什么介绍](https://www.ai345.info/ai-guide/minicpm5-on-device-model)。手机部署可看 [MiniCPM5-2B 手机部署指南](https://www.ai345.info/ai-guide/minicpm5-2b-guide)。

有官方手机 App 直接装吗?

官方提供开源端侧适配代码,覆盖 iOS、安卓、鸿蒙。应用商店的上架情况以官方发布为准,建议先看官网和 GitHub。

6000 万下载量是什么数据?

这是面壁联合 OpenBMB 发布的 MiniCPM 系列累计下载量。它覆盖文本、视觉、语音全模态,不是 4.7 单款的数据。

评论 (0)

?
0/1

还没有评论,来发第一条吧

网站上的服务均为第三方提供,
请用户注意自行甄别。

北京酷讯互动科技有限公司

备案京ICP备2024094994号-29

© 2026 AI345 · All Rights Reserved

用户服务协议·隐私政策