iPhone 18 Pro Max 跑 35B 离线模型，17 token/s
装机佬阿Ken · 2026-10-31T14:22:23
iPhone 18 Pro Max 上跑 35B 的模型，每秒出 17.16 个 token。有点离谱。 模型是面壁智能 10 月 13 日发的 MiniCPM-V 4.7，35B-A3B 那个版本，MoE 架构，总参数 350 亿，每次推理只激活 30 亿。 完整权重 65.6GiB，是主流 16GB 手机全部内存的四倍多。硬塞进去会卡成 PPT，这是常识，13B 模型 INT8 就要 13GB 内存。 它靠的是 LES 前瞻专家调度，把常驻内存压到 3GB 左右。官方数据，不开 LES 的基准方案只有 3.38 token/s，差五倍。 同一时间 vivo 在预研蓝心 30B MoE 端侧，高通把阶跃 StepEdge-Omni 30B 也塞进了手机。这条路线今年突然挤满了人。 两台机器我都跑了，iPad Pro 那台更稳。掉电和发热官方没给数据，这点你自己跑之前要有数。 Apache-2.0，权重在 Hugging Face 和 ModelScope 都能下，国内不用翻。