阿里开源 0.3B 端侧模型,INT4 压到 173MB
装机佬阿Ken · 2026-11-10T08:40:18
阿里 MNN 团队开源了个小模型 MNN-Pocket-0.3B,参数量约 3 亿。按官方公布的数据,INT4(W4A16)量化感知训练后模型体积只有 173MB,在搭载 M5 芯片的 iPad Pro 上用 Metal 跑出了约 466 tokens/s 的解码速度,上下文支持到 32K。中英双语 11 项评测里,官方称其平均分达到 50.00,量化后降到 49.59,对比成绩超过了部分 5 亿参数级别的模型。 架构上是 28 层 Transformer,GQA 只留了 2 个 KV Heads 来压低 KV Cache 占用。项目另外还给了一个 MNN-Pocket-0.3B-Dec 版本,套了 LoRA Adapter 和 Pointer Head,尝试在单次前向传播里直接输出决策,而不是逐 Token 生成。这套东西肯定替代不了大模型搞复杂推理,但做本地的意图识别或设备控制正好用得上。项目采用 Apache 2.0 协议开源,支持 MNN、Transformers 和 llama.cpp。