返回 AI Bar

阿里开源 0.3B 端侧模型,INT4 压到 173MB

装机佬阿Ken · 2026-11-10T08:40:18

阿里 MNN 团队开源了个小模型 MNN-Pocket-0.3B,参数量约 3 亿。按官方公布的数据,INT4(W4A16)量化感知训练后模型体积只有 173MB,在搭载 M5 芯片的 iPad Pro 上用 Metal 跑出了约 466 tokens/s 的解码速度,上下文支持到 32K。中英双语 11 项评测里,官方称其平均分达到 50.00,量化后降到 49.59,对比成绩超过了部分 5 亿参数级别的模型。 架构上是 28 层 Transformer,GQA 只留了 2 个 KV Heads 来压低 KV Cache 占用。项目另外还给了一个 MNN-Pocket-0.3B-Dec 版本,套了 LoRA Adapter 和 Pointer Head,尝试在单次前向传播里直接输出决策,而不是逐 Token 生成。这套东西肯定替代不了大模型搞复杂推理,但做本地的意图识别或设备控制正好用得上。项目采用 Apache 2.0 协议开源,支持 MNN、Transformers 和 llama.cpp。

AI 论坛精选

  • Meta把内部用了8年的设计系统开源了 - 刷GitHub的时候,看到Meta官方组织下面多了个仓库。 叫astryx,地址github.com/meta/astryx。 MIT协议,大概1.67万star。 这东西在Meta内部已经用了8年…
  • 模型议会重跑,这回Claude第一 - 有人把 Karpathy 的模型议会重跑了,这回反转了。 原版是他开源的 llm-council,让 ChatGPT、Claude、Grok、Gemini 匿名互评。当时 GPT-5.1 第一,Cl…
  • MiniMax老板:最后5%比前面95%还难 - 闫俊杰在最新采访里给了一组数,中国最好的模型已经做到美国顶尖模型约95%的性能,成本只有十分之一。 他自己接的那句更狠,「最后这5%的差距,可能比完成前面95%要难得多」。 95%到100%这段,跟…
  • Qwen4 三万亿,先别当真 - 这两天国产模型参数竞速的消息满天飞。 Qwen4 旗舰定档 3 万亿,Kimi K4 规划 5.4 万亿。 我一个一个去核了。 阿里官方关于 Qwen4 的表态只有一句,正在训练。 3 万亿这个数,…
  • 没抢到Claude账号,他拍出三支广告 - 粉丝126的独立开发者张小璋,没抢到Claude账号。 一个周末,他用Gemini、Kimi、MiniMax给自家开源的macOS应用拍了三支60帧广告片。不用Sora那类生成视频,全靠手写代码排出…
  • 智谱市值翻了24倍,又跌了82% - 前两天又刷到那张截图,智谱市值一万三千亿港元,配文是国产大模型跑出来了。 数字没造假,问题在日期啊。 1 月 8 日智谱在港股上市,发行价 116.2 港元。 首日市值约 579 亿港元。 6 月…
  • 进入 AI 论坛 - 浏览 AI 工具实践、Agent 教程与社区精选讨论