Mac跑9B模型快4倍，秘诀是让小模型代猜
装机佬阿Ken · 2026-10-28T11:23:20
同一台Mac，llama.cpp跑Qwen3.5 9B要19.4秒，UZU引擎11秒搞定。 原理是让小模型先猜一串token，9B大模型一次验一串，平均吃下7.5个。档位就是一次让小模型猜多长的开关，配错了模型当场降智，速度是真的，输出得盯一眼。
AI 论坛精选
- Dessa 只拿人声训出来的语音模型 - 这模型路子不撞，从零开始只用人类语音训练，没吃文本。 全双工，边说边听，跑得比实时快。 本地部署门槛是 MacBook Pro M4 Max 起步。 价格和开源，官方都没公布。 实测对话在视频里，点…
- 开源模型训成自有模型，谁来付这笔钱 - Together AI 把 Post-Training 跑通成服务了。简单说就是拿开源底座，通过 SFT 或 RL 训成企业自己的专属模型。数据、奖励机制、环境和训练循环归客户定，底下的算力和基础设…
- 逼两个模型选边，一个红一个蓝 - 今天这条是争议向，先把背景交代清楚。 Convovo 是家对话式 AI 的研究与设计工作室，不是民调机构。 它测的是模型行为，不是美国选民的态度。 研究原文标题叫《Ask a Model to Ta…
- 美国博主实测 Kimi K3.1 Pro - Matthew Berman 花了 26 分钟拆 Kimi K3.1 Pro，我拆成三段中字。 第一段，开源模型第一次过了 3D 魔方关。 第二段，跑分离 Opus 5.5 只差一个点。 第三段，单…
- 一家公司1800人配8000个AI员工 - 孙子给我看一条，说明略科技1800个员工配了8000个AI员工。 我一退休老会计，第一反应是这账怎么算的。 它家在港股上市，2718.HK，自己封了个全球Agentic AI第一股。 先弄清楚800…
- 英伟达把检索三件套开源了，做 Agent 算账绕不开这个 - 做 Agent 跑知识库，Token 账本很大一部分其实在问答之前就被决定了。英伟达把 Nemotron Retriever 这套检索模型开源并允许商用，把文档解析、嵌入和重排序三个环节一口气端了出…
- 进入 AI 论坛 - 浏览 AI 工具实践、Agent 教程与社区精选讨论