返回 AI Bar

8核32G不要显卡,跑通英伟达30B

装机佬阿Ken · 2026-11-13T09:36:15

8 核 32G,没显卡,机器还是白嫖的,Nemotron 3 Nano 30B-A3B 真跑起来了。 关键是 MoE 稀疏,每个 token 只激活 32 亿参数。可权重不跟你讲道理,30B 全量还得整个进内存,32G 刚好卡着门槛过。 官方只给 FP8、NVFP4 这些 GPU 档位。 CPU 能跑,靠的是社区 llama.cpp 的 3bit 量化,就是把权重压到 3 位,拿精度换内存。 Q4 文件本身 24GB,再加上下文和 KV 缓存(跑长对话临时占的那块内存),32G 就爆了。 只能压到 3bit,再把上下文砍短。 速度别抱期待,原帖没给每秒几个字,你按最保守的想就行。 要天天用我还是选二手卡,CPU 这套适合当玩具或者应急呗。

AI 论坛精选

  • 南大否认了,采购公告还写着抬头率 - 南京大学这次把话说清楚了。 11 月 4 日本科生院和信息化中心发说明。否认到课率跟平时成绩挂钩。否认上级专项检查。说未经授权不采集人脸。而且「当前已不再统计抬头率数据」。 网传那张迟到人数、到勤率…
  • 自研 9B 模型,第 3 行代码露馅 - 11 月 8 日排灯节,169Pi 官宣 9B 模型 Alpie Seed,那条推文阅读量 18 万。 几个小时后有人翻它的对话模板文件。第 3 行直接写着「我是 Alpie Seed 9B。创造者…
  • Seedance 2.5 一条视频多少钱 - Seedance 2.5 是字节 Seed 2026 年 7 月 31 日发的。单次最长 30 秒。能多轮延长。一段视频里讲多个镜头。还能按时间戳精确编辑。 即梦 AI 和豆包专业版里跑的就是它。…
  • Claude一折卖,中转站的货哪来的 - 兄弟们,Claude 一折卖,别急着捡漏。 牛津大学实验室的报告管这叫「一鱼三吃」。 一吃上游,薅免费额度建号池。 二吃用户,便宜模型顶贵模型,最低卖到官方价一折。 三吃数据,把你的对话记录转手卖掉…
  • Anthropic 撤回 IPO 定价文件 - 11 月 9 日,路透社拿到 Anthropic 发给多家银行的 IPO 文件副本。 上面写着每股 70 至 80 美元、发行约 8.667 亿股、最高募资约 693 亿美元。 文件发出没几个小时。…
  • 6G 老显卡跑 AI 视频模型,真跑起来了 - UP 主拿 6G 老卡跑 HyperFlow H3 Flash,真出片了,就是慢。 模型是 Video Rebirth 11 月 6 日开源的 MiniMax-H3 压缩版,31B 压到 13.7B…
  • 进入 AI 论坛 - 浏览 AI 工具实践、Agent 教程与社区精选讨论