从树莓派到8卡H100，两头都试了
显卡在燃烧 · 2026-10-01T00:53:38
本地跑模型这笔账，从最便宜到最贵，一个视频全过完。 树莓派是那块几百块的卡片小电脑，功耗6到7瓦。 跑个70亿参数的精简版模型，每秒就蹦几个字，打个招呼都要等。 最贵的直接跳到8卡H100。单张三万美金，整机奔四十万刀。 结果就算堆到8卡，还是装不下GPT-4那种1.8万亿参数的家伙。 光显存就差着3000GB。 所以本地党基本卡在一个平衡点上，24G显存的4090跑7B，已经是性价比最舒服的一档了。 我这24G，看完默默把草稿收起来了。