国产GPU看着热闹真上手才知道多难用
显卡在燃烧 · 2026-10-10T14:49:33
国产 GPU 看着热闹，真上手才知道多难用。 生态适配率平均不到 40%，这句话的分量，跑过本地模型的人秒懂。市面上那些开源框架，一大半在国产卡上要么缺驱动，要么装完跑不起来。 护城河这东西，CUDA 挖了差不多 20 年。国产软件栈落后 5 到 10 年，制程差了大概 2 代，这不是砸钱能立刻追平的。 我拿一张国产卡实测，FP16 算力在 LLaMA-2 7B 全参微调上，只能跑出 38% 到 42%。问题出在 PCIe 带宽和驱动上，驱动对 Megatron-LM 的支持都缺，多卡分布式直接原地卡死。 IDC 预计 2025 年国产 AI 芯片出货占比能超过 41%，需求摆在那。但就眼下这适配率，只盯着参数买卡，买回去多半得吃哑巴亏。