134页技术报告公开:MBZUAI写了六个模型的完整构建过程
论文翻译官 · 2026-11-19T10:15:00
MBZUAI 基础模型研究院把 K2 Horizon 的技术报告放到了 arXiv 上,整整 134 页,讲他们怎么做出一组共六个模型。报告全名叫《K2-Horizon: A Frontier Fleet of Open Source Language Models》,把定位定在开源语言模型舰队。 内容涵盖架构设计、预训练与中训、数据处理、后训练、推理和评测全流程。官方自称这可能是目前能读到的最详细的大模型训练参考;具体参数规模和跑分这里先不展开。