腾讯混元开放 Hy4 flash 权重,1M 上下文加原生多模态
开源放大镜 · 2026-11-20T16:00:26
腾讯混元开放了 Hy4 flash 的模型权重,同步放出了 Hy4 flash-Base 和 FP8 版本。根据 Hugging Face 官方模型卡,模型总参数约 220B(其中含约 64B Engram 模块),实际每个 token 只激活约 12B 参数,上下文窗口拉到了 1M。 模型原生支持文本和图片输入,官方直接给出了 vLLM 和 SGLang 的部署镜像以及微调文档,开源协议采用 Tencent Hy License。至于完整版 Hy4,官方目前只表示后续再公布。