腾讯混元 Hy4 preview 开源:770B 参数、百万上下文,稳居开源第一梯队

腾讯今日发布混元 Hy4 preview 模型,总参数 770B、激活参数 49B,上下文长度达到 1M。官方称该模型在尺寸、上下文与数据规模上均显著扩展,预训练与后训练同步进步带来智能水平再次跃升,稳居开源模型第一梯队。依托与腾讯内部软件工程、游戏、金融、安全等领域专家的高质量数据共建,Hy4 preview 在真实任务上进步明显:软件工程侧强化长程开发的理解、规划与验证。

原文连接