国内首个国产卡训推万亿大模型美团LongCat-2.0开源!

美团今日宣布开源万亿参数大模型LongCat-2.0,同步开放针对国产算力芯片深度优化的推理代码。该模型总参数达1.6万亿,平均激活约480亿参数,是业界首个在五万卡国产算力集群上完成全流程训练与推理的万亿参数模型。LongCat-2.0有3项创新:一是LongCat稀疏注意力机制(LSA),将传统平方级计算开销优化为线性级,有效加速百万级长上下文的训练与推理;三是在后训练阶段,该模型采用多教师在线蒸馏,将专家分为Agent、推理和交互三类,分别聚焦自主执行、自适应推理和安全对齐等核心能力。

圈主 管理员

热门评论
:
该帖子评论已关闭
图片审查中...
编辑答案: 我的回答: 最多上传一张图片和一个附件
x
x