面壁智能联合清华大学、OpenBMB 开源社区,今天正式发布并开源其在低比特大模型训练方向的最新成果 ——BitCPM-CANN。 官方表示,这是中国首个完全基于国产算力平台(华为昇腾)实现端到端训练并开源的三值(1.58-bit)大模型。从量化算子、训练算法到全链路框架,BitCPM-CANN 均在华为昇腾上原生完成 ,包含 0.5B、1B、3B、8B 四个模型尺寸,与同尺寸 MiniCPM4 全精度家族逐项对照评测,性能表现优异。 相比传统 BF16 精度,BitCPM-CANN 在推理阶段 释放约 6 倍显存红利 ,同时将模型能力保留率维持在 90%– 97.2 % 。
面壁智能联合清华等开源中国首个基于华为昇腾训练的 1.58-bit 端侧大模型 BitCPM-CANN
隐藏内容,支付积分阅读
已有90人购买此隐藏内容
隐藏内容,支付费用阅读
¥
已有86人购买此隐藏内容
隐藏内容,仅限以下用户组阅读
隐藏内容,登录后阅读
登录之后方可阅读隐藏内容
隐藏内容,评论后阅读
请在下面参与讨论之后,方可阅读隐藏内容
隐藏内容,加入AI圈子后阅读
您需要加入AI圈子之后才能查看帖子内容
您猜对了答案,下面是向您展示的隐藏信息:
[]
[¥]
向
提问:
隐藏内容,猜对答案后阅读
猜错啦:您选中的是「」,正确答案是:「」
多选人参与投票
单选人参与投票
PK人参与PK
·已选
已选·
投票后查看结果,您的选择是?
思想因碰撞产生火花,真理因辩论获得升华
热门评论
:
请先登录!
图片审查中...
登录之后回答问题,请先登录!
编辑答案:
我的回答:
最多上传一张图片和一个附件
x


