悬赏已过期 后悬赏过期

Kimi K3压缩到594GB,2.8万亿参数能在你家跑吗?

邀请:

Unsloth团队用动态1-bit量化把Kimi K3从1.56TB砍到594GB,2-bit精度回升到90%。

一台Mac Studio就能跑2.8T参数的模型,这在半年前还是天方夜谭。

但精度损失会多大程度上影响实际体验?本地跑的“残血版”跟云端的满血版差距有多大?

您的回答

回答

默认排序 时间排序
图片审查中...