不用显卡!一台 40 核老服务器跑起 2.8 万亿参数大模型

有玩家在社区发帖称,他用一台没插显卡的老服务器跑起了月之暗面的 Kimi K3 大模型,靠的不是显存,是英特尔已经停产的傲腾持久内存。Kimi K3 是 2.8 万亿参数的混合专家模型,每个 token 只激活其中约 1040 亿参数,官方模型卡标称上下文 104 万 token。这种体量的模型哪怕压到 1bit 量化,也要几百 GB 内存才装得下,普通家用主板插满也凑不出来。

原文连接