有玩家在社区发帖称,他用一台没插显卡的老服务器跑起了月之暗面的 Kimi K3 大模型,靠的不是显存,是英特尔已经停产的傲腾持久内存。Kimi K3 是 2.8 万亿参数的混合专家模型,每个 token 只激活其中约 1040 亿参数,官方模型卡标称上下文 104 万 token。这种体量的模型哪怕压到 1bit 量化,也要几百 GB 内存才装得下,普通家用主板插满也凑不出来。
有玩家在社区发帖称,他用一台没插显卡的老服务器跑起了月之暗面的 Kimi K3 大模型,靠的不是显存,是英特尔已经停产的傲腾持久内存。Kimi K3 是 2.8 万亿参数的混合专家模型,每个 token 只激活其中约 1040 亿参数,官方模型卡标称上下文 104 万 token。这种体量的模型哪怕压到 1bit 量化,也要几百 GB 内存才装得下,普通家用主板插满也凑不出来。