全部标签

MoE 推理

colibri：744B 大模型装进 25GB 内存，一只纯 C 的蜂鸟

744B 参数的 MoE 模型，通常要什么硬件？至少一张 80GB 显存的旗舰卡，或者按小时计费的云 GPU 集群。colibri 偏不。这个 2026 年 7 月才上线的项目，用 25GB 内存的笔记本就把 GLM-5.2 跑起来了，代价只是速度慢到以分钟计。项目名字来自意大利语"蜂鸟"，作者的自我定位是"Tiny engine, immense model&qu…
开源项目
- 1.2k
- 0
迎风尿尿尿不湿11小时前