开发者 Dan Woods 近期在一台配备 M3 Max 芯片和 48GB 统一内存的 MacBook Pro 上，成功运行了 209GB 超大 AI 模型（Qwen3.5-397B，通常只有数据中心才能承载）， ** 并实现超 5.5 Token / 秒的速度 … 博文介绍，Qwen3.5-397B 模型占用磁盘空间约为 209GB（压缩后为 120GB），通常需要将数百亿个参数加载到大容量高速内存中，因此远超普通笔记本电脑的内存极限 … Woods 为了攻克 48GB 内存无法装载 209GB 模型的物理限制，借鉴了苹果公司在 2023 年发布的论文《闪存中的大语言模型》。
暂无讨论，说说你的看法吧