AMD跑GLM 5.2，成本只要英伟达一半

GLM 5.2，用AMD芯片也能跑出来了，而且成本只要英伟达的一半。这是推理优化公司Wafer这周公布的一组数据。Wafer用AMD的MI355X芯片跑最新开源模型GLM 5.2，单节点吞吐做到2626 tok/s，单流吞吐也跑到了213 tok/s。瘦身用的方法是量化，Wafer把模型权重从BF16这种精度更高但更占算力的格式，压缩成更省资源的MXFP4格式，用的是AMD自己的Quark工具。跟z-ai官方的量化方案对比，三项基准测试的精度几乎没有损失，GSM8K从96.5%降到95.5%，GPQA-Diamond从92.2%降到90.3%，tau2反而从81.9%涨到了83.4%。