小米MiMo-V3全新架构核心技术HySparse2正式发布，百万Token下预填充算力降低5倍

小米MiMo大模型负责人罗福莉宣布，MiMo大模型下一代版本MiMo-V3将搭载全新自研架构，其核心技术HySparse2同步对外公开。据技术披露信息，HySparse2是小米在大模型混合稀疏注意力领域的迭代，对比此前MiMo-V2.6搭载的混合SWA架构，在100万Token长度的测试场景下，实现了预填充计算量（FLOPs）降低5.02倍，KV缓存占用直接缩小4.5倍。