– 论文把「梯度旋转」作为第一原则，让旋转策略动态地提升最速下降的速率，推导出一类新的优化器： **ARO（自适应旋转优化，Adaptively Rotated Optimization）** … 论文在 Sigma-MoE-2B 里对比了几种设置：混合（ARO 只优化隐藏层）、全模型（ARO 优化所有矩阵参数） … ** 如果说 Muon 优化器是从「向量到矩阵的本质跨越」，那么 ARO 则指向一个新的可能：从「矩阵优化」走向「全模型耦合优化」—— 优化器的设计，也许应该和架构绑得更紧一些。
暂无讨论，说说你的看法吧