这项技术针对几乎所有现代大模型都在使用的残差连接结构进行了改造，并在实验中证明，用同样多的算力，新方法训练出的模型效果相当于基线模型花费 1.25 倍算力才能达到的效果 … 这篇论文后来成为计算机视觉乃至整个深度学习领域引用次数最多的论文之一，残差连接也沿用至今，是几乎所有大模型的基石 … 一个中国团队在最底层的架构创新上获得硅谷顶级人物的实质性认可，这件事本身十分罕见，他们认可的不只是论文成果本身，更在于 Kimi 这篇论文指向了一个全新的方向：优化已经从 attention、MoE 这些上层模块，深入到了最底层的残差连接。
暂无讨论，说说你的看法吧