突破一亿 Token:EverMind MSA 架构，实现大模型高效端到端长时记忆

文章中提出了一种新的记忆架构，MSA（Memory Sparse Attention），通过 ** 记忆稀疏注意力机制 **、实现超长上下文外推的 ** 文档级旋转位置编码（Document-wise RoPE）** **KV 缓存压缩与内存并行 **，以及支持复杂推理的 ** 记忆交错（Memory Interleave）** 机制，实现了 100M 长度的大模型长时记忆框架，在主流的长文本问答、大海捞针等评测上，取得了业界领先的结果 … 正是在这一背景下，《MSA》一文提出了一个极具雄心的目标： ** 设计一个端到端可训练的、能以线性复杂度扩展至亿级 Token、同时保持高精度的潜状态记忆框架 ** … 它不再让模型在推理时关注所有历史记忆，而是设计了一个高效的「路由」（Routing）模块，动态选择最相关的记忆子集参与计算。

原文连接