上海团队发布并开源记忆原生大模型MemT-1.0。

10月20日，来自上海的记忆张量团队正式发布并开源记忆原生模型MemT-1.0系列。与以往“每次对话都从零开始”的大模型不同，这一系列把可持续存在、能够更新的内部记忆纳入模型计算，让历史信息与任务经验在后续相关任务中被直接调用，无需再次提供原始历史文本。此次开源包含MemT-1.0-Flash与MemT-1.0-Nano两款模型，参数规模分别为288B与36B。研发团队在选定的Transformer模块中引入原生记忆模块，使原有注意力与记忆注意力并行运行，记忆由此成为模型前向传播的一部分。