我们提出了一种轻量级记忆机制 ——δ-memory(δ-mem):它在冻结的全注意力主干网络基础上,额外引入一个紧凑的、在线更新的联想记忆状态。仅需一个 8×8 尺寸的在线记忆状态,δ-mem 即可将平均任务得分提升至冻结主干网络的 1.10 倍,以及最强非 δ-mem 记忆基线方法的 1.15 倍。在对记忆能力要求更高的基准测试中,其增益更为显著:在 MemoryAgentBench 上达到 1.31 倍,在 LoCoMo 上达到 1.20 倍,同时基本保持了模型原有的通用能力。
我们提出了一种轻量级记忆机制 ——δ-memory(δ-mem):它在冻结的全注意力主干网络基础上,额外引入一个紧凑的、在线更新的联想记忆状态。仅需一个 8×8 尺寸的在线记忆状态,δ-mem 即可将平均任务得分提升至冻结主干网络的 1.10 倍,以及最强非 δ-mem 记忆基线方法的 1.15 倍。在对记忆能力要求更高的基准测试中,其增益更为显著:在 MemoryAgentBench 上达到 1.31 倍,在 LoCoMo 上达到 1.20 倍,同时基本保持了模型原有的通用能力。