日本信息通信研究机构(NICT)的宋海越及团队在论文”OptiMer: Optimal Distribution Vector Merging Is Better than Data Mixing for Continual Pre-Training”中提出合并分布向量的解决方案,让持续预训练中尝试不同配比不必从头训练模型。方法将每个训练后模型的参数减去基础模型的参数,得到对应的分布向量;团队分别在日语、中文、英语、数学和代码五类数据上进行持续预训练,提取分布向量,再与 SEA-LION 的指令遵循向量合并,以日语任务表现为目标搜索合并权重。

