突破极限港大提出首个适配 300 + 任务的持续学习架构,破解遗忘难题

对 AI 模型而言,这恰恰是一道极具挑战性的难题:每当模型学习新任务时,参数更新往往会覆盖历史知识,产生经典的”灾难性遗忘”难题 … 类增量学习(Class-Incremental Learning, CIL)是一项极具挑战性的持续学习问题:模型需要持续学习新类别,同时保持对历史类别的准确识别能力 … 来自香港大学的研究团队提出了一种全新的持续学习范式 CaRE (Scalable Continual Learner with efficient Bi-Level Routing Mixture-of-Experts),首次将连续学习成功扩展到包含 300 个以上非重叠任务的超长序列,并在性能上大幅超越了现有的基线算法。

原文连接