免训练 LoRA 合并框架上线:单样本校准、零推理开销 | ICML’26

研究团队提出结构化重参数化方法:部署时把路由器 R 直接吸收进上投影矩阵,合并产物在结构上就是一个标准 LoRA,可以照常合并进底座权重,推理零额外开销,与现有生态完全兼容。团队用 DreamBooth 数据集的 10 个主体各训练一个 LoRA(FLUX.1-dev 为底座),然后做变规模实验:评估某个目标任务时,把它的 LoRA 和 K−1 个随机干扰 LoRA 合并,看目标主体的生成保真度还剩多少。SSR 证明了一种新的可能性:合并可以是无训练、有理论保证、零额外推理开销的标准操作,合并产物就是一个普通 LoRA,工程接入成本几乎为零。

原文连接