ECCV 2026|清华、港科大提出实时流式视频编辑框架 LiveEdit,4 步去噪实现 12.66 FPS

该方法以因果、分块的方式处理持续到来的视频,在 4 步 / 视频块的推理条件下实现 12.66 FPS 的流式编辑,并能保持被编辑区域的准确性以及未编辑区域的一致性。流式视频编辑与常规视频生成任务存在差异:视频生成可以从高斯噪声中自由地合成新的内容,而编辑任务需要在改变目标区域的同时,尽可能保持原始视频中的人物结构、背景纹理、光照和运动轨迹。LiveEdit 进一步提出面向自回归的掩码缓存(AR-oriented Mask Cache),比较前一个视频块中原始视频潜变量与编辑结果的差异,按照一定阈值预测当前视频块中可能发生编辑的空间区域掩码。

原文连接