和已有那些基于启发式阈值的缓存方法不同,BudCache 不再在运行时靠阈值临时决定到底算多少步,而是先固定推理预算,再离线搜出该预算下最优的缓存策略 … 论文一作是西湖大学 AGI 实验室研究助理雷明坤,指导老师是西湖大学助理教授张驰 … 通过预算约束建模、离线缓存策略搜索和时间步校准,BudCache 能在不重新训练模型、不改变原始模型参数、不增加在线推理开销的前提下,为 FLUX 和 Wan 等主流图像与视频生成模型提供更可控的加速效果。
和已有那些基于启发式阈值的缓存方法不同,BudCache 不再在运行时靠阈值临时决定到底算多少步,而是先固定推理预算,再离线搜出该预算下最优的缓存策略 … 论文一作是西湖大学 AGI 实验室研究助理雷明坤,指导老师是西湖大学助理教授张驰 … 通过预算约束建模、离线缓存策略搜索和时间步校准,BudCache 能在不重新训练模型、不改变原始模型参数、不增加在线推理开销的前提下,为 FLUX 和 Wan 等主流图像与视频生成模型提供更可控的加速效果。