当前音频生成领域面临的一大挑战是模型碎片化：文本生成音效、视频配音、音乐生成分别依赖不同的专用模型，任务间的知识无法共享，泛化能力受限 … 具体来说，AudioX 基于 Diffusion Transformer（DiT）架构，并提出了轻量级的 ** 多模态自适应融合（MAF）模块 **，支持文本、视频、图像、音频等多种模态的灵活组合输入，可以完成包括文本生成音效（T2A）、文本生成音乐（T2M）、视频配音（V2A）、视频配乐（V2M）、音频修复（Audio Inpainting）、音乐续写（Music Completion）在内的多种任务 … 通过改写原始描述、基于类别与计数生成新描述、基于时间戳生成新描述、基于时序关系生成新描述等多种角度，为同一段音频生成语义一致但风格多样的文本描述，大幅提升了训练数据的多样性和模型对不同用户输入的鲁棒性。
暂无讨论，说说你的看法吧