ChoreoMuse: Robust Music-to-Dance Video Generation with Style Transfer and Beat-Adherent Motion
Xuanchen Wang, Heng Wang, Weidong Cai
现代艺术作品越来越需要自动化的舞蹈编排,以适应不同的音乐风格和个人舞者的特点。 现有方法通常无法制作与音乐节奏和用户定义的编舞风格相协调的高质量舞蹈视频,限制了它们在现实世界中的适应性。 为了解决这一差距,我们引入了ChoreoMuse,这是一个基于扩散的框架,它使用SMPL格式参数及其变体版本作为音乐和视频生成之间的中介,从而克服了视频分辨率带来的通常限制。 至关重要的是,ChoreoMuse支持风格可控,高保真舞蹈视频生成,跨越不同的音乐类型和个人舞者特征,包括以任何分辨率处理任何参考个人的灵活性。 我们的方法采用新颖的音乐编码器MotionTune来捕捉音频中的动作线索,确保生成的编舞密切遵循输入音乐的节拍和表现力。 为了定量评估生成的舞蹈与音乐和舞蹈风格相匹配的程度,我们引入了两个新的指标,以衡量与预期风格线索的对齐。 广泛的实验证实,ChoreoMuse在多个维度上实现了最先进的性能,包括视频质量,节拍对齐,舞蹈多样性和风格依从性,展示了其作为广泛创意应用的稳健解决方案的潜力。 视频结果可以在我们的项目页面找到:https : / /choreomuse.github.io。
Modern artistic productions increasingly demand automated choreography generation that adapts to diverse musical styles and individual dancer characteristics. Existing approaches often fail to produce high-quality dance videos that harmonize with both musical rhythm and user-defined choreography styles, limiting their applicability in real-world creative contexts. To address this gap, we introduce ChoreoMuse, a diffusion-based framework that uses SMPL format parameters and their variation versio...