Automatic Music Mixing using a Generative Model of Effect Embeddings
Eloi Moliner, Marco A. Martínez-Ramírez, Junghyun Koo, Wei-Hsiang Liao, Kin Wai Cheuk, Joan Serrà, Vesa Välimäki, Yuki Mitsufuji
音乐混合涉及将单个轨道组合成一个有凝聚力的混合物,这是一个以主观性为特征的任务,其中存在多个有效的解决方案用于相同的输入。 现有的自动混合系统将这项任务视为确定性回归问题,从而忽略了这种多种解决方案。 在这里,我们介绍了MEGAMI(Multitrack Embedding Generative Auto Mixing),这是一个生成框架,用于模拟未处理轨道的专业混合的有条件分布。 MEGAMI使用基于每个轨道生成的嵌入的轨迹无关效果处理器,通过排列等效架构处理任意未标记的轨道,并通过域适应实现干和湿录音的培训。 我们使用分配指标的客观评估显示了对现有方法的一致改进,而听力测试表明,不同音乐类型的表演接近人类水平的质量。
Music mixing involves combining individual tracks into a cohesive mixture, a task characterized by subjectivity where multiple valid solutions exist for the same input. Existing automatic mixing systems treat this task as a deterministic regression problem, thus ignoring this multiplicity of solutions. Here we introduce MEGAMI (Multitrack Embedding Generative Auto MIxing), a generative framework that models the conditional distribution of professional mixes given unprocessed tracks. MEGAMI uses ...