M^3ashy: Multi-Modal Material Synthesis via Hyperdiffusion
Chenliang Zhou, Zheyuan Hu, Alejandro Sztrajman, Yancheng Cai, Yaru Liu, Cengiz Oztireli
高质量的材料合成对于复制复杂的表面特性以创建逼真的场景至关重要。 尽管基于分析模型的材料外观的产生取得了进展,但现实世界测量的BRDFs的合成在很大程度上仍未被探索。 为了应对这一挑战,我们提出了基于超扩散的新型多模态材料合成框架M^3ashy。 M^3ashy通过利用神经场作为BRDF的紧凑连续表示,实现复杂现实世界材料的高质量重建。 此外,我们的多模态条件超扩散模型允许以材料类型、自然语言描述或参考图像为条件的柔性材料合成,从而对材料生成提供更大的用户控制。 为了支持未来的研究,我们贡献了两个新材料数据集,并引入了两个 BRDF 分布指标,用于更严格的评估。 我们通过广泛的实验证明了Mashy的有效性,包括基于统计学的新型受限合成,从而能够生成所需类别的材料。
High-quality material synthesis is essential for replicating complex surface properties to create realistic scenes. Despite advances in the generation of material appearance based on analytic models, the synthesis of real-world measured BRDFs remains largely unexplored. To address this challenge, we propose M^3ashy, a novel multi-modal material synthesis framework based on hyperdiffusion. M^3ashy enables high-quality reconstruction of complex real-world materials by leveraging neural fields as a...
