An MLCommons Scientific Benchmarks Ontology
Ben Hawks, Gregor von Laszewski, Matthew D. Sinclair, Marco Colombo, Shivaram Venkataraman, Rutwik Jain, Yiwei Jiang, Nhan Tran, Geoffrey Fox
科学机器学习研究跨越了不同的领域和数据模式,但现有的基准工作仍然孤立,缺乏标准化。 这使得机器学习在关键科学用例中新颖和变革性的应用变得更加分散,在影响途径上也不那么清晰。 本文介绍了通过统一的社区驱动努力开发的科学基准的本体论,该工作将MLCommons生态系统扩展到物理,化学,材料科学,生物学,气候科学等。 在XAI-BENCH,FastML Science Benchmarks,PDBench和SciMLBench框架等先前举措的基础上,我们的努力将大量不同的基准和框架整合到科学,应用和系统级基准的单一分类中。 可以通过由MLCommons科学工作组协调的开放提交工作流程添加新的基准,并根据六类评级表进行评估,该等级类别促进和确定高质量的基准,使利益相关者能够选择满足其特定需求的基准。 该架构是可扩展的,支持未来的科学和AI / ML主题,我们讨论了为独特的科学工作负载识别新兴计算模式的方法。 MLCommons Science Benchmarks Ontology为科学机器学习中的可重复可重复的跨领域基准测试提供了一个标准化,可扩展的基础。 随着努力的发展,还开发了这项工作的配套网页:https://mlcommons-science.github.io/benchmark/
Scientific machine learning research spans diverse domains and data modalities, yet existing benchmark efforts remain siloed and lack standardization. This makes novel and transformative applications of machine learning to critical scientific use-cases more fragmented and less clear in pathways to impact. This paper introduces an ontology for scientific benchmarking developed through a unified, community-driven effort that extends the MLCommons ecosystem to cover physics, chemistry, materials sc...