Experiences Building Enterprise-Level Privacy-Preserving Federated Learning to Power AI for Science
Zilinghan Li, Aditya Sinha, Yijiang Li, Kyle Chard, Kibaek Kim, Ravi Madduri
Federated Learning(FL)是一种有前途的方法,可以在没有集中数据共享的情况下实现协作模型训练,这是数据隐私,所有权和合规性限制至关重要的科学领域的关键要求。 然而,构建可扩展和隐私保护的用户友好的企业级FL框架仍然具有挑战性,特别是在弥合跨异构客户端计算基础架构的本地原型和分布式部署之间的差距时。 在本文中,基于我们构建高级隐私保护联邦学习(APPFL)框架的经验,我们提出了企业级隐私保护FL框架的愿景,该框架旨在跨计算环境无缝扩展。 我们确定了这样一个框架必须提供的几个关键功能:(1)可扩展的本地仿真和原型设计,以加速实验和算法设计;(2)从模拟到部署的无缝过渡;(3)从个人设备到云集群和HPC系统的分布在不同的现实世界基础设施中的分布式部署;(4)多级抽象,平衡易用性和研究灵活性;(5)通过诸如差异隐私,安全聚合,强大的身份验证和机密计算等技术实现全面的隐私和安全。 我们进一步讨论建筑设计,以实现这些目标。 该框架旨在弥合研究原型和企业级部署之间的差距,为科学实现可扩展、可靠和隐私保护的人工智能。
Federated learning (FL) is a promising approach to enabling collaborative model training without centralized data sharing, a crucial requirement in scientific domains where data privacy, ownership, and compliance constraints are critical. However, building user-friendly enterprise-level FL frameworks that are both scalable and privacy-preserving remains challenging, especially when bridging the gap between local prototyping and distributed deployment across heterogeneous client computing infrast...
