Incentivize Contribution and Learn Parameters Too: Federated Learning with Strategic Data Owners
Drashthi Doshi, Aditya Vema Reddy Kesari, Swaprava Nath, Avishek Ghosh, Suhas S Kowshik
经典联合学习(FL)假设客户有有限数量的嘈杂数据,他们自愿参与,并以原则的方式为学习全球,更准确的模型做出贡献。 学习以分布式方式进行,而不与中心共享数据。 然而,这些方法不考虑代理参与和促进过程的激励,因为数据收集和运行分布式算法对客户端来说代价高昂。 最近文献中提出了贡献的合理性问题,并存在一些考虑这一问题的结果。 本文讨论了同时参数学习和激励贡献的问题,这将其与现存文献区分开来。 我们的第一个机制激励每个客户端在纳什均衡下为FL过程做出贡献,并同时学习模型参数。 然而,这种平衡结果可以远离最优,客户贡献他们的完整数据,算法学习最优参数。 我们提出了第二个机制,货币转移是预算平衡的,可以实现完整的数据贡献以及最优的参数学习。 使用真实(联邦)数据集(CIFAR-10,FeMNIST和Twitter)的大规模实验表明,这些算法在实践中收敛得相当快,为所有代理提供了良好的福利保证和更好的模型性能。
Classical federated learning (FL) assumes that the clients have a limited amount of noisy data with which they voluntarily participate and contribute towards learning a global, more accurate model in a principled manner. The learning happens in a distributed fashion without sharing the data with the center. However, these methods do not consider the incentive of an agent for participating and contributing to the process, given that data collection and running a distributed algorithm is costly fo...