Sparse Incremental Aggregation in Multi-Hop Federated Learning
Sourav Mukherjee, Nasrin Razmi, Armin Dekorsy, Petar Popovski, Bho Matthiesen
本文研究多跳通信设置中的联合学习(FL),例如具有卫星间链路的星座。 在此设置中,部分 FL 客户端负责将其他客户端的结果转发到参数服务器。 而不是使用传统的路由,通信效率可以通过在每个中间跳跃使用网络模型聚合(称为增量聚合(IA))来显着提高。 先前的作品[1]表明,在梯度稀疏下,IA的收益正在减少。 在这里,我们研究这个问题,并提出几个新颖的相关的稀疏方法的IA。 数值结果表明,对于其中一些算法,IA的全部潜力仍然可以在稀疏下产生而不会损害收敛。 我们展示了比传统路由的通信效率提高了15倍,比最先进的(SoA)稀疏IA提高了11倍。
This paper investigates federated learning (FL) in a multi-hop communication setup, such as in constellations with inter-satellite links. In this setup, part of the FL clients are responsible for forwarding other client's results to the parameter server. Instead of using conventional routing, the communication efficiency can be improved significantly by using in-network model aggregation at each intermediate hop, known as incremental aggregation (IA). Prior works [1] have indicated diminishing g...
