Federated Variational Inference for Bayesian Mixture Models
Jackie Rao, Francesca L. Crowe, Tom Marshall, Sylvia Richardson, Paul D. W. Kirk
我们为基于贝叶斯模型的大规模二进制和分类数据集聚类提出了联合学习方法。 我们引入了一个原则性的“分而治标”的推理程序,使用局部合并的变异推理,并并行删除数据批次内的移动,然后跨批次进行“全局”合并移动,以查找全局聚类结构。 我们表明,这些合并移动只需要每个批次中数据的摘要,从而实现跨本地节点的合并学习,而无需共享完整的数据集。 模拟和基准数据集的经验结果表明,与现有的聚类算法相比,我们的方法表现良好。 我们通过将其应用于大规模电子健康记录(EHR)数据来验证该方法的实际实用性。
We present a federated learning approach for Bayesian model-based clustering of large-scale binary and categorical datasets. We introduce a principled 'divide and conquer' inference procedure using variational inference with local merge and delete moves within batches of the data in parallel, followed by 'global' merge moves across batches to find global clustering structures. We show that these merge moves require only summaries of the data in each batch, enabling federated learning across loca...