Generalizable Slum Detection from Satellite Imagery with Mixture-of-Experts
Sumin Lee, Sungwon Park, Jeasurk Yang, Jihee Kim, Meeyoung Cha
基于卫星的贫民窟分割在产生全球城市贫困估计方面具有重大希望。 然而,非正式住区形态异质性是一个重大挑战,阻碍了对特定区域进行有效推广到看不见的地点的模型的能力。 为了解决这个问题,我们引入了一个大规模的高分辨率数据集,并提出了GRAM(Generalized Region-Aware Mixture-of-Experts),这是一个两阶段的测试时间适应框架,可以实现强大的贫民窟分割,而无需来自目标区域的标记数据。 我们编制了来自四大洲12个城市的百万规模卫星图像数据集,用于源培训。 使用此数据集,该模型采用混合专家架构来捕获特定区域的贫民窟特征,同时通过共享骨干学习通用特征。 在适应过程中,专家的预测一致性会过滤掉不可靠的伪标签,使模型能够有效地推广到以前看不见的区域。 GRAM在非洲城市等低资源环境中优于最先进的基线,为全球贫民窟测绘和数据驱动的城市规划提供了可扩展且标签效率的解决方案。
Satellite-based slum segmentation holds significant promise in generating global estimates of urban poverty. However, the morphological heterogeneity of informal settlements presents a major challenge, hindering the ability of models trained on specific regions to generalize effectively to unseen locations. To address this, we introduce a large-scale high-resolution dataset and propose GRAM (Generalized Region-Aware Mixture-of-Experts), a two-phase test-time adaptation framework that enables rob...
