Hurdle-IMDL: An Imbalanced Learning Framework for Infrared Rainfall Retrieval
Fangjian Zhang, Xiaoyong Zhuge, Wenlan Wang, Haixia Xiao, Yuying Zhu, Siyang Cheng
人工智能具有先进的定量遥感,但其有效性受到标签分布不平衡的限制。 这种不平衡导致传统训练的模型有利于普通样本,这反过来又降低了罕见样品的检索性能。 降雨检索就是这个问题的例证,在大雨中性能特别受损。 这项研究提出了Hurdle-Inversion Model Debiasing Learning(IMDL)框架。 在分而治之策略之后,降雨分布的不平衡分为两个部分:零通货膨胀,由非降雨样本占主导地位的定义;长尾,由与大雨样本相比不成比例的轻雨样本的丰度定义。 采用了一个障碍模型来处理零通胀,而IMDL则被提议通过将学习对象转变为一个公正的理想反向模型来解决长尾。 通过统计指标和案例研究调查中国东部多雨天气的综合评估证实了Hurdle-IMDL优于常规,成本敏感,生成和多任务学习方法的优势。 它的主要进展包括有效缓解系统低估和显著改善大到极端降雨的检索。 IMDL提供了一种可推广的方法来解决环境变量分布的不平衡,从而能够加强对罕见但高影响事件的检索。
Artificial intelligence has advanced quantitative remote sensing, yet its effectiveness is constrained by imbalanced label distribution. This imbalance leads conventionally trained models to favor common samples, which in turn degrades retrieval performance for rare ones. Rainfall retrieval exemplifies this issue, with performance particularly compromised for heavy rain. This study proposes Hurdle-Inversion Model Debiasing Learning (IMDL) framework. Following a divide-and-conquer strategy, imbal...
