Continuum Dropout for Neural Differential Equations
Jonghun Lee, YongKyung Oh, Sungil Kim, Dong-Young Lim
神经微分方程(NDE)擅长模拟连续时间动力学,有效处理不规则观测、缺失值和噪声等挑战。 尽管它们具有优势,但NDE在采用辍学方面面临着一个根本性的挑战,辍学是深度学习正规化的基石,使它们容易受到过度拟合的影响。 为了解决这一研究差距,我们引入了Continuum Dropout,这是一种基于交替更新过程理论的通用NDE的正则化技术。 Continuum Dropout将辍学的开学机制作为一个随机过程,在连续的时间在活动(进化)和非活动(暂停)状态之间交替。 这为防止过度拟合和增强NDE的概括能力提供了原则性方法。 此外,Continuum Dropout提供了一个结构化框架,通过蒙特卡洛采样在测试时量化预测不确定性。 通过广泛的实验,我们证明Continuum Dropout优于NDE的现有正则化方法,在各种时间序列和图像分类任务上实现了卓越的性能。 它还产生了更好的校准和更值得信赖的概率估计,突出了其对不确定性感知建模的有效性。
Neural Differential Equations (NDEs) excel at modeling continuous-time dynamics, effectively handling challenges such as irregular observations, missing values, and noise. Despite their advantages, NDEs face a fundamental challenge in adopting dropout, a cornerstone of deep learning regularization, making them susceptible to overfitting. To address this research gap, we introduce Continuum Dropout, a universally applicable regularization technique for NDEs built upon the theory of alternating re...