Fast, Convex and Conditioned Network for Multi-Fidelity Vectors and Stiff Univariate Differential Equations
Siddharth Rout
神经PDE求解器的精度通常由于表达性有限而崩溃,而是因为由于调节不良引起的优化不良,特别是在多保真和僵硬的问题中。 我们在物理-输入极端学习机器(PIELMs)中研究这个问题,这是神经PDE求解器的凸变体,并表明调节方程中的渐近成分可以产生高度条件条件化的激活矩阵,严重限制了收敛。 我们引入了Shifted Gaussian Encoding,这是一个简单而有效的激活过滤步骤,可增加矩阵等级和表达性,同时保持凸度。 我们的方法将稳定adection-diffusion方程中Peclet数字的可解范围扩展了两个数量级以上,在多频函数学习上实现了高达6个数的错误,并且比具有超过一百万个参数的深层网络更准确,更快地适合高保真图像向量。 这项工作突出表明,条件反射,而不是深度,往往是科学神经解决器的瓶颈,简单的架构变化可以释放实质性的收益。
Accuracy in neural PDE solvers often breaks down not because of limited expressivity, but due to poor optimisation caused by ill-conditioning, especially in multi-fidelity and stiff problems. We study this issue in Physics-Informed Extreme Learning Machines (PIELMs), a convex variant of neural PDE solvers, and show that asymptotic components in governing equations can produce highly ill-conditioned activation matrices, severely limiting convergence. We introduce Shifted Gaussian Encoding, a simp...
