The Neural Differential Manifold: An Architecture with Explicit Geometric Structure
Di Zhang
本文介绍了神经微分形结构(NDM),这是一种新颖的神经网络架构,明确地将几何结构纳入其基本设计中。 从传统的欧几里得参数空间出发,NDM将神经网络重新概念化为可区分的歧管,其中每个层作为局部坐标图,并且网络参数在每个点上直接参数化黎曼度量张量。 该架构被组织成三个协同层:一个通过受规范化流启发的可倒挂变换实现平滑图转换的坐标层,通过辅助子网络动态生成流形指标的几何图层,以及通过双目标损失函数优化任务性能和几何简单性的进化层。 这种几何正则化惩罚了过度的曲率和体积扭曲,提供了内在的正则化,增强了概括性和鲁棒性。 该框架可实现与学习流形几何图形对齐的自然梯度下降优化,并通过赋予具有清晰几何含义的内部表示提供前所未有的可解释性。 我们分析了这种方法的理论优势,包括其在科学发现和可控生成建模中实现更高效优化、增强持续学习和应用的潜力。 虽然仍然存在重大的计算挑战,但神经差分流形代表了向几何结构,可解释和高效的深度学习系统的根本转变。
This paper introduces the Neural Differential Manifold (NDM), a novel neural network architecture that explicitly incorporates geometric structure into its fundamental design. Departing from conventional Euclidean parameter spaces, the NDM re-conceptualizes a neural network as a differentiable manifold where each layer functions as a local coordinate chart, and the network parameters directly parameterize a Riemannian metric tensor at every point. The architecture is organized into three synergi...