Learning Geometry: A Framework for Building Adaptive Manifold Models through Metric Optimization
Di Zhang
本文提出了一种新的机器学习范式,超越了传统的参数优化。 与在固定几何空间内搜索最优参数的传统方法不同,我们的核心思想是将模型本身视为可塑性几何实体。 具体来说,我们在具有预定义拓扑结构的流形上优化了公制张量场,从而动态地塑造了模型空间的几何结构。 为了实现这一目标,我们构建了一个变体框架,其损失函数仔细平衡了数据保真度与流形的内在几何复杂性。 前者确保模型有效地解释观察到的数据,而后者充当正则器,惩罚过度弯曲或不规则的几何形状,以鼓励更简单的模型并防止过拟合。 为了解决这个无限维优化问题的计算挑战,我们引入了一种基于离散微分几何的实用方法:连续流形被离散微分几何分解成三角形网格,度量张量按边缘长度参数化,使用自动分化工具实现高效优化。 理论分析揭示了我们的框架与广义相对论中的爱因斯坦 - 希尔伯特行动之间的深刻类比,为“数据驱动的几何”概念提供了优雅的物理解释。 我们进一步认为,即使使用固定拓扑,度量优化也比具有固定几何形状的模型提供更大的表达能力。 这项工作为构建能够自主进化其几何和拓扑的完全动态的“元学习者”奠定了坚实的基础,并指出了科学模型发现和稳健的表示学习等领域的广阔应用前景。
This paper proposes a novel paradigm for machine learning that moves beyond traditional parameter optimization. Unlike conventional approaches that search for optimal parameters within a fixed geometric space, our core idea is to treat the model itself as a malleable geometric entity. Specifically, we optimize the metric tensor field on a manifold with a predefined topology, thereby dynamically shaping the geometric structure of the model space. To achieve this, we construct a variational framew...