Iso-Riemannian Optimization on Learned Data Manifolds
Willem Diepeveen, Melanie Weber
表现出内在低维结构的高维数据在机器学习和数据科学中无处不在。 虽然各种方法允许从有限样本中学习相应的数据流形,但直接在这些学习流形上执行下游任务(如优化)是一项重大挑战。 这项工作引入了一个原则性框架,用于使用 iso-Riemannian 几何学优化学习数据流形。 我们的方法解决了经典黎曼优化的关键限制,特别是Levi-Civita连接无法产生恒定速度的大地测量,并且大地测量凸假设在通常在实践中常用的学习回调结构下分解。 为了克服这些挑战,我们提出了针对异米-黎曼设置的单调性和Lipschitz连续性的新概念,并提出了io-Riemannian下降算法,我们为此提供了详细的收敛分析。 我们展示了这些算法在合成和真实数据集上的实际有效性,包括在学习回调结构下的MNIST。 我们的方法可以产生可解释的融星中心,改进的聚类,以及可证明的通用解决方案,即使在高维设置中也是如此。 这些结果证明,在 iso-Riemannian 几何学下的优化可以克服学习流形映射固有的失真。
High-dimensional data that exhibit an intrinsic low-dimensional structure are ubiquitous in machine learning and data science. While various approaches allow for learning the corresponding data manifold from finite samples, performing downstream tasks such as optimization directly on these learned manifolds presents a significant challenge. This work introduces a principled framework for optimization on learned data manifolds using iso-Riemannian geometry. Our approach addresses key limitations ...