Non-Negative Stiefel Approximating Flow: Orthogonalish Matrix Optimization for Interpretable Embeddings
Brian B. Avants, Nicholas J. Tustison and James R Stone (Department of Radiology and Medical Imaging University of Virginia, Charlottesville, VA)
可解释表示学习是现代机器学习的核心挑战,特别是在神经成像、基因组学和文本分析等高维环境中。 目前的方法往往难以平衡可解释性和模型灵活性的竞争需求,限制了它们从复杂数据中提取有意义的见解的有效性。 我们引入了非负Stiefel近似流(NSA-Flow),这是一种通用矩阵估计框架,将思想从稀疏的矩阵因子化、正交化和受限的歧义学习中统一起来。 NSA-Flow通过重建保真度和柱式装饰之间的持续平衡来强制执行结构化稀疏性,由单个可调重量参数化。 该方法在Stiefel流形附近以平滑流运行,具有非负性和自适应梯度控制的近端更新,产生同时稀疏,稳定和可解释的表示。 与经典的正则化方案不同,NSA-Flow提供了一种直观的几何机制,用于在全球结构水平上操纵时空,同时简化潜在特征。 我们证明,NSA-Flow目标可以顺利优化,并与现有管道无缝集成,以减少尺寸,同时提高模拟和真实生物医学数据中的可解释性和泛化。 对Golub白血病数据集和阿尔茨海默病的实证验证表明,NSA-Flow约束可以保持或提高相关方法的性能,几乎没有额外的方法努力。 NSA-Flow为可解释的ML提供了一个可扩展的通用工具,适用于数据科学领域。
Interpretable representation learning is a central challenge in modern machine learning, particularly in high-dimensional settings such as neuroimaging, genomics, and text analysis. Current methods often struggle to balance the competing demands of interpretability and model flexibility, limiting their effectiveness in extracting meaningful insights from complex data. We introduce Non-negative Stiefel Approximating Flow (NSA-Flow), a general-purpose matrix estimation framework that unifies ideas...
