BOLT: Block-Orthonormal Lanczos for Trace estimation of matrix functions
Kingsley Yeon, Promit Ghosal, Mihai Anitescu
高效的矩阵跟踪估计对于可扩展的log-determinants、矩阵规范和分布差异的计算至关重要。 在许多大规模应用中,所涉及的矩阵太大,无法完全存储或访问,甚至使单个矩阵向量(mat-vec)产品不可行。 相反,通常只能访问限制索引集上的矩阵或本地化矩阵向量产品的小子块。 Hutch++实现了最佳的收敛率,但依赖于随机SVD并假设完全的mat-vec访问,因此很难在这些受限设置中应用。 我们提出了Block-Orthonormal Stochastic Lanczos Quadrature(BOLT),它将Hutch++的准确性与基于正畸块探针和Lanczos迭代的更简单的实现相匹配。 BOLT建立在Stochastic Lanczos Quadrature(SLQ)框架的基础上,该框架将随机探测与Krylov子空间方法相结合,以有效地近似矩阵函数的痕迹,并且在近平谱机制中比Hutch++表现更好。 为了解决内存限制和部分访问限制,我们引入了Subblock SLQ,这是BOLT的一个变体,仅在小主基子矩阵上运行。 因此,该框架产生了代理KL发散估计器和计算高斯人之间的Wasserstein-2距离的有效方法 - 两者都与低内存和部分访问机制兼容。 我们提供理论保证,并在一系列高维设置中展示强大的经验性能。
Efficient matrix trace estimation is essential for scalable computation of log-determinants, matrix norms, and distributional divergences. In many large-scale applications, the matrices involved are too large to store or access in full, making even a single matrix-vector (mat-vec) product infeasible. Instead, one often has access only to small subblocks of the matrix or localized matrix-vector products on restricted index sets. Hutch++ achieves optimal convergence rate but relies on randomized S...