Infinite-Dimensional Operator/Block Kaczmarz Algorithms: Regret Bounds and λ-Effectiveness
Halyun Jeong, Palle E.T. Jorgensen, Hyun-Kyoung Kwon, Myung-Sin Song
我们展示了各种基于投影的线性回归算法,重点是现代机器学习模型及其算法性能。 我们研究放松参数在广义Kaczmarz算法中的作用,并建立一个具有明确 λ 依赖性的先验遗憾界限,以量化算法的性能偏离其最佳性能的程度。 还提供了放松参数的详细分析。 应用包括:Kaczmarz算法模型框架的明确遗憾界限,非正交傅里叶扩展,以及在现代机器学习模型中使用后悔估计,包括用于嘈杂的数据,即嘈杂的Kaczmarz算法的遗憾界限。 在机器学习实践的激励下,我们更广泛的框架处理有边界的运算符(在无限维度的希尔伯特空间上),更新实现为(块)Kaczmarz算法,从而产生新的和多功能的结果。
We present a variety of projection-based linear regression algorithms with a focus on modern machine-learning models and their algorithmic performance. We study the role of the relaxation parameter in generalized Kaczmarz algorithms and establish a priori regret bounds with explicit λ-dependence to quantify how much an algorithm's performance deviates from its optimal performance. A detailed analysis of relaxation parameter is also provided. Applications include: explicit regret bounds for the f...