Enhanced Cyclic Coordinate Descent Methods for Elastic Net Penalized Linear Models
Yixiao Wang, Zishan Shao, Ting Jiang, and Aditya Devarakonda
我们提出了一种新的增强循环坐标下降(ECCD)框架,用于解决具有弹性净约束的广义线性模型,与现有最先进的方法相比,可减少训练时间。 我们重新设计了 CD 方法,围绕当前迭代执行 Taylor 扩展,以避免梯度计算中出现的非线性运算。 通过引入此近似值,我们能够展开CD方法中发生的向量复发,并将由此产生的计算重新制定为更高效的批次计算。 我们的经验表明,复发可以通过可调整数参数s展开,因此s > 1在不影响收敛的情况下产生性能改进,而s = 1产生原始CD方法。 ECCD的一个关键优点是它避免了块坐标下降所表现出的收敛延迟和数值不稳定。 最后,我们在 C++ 中实现我们提出的方法,使用 Eigen 来加速线性代数计算。 我们的方法与现有最先进的求解器的比较显示,对于不同基准数据集上的正则化路径变体,平均性能提高了3倍。 我们的实现可在https://github.com/Yixiao-Wang-Stats/ECCD上查阅。
We present a novel enhanced cyclic coordinate descent (ECCD) framework for solving generalized linear models with elastic net constraints that reduces training time in comparison to existing state-of-the-art methods. We redesign the CD method by performing a Taylor expansion around the current iterate to avoid nonlinear operations arising in the gradient computation. By introducing this approximation, we are able to unroll the vector recurrences occurring in the CD method and reformulate the res...
