Gradient Boosted Mixed Models: Flexible Joint Estimation of Mean and Variance Components for Clustered Data
Mitchell L. Prevett, Francis K. C. Hui, Zhi Yang Tho, A. H. Welsh, Anton H. Westveld
线性混合模型广泛用于聚类数据,但它们对参数化形式的依赖限制了复杂和高维设置的灵活性。 相比之下,梯度提升方法通过非参数估计实现高预测精度,但不适应聚类数据结构或提供不确定性量化。 我们引入了梯度增强混合模型(GBMixed),这是一种框架和算法,通过基于可能性的梯度扩展,将提升扩展到共同估计均值和方差组件。 除了非参数均值估计外,该方法还将随机效应和剩余方差建模为潜在的协变依赖函数,使用灵活的基数学习者,如回归树或样条,实现非参数估计,同时保持可解释性。 模拟和实际应用可精确恢复方差成分、校准预测间隔,并相对于标准线性混合模型和非参数方法提高预测精度。 GBMixed提供异构不确定性量化,并为异构随机效应引入提升。 这使得集群特定预测的协变量依赖收缩能够在人口和集群级数据之间进行调整。 根据标准的因果假设,该框架能够以可靠的不确定性量化来估计异质治疗效果。
Linear mixed models are widely used for clustered data, but their reliance on parametric forms limits flexibility in complex and high-dimensional settings. In contrast, gradient boosting methods achieve high predictive accuracy through nonparametric estimation, but do not accommodate clustered data structures or provide uncertainty quantification. We introduce Gradient Boosted Mixed Models (GBMixed), a framework and algorithm that extends boosting to jointly estimate mean and variance components...