Practical considerations when designing an online learning algorithm for an app-based mHealth intervention
Rachel T Gonzalez, Madeline R Abbott, Brahmajee Nallamothu, Scott Hummel, Michael Dorsch, Walter Dempsey
移动健康(mHealth)技术的无处不在性扩大了将强化学习整合到传统临床试验设计中的机会,使研究人员能够在研究期间学习个性化的治疗政策。 LowSalt4Life 2(LS4L2)是最近的一项试验,旨在通过基于应用程序的干预减少高血压患者的钠摄入量。 一种强化学习算法,部署在其中一个试验域中,旨在发送提醒通知,以促进应用程序参与在通知有效的情况下,即当参与者可能在未来30分钟内打开应用程序时,而不是当先前数据表明降低有效性时。 这种算法可以通过减轻参与者负担和更有效地促进行为改变来改善基于应用程序的mHealth干预。 在学习算法的实现过程中,我们遇到了各种挑战,我们将其作为模板,用于解决未来部署强化学习算法的试验中的挑战。 我们提供基于LS4L2的模板解决方案,用于解决以下关键挑战:(i)定义相关奖励,(ii)确定有意义的优化时间尺度,(iii)指定允许自动化的稳健统计模型,(iv)平衡模型的灵活性与计算成本,以及(v)解决逐渐收集的数据中的缺失值。
The ubiquitous nature of mobile health (mHealth) technology has expanded opportunities for the integration of reinforcement learning into traditional clinical trial designs, allowing researchers to learn individualized treatment policies during the study. LowSalt4Life 2 (LS4L2) is a recent trial aimed at reducing sodium intake among hypertensive individuals through an app-based intervention. A reinforcement learning algorithm, which was deployed in one of the trial arms, was designed to send rem...