Generalizable, real-time neural decoding with hybrid state-space models
Avery Hee-Woon Ryoo, Nanda H. Krishna, Ximeng Mao, Mehdi Azabou, Eva L. Dyer, Matthew G. Perich, Guillaume Lajoie
神经活动的实时解码是神经科学和神经技术应用的核心,从闭环实验到脑机接口,模型受到严格的延迟限制。 传统方法,包括简单的循环神经网络,既快速又轻,但往往难以推广到看不见的数据。 相比之下,最近基于Transformer的方法利用大规模预训练来实现强大的概括性能,但通常具有更大的计算需求,并且并不总是适合低资源或实时设置。 为了解决这些缺点,我们介绍了POSSM,这是一种新颖的混合架构,通过交叉注意力模块将单个尖峰令牌化与循环状态空间模型(SSM)骨干相结合,以实现(1)神经活动的快速因果在线预测,并通过多数据集预训练有效地推广到新会话,个人和任务。 我们评估POSSM对猴子运动任务皮层解码的解码性能和推理速度,并表明它延伸到临床应用,即人类受试者的手写和语音解码。 值得注意的是,我们证明了在猴子运动皮层记录上的预训练可以提高人类手写任务的解码性能,突出了跨物种转移的令人兴奋的潜力。 在所有这些任务中,我们发现POSSM实现了与最先进的变形金刚相当的解码精度,其推理成本的一小部分(GPU上的速度高达9倍)。 这些结果表明,混合SSM是一种有希望的方法,用于在训练实时闭环应用的神经解码器时弥合准确性,推理速度和概括之间的差距。
Real-time decoding of neural activity is central to neuroscience and neurotechnology applications, from closed-loop experiments to brain-computer interfaces, where models are subject to strict latency constraints. Traditional methods, including simple recurrent neural networks, are fast and lightweight but often struggle to generalize to unseen data. In contrast, recent Transformer-based approaches leverage large-scale pretraining for strong generalization performance, but typically have much la...
