Understanding Electro-communication and Electro-sensing in Weakly Electric Fish using Multi-Agent Deep Reinforcement Learning
Satpreet H. Singh, Sonja Johnson-Yu, Zhouyang Lu, Aaron Walsman, Federico Pedraja, Denis Turcu, Pratyusha Sharma, Naomi Saphra, Nathaniel B. Sawtell, Kanaka Rajan
弱电鱼,如Gnathonemus petersii,使用显着的电方式进行主动传感和通信,但研究其丰富的电感和电通信行为以及自然主义环境中的相关神经活动在实验上仍然具有挑战性。 在这里,我们提出了一种新的生物学启发的计算框架来研究这些行为,其中通过多智能强化学习(MARL)训练的基于循环神经网络(RNN)的人工代理学习调节他们的电器官放电(EODs)和运动模式,以便在虚拟环境中集体觅食。 训练有素的药剂展示了与真正的鱼类集体一致的几种新兴特征,包括重尾EOD区间分布,环境环境依赖于EOD间隔分布的变化,以及自由加载等社会互动模式,其中代理降低了其EOD速率,同时受益于邻近剂的主动传感。 最低限度的双鱼测定进一步隔离了电通信的作用,表明获得特定爆炸物处理和相对支配共同塑造觅食成功。 值得注意的是,这些行为是通过进化启发的个人健身和紧急代理间互动的奖励而出现的,而不是通过明确奖励社交互动的代理。 我们的工作对弱电鱼的神经伦理学以及其他社交,交流动物具有广泛的影响,其中来自多个个体的广泛记录,因此传统的数据驱动建模是不可行的。
Weakly electric fish, like Gnathonemus petersii, use a remarkable electrical modality for active sensing and communication, but studying their rich electrosensing and electrocommunication behavior and associated neural activity in naturalistic settings remains experimentally challenging. Here, we present a novel biologically-inspired computational framework to study these behaviors, where recurrent neural network (RNN) based artificial agents trained via multi-agent reinforcement learning (MARL)...