Of Mice and Machines: A Comparison of Learning Between Real World Mice and RL Agents
Shuo Han, German Espinosa, Junda Huang, Daniel A. Dombeck, Malcolm A. MacIver, Bradly C. Stadie
强化学习(RL)的最新进展在复杂的决策任务中显示出令人印象深刻的能力。 这一进展提出了一个自然的问题:这些人工系统与数百万年进化所塑造的生物制剂相比如何? 为了帮助回答这个问题,我们对捕食者避免迷宫环境中的生物小鼠和RL剂进行了比较研究。 通过这种分析,我们确定了一个惊人的差异:RL代理一直表现出缺乏自我保护的本能,很容易冒着“死亡”的风险获得边际效率收益。 这些冒险策略与生物制剂形成对比,后者表现出复杂的风险评估和回避行为。 为了弥合生物和人工之间的这种差距,我们提出了两种新机制,鼓励RL代理中更自然的风险规避行为。 我们的方法导致自然主义行为的出现,包括战略环境评估,谨慎的路径规划和捕食者回避模式,这些模式与生物系统中观察到的密切相关。
Recent advances in reinforcement learning (RL) have demonstrated impressive capabilities in complex decision-making tasks. This progress raises a natural question: how do these artificial systems compare to biological agents, which have been shaped by millions of years of evolution? To help answer this question, we undertake a comparative study of biological mice and RL agents in a predator-avoidance maze environment. Through this analysis, we identify a striking disparity: RL agents consistentl...