Beyond Rate Coding: Surrogate Gradients Enable Spike Timing Learning in Spiking Neural Networks
Ziqiao Yu, Pengfei Sun and Dan F. M. Goodman
我们研究了使用替代梯度下降法（Surrogate GD）训练的脉冲神经网络（SNNs），无论是否包含延迟学习，能够在多大程度上从精确的脉冲时序中学习而不仅仅是脉冲发放率。我们首先设计了合成任务，在匹配的脉冲计数下分离神经元内脉冲间隔和跨神经元同步性。在更复杂的基于脉冲的语音识别数据集（Spiking Heidelberg Digits (SHD)和Spiking Speech Commands (SSC)）上，我们构建了消除脉冲计数信息、仅保留时序信息的变体，结果表明使用替代梯度下降训练的SNNs能够显著超越随机水平的表现，而纯速率模型的表现仅处于随机水平。我们进一步评估了在生物启发的扰动下的鲁棒性——包括每个脉冲或每个神经元的高斯抖动以及脉冲删除——揭示了持续但特定于扰动的性能下降。当脉冲序列在时间上反转时，网络表现出明显的性能下降，其中使用延迟训练的SNNs性能下降更大，表明这些网络在行为上更接近人类。为了促进时序编码的进一步研究，我们已经发布了修改后的SHD和SSC数据集。
We investigate the extent to which Spiking Neural Networks (SNNs) trained with Surrogate Gradient Descent (Surrogate GD), with and without delay learning, can learn from precise spike timing beyond firing rates. We first design synthetic tasks isolating intra-neuron inter-spike intervals and cross-neuron synchrony under matched spike counts. On more complex spike-based speech recognition datasets (Spiking Heidelberg Digits (SHD) and Spiking Speech Commands (SSC), we construct variants where spik...