一种具有生物合理性的类脑脉冲神经网络训练方法

近日，中国科学院自动化研究所类脑智能研究中心研究员曾毅团队提出并实现了一种具有生物合理性的类脑脉冲神经网络训练方法，该方法能够在提高脉冲神经网络的性能的同时，明显降低网络的延迟以及能源消耗。相关研究成果发表于《细胞》出版社旗下期刊《模式》（Patterns）。

作为更接近人脑信息处理结构与机制的第三代神经网络，脉冲神经网络(SNN)利用离散的脉冲序列传递信息，与人工神经网络相比具有更好的生物合理性和更加丰富的时空信息处理能力，因此被认为是实现下一代人工智能的重要途经。然而如何更高效鲁棒地训练SNN以使其获得更高效的学习及处理信息的能力一直是研究人员关注的问题。代理梯度的提出为SNN的训练提供便利的同时也带来一定问题。大多数研究者往往简单地认为SNN是循环神经网络（RNN）的替代品，直接使用梯度和BPTT算法训练，却忽略了脉冲神经元的特性。因此，直接将反向传播算法应用于脉冲神经网络训练既不能发挥反向传播的优势，又损失了使用脉冲神经元进行智能信息处理的意义。

曾毅团队正在开会讨论 研究团队供图

为了使得脉冲神经网络更加高效的训练，曾毅团队提出了一种更具生物合理性的，用于训练深层脉冲神经网络的时间-空间反向传播算法。该算法通过在空间维度重新思考神经元膜电位和脉冲的关系，实现了对于梯度在空间维度反向传播的合理的调节，避免了不发生脉冲的神经元对权重更新的不必要影响，从而提取更加重要的特征。

该算法还通过对梯度在时间维度的具有生物合理性的调节，克服了传统脉冲神经元单个脉冲周期内的时间依赖问题，有助于误差能够跨多个脉冲传递，增强了基于反向传播算法训练的SNN的时序依赖性。此外，该算法在提升脉冲神经网络在视觉图像分类、语音识别等多个任务上的性能的同时，大大降低了网络的延迟以及能耗。

该研究是曾毅团队长期推进的科学探索项目“类脑认知智能引擎Brain-inspired Cognitive Intelligence Engine (BrainCog)”的阶段性成果，“我们为打造揭示智能的计算本质、面向人类水平的、基于脉冲神经网络的人工智能引擎已花费了8年时间，而后续的科学愿景以及未来在该领域至少持续几十年的科学探索更令人激动不已。”曾毅说。

曾毅认为，该研究在构建同时具有生物合理性和计算高效性的人工智能模型上取得了进展，也使类脑脉冲神经网络迈向实用化向前了一步。“但更重要的是，我们已经为进一步完善和构建迈向人类认知智能水平的类脑人工智能理论体系与计算基础设施做出了更好的准备。”

相关论文信息：

https://doi.org/10.1016/j.patter.2022.100522