用忆阻器神经元构建人工神经网络

admin   2020-11-12 13:58:51   3225

相关论文:NbO2 memristive neurons for burst-based perceptron
课题组:刘新军

  人工智能和机器学习技术的飞速发展,对计算能力的需求不断增长。随着摩尔定律达到极限,提高芯片算力和降低能耗变得越来越困难。大脑是一个高度复杂的系统,可以有效地将复杂的动力学组合起来进行“计算”,同时具备高性能和低功耗的优势。 

  受大脑启发的神经形态计算是在上世纪八十年代提出的,研究者们模仿大脑生物结构集成了小型功能电子电路。与当今在大多数计算机中使用的冯·诺依曼计算体系结构相比,脑启发计算体系结构具有高能效且计算能力出色的优点。 

  真正模仿大脑功能的唯一方法是更好地模拟其硬件。因此,用忆阻器——具有可编程电阻的非线性存储器件——构建的人工神经元已成为构建生物逼真的神经形态系统的最有希望的候选者之一。 

  作为通过复杂电信号传输信息的生物神经元的模仿物,忆阻器神经元已经实现了大多数已知的生物神经元动力学,例如动作电位尖峰的有或无尖峰、阈值驱动尖峰、累积发放和不应期等。这些生物神经元动力学在常规半导体电路中需要使用数千个晶体管来实现,然而在忆阻器电路中仅需两个有源忆阻器以及四、五个电阻和电容来实现,因此大大减少了器件数量和功耗。但是,将这些动力学应用于计算体系中还是存在很多困难。 

  在《先进智能系统》上发表的最新研究中,天津大学理学院物理系刘新军副教授及其同事演示了如何将生物的簇发放(bursting)动力学融合到人工神经网络之中。簇发放是生物神经元中众所周知的动态特征。通常,一个簇发放由两个或多个峰值组成,然后是一个不活跃的时间段。神经元可以激发单个尖峰或簇发放尖峰,这取决于外部刺激的性质和内在的神经元特性。 

  忆阻器神经元在收集突触传来的信号后,在一个簇发放周期中会产生不同数量的脉冲。通过对尖峰数量进行编码,可以实现简单的模式分类功能(图1)。该工作将生物神经元的动力学与人工神经网络相融合,提供了另一种理解人脑工作机制的新思路。 

  在解决模式识别之类的问题时,传统的冯·诺依曼架构中的顺序计算会导致能源效率低下。相比之下,大脑由于具有并行计算功能,在处理这些任务方面非常有效。由忆阻神经元组成的人工神经网络具有低功耗和并行计算的特点,两者都集成到了神经网络中,其中簇发放动力学用于编码和传输信息。 

  重要的是,簇发放具有多个尖峰,用于激活下一个突触,这意味着传输过程中信息的稳定性得到了极大的提高。动态编码信息的簇发放使人工神经网络在计算中具有生物学应用的意义。将忆阻器神经元,生物神经元簇发放动力学和人工神经网络连接在一起是一项突破性发现。因此,它将更好地理解生物神经元动力学和模仿生物神经元网络的忆阻器神经网络的工作机制。直接用硬件模拟生物神经元的动力学可能会使计算能效接近真实的人脑。

  

  图1. (a) 忆阻神经元电路图。(b) 基于簇发放动力学感知器的示意图。(c) 模式分类。   

  研究发表在Advanced Intelligent Systems期刊,并被Advanced Science News新闻网站作为亮点报道;后续相关论文也发表在Journal of Applied Physics上并被选为Featured article。注:两篇论文的第一作者均为天津大学物理系2018级研究生孛业恒同学。  

  【全文链接】  

  1. NbO2 Memristive Neurons for Burst-BasedPerceptron, Advanced Intelligent Systems, 2, 2000066 (2020). https://doi.org/10.1002/aisy.202000066   Artificialneural networks built with memristive neurons, Advanced ScienceNews, based on the article from Advanced Intelligent Systems (2020). https://www.advancedsciencenews.com/artificial-neural-networks-built-with-memristive-neurons/ 

  2. Spiking dynamic behaviours of NbO2 memristiveneurons: A model study, Journal of Applied Physics, 127, 245101, (2020).  https://doi.org/10.1063/5.0004139


常用链接 天津大学 本科招生网 研究生招生网 SmartMat

地址:天津大学北洋园校区32教学楼B区 | 邮编:300350Designed by 2014级物理系本科生蒋啸寒
Copyright © 2021 天津大学物理学系. All rights reserved. | Designed by 2014级物理系本科生蒋啸寒

扫码关注