IBM首个人造神经元幕后，神经形态计算系统向人造大脑突破
1 新智元编译
来源：IBM Research、The Economist 等
译者：闻菲、张冬君
【新智元导读】日前，IBM苏黎世研究院研究人员利用相变存储材料，制造出首例随机兴奋人工神经元。《经济学人》评论，这是在人造大脑方面的又一突破。模仿大脑的概念简单，但实际把它做出来却相当难。有了IBM 的这项突破，今后再将随机相变神经元集群与其他纳米计算材料结合在一起，能够成为下一代超密神经形态计算系统的关键。
没有人知道人脑是如何工作的，因此研究人脑的研究员才想出了“模拟”的方法。常见的方法是用神经形态元件制作出一个人造大脑。计算机科学家早就从生物学中汲取灵感，最近被称为“深度学习”的人工智能技术，就是模仿人脑的生理行为。
神经形态（Neuromorphic）一词最早是在 20 世纪 80 年代，由加州理工大学的计算机科学家 Carver Mead 提出。神经形态工程学（Neuromorphic engineering）希望利用具有模拟电路特征的超大规模集成电路（VLSI），模仿人脑神经系统，最终目标是制造一个仿真人脑的芯片或集成电路。神经形态工程学需要跨领域的合作，也吸引了生物学、物理学、数学及信息科学等各方面人才的投入。
日前，IBM 苏黎世研究院的研究人员利用相变存储材料获得了突破。IBM 研究员 Evangelos Eleftheriou 表示，过去十年来，IBM 一直从事相变存储材料的研究。“现在，我们又展示了这些使用相变材料制作的人工神经元的能力，它们能够以非常低的能耗进行高效无监督学习和数据相关的检测等多种简单的计算。” Eleftheriou 说。
论文的第一作者 Tomas Tuma 表示，随机相变神经元集群与其他纳米计算材料结合在一起，能够成为下一代超密神经形态计算系统的关键。相关论文日前被《自然·纳米技术》作为封面论文发表。
相变存储材料动态演示图
科学家几十年前便提出，能够制作出具有类似人脑功能的神经形态集成电路。但一直以来，能耗的问题都没有得到解决。
现在，IBM 苏黎世研究院的研究人员利用相变存储材料获得了突破。IBM 研究员 Evangelos Eleftheriou 表示，过去十年来，IBM 一直从事相变存储材料的研究。“我们展示了这些使用相变材料制作的人工神经元的能力，它们能够以非常低的能耗进行高效无监督学习和数据相关的检测等多种简单的计算。” Eleftheriou 说。
论文的第一作者 Tomas Tuma 表示，随机相变神经元集群与其他纳米计算材料结合在一起，能够成为下一代超密神经形态计算系统的关键。
艺术家创作：相变合金液锗锑碲（GeSbTe）覆盖的人造神经元。来源：IBM 研究院
IBM 苏黎世研究院研究人员制造的这款人工神经元，由相变合金锗锑碲（GeSbTe）组成，GeSbTe 也是制作蓝光光碟的一种基础材料，在不同的条件下会处于无定形和晶体两种不同的状态。
相变存储器由于具有读写速度快、能耗低、非挥发性、数据保持时间长以及与硅加工工艺兼容等特点，被认为是最有可能取代目前的 SRAM、DRAM、FLASH等产品成为未来主流的存储器产品。GeSbTe硫系三元化合物已经被成功应用于光盘系列相变存储器，也是在PCRAM应用中最具竞争力的相变材料。
生物神经细胞在传导神经兴奋信号时，会经过神经递质，也即一层液态的神经薄膜，这层神经薄膜在接收到信号时，不会立即释放，而是当能量积蓄到一定程度后，才会向外发射信号。这个信号沿轴突传导，被其他神经元接收。
IBM 研究人员用一小滴锗锑碲合金液作为神经薄膜的替代品。实验中，研究人员将人工神经元接通后，输入一系列电脉冲信号，从而使材料发生一系列相变，最终使人工神经元发射信号。
具体看，一小滴锗锑碲合金液两边分别接通电极。随着电流的通过，合金液的导电性会发生改变。最开始，这一滴锗锑碲合金液不含有任何晶体结构，因此导电性很差。但当低压电流通过时，一部分合金温度升高并开始形成结晶，导电性也随之增强。继续通电，整滴合金液的导电性都会增强，直到最后电流完全能够通过，就好像生物神经薄膜能量积蓄满之后发射神经脉冲信号一样。之后，再加上高压电流，让整个合金液熔化，就能回到初始状态。
在神经科学中，这种现象被称为神经元的 integrate-and-fire（IF）性质，也是基于事件计算的基础。
生物神经元是不可预测的，细胞里的震动表明特定的输入不一定会得到同样的输出。自然正是利用这种随机性，让神经元完成了不可思议的工作，比如从复杂的数学题目中得出局部最小准则（local minimum criterion，LMC），这是依靠算法的数字计算机无法做到的。由于每次结晶的具体细节都不同，因此可以认为，这些人工神经元的动作是相对比较随机的。
IBM 研究员 Evangelos Eleftheriou 表示，由于有了 IF属性，单一的人造神经元也能被用于处理实时信息流，并从中找出规律、发现关联。例如，在物联网中，传感器能采集并分析网络边缘收集到的数据，预测天气。此外，人工神经元也能被用于检测金融数据的规律，或者分析社交网络数据，实时发现文化潮流。
神经形态（Neuromorphic）一词最早是在 20 世纪 80 年代，由加州理工大学的计算机科学家 Carver Mead 提出。神经形态工程学（Neuromorphic engineering）希望利用具有模拟电路特征的超大规模集成电路（VLSI），模仿人脑神经系统，最终目标是制造一个仿真人脑的芯片或集成电路。神经形态工程学需要跨领域的合作，也吸引了生物学、物理学、数学及信息科学等各方面人才的投入。
Carver Mead 在上世纪 70 年代为摩尔定律命名，他开创了半导体行业的许多个第一，其中包括设计复杂硅芯片（超大规模集成电路）的方法，直到今天，这种方法仍然具有影响力。
1971年，Mead（左）在加州理工教授 VLSI 技术的第一堂课。来源：caltech.edu
上世纪 80 年代，对标准计算机的局限性感到沮丧的 Mead 开始制造模拟哺乳动物大脑的芯片，也由此创立了名为神经形态计算的领域。Mead 使用亚阈值（sub-threshold）硅模仿大脑的低功耗处理过程。在十分微小的电压下，正常芯片无法将比特从“0”改变为“1”，但亚阈值硅仍然有微小的、不规则的电子流通过，这种自发电流的涨落，其大小和可变性，与神经回路中流动的离子所形成电子流非常相似。
20 世纪 90 年代，Mead 和同事发现，构建硅神经元网络是有可能实现的。该装置通过结点（junction）接收外部电流输入信号，结点的作用类似于真实神经系统中的突触——神经脉冲通过突触，从一个神经元传到另一个神经元。和真正的神经元相似，硅神经元允许传入的信号在电路的内部积蓄电压。当电压达到一个特定的阈值，硅神经元就会“放电”，产生一系列“电压尖脉冲”（voltage spike，即瞬间出现的电压峰值），这些“电压尖脉冲”会沿着一条导线传播，这条导线的作用类似神经元的轴突。尽管这些尖脉冲是“数字化”的，只能处于开或关这两种状态，但硅神经元却像真正的神经元一样，是以非数字化的形式运行的，因此硅神经元的电流和电压并不限于几个不连续的数值，这与传统芯片完全不同。
硅神经元的表现，反映了大脑节能的一个关键因素：与真正的大脑一样，硅神经元在“放电”之前，只是简单地整合输入信号，这只需要很少的能量。而在传统计算机中，无论芯片是否进行运算，都需要持续输入能量，维持内部时钟运行。
无论现今的智能型产品多么智能、电路多么复杂，但与人脑相比都还只是玩具，尤其是功率。人脑包含上千种神经细胞及神经元组成的一个极为复杂的网络。光是"模拟"一个神经元的行为，就需要消耗大量计算资源。
神经形态工程学所追求的未来芯片，就是将大量的逻辑电路整合进一个芯片中，透过个芯片的控制，让各种高科技产品能够顺利运作。
IBM 苏黎世研究院的研究人员利用相变存储材料，制作的随机兴奋神经元。两边微小的方形是电极的导电板，很尖的探针触碰到导电板，让相变材料回应神经信号输入。每组探针都能接触到100个细胞组成的一个集群。来源：IBM研究院
现在，IBM 研究人员已经将好几百个这样的人造神经元构成集群，并用这些集群代表快速复杂的信号。不仅如此，每个人造神经元都表现出了很高的耐受性，能够在 100 Hz 的频率下运行好几年。每个神经元的能耗都少于 5 皮焦，平均能耗少于 120 微瓦。相比之下，60瓦的电灯泡需要消耗 6000万微瓦。
参与这项研究的IBM苏黎世研究员（从左到右）：Abu Sebastian，Evangelos Eleftheriou，Tomas Tuma，Angeliki Pantai 和 Manuel Le Gallo。来源：IBM研究院
IBM 苏黎世的暑期实习生 Millian Gehrer 采访了参与上述研究的研究员 Manuel Le Gallo。
人工神经元的功能是什么？
Manuel Le Gallo：神经元具有一定的功能，我们称之为“整合和触发（integrate and fire）”。神经元就像一个蓄电池，如果你不停地向神经元输入电流，它就会整合所有的输入电流。膜电位取决于输入电流的量和强度，它在达到一定的阈值时，会“fire”或者“spike。这种蓄电池可用于执行极其复杂的计算任务。
人工神经元的发展带来怎样的灵感？
ML：人工神经元旨在模仿生物神经元的活动。人工神经元的功能不可能和生物神经元完全相同，但是非常相近，足够用来执行人脑里的计算。人工神经元通常是用基于CMOS的电路制造的，这是我们在计算机中使用的标准晶体管技术。我们的研究使用的是非CMOS装置，比如相变装置，以再现降低能耗和增加磁录密度的相同功能。
你对论文的贡献是什么？
ML：过去三年我一直从事相变存储材料的相关工作。这项研究加深了我们对相变存储材料特性和模拟的了解，这对于使用相变材料制作存储器是至关重要的。此外，我们还获得了实验数据，对结论的分析和阐释也有所贡献。
人造神经元在什么情景下使用？
ML：论文中，我们展示了如何从多次事件输入流中检测到关联性。假设有很多二元事件流，想要找出哪两条暂时相关，比如在1秒钟内同时发生。我们展示了如何从多个事件流当中检测关联性。
“事件”是什么意思？
ML：事件可以指Twitter的数据，或者物联网收集到的天气数据或者传感器数据。假设你现在有多条二元事件流，你想找出其中哪些是暂时相关的。论文中我们展示了，只用一个神经元就可以做出这样的区分，这个神经元与多个接收这些事件的突触相连。
神经形态计算比传统计算更加高效的原因是什么？
ML：传统计算，存储单元和逻辑单元是分开的。每次计算时，你需要先访问存储器，得到数据，再将其转移到逻辑单元，逻辑单元计算得出结果后，再将这一结果发送给存储单元，如此往返。因此，如果要处理的数据有很多，那么就会很麻烦。
在神经网络中，计算和存储是一体的。不需要在存储单元和逻辑单元之间建立联系；只需要在不同的神经元之间建立起合适的连接即可。这也是我们的研究能效更高的原因，尤其是处理大规模数据时。
资料：
You’ve got a nerve，http://www.economist.com/news/science-and-technology/
IBM Scientists Imitate the Functionality of Neurons with a Phase-Change Device
Stochastic phase-change neurons, Tomas Tuma, Angeliki Pantazi, Manuel Le Gallo, Abu Sebastian and Evangelos Eleftheriou, Nature Nanotechnology, doi:10.1038/nnano.2016.70
仇烨译，《麻省科技评论 | 卡弗·米德谈计算机未来》，iWeekly
westwell lab，神经形态工程学的前世今生 http://toutiao.com/i6285495256003641857/
Unsupervised learning with artificial neurons（https://www.ibm.com/blogs/research/2016/08/unsupervised-learning-artificial-neurons/）