2023-04-28 11:16:07 头条新闻网
本期人物专栏
嘉宾:王言治
东北大学电子与计算工程系副教授,人工智能知名学者。2014年从南加州大学博士毕业,获得 IEEE Technical Committee的 Early Career Award,以及CLOUD、ICASSP、ISLPED等顶级会议的最佳论文奖。2018年至今人工智能方面的文章引用次数超13000次。
CoCoPIE CEO, CoCoPIE是一家人工智能初创公司,成立于2020年,目的是在芯片上实现AI应用实时化,获初心资本等数千万A轮融资。合作客户包括腾讯、著名美国软件外包服务商Cognizant等。
1.可以用一句话对行业外的人简单介绍一下自己的科研领域吗?
我的主要科研领域主要在两个方面,一是将原本计算量特别大的深度学习放在各种边缘段的轻量级设备上,例如个人电脑、手机等等,从而使得机器学习、语音处理这些能力可以应用于移动端,让AI服务于民、无处不在。二是神经拟态网络,就是在机器学习设计网络模型的过程中,从生物学、神经科学中寻找一些灵感,看一看人脑的运作模式能否在人工智能中得到借鉴。
2. 接下来,我们侧重于您的第二个研究方向,即神经拟态网络 (neuromorphic computing),能否对该领域做一个大致的介绍呢?
神经拟态网络,顾名思义就是一个神经形态的网络,人们会用硬件将神经拟态网络做成一个 crossbar array这样的, 理论上可以达到非常高的能效。主要大家从两个角度来做,其一是新硬件、新材料,这也是我们做的主要角度。在这方面我们现在主要是在做超导材料,其中一个重要新技术叫AQFP,它理论上可以实现近似的零功耗,其能效比可以比现有技术高出十的五次方到十的六次方倍。所以在这种情况下,它甚至可以达到比量子极限还要更高的能效比。
但是,这一种技术也是有限制的,在我们之前的研究中,我们做了一个自动化设计的平台工具,任何一种神经网络或者相关的应用,我们都可以在这一平台上进行实现。目前我们做了许多种神经网络的实现,它可以扩展到服务器或者GPU上,在达到极高的准确率的同时将能效比提升到十的七次方这个量级,换句话说,将来的数据中心如果运行的不是现有的GPU,而是我们的设备,那么它将几乎不耗能。这就是我第一个科研方向,新硬件和新材料。
我的另一个方向就是神经拟态网络,其中比较经典的要数spiking (脉冲) 神经网络,这种网络中传的并不是数值,而是脉冲。这一点我们借鉴了人脑中的生物模式,所以大家会认为这样的模型更能够模拟人脑机制。但是目前神经拟态网络在准确率上有些不尽人意,也做了不少成果。
Q:我们可以理解为是用生物学里面的一些观点来给AI模型的设计提供借鉴嘛?人脑真的可以准确地建模吗?
是的,确实可以提供借鉴。但是人脑非常复杂,我们只能从某一些角度对人脑的一两种机制进行合理的数学抽象,比如说现在的多层神经网络,本质上也是借鉴了神经科学的,但是机器学习中梯度的反向传播就无法在神经科学中找到对应的机制。如果我们不想做抽象而是全盘建模人脑,结果就会特别复杂,设计到例如钾离子、钠离子浓度,离子的正负以及中间的极性翻转,一旦AI模型到了这个地步也就没有必要了,所以神经拟态网络本质上是一种恰当的借鉴。
在 spiking neural network 中,我们考虑到网络中间传输的并不是数值而是根据时间encoding的脉冲信息,如果spiking 越密集就说明这一段网络越活跃,如果一段时间内该段网络被闲置了,那么它就逐渐不活跃了,这一简单的性质就是 spiking neural network 的出发点。如果要完全地去建模人脑,那么这是根本无法实现的,甚至一个神经元我们都无法完全建模。所以我们在用生物学借鉴的时候要分清楚,哪些是本质性的一些机制,而哪些又是生物结构本身的限制(毕竟人脑并不需要通电),这还需要科研工作者们深入探讨。
3. 这个领域,能不能请您罗列一下几个比较火热的重点方向和问题?这些方向上,世界上相关的科学家目前都遇到了一些什么样的瓶颈?
主要的方向其一就是神经拟态网络的网络结构本身,目前比较主流的就是 spiking neural network,又被称为第三代神经网络,即我们刚刚提到的用脉冲来代替数字信号在网络中传输,它的一个重要的瓶颈就是随着网络的深度越来越大,模型所需的脉冲数量会指数性提高,因为网络每一层都需要积累足够的脉冲到达一定的阈值,才有可能触发下一层的脉冲,如果输入的脉冲过少,那么整个网络就会一片死寂,没有任何有效输出,因此我们需要的脉冲达到指数级,这是算法方面的一个瓶颈。
其二是网络的实现方面,目前全世界有几个代表性的工作,例如IBM出品的TrueNorth,Intel出品的Loihi,这几个实现都有一些对应的问题,他们试图把所有的weight都存进去,而不是像现在那些加速器那样去load weight ,这导致了很多工程上的限制,像ChatGPT这样的大模型根本无法用这种方方式来训练和运行,这是另一个潜在的瓶颈。
其三就是新材料和新硬件,比如说我们正在做的超导材料、忆阻器材料,目前的瓶颈是技术不太成熟,至于是因为材料本身的问题还是科研投资不足,我们还无法确定,但现在至少有一两种新材料是靠谱的。
4. 前面的问题中您提到的机器学习中的梯度反传 (gradient back-propagation)在人脑中并无对应机制,那么人脑中有没有其他的相关机制呢?
人脑中的机制类似于STDP Learning,简单解释一下就是说,人脑中是存在 weight(权重)这个概念的,参数越大,人脑就会放大这个输入的激励,而负参数对于人脑就是一个抑制的信号,但是训练这个参数的过程并不是梯度反传,至少目前神经科学里面并没有证明人脑存在这种反传机制,毕竟这种机制是为了方便求导而创造的。人脑中的主要机制还是,如果有不停地正反馈,就能增大这一权重,否则负反馈就会减小权重,这是一个正向的学习机制。
但是在机器学习中,正向传播网络的准确率和训练效率明显不如反向传播的,因此科学家们目前只能做一些权衡,对神经拟态网络,作用的时候用脉冲,但是训练还是用反向传播,这也是神经拟态网络中目前被诟病的一个地方。
5. 我们总是听到类似于 “通用智能” 这样的庞大叙事,您认为目前的技术离这个终极目标还有多远,人脑思维方式与AI思维方式在底层逻辑上有没有什么本质区别?
我认为并没有那么远,最近的ChatGPT就很好地向我们展示了“通用智能”是可能的。Transformer这种基于attention (注意力机制) 的结构就实现了对于图像输入和语音、文本输入的大一统,对于图像我们有 Vision Transformer (ViT),而针对文本的GPT本质上也用到了Transformer结构,它从功能性上来说已经某种程度上接近人脑了,之前在ResNet、AlexNet那个阶段,大家还是认为人脑的存储量、神经元的数量要高于这些神经网络好几个数量的,虽然计算速度会慢一些,我们可以说ResNet、AlexNet所展现出的能力相当于一只老鼠的能力,和人脑差好几个数量级。
如今我们有了以ChatGPT为代表的工具,如果能配合上神经学的一些发现,我认为可以实现一个类似人脑的智能,但这个东西有多大的自我学习能力,能不能在小数据上也拥有很好的效果,目前还不明确,但是它在存储能力上并不会差人脑太多。如何用有限的神经元(相对于人脑)和有限的训练,得到一个人脑级别的智能,而不造成过拟合,这我觉得是结合神经科学并实现通用智能的关键。
嘉宾:王言治
主持:Mia 王璟晗
作者:Mia 王璟晗
