想和人脑一样智能? IBM 的芯片级模仿才是关键
发布时间:2016/10/12 10:25:39 访问次数:1061
深度学习软件毫无疑问推动了人工智能的浪潮。现在,许多公司和研究人员都在花大力气在软硬件上对人脑进行模拟。
在硬件方面主要是通过对大型神经网络进行仿真。如google的深度学习系统googlebrain,微软的adam等。但是这些网络需要大量传统计算机的集群。比方说googlebrain就采用了1000台各带16核处理器的计算机,这种架构尽管展现出了相当的能力,但是能耗依然巨大。
- 51电子网公益库存:
- TH58DVG4S0ETA20
- TH58DVG4S0ETAK0
- TH58DVG5H0ETA20
- TH58DVG5S0ETA20
- TH58DVG5S0ETAK0
- TH58DWG02A1XBJJ
- TH58DWG02AICBJJ
- TH58DWG12A2XGJJ
- TH58MBG04G1XBIH
- TH58MBG04G1XGIH
- TH58MBG04G1XGIK
- TH58NVG1S3AFT05
而ibm则是从芯片着手进行模仿。:它设计了一种叫truenorth的仿人脑电脑芯片,并把它当做深度学习的硬件平台。目前,公司正在对该芯片的性能进行研究测试。
深度学习之所以能力强大,关键在于其中的一项算法——卷积神经网络(convolutionalneuralnetworks)。它包含了大量的节点层(layersofnodes),也称神经元(neurons)。像这样的神经网络可以通过深度结构过滤大量的信息,进而实现自动识别人脸或理解不同语言的功能。
ibm不久前的一项研究显示,在能支持多种神经网络的仿人脑硬件上,卷积神经网络算法同样有用。
7月9日,ibm把自己的一项研究成果刊登在了proceedingsofthenationalacademyofsciences上。该项研究由u.s.defenseadvancedresearchprojectsagency(darpa)资助,数额近100万美元。这项支持是该机构皮质处理器项目(corticalprocessorprogram)的一部分,旨在促进能识别复杂情况和适应环境变化的仿人脑人工智能的研究。
dharmendramodha是ibm研究中心almaden仿人脑计算项目首席科学家。他表示:
这个研究具有里程碑式的意义,而且证实了一个显而易见的概念:仿人脑计算的运行效率会随着深度学习效率的提升而提升,而这又为新一代芯片和算法提高工作效率和正确率铺平了道路。
2011年,ibm第一次对外具体公布truenorth和其芯片原型,而以卷积神经网络为基础发展起来的深度学习革命却开始于2012年。由此可看出,刚开始并不是专门为了应用深度学习而设计truenorth,反而有了truenorth才促进了脉冲神经网络去模仿真实生物大脑中的神经元连接构造。
脉冲神经网络中的神经元并不是在每一次迭代传播中都被激活(而在典型的多层感知机网络中却是),而是在它的膜电位达到某一个特定值后才被激活。这有效减少了图形认知或语言处理的运行速度。
但深度学习专家却觉得,同样是用在机器学习上,至少和卷积神经网络相比,脉冲神经网络的效率并不够高。
yannlecun是facebook人工智能研究院理事、深度学习领域的先驱。他曾批评过ibm的truenorth芯片,把它称之为草包族科学。他说,ibm只是复制了机器的表象,却没有深入理解及其背后的原理。
有反对的声音,但也有支持的声音。zacharychaselipton是加州大学(位于圣地亚哥)人工智能团队深度学习研究员。他说,
truenorth可以促进实现神经形态计算,要知道,深层次模仿和理解生物大脑正是神经形态计算的功劳。
通过对比不同学者们的观点可以发现,深度学习研究人员通常更关心的是如何使实践结果应用到以人工智能为技术支撑的服务和产品上。
还拿那个老套的鸟和飞机的比喻做例子。你可能觉得卷积神经科学研究鸟更多;而脉冲神经科学则更多关注空气动力学,生物学可有可无。
专有计算机硬件对机器学习的好处越来越明显。因此,神经形态芯片并没有让人觉得很兴奋的原因主要是,在深度学习中脉冲神经网络并没有那么流行。
因此,为了使truenorth芯片能更好的应用机器学习,ibm必须研究出一种新的算法来帮助卷积神经网络在神经形态计算机硬件上运行的更好。
在研究测试中,truenorth可以给图片数据分类,每秒速度1200-2600帧,能耗25-275毫瓦。处理器还能够识别图片模式,这些图片是50-100个摄像头以每秒24帧的速度拍摄的。
truenorth刚开始进行深度学习测试就获得这样的结果,给人的印象好像还挺深刻。但是,大家还是谨慎为好,lipton说,毕竟视觉数据集在处理32×32素的图像时,还存在有少量问题。
不过这可影响不到modha。他依旧怀着热切的心情继续着truenorth深度学习测试。他和他的同事希望芯片测试能在无限制的深度学习环境下进行。这需要他们在训练神经网络时逐步引进硬件限制,而不是从一开始就对其完全限制。
modha还指出,truenorth的其中一个优势是它的普适性,其他很多深度学习硬件都只能在卷积神经网络上运行,但truenorth可以接受多种类型的人工智能网络。
“truenorth不仅可运行卷积神经网络(虽然设计者一开始无意于此),支持多种包括反馈、横向以及前馈的连接模式,还能应用多种其他的算法。”http://saiertong.51dzw.com/
像这样的类生物芯片只有比其他深度学习硬件应用更出众才能流行起来,lipton说。同时,他还建议到,ibm可以利用它的硬件公司,和google、intel一起为设计深度学习专用芯片而奋斗。
“我想,未来肯定会一些神经形态芯片制造商,他们会通过自己的硬件公司来加速芯片的发展以使整个行业更集中于实践性深度学习的应用,而不是纯粹的生物模仿。”
深度学习软件毫无疑问推动了人工智能的浪潮。现在,许多公司和研究人员都在花大力气在软硬件上对人脑进行模拟。
在硬件方面主要是通过对大型神经网络进行仿真。如google的深度学习系统googlebrain,微软的adam等。但是这些网络需要大量传统计算机的集群。比方说googlebrain就采用了1000台各带16核处理器的计算机,这种架构尽管展现出了相当的能力,但是能耗依然巨大。
- 51电子网公益库存:
- TH58DVG4S0ETA20
- TH58DVG4S0ETAK0
- TH58DVG5H0ETA20
- TH58DVG5S0ETA20
- TH58DVG5S0ETAK0
- TH58DWG02A1XBJJ
- TH58DWG02AICBJJ
- TH58DWG12A2XGJJ
- TH58MBG04G1XBIH
- TH58MBG04G1XGIH
- TH58MBG04G1XGIK
- TH58NVG1S3AFT05
而ibm则是从芯片着手进行模仿。:它设计了一种叫truenorth的仿人脑电脑芯片,并把它当做深度学习的硬件平台。目前,公司正在对该芯片的性能进行研究测试。
深度学习之所以能力强大,关键在于其中的一项算法——卷积神经网络(convolutionalneuralnetworks)。它包含了大量的节点层(layersofnodes),也称神经元(neurons)。像这样的神经网络可以通过深度结构过滤大量的信息,进而实现自动识别人脸或理解不同语言的功能。
ibm不久前的一项研究显示,在能支持多种神经网络的仿人脑硬件上,卷积神经网络算法同样有用。
7月9日,ibm把自己的一项研究成果刊登在了proceedingsofthenationalacademyofsciences上。该项研究由u.s.defenseadvancedresearchprojectsagency(darpa)资助,数额近100万美元。这项支持是该机构皮质处理器项目(corticalprocessorprogram)的一部分,旨在促进能识别复杂情况和适应环境变化的仿人脑人工智能的研究。
dharmendramodha是ibm研究中心almaden仿人脑计算项目首席科学家。他表示:
这个研究具有里程碑式的意义,而且证实了一个显而易见的概念:仿人脑计算的运行效率会随着深度学习效率的提升而提升,而这又为新一代芯片和算法提高工作效率和正确率铺平了道路。
2011年,ibm第一次对外具体公布truenorth和其芯片原型,而以卷积神经网络为基础发展起来的深度学习革命却开始于2012年。由此可看出,刚开始并不是专门为了应用深度学习而设计truenorth,反而有了truenorth才促进了脉冲神经网络去模仿真实生物大脑中的神经元连接构造。
脉冲神经网络中的神经元并不是在每一次迭代传播中都被激活(而在典型的多层感知机网络中却是),而是在它的膜电位达到某一个特定值后才被激活。这有效减少了图形认知或语言处理的运行速度。
但深度学习专家却觉得,同样是用在机器学习上,至少和卷积神经网络相比,脉冲神经网络的效率并不够高。
yannlecun是facebook人工智能研究院理事、深度学习领域的先驱。他曾批评过ibm的truenorth芯片,把它称之为草包族科学。他说,ibm只是复制了机器的表象,却没有深入理解及其背后的原理。
有反对的声音,但也有支持的声音。zacharychaselipton是加州大学(位于圣地亚哥)人工智能团队深度学习研究员。他说,
truenorth可以促进实现神经形态计算,要知道,深层次模仿和理解生物大脑正是神经形态计算的功劳。
通过对比不同学者们的观点可以发现,深度学习研究人员通常更关心的是如何使实践结果应用到以人工智能为技术支撑的服务和产品上。
还拿那个老套的鸟和飞机的比喻做例子。你可能觉得卷积神经科学研究鸟更多;而脉冲神经科学则更多关注空气动力学,生物学可有可无。
专有计算机硬件对机器学习的好处越来越明显。因此,神经形态芯片并没有让人觉得很兴奋的原因主要是,在深度学习中脉冲神经网络并没有那么流行。
因此,为了使truenorth芯片能更好的应用机器学习,ibm必须研究出一种新的算法来帮助卷积神经网络在神经形态计算机硬件上运行的更好。
在研究测试中,truenorth可以给图片数据分类,每秒速度1200-2600帧,能耗25-275毫瓦。处理器还能够识别图片模式,这些图片是50-100个摄像头以每秒24帧的速度拍摄的。
truenorth刚开始进行深度学习测试就获得这样的结果,给人的印象好像还挺深刻。但是,大家还是谨慎为好,lipton说,毕竟视觉数据集在处理32×32素的图像时,还存在有少量问题。
不过这可影响不到modha。他依旧怀着热切的心情继续着truenorth深度学习测试。他和他的同事希望芯片测试能在无限制的深度学习环境下进行。这需要他们在训练神经网络时逐步引进硬件限制,而不是从一开始就对其完全限制。
modha还指出,truenorth的其中一个优势是它的普适性,其他很多深度学习硬件都只能在卷积神经网络上运行,但truenorth可以接受多种类型的人工智能网络。
“truenorth不仅可运行卷积神经网络(虽然设计者一开始无意于此),支持多种包括反馈、横向以及前馈的连接模式,还能应用多种其他的算法。”http://saiertong.51dzw.com/
像这样的类生物芯片只有比其他深度学习硬件应用更出众才能流行起来,lipton说。同时,他还建议到,ibm可以利用它的硬件公司,和google、intel一起为设计深度学习专用芯片而奋斗。
“我想,未来肯定会一些神经形态芯片制造商,他们会通过自己的硬件公司来加速芯片的发展以使整个行业更集中于实践性深度学习的应用,而不是纯粹的生物模仿。”