脑科学与人工智能合作与分离的历史

AI11个月前发布 aixure
23 0 0
导读:90年代后人工智能的主流是以支持向量机为代表的统计机器学习,而非神经网络。在漫长的联结主义低谷期,Hinton坚信神经网络既然作为生物智能的载体,它一定会成为人工智能的救星,在它的努力下,Hopefield网络很快演化成为新的更强大的模型玻尔兹曼机,玻尔兹…

90年代后人工智能的主流是以支持向量机为代表的统计机器学习,而非神经网络。在漫长的联结主义低谷期,Hinton坚信神经网络既然作为生物智能的载体,它一定会成为人工智能的救星,在它的努力下,Hopefield网络很快演化成为新的更强大的模型玻尔兹曼机,玻尔兹曼机演化为受限玻尔兹曼机,自编码器,堆叠自编码器,这已经很接近当下的深度网络。而深度卷积网络CNN则连续打破视觉处理任务的记录,宣布深度学习时代开始。

然而,如果你认为这一股AI兴起的风波的原因是我们对大脑的借鉴,则一定会被机器学习专家diss,恰恰相反,这波深度学习的崛起来自于深度学习专家对脑科学的背离。CNN虽然直接模拟了大脑视皮层结构的模拟,利用了层级编码,局部网络连接,池化这样和生物直接相关的原理。但是,网络的训练方法,却来自一种完全非生物的方法。由于信息存储在无数神经元构成的网络连接里,如何让它学进去,也是最难的问题。很久以前,人们使用的学习方法是Hebian learning 的生物学习方法,这种方法使用起来极为困难。Hinton等人放弃这条道路而使用没有生物支撑但更加高效的反向传播算法,使得最终训练成功。从此数据犹如一颗颗子弹打造出神经网络的雏形,虽然每次只改一点点,最终当数据的量特别巨大,却发生一场质变。

CNN能够在2012 年而不是2011或者2010年开始爆发是因为那一年人们提出了Alexnet。 而Alexnet比起之前的Lenet一个关键性的微小调整在于使用Relu,所谓线性整流单元替换了之前的Sigmoid作为激活函数。Simoid 函数才是更加具有生物基础的学习函数,然而能够抛弃模拟大脑的想法使用Relu,使得整个网络的信息流通通畅了很多。

深度学习另一条主线,沿着让机器听懂人类的语言,一种叫LSTM的神经网络,模拟了人类最奇妙的记忆能力,并且开始处理和自然语言有关的任务,LSTM框架的提出依然是没有遵循大脑的结构,而是直接在网络里引入类似逻辑门的结构控制信息。

由此我们看到,神经网络虽然在诞生之初多次吸收了生物学的原理本质,而其最终的成功却在于它大胆的脱离生物细节,使用更加讲究效率的数理工科思维。生物的细节千千万,有一些是进化的副产品,或者由于生物经常挨饿做出的妥协,却远非智能的必须,因此对它们的抛弃极大的解放了人工智能的发展。

赞助本站

© 版权声明

相关文章

暂无评论

暂无评论...