人工智能神经网络学习有哪些方法（人工智能机器学习）

Hello，这里是行上行下，

我是隔壁壹脑云准时不拖更的袅袅~

“学习任何领域，了解总是第一步，而认识该领域的发展历程是了解一个领域十分有效的方法。”这一期跟大家分享人工智能和机器学习的发展历程。

一、人工智能的发展历程

人工智能从诞生至今，经历了一次又一次的繁荣与低谷，其发展历程大体上可以分为推理期、知识期和学习期。

人工智能的发展经历了很长时间的历史积淀，早在1950年，阿兰·图灵就提出了图灵测试机，大意是将人和机器放在一个小黑屋里与屋外的人对话，如果屋外的人分不清对话者是人类还是机器，那么这台机器就拥有像人一样的智能。

1、推理期

1956年达特茅斯会议之后的十几年里人工智能迎来了第一次高峰，大部分早期研究员都通过人类的经验，基于逻辑或事实归纳出来一些规则，然后通过编写程序来让计算机完成一个任务。

在这段长达十余年的时间里，计算机被广泛应用于数学和自然语言领域，用来解决代数、几何和英语问题。这让很多研究者看到了机器向人类智能发展的希望，比如1959年，第一台工业机器人诞生；1964年，首台聊天机器人也诞生了。甚至在当时，有很多学者认为：“二十年内，机器将能完成人能做到的一切。”

但随着研究的深入，研究者意识到这些推理规则过于简单，对项目难度评估不够，人工智能的研究开始陷入低谷还让大家对人工智能的前景蒙上了一层阴影。与此同时，社会舆论的压力也开始慢慢压向人工智能这把，导致很多研究经费被转移到了其他项目上。

在当时，人工智能面临的技术瓶颈主要是三个方面。第一，计算机性能不足，导致早期很多程序无法在人工智能领域得到应用；第二，问题的复杂性，早期人工智能程序主要是解决特定的问题，因为特定的问题对象少，复杂性低，可一旦问题上升维度，程序立马就不堪重负了；第三，数据量严重缺水，在当时不可能找到足够大的数据库来支撑程序进行深度的学习，这很容易导致机器无法获取足够量的数据进行智能化。

2、知识期

到了70年代，研究者意识到知识对于人工智能系统的重要性。特别是对于一些复杂的任务，需要专家来构建知识库。在这一时期，出现了各种各样的专家系统，并在特定的专业领域取得了很多成果。

专家系统可以简单理解为“知识库＋推理机”，是一类具有专门知识和经验的计算机智能程序系统。专家系统一般采用知识表示和知识推理等技术来完成通常由相关领域专家才能解决的复杂问题，因此专家系统也被称为基于知识的系统。

1980年，卡内基梅隆大学设计出了第一套专家系统—XCON。从这时起，机器学习开始兴趣，各种专家系统开始被人们广泛使用。不幸的是，随着专家系统的应用领域越来越广，问题也逐渐暴露了出来。专家系统应用有限，且经常在常识性问题上出错，因此人工智能迎来了第二个寒冬。

3、学习期

对于人类的很多智能行为比如语言理解、图像理解等，我们很难知道其中的原理，也无法描述这些智能行为背后的“知识”。也就导致了很难通过知识和推理的方式来实现这些行为的智能系统。为了解决这类问题，研究者开始重点转向让计算机从数据中自己学习。事实上，“学习”本身也是一种智能行为，从人工智能的萌芽时期开始，就有一些研究者尝试让机器来自动学习，即机器学习（Machine Learning）。

1997年，IBM公司的“深蓝”计算机战胜了国际象棋世界冠军卡斯帕罗夫，这成为了人工智能史上一个重要里程碑。之后，人工智能开始平稳向上的发展。

2006年，李飞飞教授意识到专家学者在研究算法的过程中忽视了“数据”的重要性，于是开始带头构建大型图像数据集—ImageNet，图像识别大赛由此拉开帷幕。同年，由于人工神经网络的不断发展，“深度学习”的概念被提出，之后，深度神经网络和卷积神经网络开始不断映入人们的眼帘。深度学习的发展又一次掀起人工智能的研究狂潮，这一狂潮至今仍在持续。

二、机器学习的发展历程

机器学习实际上已经存在了几十年或者也可以认为存在了几个世纪。追溯到17世纪，贝叶斯、拉普拉斯关于最小二乘法的推导和马尔科夫链，这些构成了机器学习广泛使用的工具和基础。

自1950年阿兰·图灵提出图灵测试机，到21世纪有深度学习的实际应用，机器学习有了很大的进展。从上世纪50年代研究机器学习以来，不同时期的研究途径和目标并不相同，可以划分为四个阶段。

1、知识推理期

知识推理期起始于20世纪50年代中期，这时候人们以为只要能赋予机器逻辑推理能力，机器就能具有智能。这一阶段的代表性工作有赫伯特·西蒙和艾伦·纽厄尔实现的自动定理证明系统Logic Therise证明了著名数学家罗素和怀特海的名著—《数学原理》中的全部52条定理，并且其中一条定理甚至比罗素和怀特海证明得更巧妙。

然而随着研究向前发展，人们逐渐认识到，仅具有逻辑推理能力是远远实现不了人工智能的，要使机器具有智能，就必须设法使机器具有知识。

2、知识工程期

从20世纪70年代中期开始，人工智能进入知识工程期。这一时期大量专家系统问世，在很多应用领域取得了大量成果，费根鲍姆作为知识工程之父在1994年获得了图灵奖。由于人工无法将所有知识都总结出来教给计算机系统，所以这一阶段的人工智能面临知识获取的瓶颈。

这个时期主要研究将各个领域的知识植入到系统里，在本阶段的目的是通过机器模拟人类学习的过程。同时还采用了图结构及其逻辑结构方面的知识进行系统描述，在这一研究阶段，主要是用各种符号来表示机器语言。在此期间，人们从学习单个概念扩展到学习多个概念，探索不同的学习策略和学习方法，且在本阶段已开始把学习系统与各种应用结合起来，并取得了很大的成功。同时，专家系统在知识获取方面的需求也极大地刺激了机器学习的研究和发展。

3、归纳学习期

1980年夏，在美国卡耐基梅隆大学举行了第一届机器学习研讨会（IWML)；1983年Tioga出版社出版了R.S.Michalski、J.G.Carbonell和T.Mitchell主编的《机器学习：一种人工智能途径》，对当时的机器学习研究工作进行了总结；1986年，第一本机器学习专业专刊Machine Learning创刊；1989年，人工智能领域的权威期刊Artificial Intelligence出版机器学习专辑，刊发了当时一些比较活跃的研究工作。总的来看，20世纪80年代是机器学习成为一个独立的学科领域、各种机器学习技术百花初绽的时期。

20世纪80年代以来，被研究最多、应用最广的是“从样例中学习”，即从训练样例中归纳出学习结果，也就是广义的归纳学习，它涵盖了监督学习和无监督学习等。

在20世纪80年代，“从样例中学习”的一大主流是符号主义学习，其代表包括决策树和基于逻辑的学习。典型的决策树学习以信息论为基础，以信息熵的最小化为目标，直接模拟了人类对概念进行判定的树形流程；基于逻辑的学习的著名代表是归纳逻辑程序设计，可以看做机器学习与逻辑程序设计的交叉，它使用一阶逻辑（即谓词逻辑）来进行知识表示，通过修改和扩充逻辑表达式（例如Prolog表达式）来完成对数据的归纳。符号主义学习占据主流地位与整个人工智能领域的发展历程是分不开的。

20世纪90年代中期之前，“从样例中学习”的另一主流技术是基于神经网络的连接主义学习。连接主义学习在20世纪50年代取得了大发展，但因为早期的很多人工智能研究者对符号表示有特别偏爱，所以当时连接主义的研究未被纳入人工智能主流研究范畴。1983年,霍普菲尔德利用神经网络求解“流动推销员问题”这个著名的NP难题取得重大进展，使得连接主义重新受到人们关注。1986年，著名的BP算法诞生，产生了深远的影响。

20世纪90年代中期，统计学习出现并迅速占据主流舞台，代表性技术是支持向量机（SVM）以及更一般的“核方法”。这方面的研究早在20世纪60年代就已经开始，统计学习理论在那个时期也已打下了基础，但直到90年代中期统计学习才开始成为机器学习的主流。一方面是由于有效的支持向量机算法在90年代初才被提出，其优越性能到90年代中期在文本分类应用中才得以显现；另一方面，正是在连接主义学习技术的局限性凸显之后，人们才把目光转向了以统计学习理论为直接支撑的统计学习技术。在支持向量机被普遍接受后，核技巧被人们用到了机器学习的几乎每一个角落，核方法也逐渐成为机器学习的基本内容之一。

4、深度学习

21世纪初，连接主义学习又卷土重来，掀起了以“深度学习”为名的热潮。2006年，深度学习概念被提出。2007年，希尔顿发表了深度信念网络论文，本吉奥等人发表了逐层训练方法的论文—《Greedy Lay-Wise Training of Deep Networks》，扬·勒丘恩团队发表了《Efficient Learning of Sparse Representations with an Energy-Based Model》论文，这些时间标志着人工智能正式进入了深层神经网络的实践阶段。同时，云计算和GPU并行计算为深度学习的发展提供了基础保障，特别是最近几年，机器学习在各个领域都取得了突飞猛进的发展。

新的机器学习算法面临的主要问题更加复杂，机器学习的应用领域从广度向深度发展，这对模型训练和应用都提出了更高的要求。随着人工智能的发展，冯·诺依曼式的有限状态机和理论基础越来越难以应对目前神经网络中层数的要求，这些都对机器学习提出了挑战。

感谢大家的观看，欢迎大家在留言区互相交流，喜欢的话记得三连哦，期待下一期更精彩的内容~

参考资料：

1、周志华，《机器学习》

2、李航，《统计学习方法》

3、百度百科，人工智能（计算机科学的一个分支）

阅读链接：https://baike.baidu.com/item/人工智能/9180

4、百度百科，机器学习（多领域交叉学科）

阅读链接：https://baike.baidu.com/item/机器学习/217599

5、简书，《人工智能的发展历程》

阅读链接：https://www.jianshu.com/p/501e840619e1

6、腾讯云，《机器学习发展历史回顾》

阅读链接：https://cloud.tencent.com/developer/article/1329605

7、博客园，《人工智能、机器学习及深度学习的起源和发展》

阅读链接：https://www.cnblogs.com/quxiangjia/p/12239351.html

8、知乎，《机器学习·总览篇 II 机器学习的发展历程》

阅读链接：https://zhuanlan.zhihu.com/p/48520746

9、知乎，《人工智能发展史：四张图看尽AI重大里程碑》

阅读链接：https://zhuanlan.zhihu.com/p/87153966

10、C语言中文网， 《机器学习的发展历史以及算法演进》

阅读链接：http://c.biancheng.net/view/6097.html

作者：袅袅

校对：喵君姐姐、Ting Zhang

图片来源：百度

,