机器学习的未来方向（人脑学习和机器学习）

个人公号：RushPlayer个人网站：https://rushplayer.github.io/

1 前言

写一点个人观察，主要是关于人脑学习与机器学习相似之处。众所周知，先有生物学家和数学家对人脑的逆向和模拟，才有了机器学习神经网络的研究，而后出现了拥有超强计算力GPU，更是促成深度学习的广泛应用。

2 人类学习vs机器训练

人类学习流程：在日常生活学习中问问题动动手、交流、判断反馈的结果、修正自己的大脑认知。深度学习网络的训练套路相对简单又类似：准备大量标注数据、设置神经网络各类超参数、设定Loss函数，沿误差减少的方向用反向链式求导，修正网络各层计算单元。正如下面这张不同年龄的大脑神经元连接示意图，粗看几乎就是一个全连接层的神经网络训练过程。

图.成长的大脑

说几个有意思的点：

1. 目前深度学习不会训练出创造力、不会故意出错、没有情绪。它的“机器”含量超过99%，”智能“含量微乎其微。
2. 如果训练数据集缺乏，深度学习网络会过拟合。好比一个知识和经历有限的成人，大脑易偏见和固执，当有新鲜事物出现，用这“过拟合的神经网络”来推理时，会有很多好笑的判断。如吃绿豆养生、中药渣倒路中间等。
3. 深度学习训练是一个找出非凸的全局最优解的过程，梯度下降到一个局部最优点会爬不出来！人类大脑凭过去经验来判断到处都是似懂非懂，知识需要升华到智慧，所以人生充满了“道可道非常道“的故弄玄虚和处世玄学。

3 神经元也是二进制计算？

现代计算机底层全都是二进制计算。而大脑的计算方式，从人们更容易理解的角度，大脑也许是三进制（正确、错误、不知道）、也许是5进制（5根手指）、10进制（十根手指），但这些计算方式更可能是大脑训练结果。我们知道神经元树突接受输入，然后加权判断是否输出给后续神经元，自然就有抑制和激活两种状态，很容易联想到大脑也是二进制计算。正如深度学习祖师geoffrey hinton言：“大脑倾向于比特位的交流而不是文字”。

图.geoffrey hilton

关于神经元之间的协作计算方式，有人提出一个指数运算公式： N = 2^i -1 .输入i个信号，就会有N个神经元组成的计算簇来响应。

4 大脑是CPU而不是GPU

CPU上多任务的开销巨大，线程切换上下文保存载入。而人类大脑同样无法有效处理两个以上的任务，比如你打着电话时会不加判断接过别人递过来的东西。人脑宏观上像是一个单核CPU，最多可以执行一些SIMD指令（并行做一些相同的任务），而不是一块GPU执行SIMT（单指令多核执行）随意切换任务。

5 人类的未来就是机器？

人类整体也是一个智能体一张神经网络也在进化，每个人作为计算单元身处其中互相连接互相算计。就像单只蚂蚁无法理解蚁群行为，我们也许无法知道人类最后目的是什么。

我认为现在的人类情绪和几万年前的采集野果围捕野猪的智人祖先没什么大区别，如嫉妒、孤独、冲动、恐惧等等。现在的人类配不上科幻片光速飞船、量子传播、黑洞穿越、曲率引擎，这些光速飞船上时空穿越者们应该已经进化掉了现在人类的情绪，他们能够理解恒星内部、中子星上的文明。纯能的神级文明没有情绪。

虽说努力可能让你配得上心目中的那些美好事物 ，但是不努力肯定很舒服。