深度学习算法与学习框架（伯克利优化理论教授谈深度学习）

雷锋网 AI 科技评论按：在人工智能的浪潮之下，以深度学习为首的机器学习方法迅速席卷了各个领域，给许多问题带来了全新的解决方案（当然同时也带来了新的问题等待解决）。

除了我们熟悉的 CV、NLP 之外，优化理论、运筹学也和深度学习之间互相产生着联系和影响。近日我们就采访了来自 UC 伯克利大学电子工程和计算机学院以及工业工程和运筹学学院教授 Laurent El Ghaoui，听听看他对这些领域的见解。

（* 本文由雷锋网 AI 科技评论记者李宗仁、杨晓凡共同完成）

根据个人主页介绍，Laurent El Ghaoui 教授的研究方向包括鲁棒优化、机器学习和统计（重点在于稀疏性）以及新闻媒体的统计分析。教授也著有《优化模型（Optimization Models）》、《优化模型与应用（Optimization models and applications）》等专著。我们很想知道教授对优化问题有哪些感悟、在他看来机器学习学习方法和传统优化方法之间又有哪些联系和区别。以下为采访全文。

雷锋网 AI 科技评论：您的研究领域包括机器学习、数据挖掘、统计学和算法优化，您的研究和应用经验也很丰富。您最近在研究什么呢？有什么进展或者突破吗？

Ghaoui 教授：近期我们在探索深度学习模型，这很有挑战性因为它很不稳定，训练也需要很多时间和很多数据。许多深度学习研究中关注的都是模型，我们关注的也是如何改进出更好的模型。比如从数据的角度看，深度学习模型选用什么样的架构才是对的、网络应该有多少层、每个层应该做什么。我们也在开发一些新方法，我觉得很兴奋。虽然我们的研究还没有结束，但是我觉得这将会成为一种训练神经网络的完全不同的方法，很有可能会更稳定、更容易训练、训练起来更快、不同的数据层之间的并行化程度更高等等，同时还有潜力根据数据决定什么是最好的架构。这让我很兴奋，我还不是很确定它能成，但是我希望下个季度里我们能做出一些突破。

雷锋网 AI 科技评论：您也参与过很多不同领域的应用，比如房屋、能源、金融、政治，您能横跨这么多领域，有什么方法论或者秘诀吗？

Ghaoui 教授：我确实参与过很多不同的领域，不过这没什么秘诀，就是 AI 技术本身驱动着我而已。我举个例子吧，我曾经和零售巨头 Walmart 合作过，帮他们根据购买需求优化商品价格。我研究了这个问题，发现它和根据用电需求预测第二天所需的发电量是同一个问题。这儿没什么秘诀，这些问题的数学形式总是一样的，我甚至觉得很奇怪为什么是一样的。完全不同的角度、不同的行业、不同的问题，但是 AI 模型总是一模一样。我很惊讶，这里没有隐藏的秘密，但它就是这样的情况。这就是 AI 的力量。在背后支撑的不是我自己知识，而是事情就是这样的。到了某个程度以后，所有的问题看起来都是完全一样的，一样的技术，同一回事。

雷锋网 AI 科技评论：这个时代的数据在爆炸般增长，这也会给统计分析带来越来越大的挑战。根据您的研究经验，您觉得我们都有哪些方法可以应对这些挑战？

Ghaoui 教授：这件事很有意思。在这里，针对这个问题我想说 AI 的速度非常重要，够快才能帮助人类实时地理解数据，而不是像现在的深度学习 AI 那样，训练一个 AI 有时候可以花 30 天的时间。所以我们需要做的下一步就是实时化。并且我觉得，为了达到这个目标，我们需要和硬件之间建立好的互动、并且有好的硬件架构才行。为了当大规模 AI 可以实时运行，需要软硬件协同设计，需要和硬件有更好的整合。现在人们用服务器组成云服务、用 GPU 等等，就觉得这个问题解决了，其实并不是这样的。训练模型需要的时间还是太长了，我们需要走向下一个阶段。

雷锋网 AI 科技评论：在机器学习模型的应用中，结果的可解释性是一个非常重要的方面。有没有办法改善机器学习模型的可解释性？

Ghaoui 教授：这对我来说也是一个非常重要的问题。虽然我的演讲中没有提到它，但我觉得它同样是目前的 AI 模型面临的巨大挑战之一。经常来说，模型是一个黑盒子，它不会告诉你为什么判断这个病人有这个疾病、或者这个司机是一个好司机或者坏司机、或者应不应该贷款给这个人。我觉得未来，为了让人类和机器之间有更好的互动，我们有必要理解为什么机器做出了这些决定。当前的 AI 很成功，比如在翻译方面就是。它不会告诉我为什么把这个单词翻译成了另一个单词，我自己不关心为什么，别的人也没人关心。只要翻译出的结果是好的，它就可以继续是一个完全的黑盒子、完全复杂的系统，我也看不清、你也看不清，这都没什么问题。但是对于某些任务，尤其是医疗保健中，我们需要了解基于这张大脑的图像就判断了这个人有没有癌症的原因是什么，AI 需要有能力说“它在这儿，而且我把它和这个和那个做了对比”。

所以可解释性非常重要。但是现在的机器学习模型并不擅长被解释，所以我认为可解释性应当有限于模型的选择，因为这样起码可以有更好的解释性。有一些模型是关注于解释性的；有一些模型可能不那么复杂、没有那么多的预定义，但是更好解释。它们能告诉你做出决定是因为这个这个那个原因、是因为这五个特征，等等，所以这笔贷款没有通过。

雷锋网 AI 科技评论：稀疏性、正则化和鲁棒性之间有什么联系吗？能否给我们讲一个您处理它们的故事？

Ghaoui 教授：这和刚才说的关于可解释性的是一回事。我觉得如果 AI 模型中的规则太复杂了，那轻微改变图像就会导致模型做出错误的预测也是很自然的事情。这就是深度学习中缺乏鲁棒性的体现。很多人都在研究这个问题，我觉得这对我的意义就是我们必须回到更简单的模型上去，很高的表现如果很脆弱那也是没有用的。输入发生轻微的变化，模型表现就会变成零。所以我觉得我们不应该仅仅关注高的模型表现，我们应当关注的是稳定前提下的表现、是可靠的表现，不能太脆弱。

雷锋网 AI 科技评论：您也是航空航天领域的一名优秀教师，这和 AI 领域之间也挺远的。这其中有什么联系吗？

Ghaoui 教授：我们前面讨论过的一些想法，比如尝试帮沃尔玛解决问题、尝试帮银行解决问题等等，到了最后所有的模型都是一样的，而且和驾驶飞机穿过一片雾非常相似。起飞、落地、穿过雾所有这些我的论文中研究的驾驶类型，实际上都和向未来做一笔投资有着一样的数学模型。因为其中就是有这些相似性，是同样的问题、有着同样的方程形式。现在我已经老了，1990 年代我年轻的时候航天还是当时的热门领域。现在没人想着它了，每个人想的都是 AI。当时这就是我的起点，实际上它和 AI 很接近，所有这些问题都很相似。

雷锋网 AI 科技评论：您能介绍一些鲁棒优化的现实应用吗？

Ghaoui 教授：这其实不完全是属于 AI 领域的技术。对我来说它是 AI 技术，不过它不是关于预测、判断图像或者其它什么东西的，它的重点在于控制。那么，鲁棒优化是一种你不需要完全清楚模型的样子就能对它进行控制的方法。比如你想做一笔投资，你就需要知道你所投资的商品在未来的价格是怎么样的。在鲁棒优化中，你不需要确切知道接下来会发生什么，而这恰恰是实际生活中经常出现的情况。在现实中，你从来都不知道未来会发生什么，所以你不应该用机器学习预测未来会发生什么，而且还认为它做出的预测是完美无缺的。这就好像，我在浓雾天里开车，如今的 AI 就好比透过浓雾看到路向一边转弯了，然后我就信任我的 AI 模型做出的预测，闭上眼睛，沿着预测出的弯去开。我们最好能够记得，未来发生的事情可能会有误差，你不是完全明白的，所以你今天做出的决定也必须要加入到考量中，因为你并不能确切知道未来是什么样的。对于 AI 来说，你也不应该完全信任它的预测。

雷锋网 AI 科技评论：您这次来到中国的主要目的是什么？有什么您很感兴趣的东西吗？

Ghaoui 教授：我想说，我对这个积极为未来投资的国家非常着迷。这种特性也不只中国有，全世界都看得到，这是现代社会的一个积极建设力量。对于外国人来说，中国很值得敬仰，我也希望其它国家可以多和中国积极互动，我自己也会积极参与。我自己的目标是通过我的公司、实验室等等一些建设性力量在学界和产业界展开合作、做出成果，希望能够传递到我这一颗建设性的心。

雷锋网 AI 科技评论：在您之间的演讲中，您曾经说过即便是今天，工程和社会科学之间也有一些隔阂，尤其是在学术界。您对于在工程和社会科学之间建立新的互动模式有什么想法吗？

Ghaoui 教授：没错，在有了现代科技和 AI 之后，我们完全有可能用不同的办法测量社会问题。我自己最喜欢的角度是通过文本。很多人都识字、很多人都知道如何阅读文本。那你要如何处理知识、处理大量的文本、从文本里提取知识呢，我觉得这其中就是日常社会和 AI 之间的联系的很好体现。举个例子，我不懂中文，不过我们有翻译技术。但是如果我有很多很多的文章，我也没办法把它们全部翻译了再一个一个看。这件事还是太艰巨了，即便把许多中文文档翻译成了许多英文文档，还是很难做。所以我认为 AI 发展的下一步不仅仅是要翻译，它还需要能压缩、能总结，这样我只需要阅读 10 条新闻就好，而不是阅读一百万条。