对抗机器学习应用前景（谷歌正在占领这届机器学习顶会）

1 新智元报道

第 34 届国际机器学习会议（ICML）将于 8 月 6 日到 11 日在澳大利亚悉尼召开。今年 ICML 共评审了史无前例的 1676 篇论文，其中 434 篇被接收（也创下了历史之最），录取率为 25.89%。所有的论文都会在 Journal of Machine Learning Research（JMLR）发表，届时又有一大波阅读可供享用。

ICML 2017 设置了 4 场主旨演讲，邀请了 4 位顶级科学家，分别是：牛津大学和 Genomics Plc 的 Peter Donnelly，哈佛大学的 Latanya Sweeney，DeepMind 的 Raia Hadsell，以及马克思·普朗克智能系统研究所的 Bernhard Schölkopf。我们将在稍后部分详细介绍他们的主旨演讲。

会议开设了 9 场研习会（tutorial），涵盖机器学习领域的核心课题，包括深度学习、强化学习、分布式学习、可解释学习、顺序学习、交互式学习、鲁棒算法、随机优化，非凸优化，以及医疗保健、自动驾驶等应用领域。

此外，会议还有 22 场研讨会（workshop），分两天举行。其中，至少有 10 场都至少有一名谷歌、谷歌大脑或 DeepMind 研究人员参与组织。

接收论文：6.3% 的论文有一名作者来自谷歌或 DeepMind

根据新智元粗略统计，在 ICML 2017 接收的 434 篇论文中，有大约 25% 的论文第一作者是华人。

1. 子领域

今年 ICML 子领域的热度，我们不妨来看 session 的主题。本届会议共有 10 个 session（不包括 Workshop、Poster 等 session），每个 session 会有 5 篇左右论文 talk。因此，session 的主题从一定程度上可以看出这次接收论文的子领域分布。

其中，深度学习出现了 9 次（几乎每个 session 都有深度学习），其次是连续优化（7次）、强化学习（6次）和 RNN（4次）、在线学习（4次）。

2. 机构

今年早些时候，特斯拉 AI 和视觉负责人，此前在 OpenAI 担任研究员的 Andrew Karpathy 对 ICML 2017 接收的论文做了个统计[1]。在全部 1600 多篇论文中，出现了 961 所机构，其中 420 家出现了一次。Karpathy 将“Google”、“Google Inc.”和“Google Brain Research”归在一起，“Stanford”和“Stanford University”也都归在一起，得出排名前 30 的机构是：

44 Google

33 Microsoft

32 CMU

25 DeepMind

23 MIT

22 Berkeley

22 Stanford

16 Cambridge

16 Princeton

15 None

14 Georgia Tech

13 Oxford

11 UT Austin

10 Duke

10 Facebook

9 ETH Zurich

9 EPFL

8 Columbia

8 Harvard

8 Michigan

7 UCSD

7 IBM

7 New York

7 Peking

6 Cornell

6 Washington

6 Minnesota

5 Virginia

5 Weizmann Institute of Science

5 Microsoft / Princeton / IAS

其中，排名 15 的“None”指代什么，Karpathy 本人也不太清楚。此外，Microsoft、Princeton 多次出现，还有“New York”出现了 7 次。不过，上面这个统计还是很能说明问题。

Karpathy 将产业研究院的实验室（DeepMind、谷歌、微软、Facebook、IBM、迪士尼、亚马逊和 Adobe）从全部当中提出来，计算后发现：

ICML 2017 接收的论文中，大约有 20~25% 的论文有产业参与，6.3% 的有一名来自谷歌或 DeepMind 的作者。

虽然 Karpathy 在他统计后指出，仍然有大约 75% 的论文出自学界，但这实际上印证了一个趋势，那就是在深度学习/机器学习和人工智能国际顶级学术会议所接受/发表的论文中，产业的参与越来越多。

ICML 2017 主席团队：谷歌占比超过 10%，华人不到 10 人

ICML 2017 主席团队力量强大，人数将近 130 人，均来自世界顶级高校和研究机构，并且产业界气息浓厚。大会主席 Tony Jebara 就是哥伦比亚大学 & Netflix 产学结合，两位程序主席 Doina Precup 和 Yee Whye Teh 分别来自麦吉尔大学和牛津大学。

据新智元统计，在近 110 位领域主席（不包括 Tutorial、Workshop、Publicity 等主席）中，

• 谷歌有 11人，其中谷歌大脑 4 人（Ian Goodfellow 在 PC 手册上写的是 OpenAI，新智元在统计时将他归为谷歌大脑）

• DeepMind 7人

• 微软研究院 7人

• Facebook 4人，包括 FAIR 3 人

• OpenAI 2人

• 腾讯 AI Lab 1人

• NEC 实验室 1人

这些领域主席中有 Rich Sutton、Jürgen Schmidhuber 这样的老一辈，也有 Ruslan Salakhutdinov（苹果 AI 负责人、CMU 教授）、Nando de Freitas（牛津大学 & DeepMind）这样的中坚，还有 Oriol Vinyals（DeepMind）、Ian Goodfellow（谷歌大脑）这样的新一代。

看看主席团队里的华人学者已经成为新智元学术会议报道的惯例。这一次，我们发现了清华大学的朱军、微软研究院首席研究员李力鸿、腾讯 AI Lab 主任张潼的身影。

但纵观整个主席团队（130 多人），华人不超过 10 人。

4 场主旨演讲：AI 政策、机器学习和大数据、现实中的强化学习、因果学习

ICML 2017 共安排了 4 场主旨演讲，下面我们一起来看看。

Latanya Sweeney，哈佛大学

Monday August 7th 9:00 AM

Darling Harbour Theater

题目：AI 设计者如何规定未来公民生活?

技术设计者是新的决策者。又有人选举他们，大多数人不知道他们的名字，但是他们在创造新的小工具和新发明时所做的决策决定了我们日常生活的准则和管理国家的规则。隐私和个人数据的安全性是这个变革的第一波浪潮的一部分。Latanya Sweeney 认为，随着技术的进步，每个人口统计价值和每一项法律都可能根据技术上能实现或不能实现来重新定义。它们是将全部融合还是全部分开？Sweeney 曾是美国联邦贸易委员会的首席技术官，一直致力于帮助发现技术不可预见的后果，并思考如何设计未来的方向。

演讲人简介：

作为哈佛大学政府和技术教授，我的工作是创造和运用技术来评估和解决社会问题，政治问题和管理问题，并为其他人提供建议。我的重点研究领域是技术对人类的影响，并且是 Technology Science 的主编。我的另一个重点领域是数据隐私，我是哈佛大学数据隐私实验室主任。还有其他关注领域。我以前是美国联邦贸易委员会（FTC）的首席技术官，也被称为首席技术专家。这是一个梦幻般的体验！我感谢Ramirez主席任命我这一职位。我的目标之一是让其他人更容易在技术、政策和业务交叉点上开展创新的解决方案。通常，我会想起我过去的学生，他们主要来自计算机科学或管理学背景，而且他们有很大的动力来改变世界。我很期待社会利用他们的能力，思考创新的解决方案来解决紧迫的问题。在我担任 FTC 首席技术官期间，我推出了夏季研究员项目（summer research fellows program），并在 Tech @ FTC上发表博客文章，以探索和激发与 FTC 相关的话题的头脑风暴。

Peter Donnelly

Wellcome Trust Centre 主任、牛津大学教授、Genomics plc CEO

Tuesday August 8th 5:15 PM

Darling Harbour Theater

题目：基因组学、大数据和机器学习：了解人类图谱并推动医疗革命

我们的每个细胞都携带我们的基因组的两个拷贝，DNA 的 30 亿个字母作为其使用手册。在过去 10~15 年间，测序（阅读）人类基因组的成本已经下降了超过6个数量级。在全球范围内，大约有10万个整个基因组已经被测序，明确的短期路径达数百万个。未来 10-15 年，将有十亿人类基因组被测序，其中许多序列与个人的大量信息将与他们的病历和可穿戴设备相关联。可得到大量个人的健康结果和其他特征信息相关的遗传信息的提供很大的机会。将基因组信息与个人生物和健康测量相结合将提高我们评估个人健康风险，预测结果和个性化治疗的能力。遗传学也提供了在其他高度相关特征之间解开因果关系的可能性。对人类生物学的深刻理解将对药物发现和医疗保健发展产生重大影响。由于我们拥有共同的进化历史，来自不同个体的 DNA 序列数据具有复杂的相关性结构。为这些相关性进行建模的推理方法迄今是非常成功的，但可用数据的规模的爆炸性增长将需要新的方法。本演讲将通过具体的例子说明将 ML 和其他推理工具应用于基因组数据的机会和挑战。不要求听众具备遗传学知识。

演讲人简介：

Donnelly 是威康信托人类遗传学中心主任，牛津大学统计科学教授。他在澳大利亚长大，毕业于昆士兰大学，作为罗德学者在牛津大学攻读博士学位。在1996年回到牛津之前，他在伦敦大学和芝加哥大学担任教授。Donnelly 早期的研究工作涉及人口遗传学随机模型的发展，以及遗传学和基因组数据的统计方法。他的团队与牛津，IMPUTE的同事合作开发了几种广泛使用的统计算法，包括 STRUCTURE 和 PHASE。Donnelly 目前的研究重点是了解人类疾病的遗传基础，人类病史以及减数分裂和重组所涉及的机制。Donnelly在HapMap项目中发挥了重要作用，最近他主持了威康信托案例控制联盟（WTCCC）和接下来的WTCCC2，这是一项大型国际合作，研究了超过 20 种常见人类疾病的遗传基础，涉及 6 万人。他还领导了 WGS500，这是牛津大学与 Illumina 合作的一个项目，对500名具有一系列临床条件的个体进行测序，以评估临床医学中全基因组测序的短期潜力，这是 NHS 100,000基因组计划的前身。Donnelly 是皇家学会和英国医学科学院的研究员，并且是精算研究所的荣誉研究员。他的研究已获得无数奖章和荣誉。

Raia Hadsell，DeepMind

Wednesday August 9th 9:00 AM

Darling Harbour Theater

题目：现实世界的强化学习

深度强化学习已经迅速成为具有很大潜力的人工智能研究领域。大量的ATARI游戏已经被用作许多基础开发的主要基准。随着这一领域趋于成熟，开发更复杂的学习系统，以解决更复杂的任务变得更重要。我的演讲将介绍DeepMind最近的一些研究，这些研究涉及在具有现实世界的多变性和复杂任务结构的挑战性环境中进行端到端学习。

演讲人简介：

Raia Hadsell 是 DeepMind 高级研究科学家，她在深度学习和机器人问题上的研究经验已经有10多年。Raia Hadsell 早期的研究开发了使用 Siamese network 进行多学科学习的概念，广泛应用于不变特征学习。在 Yann LeCun 门下完成活动机器人自监督的深度学习视觉系统博士学位后，Hadsell 继续在卡内基梅隆大学机器人研究所和斯里兰卡国际研究所（SRI International）进行研究，并于2014年初加入 DeepMind 研究通用人工智能。Hadsell 目前的研究侧重于 AI 智能体和机器人系统持续学习的挑战。虽然深度 RL 算法能够在单个任务中实现超越人类水平的表现，但是它们不能将在某一任务的能力转移到其他任务。Hadsell 提出了政策提取（policy distillation），渐进网络（progressive nets）和弹性权重固化（elastic weight consolidation）等神经网络方法来解决灾难性遗忘问题，提高迁移学习能力。

Bernhard Schölkopf ，耶鲁大学

Wednesday August 9th 5:15 PM

Darling Harbour Theater

题目：因果学习

在机器学习中，我们使用数据来自动寻找依赖关系，目的是预测未来的观察。大多数机器学习方法建立在统计学的基础上，但也可以尝试超越统计学方法，分析统计学依赖关系的因果结构。这样的因果知识可以帮助机器学习中的预测任务吗？我们认为答案是肯定的，因为因果模型相对现实世界数据集中发生的变化更加稳定。本演讲将讨论因果模型对机器学习任务的影响，包括领域适应，迁移学习和半监督学习。

我们还展示了一个消除系统误差的应用，例如在外行星探测等天文学问题上。

演讲人简介：

Bernhard Schölkopf 的研究兴趣在机器学习和因果推理。他将他的方法应用于许多不同的应用领域，从生物医学问题，计算摄影学到天文学。Bernhard曾在AT＆T贝尔实验室，柏林的GMD FIRST，以及英国微软剑桥研究院做研究，2001年成为马克斯·普朗克（Max Planck）研究所主任。他是德国科学院（Leopoldina）成员，并获得J.K. 国际模式识别协会的Aggarwal奖，马克斯普朗克研究奖（与S. Thrun共同获得），柏林勃兰登堡科学院人文学院学院奖，以及皇家学会米尔纳奖。

会议赞助：英伟达独家“钻石赞助”，京东跻身“金牌”行列

我们都知道会议赞助是值得玩味的部分，今年的 ICML 的大会赞助商尤其值得一提。在铂金、金、银、铜这 4 档之上，ICML 首次出现了“钻石赞助商”——英伟达。

而且仅有英伟达这一家。去年赞助的芯片公司 ARM、D Wave、赛灵思，都没有出现。

机器学习和深度学习的发展，让英伟达从一家市值 100 亿美元的公司成长为 1000 亿美元的巨头。尤其是深度学习，几乎都会提到 GPU。但是，其他巨头不会沉默，谷歌研发了自己的芯片 TPU，而收购了 Nervana 的英特尔——也是金牌赞助商——预计今年下半年推出深度学习芯片 Lake Crest。AI 芯片市场在未来几年的竞争只会更加激烈。

铂金赞助商，Facebook、谷歌领头，京东随后，DeepMind、亚马逊都有。去年闪耀在铂金这一级的中国公司是百度——Baidu Research 是 ICML 2016 的两家铂金赞助商之一，今年是金牌赞助。

蚂蚁金服、腾讯 AI Lab 也是金牌赞助。

国外 “AI 巨头联盟”中的 IBM 没有出现。

钻石赞助商：

铂金赞助商：

金牌赞助商：

银牌赞助商：

铜牌赞助商：

参考资料

[1]https://medium.com/@karpathy/icml-accepted-papers-institution-stats-bad8d2943f5d

,