ai或将消灭人类（能防止AI毁灭人类吗）

2017年，一名男子在与机器人下棋。

瑞典哲学家博斯特罗姆指出，人类眼中的一些疯狂行为，对人工智能而言却是合理的。

2013年，伦敦未来学家贾安·塔林在一次人工智能会议上。

随着人工智能的高速发展，一些技术专家忧心忡忡，他们称超级智能机器容易给人类带来伤害，这不仅仅发生在科幻小说里。那么，人们如何才能确保人工智能对其制造者友好呢？

当塔林遇上尤德考斯基

2007年，贾安·塔林在网上看到了一篇名为《盯着奇点》的在线文章，该文章预言，随着超级智能的出现，人类将不复存在，超级智能在广泛领域超越了人类的智力。

塔林出生于爱沙尼亚，是一名计算机程序员，有物理学背景。2003年，他与伙伴共创了skype，为该应用程序做后台开发。两年后，易趣收购了他的skype股票。

塔林很快发现，《盯着奇点》作者埃利泽·尤德考斯基(Eliezer Yudkowsky)是一位自学成才的理论家，他写了1000多篇文章和博客，其中许多都是关于超级智能的。

塔林于是把尤德考斯基的作品从互联网上搜集下载，按时间顺序排列。然后，他花了一年的大部分时间来阅读它们。

读了尤德考斯基的文章，塔林相信，超级智能可能会导致人工智能的大爆发，从而威胁人类的生存———超级人工智能将取代人们在进化阶梯上的地位，并以人类现在控制类人猿的方式支配人类。或者更糟———消灭人类。

读完最后一篇文章之后，塔林向尤德考斯基发送了一封电子邮件：“我是贾安，Skype的创始工程师之一……我同意，为人工智能超越人类智慧提前做准备，是人类的当务之急。”他想帮忙。

一周后，塔林飞往美国加利福尼亚州旧金山湾参加会议，在加州密尔布瑞市的一家咖啡馆里，他遇到了住在附近的尤德考斯基。他们的聚会持续了四个小时。尤德考斯基事后如此评价塔林：“实际上，他真的理解了人工智能的基本概念和细节……这是非常罕见的。”

捐资助力人工智能研究

后来，塔林给奇点人工智能研究所开了一张5000美元的支票，奇点人工智能研究所是一个非营利组织，尤德考斯基是该研究所的研究员。2013年，该组织更名为机器智能研究所(简称M iri)。在那以后，塔林共捐给该研究所60多万美元。

与尤德考斯基的会面，使塔林有了明确的目标，也促使他去完成一项使命：把人类从自己的创造物中拯救出来。

他开始了旅行生活，在世界各地发表了关于超级智能构成威胁的演讲。不过，他在更多的时候，是开始资助一些研究，这些研究旨在给人类寻找一条出路：即“友好的人工智能”。

这并不意味着创造一款擅长谈论天气的机器人，也不意味着机器人能记住你孩子的名字，尽管超级聪明的人工智能也许能做到这两件事。但也不意味着机器人的动机是利他主义或者有大爱的。

一个常见的谬误是假设人工智能有人类的欲望和价值观。而“友好”意味着更基本的东西：将来的机器人不会在他们追求实现目标的过程中消灭我们。

多关注人工智能的未来

去年春天，塔林抵达英国剑桥参加人工智能会议，希望学术界更加重视人工智能的安全。

这一天，记者和塔林一起在剑桥大学耶稣学院的餐厅吃饭。塔林坐在一张厚重的桃花心木桌旁，穿着硅谷风格的休闲服装：黑色牛仔裤、T恤和帆布运动鞋。

在耶稣学院餐厅，塔林的用餐伙伴是一群会议人士，其中包括一位学习机器人的妇女和一位20世纪60年代毕业于剑桥的英国男士。男士试图把谈话转向人工智能的新闻，塔林茫然地看着他说：“我对短期风险不感兴趣。”

在某种程度上，47岁的塔林像教科书上的一位科技企业家。他认为，由于科学进步(如果人工智能不毁灭我们)，他将活到“很多很多年”，他的寿命甚至可能会超过年轻的研究生。

但塔林对超级智能的担忧在他的团队中已尽人皆知。而且，担忧者不仅仅是他———贝宝(Paypal)联合创始人彼得·蒂尔(Peter T hiel)的基金会已向机器智能研究所(M iri)捐赠160万美元，2015年，特斯拉创始人埃隆·马斯克也向马萨诸塞州剑桥技术安全机构的未来生命研究所捐资1000万美元。

不可忽视人工智能的另一面

塔林进入人工智能研究世界，始于20世纪80年代。当时他有一位同学，其父亲在政府工作，这位父亲让几个聪明的孩子接触到了大型电脑。

爱沙尼亚独立后，塔林创立了一家电子游戏公司。时至今日，塔林和妻子、六个孩子中最小的一个仍然住在首都塔林。

2012年，他与志同道合者共同创立了剑桥生存风险研究中心(CSER)，最初的支出接近20万美元。

目前，塔林致力于捐资研究人工智能，该研究项目正有条不紊地进行着。他把捐款分别拨给11个研究机构，每个研究机构都在研究不同的安全对策，以应对人工智能。他希望能坚持做下去。

塔林将人工智能对人类的威胁称之为生存风险或X风险。研究生存风险的，有剑桥生存风险研究中心(CSER)的研究人员，除了钻研人工智能引发的生存风险，CSER的20多名研究人员还研究了气候变化、核战争和生物武器。

塔林认为，气候变化、核战争和生物武器等风险比较容易被人们认识，而人工智能带来的风险却未能引发人们足够的重视。他希望人们多多了解超级智能机器接管世界的恐怖，希望说服人们更多地关注人工智能的威胁。

规避人工智能的风险

塔林指出，每一个人工智能都是由目标驱动的，先进的人工智能不一定需要被赋予控制世界的目标，才去控制世界———有可能是偶然因素引发的，计算机编程的历史上充斥着种种容易引发灾难的小错误。例如，2010年，当共同基金公司Waddell&R eed的一名交易员抛售数千份期货合约时，该公司的软件在执行交易算法时遗漏了一个关键变量。结果导致一万亿美元的“闪电崩盘”。

塔林基金的研究人员认为，如果超级人工智能的激励机制未得到恰当的编程，即使是善意的目标也可能导致恶意的结局。正如牛津大学的瑞典哲学家尼克·博斯特罗姆(Nick Bostrom)在他的著作《超智能》所举的著名例子一样。

在《超智能》中，博斯特罗姆教授举例说，如果我们为人工智能设定一种程序，让它制造回形针。一旦它们的智能达到了与人类相当的水平，它们就会把所有注意力都放在制造回形针上，最终可能会把所有已知物质都用来制造回形针，包括人。

博斯特罗姆教授表示，上述情况对我们来说完全疯狂的行为，在人工智能眼中是极其合理的，因为它们的唯一目标就是制造回形针。

千方百计寻找安全对策

塔林基金正在寻求各种各样的办法避免危险出现。他希望能够效仿20世纪40年代反核武器运动。当年，原子弹在广岛和长崎爆炸之后，科学家们联合起来呼吁限制进一步的核试验。

牛津大学研究员斯图尔特·阿姆斯特朗是世界上少数专注于人工智能安全的研究人员之一。当记者在牛津大学见到他时，他正在喝咖啡，穿着一件解开纽扣的橄榄球衫。他的一生几乎都在屏幕前度过，苍白的脸被一堆乱糟糟的头发包围着。记者问他，在人工智能安全方面取得成功是什么样子？他说：“你看过乐高电影吗？一切都很棒。”

阿姆斯特朗说：“人们推荐了很多可能解决整个A I控制问题的技巧，但是这些方法要么太过简单，好比试图给复杂的人类喜恶确定一个简单肤浅的定义，要么过于生硬，把复杂的人类价值观压缩成一个简单的字词或想法。”

“我并不是说这些简单的技巧没有用。的确有很多技巧给我们的研究指明了道路，对解决这个终极难题有帮助。但是这些只是想法，具体的操作还需要我们做更多的开发研究工作。”阿姆斯特朗说。

南方都市报 滢