transformer需要的背景知识（Transformer作者创业后首个成果亮相）

明敏 发自 凹非寺

量子位 | 公众号 QbitAI

集结了Transformer作者、前OpenAI工程副总裁的创业团队，不到半年就亮出首个大模型——

Action Transformer（ACT-1）。

简单来说，这是一个会使用浏览器、Excel等软件工具的AI。

基于Transformer的自然语言处理能力，它能理解人类给出的命令，并完成相应操作。

比如，想要在Excel表格中加上利润、利润率，只需把这段话输入给AI，它就能自己在对应行列创建公式完成任务了。

想要在网上找房子，也不用自己搜索再设置各种筛选条件了。

只需要告诉AI：帮我在休斯顿找一套四口之家住的房子，预算在60万。

然后AI就能一气呵成找到目标范围内的房源了。

整个过程非常丝滑连贯，看上去比自己手动操作要快上很多。

最大的好处就是不用自己来操作了，“吆喝”一声即可，属实是懒癌福音。

团队表示，他们认为人类在电脑上的各种操作，通用人工智能也能搞定，ACT-1正是他们朝这个方向迈出的第一步。

让AI来帮助人机交互

从官方目前公布的功能来看，这个AI像是Siri、微软小娜的究极加强版。

它的优势在于帮人们省去了很多繁杂的操作，比如在网页上填信息表格，鼠标不操作个十几次很难搞定。

但是如果用AI，只需输入一句话。

而且AI的操作并不局限在一个网页。

让它找个一千块以下的冰箱并联系卖家，AI先从购物平台上检索，然后自己打开邮箱写邮件。

遇到自己不懂的事情，还知道上维基百科搜索一番。

即便是操作失误了，也能根据人类给出的教程指导快速学习。

这不，一开始弄成乱码的Excel表格，在学习了正确的公式后，AI很快给出了正确的操作。

总之就是把日常我们用电脑时的一些繁琐小事，交给AI来办。

正如公司创始人兼CEO David Luan所说，他们希望由AI来完成一些琐碎的基础电脑操作，让人类更专注于自己的工作。

研发团队表示，他们是通过将ACT-1连接在一个Chrome扩展程序上，让它来观察浏览器的一些操作，比如点击、输入、滚动等。

目前来看ACT-1还有很多进步空间。团队希望它最终的操作速度可以达到人类察觉不到的水平。

值得一提的是，想让AI来充当人类电脑操作助手的，并非Adept一家。

今年2月，Deepmind发表了一篇论文，表示他们利用数据驱动的方法，让AI学习到人类操作电脑的方式，从而让它们完成订机票等任务。

DeepMind表示，他们训练的AI可以完成100多项任务，并且都达到了人类水平。

此外，由DeepMind联合创始人穆斯塔法等人创立的Inflection AI，也是想以AI的方式，重新定义人机交互。

超豪华主创团队

ACT-1的打造者是Adept，今年4月官宣成立。

天使轮便拿下6500万美元融资，投资人包括Uber CEO、特斯拉自动驾驶负责人、Airtable创始人等。

创始团队阵容非常豪华。

首席科学家是Ashish Vaswani。他是《Attention is all you need》的第一作者，平常看论文时经常出现的“(Vaswani et al., 2017)”就是这位大佬。

他博士毕业于南加州大学，在谷歌大脑工作已有5年。

Transformer的另一位作者Niki Parmar也加入了该团队。

她在印度上完大学后，同样在南加州大学读完硕士，在谷歌工作了近7年。

创始人兼CEO David Luan，是前OpenAI加州实验室工程副总裁，参与过GPT-2、GPT-3、CLIP、DALL-E等模型的开发，后来加入谷歌，曾任谷歌大脑大模型研究的Director。

除了以上几位，团队人员还包括：

• Kelsey Schroeder，斯坦福大学计算数学（computational mathematics ）专业硕士，前谷歌大模型生产infra的产品负责人；
• Anmol Gulati，在谷歌主要做语音识别模型；
• Augustus Odena，在谷歌领导大型语言模型相关的工作，也有不少图像合成方面的研究；
• Erich Elsen，机器学习和高性能计算交叉领域的研究人员，前Deepmind员工，主要研究大模型，在更早之前，还分别在谷歌和百度（硅谷AI Lab）干了两年；
• Fred Bertsch，谷歌数据和协作人工智能系统方面的专家。

最后一位，Maxwell Nye，是刚从MIT毕业的一位博士生，研究重点为自动代码生成。

总的来说，可谓大佬云集，且各有专攻。

目前，Adept的最新成果ACT-1还没有对外开放使用，但可以在官网排队了~

以及团队正在招聘人才，感兴趣的小伙伴可以关注一下子。

参考链接：[1]https://twitter.com/AdeptAILabs/status/1570144499187453952[2]https://techcrunch.com/2022/04/26/2304039/

— 完 —

量子位 QbitAI · 头条号签约

关注我们，第一时间获知前沿科技动态

,