ai芯片具体应用 告诉你谷歌AI芯片背后的小秘密

Google在Google Cloud NEXT 2018活动中宣布推出新AI芯片Edge TPU，这个芯片功能是什么？和过往的第一代到第三代TPU芯片（又称为Cloud TPU）哪里不同呢？

主攻工业物联网，10月销售开发版套件

根据Google官方资料，Edge TPU是一种低功耗低成本的ASIC芯片，而且体积非常小，小于1美分铜板。ASIC专用芯片和GPU通用芯片比较之下，芯片功耗较低，延迟性也较低，运算效率较高，如Edge TPU在高分辨率影音上可以以每秒30帧的速度，在每帧上同时执行多个AI模型。

另外，Google也将推出Edge TPU开发版套件（module development kit）。其中含有恩智浦CPU、Edge TPU、Wi-Fi功能和加密芯片的开发版在今年10月就会对外贩售。

Google也提到Edge TPU将主攻预测性维护、异常检测、机器视觉、机器人、语音识别等工业物联网应用场景，除了在工业制造领域，在医疗、零售、智能空间与交通等领域也是用。而LG已经计划在产品线上使用Edge TPU。

而支援Edge TPU的框架和软体服务则全都绑定在Google自家的架构之中，打造「封闭的生态系」意图明显。希望开发者或企业也会采用Edge TPU后，也会被绑定在Google Cloud服务中。因此在使用上必须搭配Google的 Cloud IoT Edge 软体，并且针对 TensorFLow 机器学习模型优化。

EdgeTPU新芯片和Google过往推出的TPU芯片不同。Google过往推出的第一代到第三代TPU芯片用途在资料中心，也就是云端运算的机器学习训练和推论使用，因此被称为Cloud TPU，而刚推出的新芯片则用在终端装置，也就是边缘运算的推论，也因此Gogole以Edge TPU称之。

边缘运算的推论又是什么意思呢？

什么是边缘运算与推论？根据台湾产业分析公司拓墣的描述：边缘运算可说是物联网时代下的产物，「边缘运算在传统云端与装置端的连接中间，多了一层运算层──Edge 端，Edge 其实指的是靠近数据源的运算单位，包括闸道器、路由器，以及硬体底层相关的各种机器、装置、设备与系统。」

「有了 Edge 端直接针对多装置、庞大讯息先做撷取、过滤与处理，对装置端做出回馈与反应，不用让所有资料都上到云端，以期在资料量逐渐庞大、重视资讯即时处理传输的现代，更能有效率处理资讯，减少事事上云端所带来的时间递延与资料传输/储存成本。」

而推论呢？NVIDIA的官网文章中指出，「深度神经网路进行『训练』阶段，就犹如校园里的授课活动。就跟大多数人接受教育的理由一样，神经网路接受教育的理由也是学习怎么执行工作。更明确一点来说，经过训练的神经网路会在数位环境里发挥所学习到的内容，通过应用程式这种简单的形态来辨识影像、人类语言、血液疾病，或建议人们下一双可能会买的鞋子等等。这个速度更快、效率更高的神经网路会按照训练过的内容，猜想新资料的走向。在人工智慧圈的词汇里，这称为「inference」（推论）。」也因此神经网路模型未经过训练便不会进行推论。

理解边缘运算与推论之后，我们回过头来看Edge TPU。以应用场景来看，Google Cloud首席合作伙伴暨代理商爱卡拉互动媒体共同创办人暨营运长郑铠尹指出：

Edge TPU可以让整个硬体产业，将云端的强大运算能力「下载」到本地端的机器上面， 使本地端的机器具备一定的智能。

如一般居家设备或电子设备，能做一定程度的『预测功能』。举例来说，家中的智慧「门」遇到来客时，并不需要透过网路把人脸丢回「云端」辨识，而是「门」自己直接就可做完这个辨识。

终端设备无须将资料回传云端，就能直接做出预测可以带来资料安全性更高、延迟速度较小与不受频宽限制等许多好处，可以提供更好的使用者体验。以上述的智慧门人脸辨识为例，就可以更快速地提供来客身份确认。

Edge TPU会取代 Cloud TPU？

那EdgeTPU优点这么多会取代Cloud TPU吗？也不会。在AI应用场景中，边缘运算短期内不会取代云端运算，因为许多高阶应用机器学习模型，由于消耗的运算量大，还是需要透过「云端」训练机器学习模型，边缘运算由于硬体成本与环境限制，还是有其运算局限，也因此若延伸到两种芯片的关系上，两者是相辅相成，功能不重叠，是互补关系。

Google在官方部落格中强调：「Edge TPU是设计来让Google的 Cloud TPU 产品更完整。」如此一来，可以更快地在云端中训练机器学习，然后在Edge飞速进行机器学习推演。这让你的感测器不再只是数据收集器，而是可以做出更在地、即时、智慧的决策。

针对Edge TPU的新设备是：AIY Edge TPU Dev 开发板和 AIY Edge TPU 加速器，二者皆采用 Google 的 Edge TPU 芯片。

不过Edge TPU本质上是ASIC芯片，由于是专用定制芯片，在AI演算法不断推陈出新，还没有到成熟稳定时期，Edge TPU很难克服不同演算法之间的差异性。