芯片加速(全球最大网站加入)
芯片江湖可谓风起云涌,如今就连全球最大的视频网站都卷入进来了!
自从人工智能(AI)的概念再度火热起来后,作为智能时代的绝对基础设施,芯片成了各大科技公司势必要夺下的技术高地。
在国内,除了BAT三家都直接或间接的提出了“造芯”计划外,针对汽车、物联网等未来市场而兴起的芯片创业公司更是不胜枚举。
而在全球范围内,诸如谷歌的TPU、苹果的M1以及亚马逊AWS的Graviton芯片更是已经酝酿多年。现在这股“芯片风”又刮到了视频领域。
“油管”到底有多大?4月21日,全球知名的视频网站YouTube(俗称“油管”)在其官方博客分享了一篇文章,强调“重塑视频基础设施”(Reimagining video infrastructure),以此揭开了其建立自己服务器芯片的冰山一角。
在博文中,YouTube解释到,之所以要“自研”芯片,主要是为了解决YouTube上巨大的转码工作。
对于YouTube稍稍了解的朋友应该知道,其是全球最大的视频网站。自从2005年4月23日第一段视频上传到YouTube之后,截至2021年初,YouTube的月活跃用户已经高达23亿,79%的互联网用户拥有自己的YouTube账户。
YouTube在100多个国家进行了本地化,有80种语言版本。在YouTube上,观众每天要观看超过10亿小时的视频,并产生数十亿的浏览量。
同时,全球每分钟有500小时的视频上传到YouTube,即每天720,000小时。从这个角度来看,你需要花接近82年的时间才能看完这一天的YouTube上传量。
而更令人意想不到的是,YouTube还是全球第二大热门社交网络,唯一比YouTube拥有更多活跃用户的平台是Facebook。同时,YouTube还是仅次于谷歌的第二大最受欢迎的搜索引擎。
不仅是个人用户,62%的企业也会将YouTube作为发布视频内容的渠道, 90%的人说他们发现新的品牌或产品是在YouTube上。
也许是早早便意识到YouTube的潜力,谷歌在2006年以16.5亿美元收购了YouTube,现在YouTube作为谷歌的子公司之一运作。
YouTube的“造芯运动”此番YouTube的芯片是谷歌开发的一种名为Argos的定制芯片,该芯片旨在提供最好的视频质量。
谷歌在本周三的ASPLOS会议上首次详细介绍了其Argos芯片,让人们罕见地看到了其数据中心的内部运作情况。
负责监督YouTube基础设施的谷歌工程副总裁斯科特·西尔弗(Scott Silver))说,从2015年开始,一个由大约100名谷歌工程师组成的团队设计了第一代Argos芯片。
最近几个月,谷歌开始逐步采用第二代Argos芯片,将视频压缩也向前推进了一步。YouTube基础设施团队利用Argos芯片创建了“视频(转)编码单元”(Video (trans)Coding Unit,VCU) 。
VCU
YouTube的首席软件工程师Jeff Calow说,“与我们之前运行在传统服务器上的优化系统相比,它使计算效率提高了20-33倍。”
举个例子,当它处理高分辨率的4K视频时,可以在几个小时内就完成,而不是以前的几天。
从产品形态上来说,VCU包是一个全长的PCI-E卡,看起来很像一个显卡。一块板子上有两个Argos ASIC芯片,埋在一个巨大的、被动冷却的铝制散热器下面。甚至在末端还有一个看起来像8针的电源连接器,因为PCI-E的功率实在是不够。
谷歌提供了一个芯片图,列出了每个芯片上的10个“编码器核心”,谷歌的白皮书补充说,“所有其他元件都使用现成的IP。” 谷歌说,“每个编码器核心都可以对2160p进行实时编码,使用三个参考帧,最高可达60FPS(每秒帧数)。”
Argos芯片的内核设计图
为了不必打开每台服务器并为其装载新卡,YouTube 系统中的每个计算机集群都将安装一部分装载了新卡的专用的“VCU 机器”。
谷歌表示,这些卡类似于GPU,因为它们适合于其现有的加速器。
考虑到芯片研发的因素,谷歌说VCU的这个计划将为公司节省大量资金,即使低于基准显示的TCO(总拥有成本),也比在英特尔Skylake芯片和Nvidia T4 Tensor核心GPU上运行其算法省钱。
深不可测的大型转码问题
由于YouTube是世界上最大的视频网站,自2006年谷歌收购该公司那时起,谷歌一直在积极努力降低网站的成本,为了实现这一目标,谷歌需要经常重新改造互联网基础设施。
以当下的眼光看,YouTube需要为终端用户解决的主要基础设施问题是提供适合你的设备和带宽的视频,同时保持视频质量。
这意味着使用你的设备所支持的编解码器,并选择一个与你的显示器相匹配的分辨率。对于谷歌来说,这意味着将一个视频转码成许多其他视频。
举个例子,当你点击一部8K视频时,实际上你会看到一次上传创建了9个总分辨率:144p、240p、360p、480p、720p、1080p、1440p、2160p和4320p。
这些都是不同的视频文件,每一个都需要从原始的8K上传文件中创建。
谷歌就需要为这9种分辨率提供多种编解码器,这决定了视频在互联网上的压缩方式。该公司自然是希望以最先进、最有效的编解码器提供视频,以节省带宽,这是YouTube成本的一个重要部分。
不过,解码视频编解码器会消耗处理能力,在较便宜的移动设备上,如果没有对每个新编解码器的专用硬件加速支持,解码就无法顺利有效地进行。这意味着谷歌只能在新设备上使用最好的编解码器,而它需要为旧设备保留旧编解码器的视频副本。
今天,现代设备通常采用高效的VP9编解码器,而更具兼容性的H.264则被保留给那些不在尖端的设备。与H.264相比,在相同的视频图像质量下,VP9需要的数据量减少了约30%。
左:H.264,右:VP9
没有人真正了解YouTube视频编解码器的选择深度,根据ASPLOS(编程语言和操作系统的体系结构支持会议)的论文,该网站通常支持近10年前的设备,包括“低分辨率的翻盖手机”。
考虑到编解码器不断升级,谷歌的YouTube计算挑战变得更加深不可测。而且,由于带宽是运行网站的巨大成本,尽快推动和升级到这些新编解码器对谷歌有利。
升级到一个新的编解码器意味着将每个视频(或至少大部分视频)转码到热门的新编解码器,而且,每隔几年就需要对每个新编解码器进行转码。
因为YouTube上的视频总数太大,是一个不可知的数字。这还不算YouTube直播(想象一下,所有这些转码都是在100毫秒的延迟内现场进行的),以及来自Drive和Google Photos的额外工作负荷。如此一来,谷歌一下子就要面对地球上最大的转码工作。
编解码器对YouTube至关重要,以至于谷歌实际上在开发编解码器方面占据了领先地位。2009年,谷歌收购了编解码器开发商On2 Technologies(该公司提供了Flash视频中使用的VP6编解码器,当时为YouTube提供支持),从那时起,这家搜索巨头一直是主要的编解码器开发商。
在推出和升级到VP8和VP9之后,谷歌正在转向其下一个编解码器,称为“AV1”。这是由谷歌、Mozilla、思科、微软、亚马逊和Netflix等组成的开放视频联盟创建。
AV1可以让视频的质量提高了30%,减少了网络使用,或者让YouTube发送4K流,而此前网络只支持1080p。
Calow说:“AV1不是一个一次性的项目,我们在下一代芯片中所做的关键事情之一是加入AV1,这是一个新的高级编码标准,比VP9的压缩效率更高,编码的计算负荷也更大。”
目前,AV1只在YouTube和其他几个视频网站上实验性地使用,如Chrome、Firefox、Brave、Edge和三星互联网,Netflix和Facebook等在线视频巨头现在也提供AV1视频。
但大规模使用仍受到客户端支持的阻碍,让AV1流行起来需要几年时间,希望有一天能看到其得到广泛的推广。
参考资料:
[1]https://blog.youtube/inside-youtube/new-era-video-infrastructure
[2]https://www.cnet.com/news/google-supercharges-youtube-with-a-custom-video-chip/
[3]https://arstechnica.com/gadgets/2021/04/youtube-is-now-building-its-own-video-transcoding-chips/
[4]https://dl.acm.org/doi/abs/10.1145/3445814.3446723
,
免责声明:本文仅代表文章作者的个人观点,与本站无关。其原创性、真实性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容文字的真实性、完整性和原创性本站不作任何保证或承诺,请读者仅作参考,并自行核实相关内容。文章投诉邮箱:anhduc.ph@yahoo.com