xr认知芯片(终将成就大市场)

xr认知芯片(终将成就大市场)(1)

xr认知芯片(终将成就大市场)(2)

2022年,Meta与高通宣布合作打造基于骁龙XR平台和技术的定制化VR芯片组,这意味着虚拟现实厂商的差异化竞争已经到达芯片层面。近年来,越来越多的虚拟现实设备不再“蹭”手机处理器,转而选择了XR(包括VR、AR、MR)专用芯片。如果说芯片等关键零部件的专有化,被业界视为虚拟现实走向产业化的重要标志,那么芯片的定制化,则是虚拟现实走向商用的又一个关键节点——VR整机产品的竞争已经到达芯片层面。

XR芯片的能力象限

8年前,曾经的Facebook(现已更名为Meta)豪掷20亿美元收购Oculus,是虚拟现实进入大众视野的标志性事件。如今的VR产品已不再局限于用线缆与电脑主机相连的头盔,一体机式的独立头显、风镜式的超短焦VR眼镜,开启了移动VR时代。在VR成为独立设备的早期,许多厂商在VR整机中使用了智能手机处理器。但随着VR的消费和行业用例越来越多,用户对佩戴体验的要求越来越高,一款为XR设计的专用芯片成为业界的共性诉求。

“XR专用芯片方面必须满足终端在性能、功耗、连接、图形、AI等方面的要求。除了硬件芯片平台,空间定位、环境感知等算法也需要不断迭代。沉浸式的XR体验由于视野较大,对于分辨率、刷新率、用户感知、环境感知、数据传输和显示时延、定位技术的需求,相比于智能手机等小视野设备提升了一个等级,因此对性能和功耗的需求也更高。”高通技术公司中国区XR业务负责人郭鹏向《中国电子报》记者表示。

随着越来越多的3A游戏开发者进入VR领域,通过线缆与电脑连接的PC VR也对电脑的存储、处理器等芯片的性能提出了更高的要求。

以VR冒险游戏《阿斯加德之怒》为例,其材质、纹理细节的渲染需要121GB的存储空间。英特尔为PC VR玩家推荐的电脑配置为16GB以上的DDR4内存,1TB以上的SSD,支持90fps(笔记本电脑)或144fps(台式机)的GPU,Core i7(笔记本电脑)或Core i9(台式机)处理器作为CPU。英伟达更是将VR视为“要求非常苛刻的PC应用”,其GeForce RTX GPU为先进的VR头盔和GeForce Game Ready驱动(包括适用于VR游戏的新性能调整和更新)提供即插即用的兼容性。

与封闭式的VR设备不同,AR眼镜是一种半透光的可穿戴设备,以实现虚拟元素在用户所见的真实场景的叠加。

亮风台市场总监洪雁菲向记者表示,AR整机一般分为一体机和分体机,分体机的处理单元借助手机,对芯片要求弱。对一体机而言,一般关注三个要素。一是ISP(图像信号处理器)对于摄像头能力的支撑。摄像头是AR感知、交互的入口,优秀的AR体验需要结合不同类型的摄像头能力,如用于处理拍照、视频的主摄像头,鱼眼、支持眼动交互的次摄像头,同时也需要摄像头具备暗光、低照度等AI处理能力,以便更好地支撑产品体验。二是CPU性能。部分AR算法运行于CPU上,其中CPU的核心数与制程对SLAM、人脸识别、物体识别等AR算法有关键影响。三是GPU,尤其是GPU的3D渲染能力。相较VR而言,AR对于帧率的要求稍低,一般在60帧左右,但这仍然是考虑芯片能力的关键点。

在VR仍以头盔式设备作为主流形态时,AR已经大规模采用独立眼镜式或者与手机连接的眼镜式形态。这也意味着AR设备对虚实融合能力和功耗的优化有着更加迫切的需求。

“AR的特点我们一般总结为空间互联、虚实融合、智能交互,因此反应到芯片性能上,我们期待未来的芯片研发能在功耗优化上进一步提升。功耗过高对产品的散热、续航等造成不利,进而反过来影响芯片性能的发挥。AR可穿戴设备的发展方向必然是小型化、轻量化,因此芯片功耗优化是当务之急。”洪雁菲表示。

从共性技术优化到企业需求定制

XR已经从新兴技术走向消费市场和行业市场的落地阶段,XR芯片平台商也愈发注重下游整机企业的个性化需求,参与推动芯机的联合调优。

平台级的芯片能力,涉及算法、系统、架构等层面的多维度赋能。上海海思于2020年发布的XR芯片平台,就联手了AR企业Rokid共同优化平台专用的算法和方案,双方对语音、视觉、环境感知等AI计算能力做了大量的优化工作,完成了多路视频编解码的高分辨率低延时设计,从芯片规格、系统软件和云端服务多个层面,为XR行业提供AI、交互和多人协同等核心基础能力。

Meta与高通于今年签署的多年战略协议,将通过面向Meta Quest平台而定制的骁龙XR平台,优化产品体验。据悉,两家公司的工程和产品团队将深化技术合作,打造下一代平台和核心技术,加速全面实现元宇宙的愿景。

截至目前,高通已经推出了三代XR专用方案。在率先推出全球首个XR专用平台骁龙XR1的基础上,高通于2019年年底推出全球首个5G XR平台骁龙XR2。除了基础的AI和5G、Wi-Fi连接支持,XR2平台还在视觉、交互和音频技术方面进行了定制优化,包含一个定制的始终开启、低功耗的Qualcomm Hexagon DSP,支持语音激活和情境侦测等硬件加速特性,让用户在沉浸于数字世界的同时也能听到真实世界的声音。

面向MR、空间计算等更加复杂的XR用例对芯片性能、散热和空间定位及感知能力的更高要求,高通于今年10月推出了最新旗舰XR平台第一代骁龙XR2 ,以助力下一代MR、VR终端实现功耗和散热性能的提升。该平台支持并行感知技术,包括头部、手势和手柄追踪、3D重建以及低时延视频透视。该平台的高像素密度能够支持PC级虚拟景观,并能够同时支持多个传感器和摄像头,为更逼真的虚拟人物赋予细致入微的面部表情。

从面向XR技术本身的定制优化,到针对企业具体需求的定制化,XR芯片的开发和迭代路径正在衍生出更多的层次。这也意味着消费者和企业用户的个性化需求正在从下游向上游传导,构成应用端、整机、底层硬件与基础软件开发商协同互促的正向循环。

AI是下一阶段的重点

今年1月,Meta与英伟达宣布联合打造大型AI研究超级计算机(以下简称RSC)。RSC部署了760个英伟达DGX A100系统作为计算节点,共有6080个英伟达A100 GPU通过英伟达Quantum 200Gb/s InfiniBand网络连接,可提供1895(千万亿次)TF32计算性能。Meta希望RSC能助力构建全新的AI系统。例如,为一大群使用不同语言的人员提供实时语音翻译,让他们可以无缝协作或一起玩AR游戏,最终为构建元宇宙铺平技术道路。

对于城市级空间计算、元宇宙等下一代XR技术,AI将在算法加速、感知识别、情境理解等关键节点发挥作用。高通公司总裁兼CEO安蒙在2022世界人工智能大会的演讲中表示,元宇宙需要学习和适应不断变化的环境及用户偏好,因此AI对于塑造用户体验至关重要。计算摄影和计算机视觉技术将支持对手部、眼球和位置的追踪,情境理解等深度感知功能。基于AI的信息扫描和图像分析,用户能够打造高度逼真的虚拟化身,提高用户本人和其他参与者的体验。AI还将推动感知算法、3D渲染和重建技术的发展,以构建更加逼真的环境。此外,自然语言处理将支持机器和终端理解文本和语音,并采取相应的行动。

构建虚拟空间所产生的庞大数据量,需要云、边、端协同的人工智能技术。安蒙指出,AI处理能力需要拓展到边缘侧,情景丰富的数据在边缘产生,分布式智能应运而生。这将显著地推动更加丰富的AI应用规模化地部署,同时整体提升云端的智能。终端AI能够提升设备安全性,使敏感数据可以在本地保存,无须发送至云端。终端AI还能够侦测恶意软件,这对于大规模共享环境至关重要。此外,终端侧AI将赋能联邦计算等新的颠覆性技术,助力更高效地运用有限的网络资源和带宽。

“XR芯片设计中可以增加NPU异构计算能力。把人脸识别、手势识别、眼动追踪等深度学习相关的运算放在NPU、GPU或DSP上,做好异构计算,进而有效降低CPU负载,减少系统响应时间,提高流畅度。”洪雁菲说。

xr认知芯片(终将成就大市场)(3)

时间地点

11月16日—18日

合肥融创酒店群

合肥滨湖国际会展中心

2022世界集成电路大会即刻报名

大会官方网站

http://www.worldic.com.cn

联系方式

参会咨询

电话:010-88558808

邮箱:wangyj@cena.com.cn

媒体合作咨询

电话:88558829

邮箱:chenbx@cena.com.cn

展览咨询

电话:010-88558150

邮箱: misa@ccidexpo.com

作者丨张心怡

编辑丨陈炳欣

美编丨马利亚

监制丨连晓东

xr认知芯片(终将成就大市场)(4)

,

免责声明:本文仅代表文章作者的个人观点,与本站无关。其原创性、真实性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容文字的真实性、完整性和原创性本站不作任何保证或承诺,请读者仅作参考,并自行核实相关内容。文章投诉邮箱:anhduc.ph@yahoo.com

    分享
    投诉
    首页