网易人脸机制（网易伏羲虚拟人）

作者｜韦世玮

**

从十年前风靡亚文化圈的“公主殿下”初音未来，到现在的抖音网红“柳夜熙”、网易严选代言人“林幺幺”，以及遍布在各大社交平台、商场等场景中虚拟主播、虚拟偶像、虚拟员工……不可否认，虚拟人已经打破了曾经小众群体的边界，正在以迅雷不及之势渗透入人们的工作和生活。

这个市场有多火？据市场分析机构iiMedia Research数据，2021年我国虚拟人带动产业市场规模与核心市场规模，分别为1074.9亿元和62.2亿元，预计到2025年将分别为6402.7亿元和480.6亿元，增长势态十分强劲。

随着5G基础建设已全面铺开，5G应用的加速催化着直播电商、数字娱乐、新媒体等数字经济新业态的崛起，其中也带来了大量的人才缺口。以直播行业为例，2021年我国直播人才缺口达800万人，这一数字预计在2025年将飙升到1941.5万人。

基于这一行业痛点，许多企业及MCN开始尝试通过以虚拟主播、数字员工等虚拟人技术弥补市场缺口，同时满足用户多样化需求，虚拟人逐渐在人们的工作和生活中扮演越来越重要的角色。在这个庞大的市场需求下，越来越多玩家涌入布局虚拟数字人市场，整体仍处于一个混战和成长期。

其中，网易作为虚拟数字人赛道的核心玩家之一，在2017年成立了国内首家游戏人工智能研究机构——网易伏羲，初衷是希望通过运用人工智能（AI）技术为玩家创造新世代的游戏体验，推动AI技术的发展，研究方向包括强化学习、虚拟人、用户画像、机器人、云计算平台等。

为了进一步了解网易伏羲虚拟人背后的技术壁垒和业务逻辑，近日36氪与网易伏羲虚拟人技术负责人烈风、网易伏羲虚拟人产品负责人老杨进行了一场深入交流，在这个过程中也洞见了数字经济新业态和元宇宙概念爆发的当下，网易伏羲是如何深耕布局虚拟人的应用高地。

网易伏羲工作室

01、伏羲虚拟人团队的两大业务方向

实际上，虚拟数字人并不是一项新技术。早在1992年，美国作家尼尔·斯蒂芬森（Neal Stephenson）在其出版的科幻小说《雪崩（Snow Crash）》中，就创造了元宇宙（Metaverse）和虚拟分身（Avatar）两个概念。一晃30年而过，如今元宇宙概念大火，虚拟数字人也被人们认为是未来进入元宇宙的入口。

网易伏羲的诞生比“元宇宙热”来得更早些，从2017年诞生至今，它已积累了丰富的AI技术能力，共发表顶会论文100多篇，拥有超200项发明专利。

网易伏羲的虚拟人业务大致可分为两个部分。首先是围绕雷火事业群展开，为游戏提供人工智能虚拟人技术服务。随着越来越多游戏开发厂商对视觉化呈现的重视，为游戏制作高质量的剧情动画已成为广泛共识。但传统的动画制作要求严苛，专业化程度高、制作成本高、制作周期长，对精品化进程造成了一定程度的阻滞。

对此，网易伏羲推出了AI剧情动画制作工具，核心能力通过输入一段台词，即可自动合成高表现力的游戏角色表情、动作、语音，且支持中英日韩等多种语言。截至目前，AI剧情动画制作工具已经为《逆水寒》、《天谕》、《永劫无间》等游戏提供服务，其中已为《天谕》手游生产了超过10小时的剧情动画。

《天谕》手游剧情动画

其次，随着团队技术的不断成熟和积累，在虚拟人行业爆发的市场需求下，伏羲虚拟人团队开始进行To B商业化落地，定位虚拟人技术服务团队，对外提供标准化SaaS化平台服务和SDK产品，积极拓展生态合作伙伴。

具体来看，伏羲虚拟人对外业务可提供虚拟化身和虚拟智能体两套AI虚拟人技术服务组合。其中，虚拟化身包含智能捏脸 3D动画迁移，主要为用户打造虚拟世界化身，并实现实时互动玩法；虚拟智能体包括NLP对话 3D动画合成 语音合成，主要可打造智能NPC\助手\客服等，满足业务场景的服务性需求。

例如，虚拟化身中的3D动画迁移技术可根据用户输入的图像，在40ms内完成对表情、动作、手势参数计算，并实时驱动用户通过智能捏脸创建的虚拟人物，为用户在虚拟世界中实时畅游，提供基础的交互服务。

除此之外，网易伏羲的美术研发能力也不容小觑。基于网易雷火专业的美术团队，伏羲虚拟人业务可提供全流程、高质量的美术表现提升优化能力，风格覆盖Q版、美型、写实数字人等等，同时还拥有专业级别动作捕捉设备、扫描阵列，支持模型和动作风格定制。

网易雷火动作捕捉中心、扫描中心

这一系列核心能力也为伏羲虚拟人业务的未来商业化提供了更多想象空间。其中，网易伏羲的形象设计和AI驱动服务，能够为需要IP形象来提升表现力，或想要通过动作、视频驱动虚拟形象的客户提供服务，以及与合作企业共同打造虚拟人 场景的行业标杆案例，为合作企业提供专属的虚拟IP定制化全链路解决方案。

如今，伏羲虚拟人技术已在游戏、文娱、文旅、电商、快消、教育等领域落地，为麦当劳、百事可乐、超次元、网易云音乐、网易严选等诸多公司和产品提供AI虚拟人技术解决方案。

02、三大核心研发体系，庞大市场催生虚拟人制造师职业

从技术角度看，虚拟数字人的诞生背后融合了计算机图形学、语音技术、深度学习、类脑科学、生物科技、计算科学等技术，人们赋予了它近似人类的外观、行为、价值观等特征，更重要的是它的可交互性。

现阶段，伏羲虚拟人团队规模约数十人，技术人员占比75%。对网易伏羲来说，其虚拟人业务的核心研发职能体系分为三块：

• 一是图形学算法研发，构建了虚拟人智能捏脸、形象创建的个性化能力；
• 二是动画驱动算法的研发，赋予了虚拟人实时流畅交互、传神迁移表达的驱动能力；
• 三是视觉及渲染效果的研发，除了提升虚拟人最终呈现品质，还保障了伏羲虚拟人技术在商用引擎及其他平台上的高兼容性。

“我们认为，任何的技术创新都不能脱离实际的业务需求，我们也一直以此审视团队手上正在做的一些研发课题。”网易伏羲虚拟人技术负责人烈风告诉36氪，目前团队重点关注的是如何协同提升图形动画算法研发，以及视效渲染性能，以达到富有表现力、可实时交互的虚拟人效果。

那么，一个虚拟人角色是如何诞生的呢？实际上，大火的虚拟数字人行业催生了一个新职业——虚拟人制造师，这并不是一个单一的工种，由于虚拟人制造是一个流程化工作，包含确定角色、原画设计、设计模型、算法研发、效果联调、实时渲染优化等环节，因此需要图形学工程师、角色内容策划、3D美术等多个专业人才共同协作完成。

以网易严选代言人“林幺幺”为例，它是伏羲虚拟人团队基于实时渲染引擎制作的虚拟数字人类。在制作前期，伏羲虚拟人制造师团队进行了大量调研，针对男生和女生之间的喜好差异，团队将林幺幺定位为甜酷的千禧女孩形象，既中和了不同性别人群的喜好，也更适用于代言人等多种场合，方便展示其活灵活现的AI算法效果。

CG模型林幺幺，使用伏羲AI表情迁移算法效果

区别于影视动画的制作流程，林幺幺的制作流程借助了众多伏羲虚拟人AI算法进行提效和加速。比如音色转换技术，可将任意真人的语音转换成目标音色，并保留原语音的内容、情绪和韵律，这能够让林幺幺不依赖于稳定的中之人（源自日语“中の人”，指操纵虚拟主播进行直播的人），自由地进行直播等实时互动。

除此之外，林幺幺的制作流程背后还采用了环境光采集和引擎内重建、布料解算、物理材质渲染等技术，让它能与现实世界进行更好的互动。

制作流程的结束并不意味着虚拟人制造师的工作就告一段落，接下来还会涉及到策划工作，主要分为两类，一是内容策划，负责对林幺幺进行包装，面向toC、toB端做内容的整体设计，如短视频创意策划；二是产品策划，需要考虑如何将林幺幺背后的整个技术链条产品化、工具化，以更好地帮助下游客户解决业务问题。

03、激烈市场竞争中，伏羲虚拟人的差异化优势

尽管虚拟数字人并不是一个新兴的行业，但相关报告数据显示，在2020年，我国虚拟数字人行业市场规模约2000亿元，随着未来大众对这一市场的接受度拓宽，2030年我国虚拟数字人市场规模或将达到2700亿元。

正是因为这片巨大的蓝海市场，引得大量玩家蜂拥而入，不管是互联网科技巨头还是新玩家，都想在虚拟数字人市场中分一杯羹。

从玩家格局来看，目前既有微软、网易、百度、腾讯、字节跳动、科大讯飞、搜狗等大公司提供丰富的解决方案及AI技术支持，也有Autodesk、阅文集团、大禹、拟仁智能、原力等公司及创企针对内容、工具、CG等细分赛道布局，在单点环节输出产品。

在这个激烈的行业竞争中，伏羲虚拟人的差异化竞争优势在哪？在产品负责人老杨看来，与同行相比，网易伏羲虚拟人的差异化主要集中在产品和业务场景两大层面。

首先是产品层面，伏羲虚拟人以3D虚拟人为主要类型，同时更关注虚拟人的算法效果表现力和实时渲染表现力，而不是追求极致的轻量化。例如，针对虚拟人的3D表情合成算法，要把声音、文字转化为虚拟人的动画，且衔接流畅、自然细腻，这并不容易。

因此，团队会尤其关注人类说话时情感状态、语速、音量等变化对口型、面部表情的影响，并观看了大量影视表演作品，去学习专业演员的表演习惯。通过对深度学习的钻研，最终团队研究的“表情动画参数生成技术”被成功应用于游戏剧情动画制作、虚拟助手等场景中。

在虚拟人表情表现力上，团队也持续思考如何进一步优化，例如用机器学习来判别合成表情的自然度。伏羲虚拟人的算法专家创新性提出了表情编码的研究，这项工作已连续两年获得了AI顶会CVPR2022、ICCV2021人脸表情国际大赛双料冠军，未来表情编码也会加入到虚拟人表情相关的算法中，打造更自然、生动的表情效果。

针对视效渲染效果，伏羲虚拟人团队认为，未来的虚拟人应用一定是实时渲染（可实时交互）、高渲染质量（高沉浸感）的，所以团队研发均基于实时渲染引擎进行，并深入到材质重建算法中，通过充分参考真实的发丝、布料材质参数，大大提升了虚拟人渲染效果的逼真度。

其次在业务场景层面，伏羲虚拟人核心关注自身熟悉的游戏和文娱领域，并在这些领域进行垂直探索。同时积极开放，与深耕其他行业领域的B端厂商开展深度合作，在其熟知的应用场景中，提供虚拟人技术赋能。

赋能虚拟直播厂商，打造Vtuber直播工具

04、元宇宙风口下，伏羲虚拟人面向未来的抢滩战术

不可否认，近两年“元宇宙”概念的爆发更加刺激了虚拟数字人行业的发展，不少人都将虚拟数字人视作切入元宇宙赛道的新风口。不过，虚拟人作为一个跨多学科的交叉领域，要真正地面向未来元宇宙，走进人们的元宇宙生活，还需要在技术上实现一系列突破。

“现阶段，虚拟人是以不同形态出现在各个场景中，如线上视频、线下交互等，不同场景所注重的效果不同。”烈风解释，例如目前视频类内容更注重整体的剧情编导设计、视效质量，交互性应用更注重交互的实时高效。面对元宇宙的风口，未来也会有更多元、效果要求更融合的虚拟化人内容需求。

接下来，伏羲虚拟人团队将更专注于实时互动虚拟内容上，进一步提升在实时交互效果品质、拓展业务生态。其中，针对用户打造虚拟世界中的分身的场景，团队将持续研发基于Mesh结构的高自由度捏人、高质量&低延时的音色转换等技术，让C端用户能够从外观形象、声音音色层面，创建更高自由度、更好表现力的虚拟身份。

网易伏羲开发的智能捏脸系统，用户上传一张照片就能打造虚拟分身

在业务模式上，为了加快生态拓展合作，支持企业已有3D数字资产、或是支持UGC资产导入，伏羲虚拟人团队还将推出自动绑定、自动重定向等能力，并公开伏羲虚拟人美术标准，提高各类不同虚拟形象的对接效率。

从应用角度看，虚拟人落地场景覆盖toB、toC、toG等广泛领域，但不管面向哪个赛道，整个市场核心竞争的始终是串联整个技术工具流程制作链路的工业化和成熟度，这是实现产品快速交付和可靠性的重要保障。

未来网易伏羲将以2B业务模式为核心，持续关注虚拟人标准化技术方案的开发，“我们希望积极拓展行业生态伙伴，开展深度合作，共创虚拟人应用落地，合作共赢。”老杨说。

,