虎牙ai直播实验室（2000万面模型复制主播）

郭一璞 发自 广州量子位 报道 | 公众号 QbitAI

网络直播，已经不仅仅是一位主播唱歌跳舞玩游戏这么简单了，AI技术正在渗入直播内容制作的过程中。

就在虎牙的LiveTech大会上，虎牙做了两项技术发布：

一是技术开放平台，将各种AI能力开放给第三方开发者，用来开发有各种娱乐、工具功能的虎牙小程序，丰富直播的内容和形式；

另一项则是AI数字人，借助计算机视觉技术，将真人或卡通IP创作为真实、细腻的虚拟形象，让虚拟化的主播们拥有各种新技能，甚至“挑战”原来的主播本人。

虎牙CTO赖立高说，直播把两个空间的信息做了互通，但是距离感还是很大的，网络要做的是拉短距离，把距离的感觉慢慢的打破，这也是大家的期待。

虎牙开放平台

虎牙开放平台基于虎牙小程序，它能够以各种游戏、服务、工具的形式，存在于虎牙的直播活动中。第三方开发者可以利用虎牙开放出来的直播技术、开发工具、数据服务等进行小程序开发。

目前开放平台已提供了跨终端开发框架，可以实现一次开发，多终端运行；提供了多终端统一SDK，终端原生组件，统一构建工具。

在具体的技术上，开发者可以用到虎牙的画面融合、人脸加工、人脸贴纸等图像技术，人脸关键点、人脸检测、手势识别等人体识别技术，以及游戏场景识别、唱歌识别、跳舞识别等内容识别技术，语音转文字、音效加工、声音风格化等语音技术，另外还连接了礼物、弹幕、用户信息、榜单数据等通道，降低了小程序的开发难度。

发布会现场，虎牙也展示了三家第三方合作伙伴开发出来的小程序产品。

比如《啵唧宠物》，借助虎牙开放出来的语音识别等技术，虚拟宠物可以在直播画面上和主播互动表演；

还有《暴走坦克》游戏，主播闯关过程中，观众可以送血瓶提供助战坦克，也可以送宝剑创造更多的怪物，形成双方的互动；

而《欢乐农牧》则是一款娱乐之外的小程序，可以帮助农民们做养鸡场等农牧业生产场所的互动直播，还能提供各种优惠券促进下单，颇有一丝“电商下乡”的意味。

最后，对于虎牙小程序的开发者，可以采取一次性或者按一定周期的订阅付费和内购分成两种盈利模式。

此外，还有一笔大羊毛，虎牙推出小程序星火计划，将在3年投入10亿的资源，用于内容生态构建、优质小程序与优秀开发者奖励以及消费市场培育。

AI数字人

虎牙还推出了具有虚拟形象的AI数字人，第一个数字人形象，是以虎牙平台的游戏主播晚玉为原型制作的。

在数字人晚玉上，虎牙扫描了2000万面超高精度拓扑的模型，通过肌肉和骨骼绑定后，可驱动的表情面数超过4万个，在肢体上骨骼动作支持超过70个自由度。

效果，大概长这样，可以是AR的：

晚玉并没有出现在真实的舞台上，而是在一旁的屏幕中出现了AR形象。

也可以是在虚拟世界中的：

借助动作捕捉等方式，他学会了晚玉本人并不会的跳舞技能，还在直播间里以“晚玉的弟弟晚王”的身份，开启了一场真人vs.数字人的直播。虚拟空间里的“弟弟”可以随时换背景，有更多特效互动。

此外，虎牙启动了虚实结合开放平台HERO（Huya Extended Reality Open-platform），主播和开发者可以用自己的设备构建自己喜爱的形象和AR应用玩法，因此，除了作为代表人物的晚玉，无论是真人还是虚拟人物，各家的IP都可以借助这个平台创作出数字人形象。

不过，这个数字人形象目前仅限于人物的外形方面，暂时还不能像小冰、小爱、Siri们一样自由的表达和回应问题。这不禁让人觉得，HERO平台和“复现”人物性格人设的微软Avatar Framework简直天作之合。

“把物理世界结构化”

其实看虎牙公开的两项技术进展，都不仅仅聚焦于娱乐直播方面，更多的则是与真实世界的结合，借助第三方开发者们的智慧和真实世界产生交互，借助数字人技术将真实世界投射在虚拟空间中。

借虎牙AI总经理许佳的话说，就是“把物理世界结构化”，不只在人脸、人体这些视觉的层面，也正准备在语音方面推进，而且，除了人物个体，场景的重构也在进行，这也是我们前面看到直播间里“晚玉的弟弟”可以不断切换场景增加特效互动的原因。

而在具体的技术方案上，虎牙CTO赖立高介绍，虎牙采用的是自研 购买的双重策略，如果是影响关键迭代的技术会自行研发，如果不影响而业界又有成熟方案则会选择购买，比如他们也是诸多AI大厂的客户。

One More Thing

最后，一个彩蛋。

“算法岗饱和”最近成了许多技术人在焦虑的问题，四处都有讨论的声音。

不过，当我们试图找虎牙AI总经理许佳讨论这个问题的时候，得到的回应却是不认同的。“不是学算法不好找工作，是优秀的算法人才比较缺少”，优秀的算法人才依然供不应求，“你不能下载一个TensorFlow就来应聘算法。”

— 完 —

量子位 QbitAI · 头条号签约

关注我们，第一时间获知前沿科技动态

,