腾讯音乐人对直播有什么帮助吗 腾讯音乐天琴实验室于TechME技术周发布首位虚拟人

10月24日，腾讯音乐娱乐集团（TME）打造的第二届TechME技术周盛大开幕，此次技术周采用虚拟与现实结合的方式，将在腾讯音乐虚拟社交平台TMELAND中同时举办，由技术“大咖”们陆续分享前沿的音乐技术成果、未来的音乐技术布局。同时，来自TME旗下首个音视频实验室——天琴实验室也正式发布了首位虚拟人——“小琴”，这是一位来自天琴座织女星的“少女”，她以多变的舞姿与青春的音色闻名星系。一头清爽短发的“小琴”身着潮酷卫衣和运动鞋，浑身洋溢着元气满满、青春逼人的气息，她擅长流行、R&B、国风等多个流派的音乐，音域极广，嗓音清亮萌动。她跟很多年轻人一样热爱舞蹈，还拥有“荧光转动”的特有服饰能力，带给人们快乐是她的使命。未来，虚拟人“小琴”将成为展现天琴实验室创新技术的重要载体，同时也有望出现在腾讯音乐旗下多家音娱APP的更多活动场景中，进一步拉进与用户的距离。

青春靓丽、多才多艺的虚拟人“小琴”能够流畅娴熟地说和唱，她不仅具备了中、英、粤三种语言能力，输入歌词后，她即可自动识别主动唱出来，更为“神奇”的是，小琴还可以根据音频生成仿真口型，并根据歌声自动生成唱歌动作和表情，极为自然、真实、生动。这一“魔法”背后，是完全借助AI技术实现的，在经典歌声合成模型的基础上进行优化和改进，形成自研模型lyraSinger；构建了自有数据，并借助于NLP中台的觅词系统实现算法改词；旋律来自提升提取与曲谱预测相结合的新方法，并运用自有领先的算法对时间戳进行对齐和矫正；音效则是来自全民K歌智能调音台算法，采用AI加人工联合方法实现混音效果。

作为一个“全能唱跳”少女，自然不会仅仅局限于说唱技能。天琴实验室在音乐驱动领域推出的 Music XR Maker 系统，基于腾讯音乐长期以来建立的对音乐信息的强大理解能力，通过音乐，用AI的方式，可生成虚拟世界的各项基础元素。例如“小琴”擅长舞蹈，她不但可以根据一段旋律任意生成舞蹈，随着流行、芭蕾、爵士等音乐翩翩起舞，还可以通过整合最先进的手势和动作识别算法，精准捕捉身体及手部动作，甚至手势的细微变化，从而复刻一段舞蹈；可更换各种各样的服饰，大大提升了虚拟人“小琴”的趣味性，仅仅需要一张图片，即可生成相应服饰，极大丰富了“小琴”的“衣柜”，同时还支持2D和3D算法，兼容不同人体姿态，可适配到多种场景。过往的虚拟人大多只能基于自身做一些外形和技能的设定，而Music XR Maker系统开创性地加入了场景生成能力，基于“小琴”的预设动作以及通过算法自动生成的动作序列，同时匹配歌曲的曲风、情感、节奏等，即可为虚拟场景批量生成可媲美专业灯光师的炫酷灯光秀，再加上结合音乐节奏和舞蹈动作自动匹配生成的运镜效果，让“小琴”的歌舞MV锦上添花，堪比歌舞大片。

作为腾讯音乐首个音视频实验室，天琴实验室汇聚了清华大学等国内外顶尖高校机构AI顶尖人才，与西工大、中科大等高校达成科研合作，其在音频、视频、音效等领域的专利技术达384个，曾先后荣获了含MIREX音频指纹比赛冠军、听歌识曲技术突破奖、深圳科技专利奖、中国专利优秀奖等大量海内外重量奖项。天琴实验室的各项黑科技已化身各种实用功能，应用在腾讯音乐旗下的各个平台中。例如去年99公益日，QQ音乐推出了国内首张低频公益专辑——《听见“听不见”的音乐》，正是运用天琴实验室的“声伴分离、音乐生成、伴奏改编”等智能化音频技术制作而成。而让更多用户熟知且受益的则是QQ音乐「听歌识曲」功能，这已成为广大乐迷找寻陌生好歌的"必备神器"，这项技术早在2019国际音频检索评测大赛(MIREX)上就一举夺得世界冠军，至今仍是行业领先水平。此外，还有如智能修音、智能美肤、AI语音朗读、智能音效、视频歌单、扫一扫MV识别等大量实用技术已大量应用于QQ音乐、全民K歌等腾讯音乐各类音娱APP中。

此次全新虚拟人“小琴”的推出，既是天琴实验室各种“黑科技”的一个集中展现，同时也体现了其揭开神秘面纱，以更亲和的姿态拥抱用户的坚定决心。而腾讯音乐也将持续在技术创新驱动下，将以科技赋能音乐的产品理念延伸到更多场景当中，为用户创造更多元的音娱体验，让科技在音乐中更具人性化，释放更多温暖和乐趣。