残奥手语老师和运动员交流(冬奥手语播报数字人)

为听障人士打造的“冬奥手语播报数字人”近日在北京卫视正式上岗。在电视屏幕左下角,以虚拟学生“华智冰”为外形的数字人手指翻飞,迅速用手语进行播报。新京报记者获悉,数字人采用我国首个超大规模智能信息模型和虚拟数字人技术,它将为听障人士提供手语信息播报服务,使他们收看赛事专题报道时快速获取讯息。

残奥手语老师和运动员交流(冬奥手语播报数字人)(1)

“冬奥手语播报数字人”在《北京您早》节目投入应用。受访者供图

构建高质量手语语料库,词汇语句规模超10万

目前,我国听障人群数量达到2700万,专业场景的手语服务资源匮乏。与此同时,手语翻译供需缺口大,冬奥专业术语翻译难度大。在北京市科委、中关村管委会的支持下,智谱AI、凌云光和北京广播电视台联合打造了“冬奥手语播报数字人”。

手语生成涉及多领域交叉,包括计算机视觉、自然语言处理、跨媒体计算、人机交互等,面临的挑战巨大。系统以超大规模预训练模型为核心技术,自主搭建多模态肢体动作、表情、手指同步采集系统,运用跨模态拟人生成算法、超高精度写实数字人等行业领先技术,实现冬奥期间赛事新闻的专业手语翻译播报。

“我们首先构建了国内最大规模多模态手语语料库。”智谱AI高级副总裁左家平介绍,“冬奥手语播报数字人”系统完成了《国家通用手语词典》收录的8214条通用手语的采集和录制,并且语法都以听障群体习惯打法为准,以确保手语播报成果的准确性和专业度,更好地服务听障人群。

由于当前国内缺少较完善的手语语料数据,研发人员在北京市残疾人联合会和市残联聋人协会的支持下,邀请超过40余位聋人老师及手语专家进行手语文本转写和动作捕捉录制,并进行大范围听障群体评测,最终构建了高质量的手语语料库,词汇及语句总规模超10万。“这里不光有体育词汇和冬奥术语,还有新闻播报会用到的各种词汇。”

打造“智能数字脑”,播报语音关键信息并转换手语

手语和口语的播报速度不同。主播进行播报时,一分钟大概可以说两百多个字,手语靠肢体表达,速度比较慢,因此要跟得上播报的速度,需要对播报内容进行摘要,将核心语义表达出来。

“比如主播说今天北京风和日丽、晴空万里,手语播报要和语音同步匹配,就只表达‘今天北京天气好’”。智谱AI数字人事业部CTO杜冀中说。

他还提到,手语语序和自然语言有所区别,习惯“否定词后置”。比如“我不高兴”,手语会按照“我”“高兴”“不”的顺序翻译出来。

“冬奥手语播报数字人”如何能参透手语的这些特点?据悉,系统以超大规模预训练模型为核心技术,通过语义蒸馏及手语翻译快编模型,实现对新闻播报语音进行精简,并翻译成符合手语习惯的语序。

数字人播报逼真自然,表达可懂度达90%

数字人进行口语播报,也需要亲切自然,符合审美观,不能让观众产生“生硬”的感觉。

为实现高精度、高自然度的人物形象和手语动作姿态,研发团队还自主搭建了多模态肢体动作、表情、手指同步采集系统。通过采集多模态动作捕捉数据,运用跨模态拟人生成算法对超写实数字人进行自然、流畅的驱动和渲染,算法可以自动对其每段动作捕捉数据,为相邻动作之间生成平滑的过渡动作。

左家平说,口语老师进行口语播报时,也会借助口型,让听障人士理解得更清楚。因此数字人播报时也会有口型的变化。“目前,这套系统只做了九个月,已经能够实现手势和口型的匹配。未来通过进一步研发,数字人还将在表情上有更加丰富的体现。”

目前,“冬奥手语播报数字人”已经实现了“表意的准确性”和“表达的可懂性”。经过测评,其表达可懂度已经达到90%。

数字人能7×24小时工作,未来或可用于手语教学

“冬奥手语播报数字人”已于冬奥开幕后,每日持续在北京卫视《北京您早》节目中对“冬奥赛事集锦”和“一起看冬奥”进行手语播报。

后奥运时代,“冬奥手语播报数字人”还将有哪些应用?据悉,数字人可以为新闻媒体提供数字人手语生成服务,方便听障人士快速了解新闻简讯。同时,数字人可以7×24小时工作,解决手语翻译人员不足的问题。

北京广播电视台新闻频道中心副主任王毅说,手语比较复杂,中国手语存在“方言”上的差异。在手语老师紧缺的情况下,如果用人工智能进行标准版手语播报和教学,会减少误差,加速国家通用手语推广落地,为残疾人平等参与社会生活创造无障碍环境。他表示,未来将在更多频道和节目中运用手语播报,方便听障人士获得更多资讯。

左家平表示,手语播报数字人的形象也不局限于“华智冰”,可以根据使用用户喜好换成其他偶像形象。

新京报记者 张璐

编辑 樊一婧 校对 李立军

,

免责声明:本文仅代表文章作者的个人观点,与本站无关。其原创性、真实性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容文字的真实性、完整性和原创性本站不作任何保证或承诺,请读者仅作参考,并自行核实相关内容。文章投诉邮箱:anhduc.ph@yahoo.com

    分享
    投诉
    首页