手语播报数字人：把冬奥赛事带进无声的世界

北京2022年冬奥会、冬残奥会期间，北京卫视里亮相的一个“冬奥手语播报数字人”， 可以提供全流程智能化的手语生成服务，用手语根据语音自动播报冬奥会相关信息，使听障群体也能享受冬奥赛事盛况。

该“冬奥手语播报数字人”由北京市科委“科技冬奥”专班委托，智谱AI、凌云光和北京广播电视台联合打造，并得到了北京市残疾人联合会和市残联聋人协会的大力支持。

“该系统以超大规模预训练模型为核心技术，自主搭建多模态肢体动作、表情、手指同步采集系统，运用跨模态拟人生成算法、超高精度写实数字人等行业领先技术，实现冬奥期间赛事新闻的实时专业手语翻译播报。”智谱AI相关负责人表示。

冬奥手语播报数字人   智谱AI供图

构建国内最大规模多模态手语语料库

让虚拟的数字人能手语播报信息，首要的是要先教会数字人打手语。

据介绍，《国家通用手语常用词表》和《国家通用盲文方案》于2018年作为语言文字规范正式发布。为了推广和普及国家通用手语，“冬奥手语播报数字人”系统完成了《国家通用手语词典》收录的8214条通用手语的采集和录制，并且语法都以听障群体习惯打法为准，以确保手语播报成果的准确性和专业度，更好地服务听障人群。

由于当前国内缺少较完善的手语语料数据，研发人员在北京市残疾人联合会和市残联聋人协会的支持下，邀请超过40余位聋人老师及手语专家进行手语文本转写和技术指导，并进行大范围听障群体评测，最终构建了符合国家通用手语规范的国内最大规模多模态手语语料库，词汇及语句总规模超10万。

打造手语播报“智能数字脑”

为构建能够理解、翻译语音和手语的智能数字大脑，“冬奥手语播报数字人”系统以超大规模预训练模型为核心技术，通过语义蒸馏及手语翻译快编模型，实现新闻播报语音实时蒸馏成语义高度接近的手语文字，并翻译成符合手语习惯的语序。

最终，手语数字脑可以通过计算机模仿听障人士的大脑，进行实时手语播报驱动。

此外，为实现高精度、高自然度的人物形象和手语动作姿态，研发团队还自主搭建了多模态肢体动作、表情、手指同步采集系统。通过采集多模态动作捕捉数据，运用跨模态拟人生成算法对超写实数字人进行自然、流畅的实时驱动和渲染，实现对文本内容的实时手语播报。

其中，通过肌肉绑定技术驱动实现面部采集，结合业内领先的语音识别及高清视频合成等技术，呈现给听障人群亲切自然的冬奥手语播报服务。

多模态动作捕捉数据采集现场   智谱AI供图

手语播报应用前景广阔

研发人员表示，手语播报数字人的应用场景广泛，一方面可以为新闻媒体提供全流程智能化的数字人手语生成服务，方便听障人士快速了解新闻简讯；另一方面可将声音广播内容转化为手语，为听障人士播报冬奥会赛事赛情、赛场成绩，便于获取即时信息。

“冬奥手语播报数字人”已于2月5日开始在北京冬奥会期间正式投入应用，不仅能为听障人士提供手语信息播报服务，降低冬奥运营成本，还便捷了听障人士收看赛事专题报道，提升他们的社会参与度和幸福感。

我国地方手语不统一，手语播报数字人的推广可加速国家通用手语推广落地，推动国家通用手语标准普及，为残疾人平等参与社会生活创造无障碍环境，让科技更有温度。“更重要的是，它体现了北京这座城市对残疾人群体的尊重，实现了科技和人文的完美结合。” 智谱AI相关负责人表示。

智谱AI CTO张鹏表示：“冬奥手语播报数字人的应用展现了公司‘让机器像人一样思考’的愿景。不仅使听障人士能快捷获取冬奥赛事资讯，还将无障碍环境理念传递到数亿人群。智谱AI将持续深化数据和知识双轮驱动的战略，打造强大而通用的人工智能系统，通过创新助力我国人工智能生态建设，让技术创造更多价值。”