因上海疫情管控影响，此竞赛数据采集延后，预期于 2022 年 5 月上旬（上方系统时间表显示的 5 月 16 日仅为系统配置示意非准确时间）正式启动。在正式启动赛事前，我们将不定期组织该赛题相关的前置背景讲座和技术分享，请留意本页面或世界AI 创新大赛公众号了解进一步信息。

请注意该竞赛同样作为 AI 人才特训营的考核方式之一，报名 AI 人才特训营后，在本竞赛取得基线分数以上即通过考核，可有资格参与竞争暑期实训；若获得前100，可获得优先资格；进入复赛可获得直通邀请。具体实训岗位信息和 AI 人才特训营设定请点击此处

提前了解申䒕雅

 旁友，SMG 的数字虚拟主播申䒕雅，你有了解吗？

竞赛关键要点

竞赛详细文案

一、赛题考官

SMG技术中心（上海东方传媒技术有限公司）、SMG融媒体中心、AR/VR技术及应用国家工程实验室

二、赛题背景

随着“元宇宙”概念的火爆，数字人被越来越多出现在我们生活的方方面面。SMG在2020年退出了虚拟二次元新闻主播“申䒕雅”，并在2022年转正有了写实风格的数字人形象。创造一个数字人需要大量时间和经历，虚拟人物的创造包括：人物原型、建模、生成、渲染等；虚拟人物的驱动方式包括：手动制作动画、动作捕捉技术、AI智能驱动技术。

随着AI技术的发展，越来越多人开始用AI来控制数字人的动态行为。通过对接AI大脑（知识库），让AI数字人具备了特定场景下的识别信息、理解信息、反馈信息的智能人机交互能力。

然而在实际应用中，让数字人能够模拟真人情感和行为细节仍然是正在不断优化的行业研究课题。本次的赛题即为实际应用中的研究课题之一：如何让数字人可能基于对文本语音的理解，有更真实的表情和口型的表现力 。本次赛题将以SMG新闻主播“申䒕雅”数字人为虚拟主角，提供其中之人大量动捕数据的供机器学习，形成一套AI算法来通过文本语音驱动数字人表情口型。

三、赛题任务

本次赛题将提供语音以及所对应的文本和blendshape参数，语音通过真人朗读文本获得，blendshape参数通过人脸面部捕捉设备获得。

参赛选手通过端对端训练语音/文本—blendshape参数，得到人脸表情驱动模型。在测试阶段，输入为语音或文本数据，输出为blendshape参数，通过blendshape参数，将用于驱动虚拟数字人面部表情。比赛任务即：

输入：语音/文本数据

输出：blendshape参数(要求30FPS，即1秒音频输出30个blendshape)

四、赛题数据

A. 数据规模和内容覆盖

B. 数据内容示例：

“1.wav”

示例内容：

“1.txt”

示例内容：

床前明月光，疑是地上霜

“1.json”

示例内容：

{

[

“browDownLeft”:10,

“browDownRight”:10,

“browInnerUp”:10,

“browOuterUpLeft”:10,

“browOuterUpRight”:10,

“eyeBlinkLeft”:10,

“eyeBlinkRight”:10,

……

],

[

“browDownLeft”:10,

“browDownRight”:10,

“browInnerUp”:10,

“browOuterUpLeft”:10,

“browOuterUpRight”:10,

“eyeBlinkLeft”:10,

“eyeBlinkRight”:10,

……

]

}

五、赛题赛程和提交要求

本赛题共分成三个大阶段：

初赛——复赛——终选答辩

本竞赛线上开展初赛和复赛，初赛前20名获得资格进入复赛。

参与的团队，需与SMG技术中心（SMT）签署相关的参赛协议，以规范数据使用范围和履行保密义务。

1.初赛

该阶段内接受个人报名、团队登记（报名登记规则请详细阅读比赛规则）。

团队创建需经管理员审核（若正式代表某机构或企业参赛，需机构或企业出具相应盖章函件证明方可建立）。

A. 赛程说明：

1. 初赛将为选手提供V，所有数据均可下载。个人选手或个人选手组成的团队，默认在参赛报名时，已勾选了阅读并遵守比赛规则暨保密协议。若团队正式代表某机构或企业，则应当在提请团队审核时，一并递交由企业或机构正式盖章的保密协议。
2. 选手可通过 AIWIN 平台「参赛提交」——「下载」 的路径，查看并下载训练集和初赛测试集。
3. 选手完成模型训练后，可尝试测试集，并产出识别结果(10min语音数据以及所对应的文本)，按 B 小节的提交要求提交后，获得排名。
4. 请注意本次竞赛要求所有选手完成实名认证方能核算成绩，请未做过实名认证的点击页面右上角进入个人中心，点击“完成实名认证”。实名认证采用三要素：姓名、手机号和身份证，请确保手机号为您本人名下实名认证的号码。

B. 结果提交的内容和要求：

1. 本平台要求所有提交内容统一打包为 zip 文件上传，其内容为answer.json：ZIP

包请统一命名为 用户 ID_YYMMDD.zip，用户 ID 为你注册时的用户名。

2. 模型输入测试集后输出的结果文件，文件格式统一为json，名称统一为answer.json

json文件内容规范：

{

“audio1.wav”:{

[

“browDownLeft”:10,

“browDownRight”:10,

“browInnerUp”:10,

“browOuterUpLeft”:10,

“browOuterUpRight”:10,

“eyeBlinkLeft”:10,

“eyeBlinkRight”:10,

……

],

[

“browDownLeft”:10,

“browDownRight”:10,

“browInnerUp”:10,

“browOuterUpLeft”:10,

“browOuterUpRight”:10,

“eyeBlinkLeft”:10,

“eyeBlinkRight”:10,

……

]

},

“audio2.wav”:{

[

“browDownLeft”:10,

“browDownRight”:10,

“browInnerUp”:10,

“browOuterUpLeft”:10,

“browOuterUpRight”:10,

“eyeBlinkLeft”:10,

“eyeBlinkRight”:10,

……

],

[

“browDownLeft”:10,

“browDownRight”:10,

“browInnerUp”:10,

“browOuterUpLeft”:10,

“browOuterUpRight”:10,

“eyeBlinkLeft”:10,

“eyeBlinkRight”:10,

……

]

}

……

}

C. 提交规则： 设定每日最多 3 次提交。

请注意，团队中不同成员的独立提交将会互相覆盖并计入显示为团队成绩，|具体保留在排行榜上的成绩按照 D 小节「排名规则」的设定。

提交截止日期为 2022 年 5 月 16 日午夜 24 点。

D.排名规则：排行榜以选手历史最佳分数为依据从高到低排序。

E.晋级规则：排行榜截止排名后，工作人员将对排行榜做复核，确认所有榜上个人和团队都已完成实名认证，并剔除相关小号记录等。拟在 17-18 号内完成最终排名公示，并通知晋级的 20 强队伍。

2. 复赛

A.赛程说明：

1. 初赛前20名，获得资格进入复赛。
2. 本轮测试集将通过邮件方式告知晋级团队如何获取。获取测试集后，各选手线下自行输出测试结果，然后提交到AIWIN平台获取实时分数和排名。
3. SMT（SMG 技术中心）将对每天20 点前提交的结果，在次日生成对应的数字人视频，并尽快发送还各个选手。（待确定）
4. 选手需在 2022年5月29日 24 点前（拟），通过aiwin@aispacesh.com，发送解题思路 PPT和代码，具体PPT要求如下：

1. 解题思路 PPT 命名应为「选手名.ppt」，对于个人参赛选手名即个人 ID，团队参赛选手名即为团队名。
2. 解题思路 PPT 需包含以下内容：
   1. 个人简介：在职者填写当前职业和在职机构（如方便透露），在校者请填写当前年级、专业、高校

团队简介：团队整体介绍，以及每个成员的介绍、成员分工

1. 2. 赛题理解与问题建模：清楚描述对赛题任务的理解，抽象为模型建立的策略
   3. 数据探索与特征工程：针对赛题提供的数据描述必要的数据特征、数据清洗、特征工程的关键思路和方法
   4. 模型训练和融合：描述模型的训练、实验对比和融合过程与方法
   5. 代码依赖环境：详细列出包括整体建模采用的基础框架（含版本号）以及依赖的包等
   6. 代码运行说明：对如何运行代码予以充分说明

B.结果提交的内容和要求：同初赛阶段

C.提交规则：全程最多 3 次提交

D.排名规则：排行榜以选手历史最佳分数为依据从高到低排序。

E. 晋级规则：组委会将结合初赛、复赛线上分数、解决方案的原创性和创新性等综合批评定最后的 10 强进入终选答辩。

六、评价方式

初赛评价：

初赛复赛采用如下评价方式。

模型输出要求30FPS(即1秒视频输出30个blendshape)

模型性能将通过RMSE计算一段输入音频输出的blendshape平均损失

公式如下：

复赛将增加主观评价方式，即通过输出的blendshape，渲染驱动3D模型，主观评价表情和口型优劣。

复赛评价：

评价方式将通过主观和客观结合的方式，各自占比待公布

主观方式：通过输出的blendshape，渲染驱动3D模型，主观评价表情和口型优劣

客观方式：通过计算输出的blendshape和实际 blendshape 之间的对比差异确定

终选方式

综合选手现场答辩、线上排名分数以及其他命题方设定的综合维度（如模型思路创新性都能够），确定最后的综合排名。