因上海疫情管控影响,此竞赛数据采集延后,预期于 2022 年 5 月上旬(上方系统时间表显示的 5 月 16 日仅为系统配置示意非准确时间)正式启动。在正式启动赛事前,我们将不定期组织该赛题相关的前置背景讲座和技术分享,请留意本页面或世界AI 创新大赛公众号了解进一步信息。
请注意该竞赛同样作为 AI 人才特训营的考核方式之一,报名 AI 人才特训营后,在本竞赛取得基线分数以上即通过考核,可有资格参与竞争暑期实训;若获得前100,可获得优先资格;进入复赛可获得直通邀请。具体实训岗位信息和 AI 人才特训营设定请点击此处
旁友,SMG 的数字虚拟主播申䒕雅,你有了解吗?
|
初赛 |
复赛 |
训练集 |
1、原始的文本数据; 2、“中之人”念文稿的原始语音数据; 3、“中之人”通过动捕系统捕捉生成数据,并绑定在数字人的“申䒕雅”模型上生成的BlendShape参数,共40min。 |
不再提供额外训练集 |
测试集 |
1、原始的文本数据; 2、“中之人”念文稿的原始语音数据; 3、“中之人”通过动捕系统捕捉生成数据,并绑定在数字人的“申䒕雅”模型上生成的BlendShape参数,共10min。 |
1、原始的文本数据; 2、“中之人”念文稿的原始语音数据; 3、“中之人”通过动捕系统捕捉生成数据,并绑定在数字人的“申䒕雅”模型上生成的BlendShape参数,共10min。 |
提交要求 |
1、提交算法模型,可基于文本/语音输出数字人“申䒕雅”的BlendShape参数。 2、初赛可有2次中途生成数字人视频的机会反馈至选手供数据调试。 3、最终提交算法模型至AIWIN平台。 |
1、提交算法模型,可基于文本/语音输出数字人“申䒕雅”的BlendShape参数。 2、复赛是有3次中途生成数字人视频的机会,反馈至选手供数据调试。 3、最终提交算法模型和解决方案PPT至AIWIN平台。 |
关键节点(拟) |
待定 |
待定
|
提交限制 |
每日最多 3 次提交 |
全程最多 3 次提交 |
晋级或奖励 |
依据:初赛公示排名前 20,且完成实名认证
晋级:取得复赛资格 |
依据:综合初赛、复赛排名,以及评审对解决方案 PPT 解决思路原创性、创新性的判定,综合结果后,公示晋级的前 10 名入终选
奖励: 1.12 万元奖金池 2.SMT(SMG 技术中心)实习绿色通道 3.AIWIN 证书
|
SMG技术中心(上海东方传媒技术有限公司)、SMG融媒体中心、AR/VR技术及应用国家工程实验室
随着“元宇宙”概念的火爆,数字人被越来越多出现在我们生活的方方面面。SMG在2020年退出了虚拟二次元新闻主播“申䒕雅”,并在2022年转正有了写实风格的数字人形象。创造一个数字人需要大量时间和经历,虚拟人物的创造包括:人物原型、建模、生成、渲染等;虚拟人物的驱动方式包括:手动制作动画、动作捕捉技术、AI智能驱动技术。
随着AI技术的发展,越来越多人开始用AI来控制数字人的动态行为。通过对接AI大脑(知识库),让AI数字人具备了特定场景下的识别信息、理解信息、反馈信息的智能人机交互能力。
然而在实际应用中,让数字人能够模拟真人情感和行为细节仍然是正在不断优化的行业研究课题。本次的赛题即为实际应用中的研究课题之一:如何让数字人可能基于对文本语音的理解,有更真实的表情和口型的表现力 。本次赛题将以SMG新闻主播“申䒕雅”数字人为虚拟主角,提供其中之人大量动捕数据的供机器学习,形成一套AI算法来通过文本语音驱动数字人表情口型。
本次赛题将提供语音以及所对应的文本和blendshape参数,语音通过真人朗读文本获得,blendshape参数通过人脸面部捕捉设备获得。
参赛选手通过端对端训练语音/文本—blendshape参数,得到人脸表情驱动模型。在测试阶段,输入为语音或文本数据,输出为blendshape参数,通过blendshape参数,将用于驱动虚拟数字人面部表情。比赛任务即:
输入:语音/文本数据
输出:blendshape参数(要求30FPS,即1秒音频输出30个blendshape)
|
初赛 |
复赛 |
训练集(含验证集,请自行划分) |
40 min语音数据以及所对应文本和BlendShape参数,可下载 |
(不额外补充新训练集) |
测试集 |
1000句语音数据(约1.2个小时)以及所对应文本,可下载 |
2000句及语音数据(约2.4个小时)以及所对应的文本,可下载 |
“1.wav”
示例内容:
“1.txt”
示例内容:
床前明月光,疑是地上霜
“1.json”
示例内容:
{
[
“browDownLeft”:10,
“browDownRight”:10,
“browInnerUp”:10,
“browOuterUpLeft”:10,
“browOuterUpRight”:10,
“eyeBlinkLeft”:10,
“eyeBlinkRight”:10,
……
],
[
“browDownLeft”:10,
“browDownRight”:10,
“browInnerUp”:10,
“browOuterUpLeft”:10,
“browOuterUpRight”:10,
“eyeBlinkLeft”:10,
“eyeBlinkRight”:10,
……
]
}
本赛题共分成三个大阶段:
初赛——复赛——终选答辩
本竞赛线上开展初赛和复赛,初赛前20名获得资格进入复赛。
参与的团队,需与SMG技术中心(SMT)签署相关的参赛协议,以规范数据使用范围和履行保密义务。
该阶段内接受个人报名、团队登记(报名登记规则请详细阅读比赛规则)。
团队创建需经管理员审核(若正式代表某机构或企业参赛,需机构或企业出具相应盖章函件证明方可建立)。
包请统一命名为 用户 ID_YYMMDD.zip,用户 ID 为你注册时的用户名。
json文件内容规范:
{
“audio1.wav”:{
[
“browDownLeft”:10,
“browDownRight”:10,
“browInnerUp”:10,
“browOuterUpLeft”:10,
“browOuterUpRight”:10,
“eyeBlinkLeft”:10,
“eyeBlinkRight”:10,
……
],
[
“browDownLeft”:10,
“browDownRight”:10,
“browInnerUp”:10,
“browOuterUpLeft”:10,
“browOuterUpRight”:10,
“eyeBlinkLeft”:10,
“eyeBlinkRight”:10,
……
]
},
“audio2.wav”:{
[
“browDownLeft”:10,
“browDownRight”:10,
“browInnerUp”:10,
“browOuterUpLeft”:10,
“browOuterUpRight”:10,
“eyeBlinkLeft”:10,
“eyeBlinkRight”:10,
……
],
[
“browDownLeft”:10,
“browDownRight”:10,
“browInnerUp”:10,
“browOuterUpLeft”:10,
“browOuterUpRight”:10,
“eyeBlinkLeft”:10,
“eyeBlinkRight”:10,
……
]
}
……
}
请注意,团队中不同成员的独立提交将会互相覆盖并计入显示为团队成绩,|具体保留在排行榜上的成绩按照 D 小节「排名规则」的设定。
提交截止日期为 2022 年 5 月 16 日午夜 24 点。
团队简介:团队整体介绍,以及每个成员的介绍、成员分工
B.结果提交的内容和要求:同初赛阶段
C.提交规则:全程最多 3 次提交
D.排名规则:排行榜以选手历史最佳分数为依据从高到低排序。
E. 晋级规则:组委会将结合初赛、复赛线上分数、解决方案的原创性和创新性等综合批评定最后的 10 强进入终选答辩。
初赛复赛采用如下评价方式。
模型输出要求30FPS(即1秒视频输出30个blendshape)
模型性能将通过RMSE计算一段输入音频输出的blendshape平均损失
公式如下:
复赛将增加主观评价方式,即通过输出的blendshape,渲染驱动3D模型,主观评价表情和口型优劣。
评价方式将通过主观和客观结合的方式,各自占比待公布
主观方式:通过输出的blendshape,渲染驱动3D模型,主观评价表情和口型优劣
客观方式:通过计算输出的blendshape和实际 blendshape 之间的对比差异确定
综合选手现场答辩、线上排名分数以及其他命题方设定的综合维度(如模型思路创新性都能够),确定最后的综合排名。
初赛复赛采用如下评价方式。
模型输出要求30FPS(即1秒视频输出30个blendshape)
模型性能将通过RMSE计算一段输入音频输出的blendshape平均损失
公式如下:
复赛将增加主观评价方式,即通过输出的blendshape,渲染驱动3D模型,主观评价表情和口型优劣。
评价方式将通过主观和客观结合的方式,各自占比待公布
主观方式:通过输出的blendshape,渲染驱动3D模型,主观评价表情和口型优劣
客观方式:通过计算输出的blendshape和实际 blendshape 之间的对比差异确定
综合选手现场答辩、线上排名分数以及其他命题方设定的综合维度(如模型思路创新性都能够),确定最后的综合排名。
Start: 五月 16, 2022, 8 a.m.
概述: 此为初赛阶段(拟 5 月上旬开启),接受随时报名,数据均可下载,线下完成模型训练预测后线上提交
Start: 五月 17, 2022, 8 a.m.
概述: 此为复赛阶段,初赛前 30 名进入复赛,需完成解决方案提交和线上提交
Start: 六月 6, 2022, 8 a.m.
概述: 邀请 10 强选手线下答辩,并要求提交 PPT 与代码
七月 31, 2022, 8 a.m.
请登陆来参加比赛
登入