[即将启动]文本语音驱动数字人表情口型竞赛

主办方: SMG技术中心(上海东方传媒技术有限公司)、SMG融媒体中心、AR/VR技术及应用国家工程实验室 - 当前服务器时间 五月 28, 2022, 2:23 p.m. UTC+8
奖励 ¥120000
参赛提交

上一阶段

初赛
五月 16, 2022, 8 a.m. UTC+8

当前阶段

复赛
五月 17, 2022, 8 a.m. UTC+8

下一阶段

终选答辩阶段
六月 6, 2022, 8 a.m. UTC+8

因上海疫情管控影响,此竞赛数据采集延后,预期于 2022 年 5 月上旬(上方系统时间表显示的 5 月 16 日仅为系统配置示意非准确时间)正式启动。在正式启动赛事前,我们将不定期组织该赛题相关的前置背景讲座和技术分享,请留意本页面或世界AI 创新大赛公众号了解进一步信息。

 

请注意该竞赛同样作为 AI 人才特训营的考核方式之一,报名 AI 人才特训营后,在本竞赛取得基线分数以上即通过考核,可有资格参与竞争暑期实训;若获得前100,可获得优先资格;进入复赛可获得直通邀请。具体实训岗位信息和 AI 人才特训营设定请点击此处

 

提前了解申䒕雅

 旁友,SMG 的数字虚拟主播申䒕雅,你有了解吗?

 

竞赛关键要点

 

初赛

复赛

训练集

1、原始的文本数据;

2、“中之人”念文稿的原始语音数据;

3、“中之人”通过动捕系统捕捉生成数据,并绑定在数字人的“申䒕雅”模型上生成的BlendShape参数,共40min。

不再提供额外训练集

测试集

1、原始的文本数据;

2、“中之人”念文稿的原始语音数据;

3、“中之人”通过动捕系统捕捉生成数据,并绑定在数字人的“申䒕雅”模型上生成的BlendShape参数,共10min。

1、原始的文本数据;

2、“中之人”念文稿的原始语音数据;

3、“中之人”通过动捕系统捕捉生成数据,并绑定在数字人的“申䒕雅”模型上生成的BlendShape参数,共10min。

提交要求

1、提交算法模型,可基于文本/语音输出数字人“申䒕雅”的BlendShape参数。

2、初赛可有2次中途生成数字人视频的机会反馈至选手供数据调试。

3、最终提交算法模型至AIWIN平台。

1、提交算法模型,可基于文本/语音输出数字人“申䒕雅”的BlendShape参数。

2、复赛是有3次中途生成数字人视频的机会,反馈至选手供数据调试。

3、最终提交算法模型和解决方案PPT至AIWIN平台。

关键节点(拟)

待定

待定

 

提交限制

每日最多 3 次提交

全程最多 3 次提交

晋级或奖励

依据:初赛公示排名前 20且完成实名认证

 

晋级:取得复赛资格

依据:综合初赛、复赛排名,以及评审对解决方案 PPT 解决思路原创性、创新性的判定,综合结果后,公示晋级的前 10 名入终选

 

奖励:

1.12 万元奖金池

2.SMT(SMG 技术中心)实习绿色通道

3.AIWIN 证书

 

竞赛详细文案

一、赛题考官

SMG技术中心(上海东方传媒技术有限公司)、SMG融媒体中心、AR/VR技术及应用国家工程实验室

二、赛题背景

随着“元宇宙”概念的火爆,数字人被越来越多出现在我们生活的方方面面。SMG在2020年退出了虚拟二次元新闻主播“申䒕雅”,并在2022年转正有了写实风格的数字人形象。创造一个数字人需要大量时间和经历,虚拟人物的创造包括:人物原型、建模、生成、渲染等;虚拟人物的驱动方式包括:手动制作动画、动作捕捉技术、AI智能驱动技术。

随着AI技术的发展,越来越多人开始用AI来控制数字人的动态行为。通过对接AI大脑(知识库),让AI数字人具备了特定场景下的识别信息、理解信息、反馈信息的智能人机交互能力。

然而在实际应用中,让数字人能够模拟真人情感和行为细节仍然是正在不断优化的行业研究课题。本次的赛题即为实际应用中的研究课题之一:如何让数字人可能基于对文本语音的理解,有更真实的表情和口型的表现力 。本次赛题将以SMG新闻主播“申䒕雅”数字人为虚拟主角,提供其中之人大量动捕数据的供机器学习,形成一套AI算法来通过文本语音驱动数字人表情口型。

三、赛题任务

本次赛题将提供语音以及所对应的文本和blendshape参数,语音通过真人朗读文本获得,blendshape参数通过人脸面部捕捉设备获得。

 

参赛选手通过端对端训练语音/文本—blendshape参数,得到人脸表情驱动模型。在测试阶段,输入为语音或文本数据,输出为blendshape参数,通过blendshape参数,将用于驱动虚拟数字人面部表情。比赛任务即:

 

输入:语音/文本数据

输出:blendshape参数(要求30FPS,即1秒音频输出30个blendshape)

四、赛题数据

A. 数据规模和内容覆盖

 

初赛

复赛

训练集(含验证集,请自行划分)

40 min语音数据以及所对应文本和BlendShape参数,可下载

 (不额外补充新训练集)

测试集

1000句语音数据(约1.2个小时)以及所对应文本,可下载

2000句及语音数据(约2.4个小时)以及所对应的文本,可下载

 

B. 数据内容示例:

“1.wav”

示例内容:

“1.txt”

示例内容:

床前明月光,疑是地上霜

“1.json”

示例内容:

{

[

browDownLeft”:10,

browDownRight”:10,

browInnerUp”:10,

browOuterUpLeft”:10,

browOuterUpRight”:10,

eyeBlinkLeft”:10,

eyeBlinkRight”:10,

……

],

[

browDownLeft”:10,

browDownRight”:10,

browInnerUp”:10,

browOuterUpLeft”:10,

browOuterUpRight”:10,

eyeBlinkLeft”:10,

eyeBlinkRight”:10,

……

]

}

五、赛题赛程和提交要求

本赛题共分成三个大阶段:

初赛——复赛——终选答辩

本竞赛线上开展初赛和复赛,初赛前20名获得资格进入复赛。

参与的团队,需与SMG技术中心(SMT)签署相关的参赛协议,以规范数据使用范围和履行保密义务。

 

1.初赛

该阶段内接受个人报名、团队登记(报名登记规则请详细阅读比赛规则)。

团队创建需经管理员审核(若正式代表某机构或企业参赛,需机构或企业出具相应盖章函件证明方可建立)。

A. 赛程说明:

  1. 初赛将为选手提供V,所有数据均可下载。个人选手或个人选手组成的团队,默认在参赛报名时,已勾选了阅读并遵守比赛规则暨保密协议。若团队正式代表某机构或企业,则应当在提请团队审核时,一并递交由企业或机构正式盖章的保密协议。
  2. 选手可通过 AIWIN 平台「参赛提交」——「下载」 的路径,查看并下载训练集和初赛测试集。
  3. 选手完成模型训练后,可尝试测试集,并产出识别结果(10min语音数据以及所对应的文本),按 B 小节的提交要求提交后,获得排名。
  4. 请注意本次竞赛要求所有选手完成实名认证方能核算成绩,请未做过实名认证的点击页面右上角进入个人中心,点击“完成实名认证”。实名认证采用三要素:姓名、手机号和身份证,请确保手机号为您本人名下实名认证的号码

B. 结果提交的内容和要求:

  1. 本平台要求所有提交内容统一打包为 zip 文件上传,其内容为answer.json:ZIP

包请统一命名为 用户 ID_YYMMDD.zip,用户 ID 为你注册时的用户名。

  1. 模型输入测试集后输出的结果文件,文件格式统一为json,名称统一为answer.json

json文件内容规范:

{

“audio1.wav”:{

[

browDownLeft”:10,

browDownRight”:10,

browInnerUp”:10,

browOuterUpLeft”:10,

browOuterUpRight”:10,

eyeBlinkLeft”:10,

eyeBlinkRight”:10,

……

],

[

browDownLeft”:10,

browDownRight”:10,

browInnerUp”:10,

browOuterUpLeft”:10,

browOuterUpRight”:10,

eyeBlinkLeft”:10,

eyeBlinkRight”:10,

……

]

},

“audio2.wav”:{

[

browDownLeft”:10,

browDownRight”:10,

browInnerUp”:10,

browOuterUpLeft”:10,

browOuterUpRight”:10,

eyeBlinkLeft”:10,

eyeBlinkRight”:10,

……

],

[

browDownLeft”:10,

browDownRight”:10,

browInnerUp”:10,

browOuterUpLeft”:10,

browOuterUpRight”:10,

eyeBlinkLeft”:10,

eyeBlinkRight”:10,

……

]

}

……

}

 

 

C. 提交规则: 设定每日最多 3 次提交。

请注意,团队中不同成员的独立提交将会互相覆盖并计入显示为团队成绩,|具体保留在排行榜上的成绩按照 D 小节「排名规则」的设定。

提交截止日期为 2022 年 5 月 16 日午夜 24 点。

D.排名规则:排行榜以选手历史最佳分数为依据从高到低排序。

E.晋级规则:排行榜截止排名后,工作人员将对排行榜做复核,确认所有榜上个人和团队都已完成实名认证,并剔除相关小号记录等。拟在 17-18 号内完成最终排名公示,并通知晋级的 20 强队伍。

2. 复赛

A.赛程说明:

  1. 初赛前20名,获得资格进入复赛。
  2. 本轮测试集将通过邮件方式告知晋级团队如何获取。获取测试集后,各选手线下自行输出测试结果,然后提交到AIWIN平台获取实时分数和排名。
  3. SMTSMG 技术中心)将对每天20 点前提交的结果,在次日生成对应的数字人视频,并尽快发送还各个选手。(待确定)
  4. 选手需在 2022年5月29日 24 点前(拟),通过aiwin@aispacesh.com,发送解题思路 PPT和代码,具体PPT要求如下:
  1. 解题思路 PPT 命名应为「选手名.ppt」,对于个人参赛选手名即个人 ID,团队参赛选手名即为团队名。
  2. 解题思路 PPT 需包含以下内容:
    1. 个人简介:在职者填写当前职业和在职机构(如方便透露),在校者请填写当前年级、专业、高校

团队简介:团队整体介绍,以及每个成员的介绍、成员分工

    1. 赛题理解与问题建模:清楚描述对赛题任务的理解,抽象为模型建立的策略
    2. 数据探索与特征工程:针对赛题提供的数据描述必要的数据特征、数据清洗、特征工程的关键思路和方法
    3. 模型训练和融合:描述模型的训练、实验对比和融合过程与方法
    4. 代码依赖环境:详细列出包括整体建模采用的基础框架(含版本号)以及依赖的包等
    5. 代码运行说明:对如何运行代码予以充分说明

 

B.结果提交的内容和要求:同初赛阶段

C.提交规则:全程最多 3 次提交

D.排名规则:排行榜以选手历史最佳分数为依据从高到低排序。

E. 晋级规则:组委会将结合初赛、复赛线上分数、解决方案的原创性和创新性等综合批评定最后的 10 强进入终选答辩。

 

六、评价方式

初赛评价:

初赛复赛采用如下评价方式。

模型输出要求30FPS(即1秒视频输出30个blendshape)

模型性能将通过RMSE计算一段输入音频输出的blendshape平均损失

公式如下:

 

复赛将增加主观评价方式,即通过输出的blendshape,渲染驱动3D模型,主观评价表情和口型优劣。

复赛评价:

评价方式将通过主观和客观结合的方式,各自占比待公布

主观方式:通过输出的blendshape,渲染驱动3D模型,主观评价表情和口型优劣

客观方式:通过计算输出的blendshape和实际 blendshape 之间的对比差异确定

终选方式

综合选手现场答辩、线上排名分数以及其他命题方设定的综合维度(如模型思路创新性都能够),确定最后的综合排名。

初赛评价:

初赛复赛采用如下评价方式。

模型输出要求30FPS(即1秒视频输出30个blendshape)

模型性能将通过RMSE计算一段输入音频输出的blendshape平均损失

公式如下:

 

复赛将增加主观评价方式,即通过输出的blendshape,渲染驱动3D模型,主观评价表情和口型优劣。

复赛评价:

评价方式将通过主观和客观结合的方式,各自占比待公布

主观方式:通过输出的blendshape,渲染驱动3D模型,主观评价表情和口型优劣

客观方式:通过计算输出的blendshape和实际 blendshape 之间的对比差异确定

终选方式

综合选手现场答辩、线上排名分数以及其他命题方设定的综合维度(如模型思路创新性都能够),确定最后的综合排名。

赛事规则

  1. 参赛人群:大赛面向社会各界开放,不限年龄国籍,高校、科研院所、企业从业人员均可报名参赛。参与大赛组织工作有关单位员工及直系亲属可参赛但不可获奖;
  2. 账号体系:赛事平台的账号体系以个人为单位,注册平台需要提交个人的姓名、学校/单位、邮箱、手机等信息。上述信息仅用于赛事联络和运营。
  3. 赛事报名:赛题报名以单个账号为单位开展。选手根据自身情况,仅可二选一选择一种身份参赛:
  • 个人参赛:选手以个人身份注册账号直接参赛
  • 团队参赛:团队的每个成员均需在比赛平台注册,并通过系统在所参与的赛题上组建团队,并将各队员添加入团队作为成员。每个团队最多 5 人。 团队成员在加入团队后,各自可代表团队提交项目,且团队成员个人成绩(无论成团前后)将被统一视为团队成绩,团队成绩最终成绩取团队各成员所取得的最好成绩。同一团队仅可占 1 席晋级名额和奖项名额,如遇同一团队多名成员占有 1 席以上晋级范围的排名,则名额顺延至下一团队或个人。
  1. 作品提交:作品提交规则按各赛道设定执行。作品提交由单个个人账号执行。参赛作品必须保证原创性,不违反任何中华人民共和国的有关法律,不侵犯任何第三方知识产权或者其他权利;一经发现或经权利人提出并查证,组委会将取消其比赛成绩并进行严肃处理;
  2. 排行规则:排行榜以个人账号为单位,依据所提交的结果评分予以排名。如个人账号从属于某团队,则排行榜在该个人账号旁会显示其团队名称。团队的排名以团队中各团队成员的最高排名为准。
  3. 排名验证:赛题出题方、大赛主办方、平台运营方有权利进一步要求参赛者提交代码、解题思路等并基于此检视判断排行分数的合理性,从而对排名进行修正。各赛事赛题的最终排名应以各赛题所发布的公告或通知为准,线上排行榜仅为参考。参赛选手需要配合组委会对比赛作品的有效性与真实性进行验证。
  4. 晋级规则:赛段晋级名额、方式由各赛题设定。若有参赛者主动弃赛,晋级名次顺延。晋级名额中以个人身份参赛的则个人选手个人晋级,如个人从属于某团队,则该团队整体晋级。
  5. 公平竞技:参赛者禁止在指定考核技术能力的范围外,利用规则漏洞或技术漏洞等不良途径提高成绩排名,禁止在比赛中抄袭他人作品、交换答案、使用多个小号,经发现将取消比赛成绩并严肃处理。
  6. 组织声明:组委会保留对比赛规则进行调整修改的权利、比赛作弊行为的判定权利和处置权利、收回或拒绝授予影响组织及公平性的参赛团队奖项的权利。
  7. 竞赛数据:组委会参赛人员使用提供的数据进行指定赛道的模型训练工作,参赛人员不得将数据用于任何商业用途。若做科研使用,请注明数据来源于相关赛题的出题方;参赛人员不得对外以任何形式转载、发布赛题的训练集、验证集的全部或任意部分。
  8. 知识产权:参赛作品(包含但不限于结果文件、算法、模型、方案等)的相关权利由出题单位、参赛者、官方竞赛平台三方共享。
  9. 奖励分配:竞赛平台、赛题主办方等均不对物质奖励的分配方式予以负责,物质奖励将颁发给个人参赛者或团队指定的个人。证书等将根据个人参赛和团队参赛予以区分,授予个人或团队(列明个人姓名)

初赛

Start: 五月 16, 2022, 8 a.m.

概述: 此为初赛阶段(拟 5 月上旬开启),接受随时报名,数据均可下载,线下完成模型训练预测后线上提交

复赛

Start: 五月 17, 2022, 8 a.m.

概述: 此为复赛阶段,初赛前 30 名进入复赛,需完成解决方案提交和线上提交

终选答辩阶段

Start: 六月 6, 2022, 8 a.m.

概述: 邀请 10 强选手线下答辩,并要求提交 PPT 与代码

比赛结束

七月 31, 2022, 8 a.m.

请登陆来参加比赛

登入