线上排名

采用如下评价方式。

模型输出要求25FPS(即1秒视频输出25个blendshape)

模型性能将通过RMSE计算一段输入音频输出的blendshape平均损失

公式如下：

参考代码如下：

完整示例代码：链接: https://pan.baidu.com/s/1ZwsqCsGEu5U_v55K1BEX2Q?pwd=5mxj 提取码: 5mxj 

对测试集，我们将计算平均损失，分数越小，性能越佳（排名越高）

B 榜 20 名选 10 名进入决赛时，将增加主观评价方式，即通过输出的blendshape，渲染驱动3D模型，主观评价表情和口型优劣。（具体主观评价和客观分数的比例，将在稍后赛程中进一步确定和公布）

主观评价

主观评价仅针对下述三个任务开展：

“中之人”：59.wav

TTS合成：tts_2.wav  

新闻提取：tv_1.wav

我们将邀请 10 名评审参与主观评价，其维度为：

- 声画同步

- 开口音整体准确度

- 闭口音整体准确度

- 是否有无意义抖动

- 生成发音的成功率

- 整体嘴部说话逼真度

- 眨眼自然度 

竞赛设定规则

1. 参赛者身份属性、队伍组成成分均以保密协议签署的内容为准，一经审核通过，不再发生变化。

2. 所有参赛者，无论是自然人或法人组织，均需按照保密协议的约定，不得私自或公开分享传播赛事数据

AIWIN赛事一般通用规则

1. 参赛人群：大赛面向社会各界开放，不限年龄国籍，高校、科研院所、企业从业人员均可报名参赛。参与大赛组织工作有关单位员工及直系亲属可参赛但不可获奖；
2. 账号体系：赛事平台的账号体系以个人为单位，注册平台需要提交个人的姓名、学校/单位、邮箱、手机等信息。上述信息仅用于赛事联络和运营。
3. 赛事报名：赛题报名以单个账号为单位开展。选手根据自身情况，仅可二选一选择一种身份参赛：

• 个人参赛：选手以个人身份注册账号直接参赛
• 团队参赛：团队的每个成员均需在比赛平台注册，并通过系统在所参与的赛题上组建团队，并将各队员添加入团队作为成员。每个团队最多 5 人。 团队成员在加入团队后，各自可代表团队提交项目，且团队成员个人成绩（无论成团前后）将被统一视为团队成绩，团队成绩最终成绩取团队各成员所取得的最好成绩。同一团队仅可占 1 席晋级名额和奖项名额，如遇同一团队多名成员占有 1 席以上晋级范围的排名，则名额顺延至下一团队或个人。

4. 作品提交：作品提交规则按各赛道设定执行。作品提交由单个个人账号执行。参赛作品必须保证原创性，不违反任何中华人民共和国的有关法律，不侵犯任何第三方知识产权或者其他权利；一经发现或经权利人提出并查证，组委会将取消其比赛成绩并进行严肃处理；
5. 排行规则：排行榜以个人账号为单位，依据所提交的结果评分予以排名。如个人账号从属于某团队，则排行榜在该个人账号旁会显示其团队名称。团队的排名以团队中各团队成员的最高排名为准。
6. 排名验证：赛题出题方、大赛主办方、平台运营方有权利进一步要求参赛者提交代码、解题思路等并基于此检视判断排行分数的合理性，从而对排名进行修正。各赛事赛题的最终排名应以各赛题所发布的公告或通知为准，线上排行榜仅为参考。参赛选手需要配合组委会对比赛作品的有效性与真实性进行验证。
7. 晋级规则：赛段晋级名额、方式由各赛题设定。若有参赛者主动弃赛，晋级名次顺延。晋级名额中以个人身份参赛的则个人选手个人晋级，如个人从属于某团队，则该团队整体晋级。
8. 公平竞技：参赛者禁止在指定考核技术能力的范围外，利用规则漏洞或技术漏洞等不良途径提高成绩排名，禁止在比赛中抄袭他人作品、交换答案、使用多个小号，经发现将取消比赛成绩并严肃处理。
9. 组织声明：组委会保留对比赛规则进行调整修改的权利、比赛作弊行为的判定权利和处置权利、收回或拒绝授予影响组织及公平性的参赛团队奖项的权利。
10. 竞赛数据：组委会参赛人员使用提供的数据进行指定赛道的模型训练工作，参赛人员不得将数据用于任何商业用途。若做科研使用，请注明数据来源于相关赛题的出题方；参赛人员不得对外以任何形式转载、发布赛题的训练集、验证集的全部或任意部分。
11. 知识产权：参赛作品（包含但不限于结果文件、算法、模型、方案等）的相关权利由出题单位、参赛者、官方竞赛平台三方共享。
12. 奖励分配：竞赛平台、赛题主办方等均不对物质奖励的分配方式予以负责，物质奖励将颁发给个人参赛者或团队指定的个人。证书等将根据个人参赛和团队参赛予以区分，授予个人或团队（列明个人姓名）

关于协议签署的任何问题，请咨询 aiwin@aispacesh.com，请勿直接咨询 SMT侧收件人 

一、总体步骤

1. 账号注册：队伍中的所有人应在ailab.aiwin.org.cn的平台注册了账号

2. 实名认证：队伍中的所有人应通过实名认证（地址：http://ailab.aiwin.org.cn/my/verification/，具体步骤也可参考「实名认证」的专题标签。如因为手机号实名信息与身份证不符等原因而实名认证无法通过，可先跳过实名认证，在提交协议环节我们会手工做验证）

3. 参赛报名：队伍中的所有人应在竞赛页面点击「参赛提交」报名赛事

4. 队伍组建（如需）：队伍中的所有人应通过竞赛的「队伍管理」组建或加入了队伍 （如不清楚具体怎么操作，可点击页面右上角「使用手册」具体了解），协议签署手续完成后，队伍的组成情况以协议签署的版本为准。

5. 协议签署：

    如果你们队伍是由个人（即不代表任何机构）组成的，那么请签署个人版保密协议（链接见下），请确保每个人都已单独签署一份，并已准备好了身份证复印件

    如果你们队伍中有任何机构需要以机构身份参赛，请准备好机构盖章的法人版保密协议（链接见下），并请准备好营业执照扫描件

6. 协议提交：https://jinshuju.net/f/WnNdD7

7. 协议审核：我们会在 2 个工作日内尽快对材料予以审核，并邮件反馈团队

8. 数据下载：获得数据链接的选手可下载数据，请注意根据协议，任何选手无论个人或法人机构都无权传播该数据，请勿私自向任何其他未签署协议的个人、机构提供数据。任何个人、机构未完成上诉材料提供，而获得数据并提交的结果都将视为无效提交。

二、关于协议的签署

协议的获取地址和说明地址：https://pan.baidu.com/s/1gGxNo_SplzgWMrLUhOZ8_g     密码: lma9

请注意以下几点：

1. 如无需 SMT侧提供盖章版，可仅通过上方电子渠道提交单章/单方签字的扫描件即可

2. 如需要 SMT 侧盖章，请按照协议要求完整准备正本协议和相应附件，一并寄送到上诉协议文件夹下的协议说明里提供的地址

渲染测试申请入口：https://jinshuju.net/f/LiOcBu

一、 渲染测试的目的

本竞赛的任务是利用人工智能机器学习方式代替传统动捕获得语音文本对应的 BlendShape 参数，从而加速数字人的生产效率。为了能够让选手直观检视机器学习产出参数组的实际效果，命题方牵头单位 SMG 技术中心为选手提供了渲染测试服务，能够为选手自选的一个特定 BlendShape 文件（即测试集中对应的一个特定文本音频）做渲染，并返还生成的视频。

二、渲染测试的规则

1. 测试申请截止节点：

为提高渲染测试的效率，赛事设定每周日晚 24 点统一截止一批申请的采集，并在次周一由 SMG 技术中心统一渲染返还给选手。

（B 榜期间修正为 8 月 3 日周三、8 月 10 日周三两次截止收取，周五反馈）

2. 有效测试申请：

有效的测试申请必须含有完整、有效、真实的填写信息，且上传的 blendshape 文件有效、按要求命名

blendshape 命名规则：文件命名为[选手名-Audio 名]，即两部分组成
- 选手名：即你们的团队名称或个人参赛的话即个人用户名
- 对应 Audio 名：对应测试集中的 Audio 名

3. 测试次数限制：
-截止7 月 31 日（含当天），每个有效的团队有 2 次提出申请的机会；
-8 月 1 日-8 月 14 日期间，每个有效的团队可获得额外 2 次提出申请的机会；

三、渲染测试的流程：

1. 请首先至https://jinshuju.net/f/LiOcBu 提交申请，你应当准备好你们需要申请渲染的 BlendShape 文件

2. 每周一至周日 24 点为一个申请接收周期，我们将统一再「次周一」将上周的有效申请转交给 SMG 技术中心

3. SMG技术中心将按照时间倒序（先提交的先渲染）开始渲染生成视频

4. 视频渲染完成后，将返还至申请中预留的邮箱

请注意渲染时间随着每周申请量变化而有所不同，请给到 1-2 个工作日的预期。

此处提供一些具备参考意义的论文、开源方案等资料，请注意任何所列的参考内容仅供选手参考，并非代表 AIWIN 或者任何命题方对该方法或代码的官方采纳或思路建议，请选手自行谨慎使用

一、参考文献：

1.Audio-Driven Facial Animation by Joint End-to-End Learning of Pose and Emotion 2017
2.VisemeNet: Audio-Driven Animator-Centric Speech Animation 2018
3.Capture, Learning, and Synthesis of 3D Speaking Styles 2019
4. AUDIO2FACE: GENERATING SPEECH/FACE ANIMATION FROM SINGLE AUDIO WITH ATTENTION-BASED BIDIRECTIONAL LSTM NETWORKS 2019
5. A Novel Speech-Driven Lip-Sync Model with CNN and LSTM 2022

二、开源方案

https://github.com/FACEGOOD/Voice2Face 

请注意，2022 赛季起实名认证都将作为晋级或切榜后成绩有效的前提。

实名认证需通过点击系统右上角用户名处，进入「设定」界面操作。

在此界面请先确认姓名是否为真实姓名，若不是请修改，并点击页面最下方的保存按钮。之后点击「前往实名认证」

在实名认证页面，你需要填入自己的身份证号和手机号（请使用登记在你身份证名下的手机号）

若三者信息匹配即可完成实名认证。如有技术问题，请按页面提示联络我们。

结合2022AIWIN春季赛季赛题，机械出版社华章分社推荐以下书籍，希望能够帮助各位参赛选手取得好的成绩！同时对于优秀的参赛选手也将提供部分书籍奖励。感兴趣的同学也可到 AIWIN 专题书单页面购买（京东专题页传送门，当当专题页传送门）

1.  基于深度学习的自然语言处理

推荐语：将深度学习方法应用于各种自然语言处理任务，可以让你的算法在速度和准确性方面提升到一个全新的水平。本书首先介绍自然语言处理领域的基本构件，接着介绍使用*的神经网络模型可以解决的问题。深入研究各种神经网络架构及其特定的应用领域将有助于你理解如何选择*模型来满足你的需求。随着学习的深入，你将学到卷积神经网络、循环神经网络、递归神经网络以及长短期记忆网络。在后面的章节中，你将能够使用自然语言处理技术（如注意力机制模型和集束搜索）开发应用程序。

2.会话式AI：自然语言处理与人机交互

推荐语：这是一部讲解如何基于NLP技术和人机交互技术实现聊天机器人的著作。

两位作者聊天机器人领域均有多年大型项目的实战经验，这本书不仅讲解了NLP和人机交互的核心技术，而且从技术、算法、实战3个维度讲解聊天机器人的原理、实现与工程实践。

3.  从零构建知识图谱

推荐语：这是一本能让读者快速从零开始构建工业级知识图谱的著作。作者是知识图谱和自然语言处理领域的专家，本书得到了OpenKG联合创始人王昊奋、清华大学教授李涓子、东南大学教授漆桂林、美团知识图谱团队负责人张富峥、文因互联创始人鲍捷等学界和业界知识图谱扛旗人的一致好评和推荐。

本书不仅详细讲解了知识图谱的技术原理和构建工具，而且还循序渐进地讲解了知识图谱的构建方法、步骤和行业应用。配有大量实战案例，并且开放了源代码，确保读者能学会并落地。

4. 基于混合方法的自然语言处理：神经网络模型与知识图

推荐语：IBM研究员Ken Barker及谷歌知识图谱Denny Vrandecic作序推荐，介绍神经网络和知识图谱的结合在NLP中的应用。书中准确地演示了如何创建和使用上下文表示，对意义嵌入和知识图谱嵌入有着明确的处理方法，解释了使用它们的语言模型和Transformer体系结构。

5. 自然语言理解与行业知识图谱

推荐语：为互联网企业的智能平台构建提供了很好的案例参考，也为行业信息化从业者提供了从入门到进阶的技术指导，适合作为自然语言处理、知识图谱、计算机、人工智能等领域从业者的学习指导书，也非常适合对自然语言处理、知识图谱感兴趣的学生和创业团队阅读。

我们推荐你通过 Intel DevCloud 平台利用其线上环境和算力完成本竞赛的建模

DevCloud：http://devcloud.intel.com/

提交压缩包的规范

当前系统仅接受压缩包，所以请将所有任务对应的 blendshape 的 csv 文件统一打包入一个压缩包，并按命名规范操作上传提交。

请注意，该压缩包应当在 unzip 命令下解压后，在解压路径的根目录下能够直接得到所有 csv 文件，而无文件夹嵌套。

如有文件夹嵌套，系统将无法自动定位到 csv 文件，从而无法判分而抛出异常。

提交结果分析

1. 请注意，提交界面上传文件后，提交物会先后经历[submitting- submitted - running - finished] 数个状态。

2. 待进入 finished 状态后，可点击”+“号 展开该行提交

3. 点击「查看 scoring output 输出」可看到详细的每个 blendshape 的分数和总分 score

4. 请注意当前 score 数值越小越接近 0代表生成的 blendshape 越好

5. 排行榜采用的是取你历史提交最佳成绩显示，因此建议你是提交后，隔 1 分钟刷新提交页面，查看此轮提交物的输出分数

6. 如果发现排行榜显示的分数并非是你的最好成绩，请邮件至 it@aispacesh.com 反馈该问题，我们尽快介入处理。

常见异常：

错误情况 1：

在 Traceback 中直接输出的报错信息
FileNotFoundError: [Errno 2] No such file or directory: './input/ref/xxxx.csv'

含义：评审程序会读取 ground truth，并试图通过同样的文件名找到对应的提交答案，如出现上述错误，说明你对输出的 blendshape 的命名有误。请检查，如测试任务是A1.wav，则对应的输出应该是 A1.csv

错误情况 2：

在 Traceback 中直接输出的异常
KeyError: 'XXXXXX'

含义：请确认你的输出中是否正确输出了 blendshape 的参数，正确的参数个数应该为52个（请以 数据包中 blendshape-example(输出模版参考).zip 为准）

错误情况 3：

在 Traceback 中直接输出的异常
ValueError: Found input variables with inconsistent numbers of samples: [xxx, yyy]

含义：初步判断应当是你输出的 blendshape 文件的行数与 ground truth 有差异，或你的 blendshape 可能包含多余的参数列，请检查