竞赛目的与意义

迄今为止，人工智能在视觉理解领域已经取得前所未有的成绩，各类任务的性能指标不断被刷新，其成果也被广泛应用到人类生活的各个领域。然而，在实际部署时，许多系统和产品对算法速度和功耗等方面都有额外的限制，随着人工智能应用规模的扩大，这类问题日益突显。目前大多数研究人员只关注视觉算法的性能提升，对速度、功耗的考虑依然欠缺，但很明显，为解决实际问题，算法功耗、速度、性能都是需要关注的重要因素。因此，为了评估当前视觉领域的研究现状，构建一个在功耗、速度、性能三个方面上进行算法比较的通用基准，我们将继《高速低功耗视觉理解挑战赛》后，组织《PRCV2020第二届高速低功耗视觉理解挑战赛》。本次竞赛旨在进一步发掘兼顾视觉理解性能和高效节能的视觉理解技术，在CPU、GPU和小型嵌入式 AI 芯片的多个平台上，提高视觉理解技术的研究水平，推动计算机视觉学科的产业发展，促进视觉的智能分析技术在实际问题上的应用。

竞赛组织方

组织者：赵鑫，张靖，白岩

组织单位：中国科学院自动化研究所

联系电话：010-82544720

邮件地址：yan.bai@ia.ac.cn

联系地址：北京市海淀区中关村东路95号

竞赛者要求

按自愿报名的原则，参赛团队和成员的组成可以为：

1.各培养单位正式注册教师、在读研究生以及博士生。

2.国内各研究团体、企事业单位。

参赛方式

以个人或团队方式均可通过邮件方式报名参赛,每个参赛队伍人员不超过5人，每名参赛选手只能参加1个参赛队。每个参赛队伍在竞赛截止时间之前最多可更新2次结果，截止时间之后不能再更新结果。参赛队发送报名信息至yan.bai@ia.ac.cn。

邮件标题格式“高速低功耗视觉理解挑战赛2020_(参赛队名称)”。

邮件内容应包括个人或团队基本信息、负责人基本信息、参赛人数、联系方式(手机，邮箱),所有表格中对应成员的信息均为必填项，填写后保存为excel的格式，文件命名为“高速低功耗视觉理解挑战赛2020_(参赛队名称).xlsx”。

组织方收到邮件并与报名者确认后，报名成功。

报名截止日期为：2020年6月30日。

组织方式

拟采用的组织方式为主办方在虚拟测试环境(Ubuntu)和测试样本数据上测试参赛队提交的算法模型，通过验证运行可执行程序的输出结果，综合评价模型在多平台上的性能、功耗、速度指标，评出名次（为防止作弊，主办方不公布测试集，但与Microsoft COCO数据集中的实例分割任务（Instance Segmentation）的数据相同（非removed的类别，共80类）。

赛程如下：

赛事数据集的使用

本次比赛的数据来源于CASIA-SPT测试集，数据集具有如下特点：

图像大小：长宽均在300-1000个像素之间。

训练样本：本竞赛不提供训练样本，竞赛团队可在COCO数据集或任何相似数据集上训练模型，类别数与Microsoft COCO数据集中的实例分割任务（Instance Segmentation）的数据相同（非removed的类别，共80类）。

验证样本：200张验证图片，类别数与Microsoft COCO数据集中的实例分割任务（Instance Segmentation）的数据相同（非removed的类别，共80类）。

测试样本：800张测试图片，类别数与Microsoft COCO数据集中的实例分割任务（Instance Segmentation）的数据相同（非removed的类别，共80类）。

性能评价方法

针对比赛任务中视觉理解的实例分割要求，在给定的800张测试图像以及80类对应物体的基础上，对图像进行精细分割标注。结果输出格式必须与Microsoft COCO数据集中的实例分割任务（Instance Segmentation）所要求的相同。

***以下测试过程均由竞赛组织方完成，最终解释权归竞赛组织方所有***

1、性能评价

采用Microsoft COCO实例分割任务专用的mAP作为评测指标。

mAP是各IoU阈值（0.5:0.95:0.05）下AP的均值。在给定的IoU阈值 θ 下，AP是Precision/Recall 曲线下的面积。具体地：

（1）将dt mask（预测的mask结果）按照置信分由大到小进行排列，仅保留前100个结果。

（2）将dt mask依次与gt mask（ground truth mask）进行匹配（一个gt mask最多只与一个dt mask匹配），找到IoU最大的结果，若IoU大于等于θ，则是匹配成功，作为一个TP；否则匹配失败，产生一个FP。

（3）没与任何dt mask匹配上的gt mask作为FN。

（4）计算Precision和Recall和AP。

更多细节可参考MS COCO官网，成功报名的团队将收到组织方提供的具体测试规范。

2、功耗评价

功耗指标（ES）为提交模型在测试平台上完成800张图像分割后的电量消耗。

3、速度评价

速度指标采用每秒帧率（FPS）作为评价指标，假设完成800张图像分割测试的时间为T，那么：

4、单项测试得分

单项测试得分Score(i)是提交模型的性能、功耗、速度的综合评价。

当i=1时，为提交模型在CPU平台上的测试得分；

当i=2时，为提交模型在GPU平台上的测试得分；

当i=3时，为提交模型在AI芯片集成测试环境上的测试得分；

其中mAP(normalize)是所有n个有效竞赛结果（mAP>0）的平均准确率经过L2归一化后的结果；FPS(normalize)是所有n个有效竞赛结果（FPS>0）的运行速度经过L2归一化后的结果；ES(normalize)是所有n个有效竞赛结果（ES>0）的功耗经过L2归一化后的结果。他们可以分别可表示为：

公式中，mAP(i)是当前被测试方法的平均准确率，mAP(1)、mAP(2)和mAP(n)分别是第1、第2和第n个方法中的平均准确率；FPS(i)是当前被测试方法的运行速度，FPS(1)、FPS(2)和FPS(n)分别是第1、第2和第n个方法中的运行速度；ES(i)是当前被测试方法的功耗，ES(1)、ES(2)和ES(n)分别是第1、第2和第n个方法中的功耗。

5、最终评价指标

在本次竞赛中，最终的评价指标要考虑模型在多平台上的性能、功耗、速度指标。

比赛任务的提交格式

为了方便团队内部和大会组委会测试算法模型，各竞赛团队需提供可用、真实的算法模型和相关测试代码，并提供对应的使用说明文档，说明文档内容包括测试方法用例介绍。算法实现的语言必须使用python，框架使用pytorch、tensorflow、keras中的一种，GPU和小型嵌入式AI芯片上测试使用cuda9或cuda10。

奖项设置

竞赛设一等奖1名(奖金4万元人民币)，二等奖1名(奖金2万元人民币)，三等奖1名(奖金1万元人民币)。

各参赛队伍根据比赛成绩均可获得由计算机视觉专委会、中国科学院自动化研究所智能系统与工程研究中心共同颁发的获奖证书。

挑战赛论坛

组委会将在10月16日至10月18日在南京举办挑战赛技术论坛，邀请竞赛任务获得一、二等奖的参赛队伍参加作特邀技术报告。

知识产权及其它注意事项

1. 各参赛队在赛前需签订数据使用协议，承诺本竞赛提供的功耗测试数据集仅能用于本竞赛，不用于除本竞赛外的任何其他用途，并承诺数据用后即刻删除，不可扩散，主办方保留追究法律责任的权利。

2. 各参赛队需要承诺本队提交的结果可重复，参赛队所有的方案、算法以及相关的知识产权均属于参赛队伍所有，组织方承诺履行保密义务，并不用于除本比赛外的任何其他用途。

3. 参赛队伍应保证所提供的方案、算法属于自有知识产权。组织方对参赛队伍因使用本队提供/完成的算法和结果而产生的任何实际侵权或者被任何第三方指控侵权概不负责。一旦上述情况和事件发生参赛队伍必须承担一切相关法律责任和经济赔偿责任并保护组织方免于承担该等责任。

4．该项竞赛为公益性赛事，全程不收取参赛队伍任何费用。

5．竞赛期间，组委会坚持公开、公平、公正的原则。参赛结果评比由专业评审队完成，如参赛队伍对公布结果有异议，可申请成绩复核，申请通过后到组委会指定地点进行现场复核。

优胜者

竞赛的前三名优胜团队获得竞赛组织方颁发的荣誉奖金及证书。优胜者成绩如下：

测试指标

得分指标