2019-03-20

2019 未来杯高校 AI 挑战赛 > 图像-发现超新星

1. 任务目标

设计一个目标检测模型，从天文望远镜拍摄到的影像中发现疑似新星、超新星。

2. 规则说明

参赛选手需要基于给定的数据集，设计并训练模型，用于检测PSP项目中天文望远镜拍摄到的影像中的疑似星体，排除噪点和鬼影。测试集中包含志愿者对坐标中心点的标注，以及高级用户对此标注的进一步分类标注。包含 疑似星体 和 非疑似星体，详见“数据集”页面。疑似星体包括高级用户标注为：已知的疑似超新星（known）、新发现的疑似超新星（newtarget）、变星或疑似变星（isnova）、恒星（isstar）、小行星（asteroid）。非疑似星体包括高级用户标注为：噪点（noise）、鬼影（ghost）、无可疑目标（pity）。每组包含三张照片，分别为新图、历史图，和这两张图片的差值图像。

3. 测试集发放与结果提交

测试集会于约定时间开放给选手，选手需要在提交截止时间前提交正式数据集的验证结果、模型和代码，详见“结果提交”页面。每队选手有3次提交机会，取最好成绩作为客观成绩。

测试集 csv 格式如下：

id
d52f52b895f03a214a3a077acd253066
0b1685708bdf8bf82f1ffce8705b109b
732c55c0629a016be567c5fe76d3cf96
06bb4bc28935b60334153e7e8a5a06fd
530099dd7961f5341f66d8cdcb89269b
9e9b6fd78b5240058f5f6db837a16d48
412375a90b92dd4c71d1245b5332c134
1bfe2a17b1827a9eea1b5f2610aa7026
f5796ac41ed58be966f253b59a83419f
...

结果需要提交 csv 文件，格式要求如下：

id,x1,y1,x2,y2,x3,y3,havestar
d52f52b895f03a214a3a077acd253066,123,321,55,66,222,222,1
0b1685708bdf8bf82f1ffce8705b109b,234,432,77,88,111,111,0
732c55c0629a016be567c5fe76d3cf96,123,321,55,66,222,222,1
06bb4bc28935b60334153e7e8a5a06fd,234,432,77,88,111,111,1
530099dd7961f5341f66d8cdcb89269b,123,321,55,66,222,222,0
9e9b6fd78b5240058f5f6db837a16d48,123,321,55,66,222,222,0
412375a90b92dd4c71d1245b5332c134,123,321,55,66,222,222,0
1bfe2a17b1827a9eea1b5f2610aa7026,123,321,55,66,222,222,1
f5796ac41ed58be966f253b59a83419f,123,321,55,66,222,222,1
...

其中，每组图片一行，(x1, y1)、(x2, y2)、(x3, y3) 为对应id所代表图片组的三对预测坐标（疑似星体的几何中心），按置信度由高到低排序，以图片左上角为(0,0)计算。havestar使用0/1表示，代表这组图片中是否存在星体的判断，1代表存在，0代表不存在。

4. 计分方式

每组照片，选手提交的三个预测结果的坐标中，任一个与实际星体所在坐标欧几里得距离在15px之内的，即为预测成功。预测成功得1分，不成功得0分。每组照片，选手还需提交对图片中是否存在星体的判断（havestar），将作为次要的辅助计分因素。本次区域赛的目的是，可以为需要标注的图片提供参考，以提高人工看图的效率。所以，计分以预测坐标的命中率为主，命中率相同的，以疑似星体判断的F1值决定排名。计分公式如下：

S为最终得分，N表示存在疑似星体的图片组数，ti表示是否有预测正确的坐标，有为1，没有为0。其中：

F1为F1-score，即精确率和召回率的调和平均数（在0-1之间）。

5. 测试集发放与结果提交

预测试集TestA会先行开放，提供给参赛选手调试程序和验证模型。TestA的结果可提交至竞赛平台，获取跑分，但不计入比赛成绩。正式测试集TestB会于约定时间开放给选手，选手需要在72小时内提交正式数据集的验证结果、模型和代码，详见“结果提交”页面。每队选手有3次提交机会，取最好成绩作为客观成绩。

6. 比赛要求

参赛选手需要同时提交说明文档、预测结果、训练和预测代码、模型（参数集），详见“结果提交”页面。
参赛选手所提交程序应可在 Linux 环境顺利运行。建议（不强制）使用 Python 2.7 或 Python3.6 作为首选编程环境，使用 Anaconda 3 搭建软件环境。不限制第三方软件包使用，但须获得合法授权和软件拷贝，以确保主办方可以复现程序运行过程。
参赛选手提交的程序须满足输入输出的要求，参见“结果提交”页面。
参数选手的提交物需要可完整复现训练和预测过程，主办方不会做任何代码修改，如无法复现的，视作无效提交。
参赛选手可以使用公开开源的预训练模型，需要提供相关下载地址。
不得使用提供的数据集之外的数据训练模型。
不得将自行手工标注的结果运用于训练和测试。