人脸识别界的“世界杯”榜单出炉，中国参赛团队位列第二(2)

有效弥补了学术界与产业界之间由于数据造成的模型、算法等差距。

竞赛指标设计：实现端到端识别，有助于现实应用

在竞赛指标设置方面，微软的 MS-Celeb-1M 也针对现有竞赛做了填补。

目前，数据能够公开获取的比较著名的人脸识别竞赛有 LFW 和 MegaFace。LFW 的规模在万这个级别，由于训练数据不共享等原因，近年来已经呈现出容易过拟合的趋势，而且微软的研究人员发现，LFW 的最佳算法往往难以完全复现。此外，LFW 竞赛是比对两张图像的相似度，距离实际应用还有一定距离。

MegaFace 是美国华盛顿大学发布的数据集，内容是几十位互联网明星照片加上普通人的一百万左右的图片的干扰数据。但是，MegaFace 的目标设定有所不同，相比“识别”，更倾向于“在大噪声情况下的人脸验证”（face verification）。具体来说，MegaFace 竞赛的目标则是在上百万人中识别出特定的几十人。几十个人对人脸识别性能评估作用很难非常全面，与实际应用尚有一些距离。此外，MegaFace 的测试数据没有经过人为标注，含有噪声。测试数据的噪声在衡量高性能的模型时干扰很严重。

为此，微软调整了 MS-Celeb-1M 的评估指标。竞赛的输入是一张图片，输出是一个人名，十分贴近现实中人脸识别的应用场景——判断一张人脸图片是否是某个具体的人。

“我们这个任务是端到端的任务，具体的说，任务是从图像到知识库中的名人识别码。这样的话，很自然而然引入了很多有价值的研究问题，比如如何有效从网络有效获取数据（我们允许自己增加训练数据），如何利用好有噪音的标注训练数据（规模巨大，超过人工标注的成本核算），如何处理海量数据（目标一百万人，千万级别的图），当有些人的数据特别少，数据不均衡的时候怎么办等等，这些都是 CV 里面有意思的问题。”郭彦东说。

参赛队伍的目标是识别出混百万人中的 1000 个人，但具体是哪 1000 人参赛者并不知道。因此，为了实现尽可能高的召回率和准确度，参赛模型需要覆盖尽可能多的人，乃至全部百万规模。这就对模型提出了很高的要求。此外，微软的研究团队非常仔细地人工标注了测试集合，在测试集合上保证了非常高的准确度，这样对衡量高性能模型以及模型在几乎 100% 的准确率下的表现（recall@high precision）就非常有效。

不仅如此，MS-Celeb-IM 百万名人识别竞赛还设有“小样本学习”（lowshot learning）环节，这里特别关注当有些人的训练数据很少的时候，怎么把模型效果做上去。

在这里，参赛队伍需要从 2 万 1000 人中识别 1000 人。但是，这 1000 人都每个人都只有 1 张用于训练的图片。在很多情况下，比如公安人脸识别，犯罪嫌疑人只有 1 张模糊的或有遮盖的图片，要将其在茫茫人海中找出来，就属于小样本学习。