COCAS: A Large-Scale Clothes Changing Person Dataset for Re-identification——准研究生论文周报

1 标题

  COCAS: A Large-Scale Clothes Changing Person Dataset for Re-identification 来源：CVPR 2020  日期：06月30日 周二

2 概述

  现存的绝大多数REID数据集中，单一行人的着装是相同的，然而在实际生活中，换衣服是不可避免的，想要REID算法落地投入应用，更不能回避行人着装变化的情况。   为此，文章贡献了新的换衣数据集COCAS(ClOthes ChAnging Person Set)，数据集中同一行人有多种着装，且query不再是单张行人图片，而是行人图片加一张衣物模板(clothes template)图片，这与实际情况也相符。此外，作者提出双分支网络BC-Net(Biometric-Clothes Network)，证明了通过服装模板实现REID的可行性。

3 创新点

定义了新的REID方式，用行人图片和衣服模板query。贡献了换衣REID数据集COCAS，包含了5266个人的62382张图像。提出了双分支网络BC-Net，结合行人的生物特征及衣物特征实现REID。

4 详细内容

4.1 动机

不少学者发现着装仍然是REID工作不可忽视的关键特征，如下面的热力图，单靠生物特征几乎不可能理想地进行REID。 在实际生活中，换衣的情况是无法避免的，且存在犯罪嫌疑人企图通过换衣躲避追捕的案例。现有的REID数据集或REID工作大都假设行人着装无变化，这不符合实际。

4.2 COCAS数据集

数据集共包含了5266人的62832张图片，每个行人有穿着2-3种衣服的5-25张图片。query集包含行人图片和衣服图片，这与实际情况相符——寻人往往会描述着装特征。gallery集中单个行人的着装是相同的。数据集中的行人不介意出现在该数据集中，且为了保护隐私，作者团队对人脸进行了模糊处理。用行人解析模型LIP从行人图像裁剪出衣物，并在网络搜索出相应的衣物图片。

4.3 BC-Net网络

共包含两个分支，一个处理服装相关特征(clothes-relevant feature)，一个处理服装无关特征(clothes-irrelevant feature)如生物特征：人脸、体型、发型，最后融合两个特征，通过identification loss和triplet loss实现REID，网络的backbone是ResNet-50，结构如下：

其中生物特征分支中，Mask Module用于更好地提取服装无关、背景无关的特征，突出生物特征；对于服装特征分支，输入图像除了来自衣物模板外，还来自衣物检测器裁剪出的衣服图像。

对于生物特征：$$f_k^B=\frac{1}{H\times W}\sum _{i=1}^H\sum _{j=1}^W[{\text{A}}_k^p○{\text{M}}^p{]}_{i,j}$$

符号名描述${\text{A}}_k^p\in {\mathbb{R}}^{H\times W\times D}$经过ResNet50得到的第k个channel的feature map$H\times W\times D$feature map size，$D$是feature dimension$f_k^B$$f^B$的第$k$个元素${\text{M}}^p\in {\mathbb{R}}^{H\times W\times 1}$${\text{A}}_k^p$经过Mask Module得到的feature map○对应元素乘积

融合生物特征与服装特征：$$f=\text{W}[(f^B{)}^T,(f^C{)}^T{]}^T+\text{b}$$其中$\text{W}\in {\mathbb{R}}^{d\times 2D}$，$\text{b}\in {\mathbb{R}}^D$，$f$在训练和测试阶段通过$L_2$范数归一化。

4.4 实验

本文REID工作主要通过两种方式进行：1)将COCAS数据集视为传统REID数据集，按照传统方法，仅利用行人ID进行实验；2)query的过程加入衣物模板图片。消融研究，寻找哪些因素是影响换衣REID模型性能的关键因素，如下表9,10条，仅用生物特征或服装特征实现REID。结果发现，结合两种特征识别效果很理想。 多个数据集上和其他baseline对比 不同的度量方法对结果的影响，RR代表re-ranking

5 收获与心得

  广东省CVPR2020论文预交流会，作者对本文作出了讲解——视频地址。   本文主要贡献还是提出一个换衣行人数据集，字里行间流露出作者团队采集制作数据集的艰辛。衣物更换确实是不可忽视的一个点，原有的REID工作不考虑衣物更换，我感觉更像是车辆重识别，因为车辆一般不会出现大变化。   目前数据集还没有公开，未来研究换衣行人重识别应该也是热门，此外，我看到过网上讨论利用步态识别(gait-recognition)行人身份的可行性，不知基于步态识别实现REID是否可行，值得进一步探讨。总得来说，REID工作可能不仅局限于衣物特征，人脸特征。