【论文笔记】CVPR2020 Predicting Lymph Node Metastasis Using Histopathological Images Based on Multiple Ins

今年cvpr为什么这么多medical方向的文章，学习了新知识：multi-instance learning

Contribution

作者解决了Predicting Lymph Node Metastasis Using Histopathological Images，由于whole slide images都太大了，所以提出了把大图分成patch来做multi-instance learning的想法。 由于没有instance-level label，作者用self-supervised的方法来学每个patch的feature。

Methods

Instance-level Feature Extraction： VAE-GAN GAN的generator和VAE的decoder是一个东西。VAE-GAN对于VAE而言，把reconstruction loss做在discriminator某层的feature上的差别，而且不是图片pixel之间的差别。这要更有semantic的意义。

Instance-level Feature Selection 一个bag里有很多instance，测试k-th feature时候，把一个bag中的每个instance的feature vector中的k-th feature拿出来，并组成histogram，对于每个bag都这样操作。将bag归为+/-， 计算正负的distance。distance大于threshold，则判定k为有用的feature，否则为无用。

最终，每个bag得到D个有用feature，假设共有K instance，则每个bag都有一个K*D的feature map.

Bag-level Classification

一个bag对应一个graph。每个instance是一个node，adjacency matrix的维度为K*K。用instance之间的距离来定义adjacency matrix中的1或0。Spectral Graph Convolution + FC 来得到分类结果。

Results