【Bias 02】BENCHMARKING NEURAL NETWORK ROBUSTNESS TO COMMON CORRUPTIONS AND PERTURBATIONS

摘要

對圖像分類的魯棒性評估，建立benchmark。我們的第一個benchmark是ImageNet-C，它可以評估哪一個分類器更適合安全關鍵的應用。第二個benchmark是ImageNet-P，使得研究人員可以衡量分類器對常見擾動的魯棒性。並且本文探究加強腐蝕和擾動的魯棒性，本文甚至發現bypassed adversarial defense提供了對於常見擾動的魯棒性。

Related Work

1. 在某一種擾動、腐蝕上做fine-tune，並不能使得模型在其他擾動、腐蝕上表現得更好。但是在多種擾動、腐蝕上做fine-tune則會導致表現較差。
2. 在噪聲圖片中做fine-tuning會導致欠擬合，因此他們鼓勵讓噪聲圖片的softmax distribution和clean image 的softmax distribution想匹配。
3. 通過假設腐蝕已知，通過a mixture of corruption-specific experts來解決欠擬合的問題。

ImageNet-C

包含15中corruption，可分爲noise、blur、weather和digital。

評價指標：

MeanCE則是所有corruption的均值。

Relative mCE則是所有corruption的均值

增強魯棒性的方法

1. Multiscale Networks，例如Multigrid Networks和MSDNet（bind network layers with DenseNet-like skip conneections）由於多尺度架構具有經過精細細節處理的高級表示,因此該架構似乎能夠更好地抑制其他分散的像素噪聲
2. Feature Aggregating and Larger Networks：DenseNets、ResNeXts
3. Stylized ImageNet：圖片用style transfer處理過，在這上面訓練過的分類器會更少的依賴紋理，專注於目標形狀。
4. Adversarial Logit Pairing：設計用於增加對small gradient perturbations的魯棒性。但是它對於提高模型魯棒性有很好的作用。