深度學習_卷積神經網絡_1 * 1卷積

NIN（Network in Network）是第一篇探索1 * 1卷積核的論文，這篇論文通過在卷積層中使用MLP替代傳統線性的卷積核，使單層卷積層內具有非線性映射的能力，也因其網絡結構中嵌套MLP子網絡而得名NIN。NIN對不同通道的特徵整合到MLP子網絡中，讓不同通道的特徵能夠交互整合，使通道之間的信息得以流通，其中的MLP子網絡恰恰可以用1 * 1的卷積進行代替。

GoogLeNet則採用1 * 1卷積核來減少模型的參數量。在原始版本的Inception模塊中，由於每一層網絡採用了更多的卷積核，大大增加了模型的參數量。此時在每一個較大卷積核的卷積層前引入1 * 1卷積，可以通過分離通道與寬高卷積來減少模型參數量。

如上圖所示，在不考慮參數偏置項的情況下，若輸入和輸出的通道數爲C₁ =16，則左半邊網絡模塊所需的參數爲（1 * 1 + 3 * 3 + 5 * 5 + 0）* C₁ * C₁ =8960；假定右半邊網絡模塊採用的1 * 1卷積通道數爲C₂ =8（滿足C₁ > C₂），則右半部分的網絡結構所需參數量爲（1 * 1 * （3C₂ + C₁）+ 3 * 3 * C₂ + 5 * 5 * C₂） * C₁ = 5248。

所以1 * 1卷積可以在不改變模型表達能力的前提下大大減少所使用的參數量。

1 * 1卷積的作用主要爲以下兩點：

1. 實現信息的跨通道交互和整合。
2. 對卷積核通道數進行降維和升維，減少參數量。