論文筆記 |(CVPR2018)_Residual Dense Network for Image Super-Resolution

論文下載：(CVPR2018)_Residual Dense Network for Image Super-Resolution
論文代碼：https://github.com/yudzhang/RDN

Abstract

超深卷積神經網絡最近在圖像超分辨率方面取得了巨大的成功，並且提供了分層特徵。然而，大多數基於CNN的深度隨機共振模型沒有充分利用原始LR圖像的層次特徵，從而獲得相對較低的性能。在本文中，我們提出了一種新的殘差密集網絡(RDN)來解決這一問題，充分利用了所有卷積層的層次特徵。

具體來說，我們提出了殘差密集塊(RDB)來通過稠密連通卷積層提取豐富的局部特徵。RDB還允許從之前的RDB直接連接到現在的RDB的所有層，從而形成了一個(CM)連續內存機制。然後利用RDB的局部特徵融合，自適應地從先前和當前的局部特徵中學習更有效的特徵，並穩定更廣泛網絡的訓練。在充分獲取密集的局部特徵後，利用全局特徵融合，以整體方式聯合自適應學習全局層次特徵。

網絡架構

對於一個非常深的網絡來說，直接提取LR空間中每個卷積層的輸出是困難和不切實際的。我們提出殘差密集塊(RDB)作爲RDB網絡的構建模塊。

RDB

RDB由密集連通層和*局部特徵融合(LFF)和局部殘差學習(LRL)*組成。

密集連通層

以前饋的方式將每一層連接到其他每一層，一個RDB的輸出可以直接訪問下一個RDB的每一層，一個RDB的每個卷積層都可以訪問該RDB內所有後續的卷積層，並傳遞需要保留的信息。

傳統的具有L層的卷積網絡有L個連接，而具有密集連通層的網絡有L(L+1) 2個連接。對於每一層，所有前一層的特徵映射被用作輸入，並且把將自己的feature map用作所有後續層的輸入。這種方式可以緩解梯度消失問題，加強了特徵傳播，鼓勵特徵重用，並大大減少了參數的數量。

局部特徵融合(LFF)

LFF將前一個RDB層和當前RDB內所有Conv層的feature map以串聯的方式連接起來，將前一個RDB的feature map引入當前RDB，減少feature map的數量。受MemNet 的啓發，引入了1 × 1卷積層來自適應地控制輸出信息提取局部密集特徵。

局部殘差學習(LRL)

局部殘差學習將密集連接層與局部特徵融合(LFF)相結合，在一個RDB中有多個卷積層，第d個RDB的最終輸出可以通過F_d = F_d-1 + F_d,LF獲得。LRL可以進一步提高網絡表示能力，從而獲得更好的性能。

RDN

在用一個RDB提取局部稠密特徵後，進一步提出稠密特徵融合(DFF)來全局地利用層次特徵。

DFF包括全局特徵融合(GFF)和全局殘差學習(GRL)。

全局特徵融合(GFF)

全局特徵融合是將各RDB塊的feature map通過串聯的方式連接起來進行融合，再使用1 × 1卷積層用於自適應融合一系列不同層次的特徵。全局特徵融合(GFF)之前的所有其他層的feature map都被我們提出的RDB塊們充分利用，這些RDB塊產生多層次的局部密集特徵，爲了進一步提取用於全局殘差學習的feature map，又引入了一個3 × 3的卷積層，讓這些特徵進一步自適應融合形成F_GF。

全局殘差學習(GRL)

利用全局殘差學習來獲得全局的feature map，其中F_-1表示淺層特徵圖。經過全局殘差學習，我們在LR空間中提取局部和全局特徵,將F_-1和F_GF相加得到稠密特徵F_DF。

應該注意的是，Tai等人利用MemNet中的長期密集連接來恢復更多的高頻信息。然而，在存儲塊中，前面的層不能直接訪問所有後面的層。局部特徵信息沒有得到充分利用，限制了長期連接的能力。此外，MemNet在HR空間中提取特徵，增加了計算複雜性。

對比

DenseNet

• DenseNet廣泛應用於高級計算機視覺任務(如物體識別)，而RDN是爲圖像服務請求而設計的。
• RDN刪除了批處理規範化(BN)層，因它與卷積層消耗相同的GPU內存，增加了計算複雜度，並阻礙了網絡的性能。
• RDN刪除了pooling層，因它可能會丟棄一些像素級信息。
• DenseNet過渡層被放置在DenseNet中兩個相鄰的密集塊中，而在RDN中通過使用局部殘差學習將密集連接層與局部特徵融合(LFF)相結合。
• RDN採用全局特徵融合來充分利用分層特徵，這在DenseNet中是被忽略的。

SRDenseNet

第一個是基本架構的設計。
SRDenseNet從densente引入了基本密集塊。我們的剩餘密集塊(RDB)在三個方面進行了改進：
(1)引入了連續內存機制，它允許前一個RDB的狀態直接訪問當前RDB的每一層。
(2)我們的RDB通過使用局部特徵融合(LFF)允許更大的增長率，這穩定了廣域網絡的訓練。
(3)RDB利用LRL進一步鼓勵了信息和梯度的傳輸。

第二個是RDB之間沒有緊密的聯繫。

我們使用全局特徵融合(GFF)和全局殘差學習來提取全局特徵，因爲我們具有連續內存的RDB已經在本地完全提取了特徵，所有這些組件都顯著提高了性能。

第三種是Loss函數不同。

SRDenseNet使用L2loss函數。我們使用L1loss函數，該函數已被證明在性能和收斂性方面更強大。

MemNet

• MemNet需要使用雙三次插值將原始LR圖像上採樣到所需的大小。該過程導致在LR空間中的特徵提取和重構。而RDN從原始LR圖像中提取層次特徵，顯著降低了計算複雜度，提高了性能。
• MemNet中的ｍemory block包含遞歸單元和門單元。一個遞歸單元中的大多數層不從它們的前一層或存儲塊接收信息。 在RDN中，RDB的輸出可以直接訪問下一個RDB的每一層。每個卷積層的信息也流入一個RDB內的所有後續層。此外，RDB的局部殘差學習改善了信息流動和梯度。 -MemNet的當前存儲塊沒有充分利用前一個塊及其層的輸出信息。即使MemNet採用了密集的內存塊連接，MemNet也不能從原始輸入中完全提取分層特徵。