論文的工作屬於深度學習在工業界的應用，借鑑計算機視覺的解決方法，針對機器故障檢測的場景提出自適應的APReLU，對故障檢測的準確率有很大的提升。論文整體思想應該也可以應用於計算機視覺，代碼也開源了，大家可以嘗試下
 
來源：曉飛的算法工程筆記 公衆號

論文: Deep Residual Networks with Adaptively Parametric Rectifier Linear Units for Fault Diagnosis

• 論文地址：https://ieeexplore.ieee.org/document/8998530/metrics#metrics
• 代碼地址：https://github.com/zhao62/Adaptively-Parametric-ReLU

Introduction

  論文討論的場景是電子設備的錯誤檢測，由於在苛刻環境下長期運行，電子設備經常會不可避免地出現故障，進而造成意外和損失。而振動信號(vibration signal)通常包含由於機器故障引起脈衝和波動，可用來檢測設備故障。近期，深度學習方法也被用於電子設備的錯誤檢測中，將振動信號作爲輸入，輸出當前設備是否正常。

  主流的分類神經網絡使用一組完全相同的非線性變換來處理不同的輸入，如圖a所示，F、G和H代表非線性變化， = = =代表非線性變換是否相同。對於振動信號場景而言，相同健康狀態的機器，由於當前操作不同，反饋的振動信號的差異可能較大，很難將不同波形的歸爲同一健康狀態。相反的，不同健康狀態的機器偶然會產生相同的振動信號，神經網絡會將其映射到相近的區域，難以區分。綜上，固定的非線性變換在振動信號場景中可能會對特徵學習能力帶來負面的影響，能夠自動學習並根據輸入信號使用不同的非線性變換是十分有意義的。

  論文基於ResNet提出了改進版ResNet-APReLU，如圖b所示，根據輸入信號賦予不同的非線性變換，具體是通過插入一個類似SE(squeeze-and-excitation)模塊的子網來調整**函數的斜率，能夠大幅提升故障檢測的準確率。由於論文的場景比較特殊，所以主要學習論文提出的方法，至於應用場景相關的部分和實驗部分，就簡單地帶過就好了。

Fundamentals of classical ResNets

  論文以ResNet爲基礎，ResNet的核心結構如圖2a所示，相信各位都很清楚，就不再介紹了。將ResNet應用到機器錯誤識別中，如圖2b所示，輸入振動信號，經過網絡的特徵提取後進行狀態識別，判斷機器是健康還是處於其它錯誤狀態中。論文的核心是通過改進ReLU進行自適應的非線性變換，原版ReLU可公式化爲：

Design of the developed ResNet-APReLU

Design of the fundamental architecture for APReLU

  APReLU集成了一個特別設計的子網，有點類似於SE模塊，根據輸入自適應地預測用於非線性變換的乘法因子，結構如圖3a所示，輸出channel-wise的ReLU參數，包含以下步驟：

1. 用ReLU和GAP將輸入特徵映射到1D向量，獲取正面特徵(positive feature)的全局信息。用min(x, 0)和GAP將輸入特徵映射到另一個1D向量，獲取負面特徵(negative feature)的全局信息，負面信息可能包含某些有用的故障信息。GAP能夠處理信號的偏移問題，將輸入特徵圖信息壓縮爲兩個1D向量，分別代表正面和負面信息。
2. 將兩個1D向量Concate到一起，進行FC-BN-ReLU-FC-BN-Sigmoid計算，兩個FC的輸出與輸入特徵的維度一致，最後sigmoid輸出用於公式10的 α ∈ ( 0 , 1 ) \alpha \in (0, 1) α∈(0,1)因子：

Architecture of the developed ResNet-APReLU for vibration-based gearbox fault diagnosis

  基於APEeLU構建新的ResBlock，如圖b所示，與原版的ResBlock基本一致，只是將ReLU替換爲APReLU進行自適應非線性**。APReLU的輸出大小跟輸入大小一樣，可以簡單地嵌入到各種網絡中。完整的網絡結構如圖c所示，最後輸出多個機器狀態的預測，計算交叉熵損失，進行梯度下降學習。

Experimental Results

  從結果來看，針對機器故障的場景，論文提出的方法是十分有效的。

Conclustion

  論文的工作屬於深度學習在工業界的應用，借鑑計算機視覺的解決方法，針對機器故障檢測的場景提出自適應的APReLU，對故障檢測的準確率有很大的提升。論文整體思想應該也可以應用於計算機視覺，代碼也開源了，大家可以嘗試下。

如果本文對你有幫助，麻煩點個贊或在看唄～
更多內容請關注 微信公衆號【曉飛的算法工程筆記】