讀論文:Unprocessing Images for Learned Raw Denoising

1 先講講文章幹啥的

    深度學習降噪須要成對的圖像(噪點數據、對應的清晰數據)。算法

    一般 raw 數據通過 isp 流程(我前面的博客介紹過什麼是 isp:圖像 ISP 處理流程以及新人學習圖像的注意點)後獲得的 rgb 數據的噪點比較複雜,而本來的 raw 數據的噪點相對容易模擬。做者假設總體噪聲能夠更準確地建模爲包含高斯和泊松信號相關份量或者從一個方差是強度函數的異方差高斯分佈中採樣網絡

    因此,做者本身在清晰的 raw 上面和成有噪聲的 raw,而後用神經網絡降噪。架構

2 而後看看處理流程思路

    懂了做者要幹啥,再看整個處理流程,就一目瞭然了,也不須要過多解釋,網絡用 UNet 的架構。函數

3 最後我我的總結總結

    文章其餘細節都不須要看。學習

    其實用深度學習在 raw 上面降噪的話,爲什麼不直接用有噪點的 raw 和原 raw 來計算 loss?後面加個 isp 流程,無非便於直觀比較結果嘛。那根據 raw 計算 loss 後再加個 isp 流程獲得 rgb 不照樣能夠比較結果?spa

    通過 isp 流程後的噪點其實會變得更加多樣化,有點數據加強的意思。我沒有看過做者其餘的論文,也不知道他研究哪一個領域。但凡一個 isp 相關的圖像算法從業者,都知道 isp 的流程裏面會包含 raw 域的降噪。全文看似是對 raw 降噪,我以爲本質仍是對 rgb 降噪。.net