Camera ISP圖像處理流程

原文地址：http://camera.geek-docs.com/camera-isp/camera-isp-flow-intro.html

Camera ISP圖像處理流程如下圖所示

下面大概介紹下某個模塊的功能和作用

• RAW域：是指從DPC一直到demosaic階段（此流程圖）
• DPC:壞點矯正(bed pixel corr),壞點是由於芯片製造工藝等問題產生的，壞點是指亮度或者色彩與周圍其他像素的點有非常大的區別，常用檢測方法是在全黑環境下看亮點和彩點、在蓋白板的情況下看黑點和彩點，ISP端一般通過在亮度域上取其他周圍像素點均值來消除壞點
• BLC:黑電平矯正(Black level corr)，黑電平是指圖像數據爲0時對應的信號電平，進行黑電平矯正的目的：一是由於sensor本身會存在暗電流，導致在沒有光照進來的條件下pixel也有電壓輸出，不過這部分一般在sensor端就已經處理掉了，還有一個原因是因爲sensor進行模數轉換時精度不夠，以8bit爲例，每個pixel有效範圍是0-255，sensor可能無法將接近於0的信息轉化出來，由於人眼對暗處細節比較敏感，所以sensor廠商一般在轉換時會加一個固定的偏移量使像素輸出在5（非固定值）—255之間，然後傳輸在ISP端再做一個減法，將5（非固定值）變爲0
• Denosice:降噪. 噪聲在圖像上常表現爲：引起較強視覺效果的孤立像素點或像素塊。一般在暗態下噪聲表現尤爲明顯。影響人的主觀視覺感受及對目標的觀測，所以進行降噪，但是降噪一般伴隨着細節的損失
• LSC: 鏡頭亮度矯正（lens shading corr）由於鏡頭光學系統原因（CRA），sensor中心光軸附件的pixle感光量比四周多，所以導致呈現出來的畫面會中心亮四周暗（同時由於邊緣入射角大，會造成相鄰像素間串擾，嚴重時會導致角落偏色）。 所以進行lsc的主要目的是爲了讓畫面四周亮度與中心亮度一直，簡單理解就是通過增加四周像素的gain值，來達到亮度一致
• AWB：自動白平衡（auto white balance），白平衡顧名思義就是讓白色在任何色溫下camera都能把它還原成白，由於色溫的影響，一張白紙在低色溫下會偏黃，高色溫下會偏藍，白平衡的目的就是白色物體在任何色溫下都是R=G=B呈現出白色，比較常用的AWB算法有灰度世界，完美反射法等
• Demosica：顏色插值。SENSOR每個pixel只感知一種顏色分量（如流程圖一開始所示），由於人眼對綠色比較敏感，所以G的分量是R與B的兩倍，所形成的圖像稱之爲Bayer圖，所以要通過顏色插值使每個pixel上同時包含RGB三個分量
• CCM :色彩校正（color corr matrix），AWB已經將白色校準了，CCM就是用來校準除白色以外其他顏色的準確度的，用一個3X3的CCM矩陣來校準, 其中每一列係數r1+g1+b1等於一個恆定值1。Ccm矯正最終結果可以通過拍攝24色卡圖片然後用imatest分析來做分析參考
• Ygamma ；由於最早期的顯示器端，亮度與電流之間響應不線性的，而是以曲線形式（曲線稱之爲gamma曲線），camera爲了配合顯示器顯示出正確的亮度所以有了攝像頭的gamma曲線與顯示器gamma曲線成反比（不是絕對的），後來隨着顯示器的工藝發展，顯示器亮度與電流之間已經可以做成顯性關係了，但是人們發現由於gamma曲線的存在，攝像頭的暗部信息才能更好的保留顯示，更符合人眼視覺感受，我們可以通過調整gamma曲線來調整攝像頭的亮度，對比度，動態範圍等等的效果
• EE：銳化，當物體銳化值過低時會出現邊緣模糊，圖像給人感覺不清晰，銳化過高就會導致圖像出現鋸齒白邊等現象
• CSM：色彩空間轉化（color space matrix），RGB圖像通過一個矩陣向SRGB等色彩空間轉化的過程