圖像篡改被動檢測技術一覽：基於特徵提取和卷積神經網絡的篡改檢測

極市導讀： 本文聚焦于歸納和總結數字圖像篡改被動檢測方法，對基於特徵提取和基於卷積神經網絡的兩類篡改檢測方法進行全面論述，分析其中不足與問題，並討論了數字圖像篡改被動檢測技術未來的發展趨勢。

目錄

• 0 前言

• 1 基於特徵提取的傳統篡改檢測

  • 1.1 複製黏貼篡改檢測方法
  • 1.2 拼接組合篡改檢測方法

• 2 基於卷積神經網絡的篡改檢測

• 3 未來發展趨勢

  • 面向互聯網共享環境下的數字圖像篡改檢測研究
  • 面向大規模圖像數據集的數字圖像篡改檢測研究

0前言

隨着圖像編輯技術的不斷髮展，人們可以輕鬆地篡改圖像內容或者操縱圖像生成過程，使得圖像的真實性和完整性受到挑戰，嚴重影響了人們對新聞報道、軍事經濟中圖像真實度的信任。在已有的研究範圍裏，學者們將圖像內容篡改類型總體分爲兩類：

（1）複製粘貼篡改（Copy-move）

（2）拼接組合篡改（Splicing）

複製粘貼篡改是指是在同一幅圖像上，將部分區域複製粘貼到該圖中的其它位置；拼接組合篡改是指將一幅圖像中的某個區域拷貝到另一幅圖像中以生成新的圖像。

數字圖像篡改檢測按照是否預先在數字圖像中嵌入附加信息可以分爲主動檢測和被動檢測（也叫盲檢測）兩種[1]，篡改主動檢測技術主要包括數字簽名技術和數字水印技術，這兩種方法的共同點是：需要圖像提供方進行摘要信息的提取或者水印的嵌入，即在實際檢測時需要圖像提供方進行配合，這一條件在實際操作中很難滿足。因此無須對數字圖像進行預前處理的數字圖像篡改被動檢測技術成爲當前圖像檢測領域的研究熱點。數字圖像篡改被動檢測技術大體上被分爲兩類：

（1）基於特徵提取的傳統篡改檢測技術

（2）基於卷積神經網絡的篡改檢測技術

在早期的研究中，研究者大多將注意力集中在圖像本身的統計信息和物理特性上，採用基於圖像的特徵提取方法來檢測篡改區域，比如從鏡頭失真矯正、顏色插值、傳感器噪聲等圖像生成過程中不同的處理信號入手，大量的篡改被動檢測算法和數學模型被提出[2-5]，在信息受限的場景中得到良好的應用，進一步地促進了數字圖像取證領域的發展。但是傳統的篡改檢測技術只是針對圖像的某一種屬性進行設計，使得最終的檢測率不是很高並且魯棒性也較差，導致基於特徵提取的篡改檢測算法很難在實際當中高質量、高效率地解決圖像的信息安全問題。

近年來，隨着深度學習技術的不斷髮展，尤其以AlexNet爲代表的卷積神經網絡(Convolutional Neural Network，CNN)[6]在特徵提取方面的優異表現，加之其在圖像分類、語義分割、物體識別等計算機視覺任務上取得的可觀成績，一些研究學者嘗試使用深度學習技術解決數字圖像的篡改檢測問題。基於卷積神經網絡的篡改檢測技術利用深度學習網絡的多層結構和強大的特徵學習能力實現不依賴於圖像的單一屬性的篡改檢測，彌補了基於特徵提取的傳統圖像篡改檢測技術適用度不高的缺點。基於卷積神經網絡的篡改檢測技術不僅可以定位篡改區域，而且還能給出相應的篡改類型，在現有的用於數字圖像取證的公開數據集的實驗中，基於卷積神經網絡的篡改檢測算法效果優於傳統圖像的篡改檢測算法，並表現出較好的魯棒性。

現有數字圖像篡改檢測被動檢測相關綜述主要聚焦於傳統檢測方法，如Chu等[6]闡述了目前國內外學者在JPEG圖像篡改的被動取證技術方面的主要研究成果，基於篡改和方法的不同，將目前檢測方法分爲雙重JPEG壓縮檢測方法和JPEG塊效應不一致性檢測方法。Du等[7]總結了目前基於底層線索和基於學習的感知哈希圖像篡改檢測方法，並根據方法的不同特點進行更爲細緻的分類。整體缺乏對利用卷積神經網絡來設計圖像篡改檢測方法的闡述。本文聚焦于歸納和總結數字圖像篡改被動檢測方法，分析其中的不足和麪臨的問題，對現有的代表性工作和方法尤其是基於卷積神經網絡的方法的主要框架進行論述。討論數字圖像篡改被動檢測技術未來的發展趨勢並給出結論。

1 基於特徵提取的傳統篡改檢測

傳統的篡改被動檢測技術基於圖像統計信息和物理特徵分別對複製黏貼和拼接組合的兩種篡改手段提出相應的檢測方法。研究學者根據篡改手段和圖像屬性的不同，將檢測方法分成五個類別，即基於重疊塊的檢測方法、基於特徵點的檢測方法、基於圖像屬性的檢測方法、基於設備屬性的檢測方法和基於壓縮屬性的檢測方法。圖像篡改檢測類型及技術如圖1所示：

圖1 圖像篡改檢測類型及技術

1.1複製黏貼篡改檢測方法

複製粘貼篡改的一般原理是將同一幅圖像中相似的物體，平移到圖像的另一個區域中。由於此類篡改操作對圖像的變動較小，因此不易被人發現。複製粘貼篡改定義如圖2所示：

圖2 複製粘貼示意圖

令 f ( x , y ) \mathrm{f}(\mathrm{x}, \mathrm{y}) f(x,y)表示原始圖像， g ( x , y ) \mathrm{g}(\mathrm{x}, \mathrm{y}) g(x,y)表示複製粘貼篡改之後的圖像。 A j \mathrm{A}_{\mathrm{j}} Aj​和 A i \mathrm{A}_{\mathrm{i}} Ai​表示原始區域， A j \mathrm{A}_{\mathrm{j}} Aj​'和 A i \mathrm{A}_{\mathrm{i}} Ai​'表示複製區域。 圖像的原始區域和複製區域分別有位移差 Δ D i = ( x i , y i ) \Delta \mathrm{D}_{\mathrm{i}}=\left(\mathrm{x}_{\mathrm{i}}, \mathrm{y}_{\mathrm{i}}\right) ΔDi​=(xi​,yi​)和 Δ D j = ( x j , y j ) , \Delta \mathrm{D}_{\mathrm{j}}=\left(\mathrm{x}_{\mathrm{j}}, \mathrm{y}_{\mathrm{j}}\right), ΔDj​=(xj​,yj​),則篡改圖像可以表示爲式 1 :

g ( x , y ) = f ( x cos ⁡ ∂ + y sin ⁡ ∂ − Δ x , x sin ⁡ ∂ + y cos ⁡ ∂ − Δ y ) \mathrm{g}(x, y)=f(x \cos \partial+y \sin \partial-\Delta x, x \sin \partial+y \cos \partial-\Delta y) \\ g(x,y)=f(xcos∂+ysin∂−Δx,xsin∂+ycos∂−Δy)

其中(x, y)表示像素點，f(x,y)表示圖像在點(x, y)處的像素值，∆x、∆y是對應分量的座標點差值，是系統參數。

1.1.1基於重疊快的篡改檢測方法

基於重疊塊的篡改檢測方法是將輸入的圖像劃分爲相互重疊的像素塊，每一個像素塊根據不同的變換計算規則得出相應的變換值，該變換值作爲此像素塊的特徵值，由此作爲檢測該區域是否被篡改的依據。因此該方法的重點是依據相關數學原理在特徵提取的過程中計算得到塊特徵。根據具體實現方法的不同，可將基於重疊塊的檢測方法再次細分爲 （1）單一幾何變換法；（2）複合幾何變換法。

下面分別針對這兩個角度闡述相關工作。

（1）單一幾何變換法。

單一幾何變換法是指基於一種數字圖像變換理論，實現高效快速地篡改檢測。Fridrich等[7]提出一種基於頻率的複製粘貼篡改檢測方法，先將圖片分割成相互重疊的塊，利用離散餘弦變換（Discrete Cosine Transform，DCT）提取出各個圖像塊的特徵向量。通過匹配和濾波，兩個相似的特徵向量分別對應圖像中兩個相似區塊，即複製粘貼篡改區域。Luo等[8]通過比較相似重疊快，使用主成分分析（Principle Component Analysis）的方法最終確定可能的重複區域，並且可以對經過處理的圖像（比如對圖像進行模糊化、噪聲污染等）進行較好的複製粘貼篡改檢測。

（2）複合幾何變換法。

爲了進一步提高檢測的準確性，一些工作融合不同的幾何變換理論，使提取的圖像塊特徵更接近於期望值。如Li G等[9]提出了一種基於離散小波變換（Discrete Wavelet Transform，DWT）和奇異值分解（Signal value Decomposition，SVD）的複製粘貼被動檢測方法，首先將離散小波變換用於圖像分割，通過奇異值分解對小波中的低頻分量進行降維表示，然後按照字典順序對向量進行分類，複製粘貼的圖像塊將分類在相鄰列表，該方法通過降維操作不僅可以降低計算的複雜度，而且對於高度壓縮的圖像或者邊緣處理的圖像，也能準確定位篡改區域。在具體實現上與單一幾何方法不同，作者充分利用DWT和SVD分別在圖像塊分割和降維特徵提取方面的優勢，實現了在檢測效率和檢測質量均良好的性能。

1.1.2基於特徵點的篡改檢測方法

由於基於重疊塊的篡改檢測方法在輸入的圖像尺寸特別大、分割的重疊快特別多時，特徵值計算和特徵匹配過程緩慢，算法的時間複雜度高。爲了提高檢測精度和降低算法的時間複雜度，一些學者提出了基於特徵點的篡改檢測方法。

1999年David Lowe在計算機視覺國際會議上提出SIFT算法，即尺度不變特徵變換（Scale-invariant feature transform，SIFT）[10]，該算法可在圖像中檢測出關鍵點，廣泛用於數字圖像的特徵描述。研究學者在這一理論基礎上進行改進優化，開展一系列基於特徵點的篡改檢測方法的研究。

Amerini等[11]仿造SIFT在關鍵點識別和聚類方面的設計思路，提出一種基於J-Linkage算法的複製粘貼篡改檢測及其定位的方法，在幾何變換空間內展現了魯棒性較高的聚類效果，實現對複製區域更好地預測和識別。Ardizzone E等[12]提出一種新穎的利用特徵點進行篡改檢測的方法，該方法首先從圖像中提取特徵點（關鍵點），然後將對象建模爲建立在這些點上的一組連接的三角形，根據三角形的形狀、顏色信息以及提取到的三角形頂點的局部特徵向量來進行匹配，這種方法相對於單一的塊匹配和點匹配實現了更高檢測精度，同時設計的算法對幾何變換具有良好的魯棒性。

雖然基於特徵點的篡改檢測方法從圖像的高熵區提取特徵信息，得到的特徵向量的數目小，對於特徵匹配的時間較短，從而使得該方法的總體效率比基於重疊塊的篡改檢測方法總體效率高，但是也有其不足之處，當圖像本身的對比度不高、光照一致性不足、圖像壓縮程度較高時，提取到的特徵點會大大減少導致算法失效。

1.2拼接組合篡改檢測方法

不同於複製粘貼篡改方式，圖像的拼接組合篡改操作的內容來源更廣泛，不侷限於圖像內部的場景，因此拼接組合的篡改檢測具有更大的挑戰性。

拼接組合篡改可定義如下，如圖3所示：

圖3 拼接組合示意圖

令兩幅原始圖像分別爲f1(x,y)和f2(x,y)，兩幅圖像的截圖操作分別爲系統函數H1(x,y)和H2(x,y)，則拼接組合操作後的圖像g(x,y)可表示爲式2：

g ( x , y ) = f 1 ( x , y ) ∗ H 1 ( x , y ) + f 2 ( x , y ) ∗ H 2 ( x , y ) \mathrm{g}(x, y)=f_{1}(x, y)^{*} H_{1}(x, y)+f_{2}(x, y)^{*} H_{2}(x, y) g(x,y)=f1​(x,y)∗H1​(x,y)+f2​(x,y)∗H2​(x,y)

其中(x, y)表示像素點，f(x,y)表示圖像在點(x, y)處的像素值。

1.2.1基於圖像屬性的篡改檢測方法

在基於圖像屬性的篡改檢測研究中，一部分研究學者嘗試從不同圖像來源所產生的不同圖像統計信息來尋找特徵。目前算法研究主要包括雙相干特徵、自然圖像統計模型和邊緣檢測。

（1）雙相干特徵。Tiansong Ng等[14]研究了利用雙相干特徵進行篡改被動檢測的，並提出了使用幅值和相位作爲特徵來檢測拼接組合篡改的存在，最後利用支持向量機（SVM）的分類方法對提出的圖像屬性特徵的檢測結果進行評價，檢測準確度能達到70%。爲了彌補經驗觀測與理論解釋之間的差距，後來該作者又在此工作基礎上提出並研究了一種基於雙極信號噪聲思想來檢測拼接組合篡改引起的圖像內容的斷層[15]，進一步提高了識別的準確度。

（2）自然圖像統計模型。Shi等[16]提出自然圖像模型，該模型由從給定的測試圖像中提取的統計特徵和應用於測試圖像的多尺度塊離散餘弦變換生成的二維陣列組成，用於區分篡改和未篡改圖像。

（3）邊緣檢測。除上述兩種思路外，由於拼接組合篡改導致圖像邊緣像素相關度的不連續性也會產生具有可分辨性的特徵模式。例如，Dong等[17]將圖像邊緣像素信息進行拼接檢測，判斷是否發生篡改。Wang等[18]利用不同圖像拼接時色度閾值的差異，提出了一種基於邊緣圖像灰度共生矩陣的彩色圖像篡改檢測方法，該方法採用Boosting[19]特徵選擇器來確定最優特徵，然後通過支持向量機對特徵進行分類。

1.2.2基於設備屬性的篡改檢測方法

現代多種數字設備（如數碼相機、掃描儀、手機等）都可以生成數字圖像，不同成像設備來源的數字圖像雖然在視覺上並沒有太大差異，但是由於各種設備特徵的不同（如感光元件、顏色插值等），其產生的數字圖像也會有不同的可分辨性特徵，通過對這些設備屬性特徵的提取，使用相應的取證算法進行篡改檢測。該方法可以從兩個角度來實現，其一是根據彩色濾波陣列（Color Filter Array，CFA），其二是根據相機的傳感器噪聲（Sensor Noise）。數字圖像成像過程如圖4所示：

圖4 數字圖像成像過程

（1）根據彩色濾波陣列（CFA）插值檢測。其原理是：CFA插值是通過將捕獲的輸出轉換爲紅色、綠色、藍色三原色通道（Red、Green and Blue，RGB）來重建全綵色圖像的過程，數碼相機得到一幅彩色圖像，需要通過周圍像素的值估計出缺失的其他兩種顏色的分量信息，即爲 CFA 插值過程。不同的成像設備有不同的插值算法，拼接組合篡改會導致兩個區域插值像素的不連續。Dirik和Memon[20]利用CFA產生的僞影來檢測圖像篡改，他們提出了兩個思路，一種是基於CFA模式估計，另一種是基於CFA插值像素中的傳感器噪聲功率應顯著低於非插值像素。在此理論基礎上，Popescu等[21]提出基於線性模型對CFA插值的相關性進行建模，通過EM算法（Expectation-Maximization algorithm, 最大期望算法）[22]計算出像素的相關性係數並對圖像拼接做出檢測。爲了更好地理解像素相關性係數，選擇標準互相關係數（如式3所示）來衡量RGB顏色分量間的相關性強度。

ρ ( I 1 , I 2 ) = ∑ ( n 1 , n 2 ) ( I 1 ( n 1 , n 2 ) − E I 1 ) ( I 2 ( n 1 , n 2 ) − E I 2 ) ∑ ( n 1 , n 2 ) ( I 1 ( n 1 , n 2 ) − E 1 ) 2 ∑ ( n 1 , n 2 ) ( I 2 ( n 1 , n 2 ) − E I 2 ) 2 \rho\left(I_{1}, I_{2}\right)=\frac{\sum_{\left(n_{1}, n_{2}\right)}\left(I_{1}\left(n_{1}, n_{2}\right)-E_{I_{1}}\right)\left(I_{2}\left(n_{1}, n_{2}\right)-E_{I_{2}}\right)}{\sqrt{\sum_{\left(n_{1}, n_{2}\right)}\left(\mathrm{I}_{1}\left(\mathrm{n}_{1}, \mathrm{n}_{2}\right)-\mathrm{E}_{1}\right)^{2}} \sqrt{\sum_{\left(n_{1}, \mathrm{n}_{2}\right)}\left(\mathrm{I}_{2}\left(\mathrm{n}_{1}, \mathrm{n}_{2}\right)-\mathrm{E}_{\mathrm{I}_{2}}\right)^{2}}} ρ(I1​,I2​)=∑(n1​,n2​)​(I1​(n1​,n2​)−E1​)2 ​∑(n1​,n2​)​(I2​(n1​,n2​)−EI2​​)2 ​∑(n1​,n2​)​(I1​(n1​,n2​)−EI1​​)(I2​(n1​,n2​)−EI2​​)​

式中 I 1 , I 2 \mathrm{I}_{1}, \mathrm{I}_{2} I1​,I2​表示兩個不同的矩陣， E 1 \mathrm{E}_{1} E1​爲矩陣 I \mathrm{I} I的期望值, M , N \mathrm{M}, \mathrm{N} M,N表示矩陣的行、列，並且 1 ≤ n 1 ≤ M , 1 ≤ n 2 ≤ N 1 \leq n_{1} \leq M, 1 \leq n_{2} \leq \mathrm{N} 1≤n1​≤M,1≤n2​≤N, 相關性係數 ∣ ρ ( I 1 , I 2 ) ∣ ≤ 1 , ρ \left|\rho\left(I_{1}, I_{2}\right)\right| \leq 1, \quad \rho ∣ρ(I1​,I2​)∣≤1,ρ越接近 1 說明兩個矩陣的相關性越高。

（2）根據相機傳感器噪聲模式檢測。其原理是：不同的圖像具有不同的傳感器噪聲分佈，由於拼接組合篡改來源於不同的兩幅圖像，因此拼接區域具有不同於原始圖像的剩餘區域中的噪聲模式，利用這些差異可實現拼接組合篡改的檢測。Lucas等[23]提出了一種檢測相機傳感器噪聲的方法，當檢測某個區域缺少對應的模式噪聲時，即判斷爲篡改區域。Gao等[24]利用三組統計噪聲特徵進行圖像篡改檢測分析，包括去噪分析、小波分析和鄰域分析，有效地區分了數字圖像的原始區域和拼接組合區域。爲了解決一些檢測器對噪聲敏感導致不能應對噪聲退化的問題，Mahdian等[25]提出了一種簡單的方法，他們將一幅圖像分割成具有均勻噪聲水平的各個分區，添加新的局部噪聲可能會導致圖像噪聲的不一致，根據圖像中不同的噪聲級來檢測篡改區域。

1.2.3基於壓縮屬性的篡改檢測方法

基於壓縮屬性的篡改檢測方法主要是針對於JPEG文件格式的圖像。JPEG是一種常用的國際壓縮標準，並且也是目前流行的圖像格式之一，其在高壓縮率的情況下仍然能保持較好的圖片質量。確定圖像是否被壓縮是圖像處理中的一個重要問題，在圖像篡改檢測中起着非常重要的作用。

Fraid[26]提出針對不同JPEG壓縮生成的低質量圖像的篡改檢測方法，但是該方法只有在檢測圖像的一部分最初是低於圖像其他部分的壓縮品質時纔有效。Ye等[27]提出在JPEG壓縮過程中引入的塊效應可以作爲一種「自然認證碼」，利用DCT係數直方圖設計了一種估計局部JPEG壓縮分塊僞影度量技術，將僞影中的不一致性作爲拼接篡改的證據。

在JPEG塊效應的基礎上，Luo等[28]將塊僞影作爲檢測圖像篡改的「水印」，提出了塊僞影特徵矩陣（Blocking Artifact Characteristics Matrix，BACM），並證明了對於原始的圖像，BACM具有規則的對稱性，對於從另一張JPEG圖像中拼接過來的部分，BACM的規則對稱性被破壞，充分利用這一特徵對圖像篡改進行檢測。He等[29]提出了一種通過檢測DCT係數中隱藏的雙重量化效應來檢測篡改的JPEG圖像並進一步定位篡改部分的方法，該方法還具有其他優點：除了能夠檢測圖像的拼接組合篡改之外，還可以檢測由各種合成方法（如消光和修補）篡改的圖像。但是當整幅圖像被調整大小、旋轉或者裁剪時，該方法會失效。

綜上所述，自從圖像內容安全性被重視以來，以圖像篡改檢測爲目標的各項數字取證工作隨之展開，雖然基於特徵提取的傳統篡改檢測方法在實際應用中都有其不足之處，但是各種算法的提出有效提升了檢測效果，進一步完善了圖像內容安全保護機制。傳統篡改檢測算法對比如表1所示：

表1 傳統篡改檢測算法比較

其中，被攻擊圖像指的是經過處理的圖像，比如對圖像進行模糊化、噪聲污染等。

2 基於卷積神經網絡的篡改檢測

近年來，隨着深度學習技術的不斷髮展，卷積神經網絡（Convolutional Neural Networks, CNN）[30]在特徵提取方面的優異表現引起了圖像取證領域學者的注意。在數字圖像篡改檢測方面，傳統的篡改檢測方法只是基於某種特定圖像操作所引起的圖像特徵改變來進行分析，而卷積神經網絡的優點在於其具有強大的特徵學習能力，學習到的數據更能反映出數據的本質特徵，有利於結果的分類和可視化。

Rao等[31]首次將卷積神經網絡用於數字圖像的篡改檢測，該方法利用CNN從輸入的RGB彩色圖像中自動學習特徵層次表示，爲了保留更細微的篡改痕跡，作者使用Fridrich提出的空間豐富模型（Spatial Rich Model，SRM）[32]初始化網絡參數，並採用特徵融合技術得到最終判別特徵。提出的方案與其它傳統方法的檢測性能進行了比較，如表2所示：

表2 首次基於CNN方法與傳統方法的篡改檢測準確率的比較

由表2可知，基於卷積神經網絡的圖像篡改檢測算法在三個公開的數據集上的檢測準確率均高於其他三個最新的傳統篡改檢測算法。由此，利用卷積神經網絡提取數字圖像的特徵信息，可以更好地完成篡改圖像的檢測，隨之研究者們提出了更多可觀的思路和方案。
Zhang等[36]提出了一種兩階段的基於卷積神經網絡的深度學習方法來學習篡改特徵，第一階段使用自動編碼器模型來學習每個單獨的篡改特徵，第二階段整合每個篡改特徵的上下文信息以便更準確的進行檢測，該方法不僅在JPEG文件格式的圖像集上表現突出，而且對於CASIA數據集中的TIFF文件格式的圖像上也實現了一定準確率的篡改檢測。BAPPY等[37]從兩階段設計算法的思想中受到啓發，採用了一個混合的CNN-LSTM模型來捕捉篡改區域和非篡改區域之間的區分特徵，LSTM（Long Short Term Memory networks，長短期記憶模型）[38]是一種能夠記錄圖像上下文信息的網絡模型，作者的思路是將LSTM和CNN中卷積層的結合來理解篡改區域與非篡改區域共享的邊界上像素之間的空間結構差異性，通過對網絡端對端的訓練以及利用反向傳播機制讓網絡學習參數，整個框架能夠檢測包括複製粘貼和拼接組合不同類型的圖像篡改操作。

Bondi等[39]結合圖像成像設備屬性的特點，提出了一種利用不同攝像機模型在圖像上留下的特徵足跡進行圖像篡改檢測和定位的算法，該算法的基本原理是，原始圖像的所有像素都應該被檢測爲使用單一設備拍攝，相反如果通過拼接組合的篡改方式進行圖像的合成，則可以檢測出多個設備的痕跡。算法利用卷積神經網絡從圖像塊中提取攝像機模型特徵，然後利用迭代聚類的方法對特徵進行分類以檢測圖像是否被僞造，並對篡改區域實現定位。該方法對於拼接組合篡改方式的圖像具有很好的檢測效果，但是對於複製粘貼的篡改圖像，由於複製的部分來源於同一幅圖像區域導致該方法不適用。

Liu等[40]提出了一種新的深度融合網絡，通過跟蹤篡改區域的邊界來定位篡改區域。首先訓練一組稱爲基網的深度卷積神經網絡，分別對特定類型的拼接組合篡改進行響應，然後選取若干層基網絡作爲深度融合神經網絡（Fusion Network，FN），融合網絡通過對少量圖像進行微調後，能夠識別出圖像塊是否由不同的來源合成的。該方法中作者用大尺寸圖像塊作爲網絡的輸入來揭示篡改區域的屬性，但是當被篡改區域的尺寸較小時，該方法可能會失效。

爲了學習更豐富的圖像篡改特徵，Zhou等[41]提出了一種雙流Faster-RCNN網絡，並對其進行端到端的訓練，以檢測給定的篡改圖像區域。同時藉助Faster-RCNN在目標檢測領域的應用[42,43]，該網絡不僅能準確定位篡改區域，還能標註出篡改類型，如是否爲複製粘貼篡改等。網絡結構如圖5所示：

圖5 雙流Faster-RCNN網絡結構示意圖

其中，雙流之一是RGB流，其目的是從輸入的RGB圖像中提取特徵，以查找篡改僞影，如強對比度、非自然邊界等。雙流之二爲噪聲流，是利用富文本分析模型（SRM）濾波層中提取的噪聲特徵來揭示真實區域和篡改區域之間的噪聲不一致性特徵，然後通過雙線性池化層融合來自兩個流的特徵，以進一步合併這兩種模式的空間特性，提高檢測準確性。該算法的貢獻爲（1）展示了Faster-RCNN網絡如何適應圖像篡改檢測的雙流模式；（2）證明了RGB流和噪聲流對於檢測不同的篡改方式是互補的。爲之後做此方向繼續深入研究的學者供了創新思路。

雖然上述基於深層網絡結構的圖像篡改算法可以學習到更高級的語義信息，但對篡改區域的檢測和定位效果並不理想。基於此，Bi等[44]提出了一種基於級聯卷積神經網絡的圖像篡改檢測算法，在卷積神經網絡的普遍特性的基礎上，利用淺層稀神經元的級聯網絡代替以往深層次單一網絡。該算法分爲兩部分：（1）級聯卷積神經網絡；（2）自篩選後處理；前者學習圖像中篡改區域和非篡改區域的屬性差異，實現多層級篡改區域定位，後者對級聯神經網絡的檢測定位結果進行優化。

算法檢測流程如圖6所示：

圖6 基於級聯卷積神經網絡算法的檢測流程

其中，級聯卷積神經網絡由粗篩網絡、粒提網絡和精辨網絡3級子網絡串聯組成，由於級聯網絡結構的靈活性，通過將不同的訓練數據傳輸到不同層次的網絡中，可以學習到特定的篡改特徵。自適應篩選後處理的過程是對級聯卷積神經網絡的輸出結果進行優化，通過自適應篩選器去除誤檢部分，然後對篩選結果進行空白填充。對比實驗所參考的評價參數爲精確率、召回率和F1值，分別表示爲式4、式5和式6。結果表明，該算法效果優於傳統圖像篡改檢測算法，並且表現出較好的魯棒性。

爲了進一步提高基於卷積神經網絡的篡改檢測方法的性能和檢測效率，2019年Bi等又提出了一種環形殘差網絡（RRU-Net）[45]，可直接定位篡改區域而無需額外的預處理和後處理操作。該網絡包含兩個關鍵步驟：殘差傳播（Residual Propagation）和殘差反饋（Residual Feedback），前者主要用於解決網絡中梯度退化的問題，後者使篡改區域和非篡改區域的差異對比更加明顯。作者提出殘差反饋的背景是：在文獻[41]中，Zhou使用SRM進一步放大差異，但存在一個缺點，即當被篡改區域和未被篡改區域來自同一相機品牌或型號時，由於它們具有相同或相似的噪聲分佈，SRM濾波器的幫助將非常小，而殘差反饋的方法不僅僅關注一個或幾個特定的圖像屬性，更加關注於輸入信息中可辨識的特徵。目前，該方法在檢測效果上取得了良好的性能，並且在運算效率方面具有較大的優勢。

3 未來發展趨勢

由於數字圖像篡改被動檢測技術不需要額外的先驗知識，在實際的司法取證、保證新聞真實性等場景中應用價值不言而喻，也促進了該領域學術研究的進步。綜合上述近10年的發展歷程，未來發展趨勢可總結爲兩個層面，即面向互聯網共享環境下的數字圖像篡改檢測研究和麪向大規模圖像數據集的數字圖像篡改檢測研究。

3.1面向互聯網共享環境下的數字圖像篡改檢測研究

在目前的研究中，尤其是利用圖像統計信息和物理特性的傳統篡改檢測方法的大部分工作還是侷限於實驗室環境的數據集，然而隨着互聯網的開放共享和各種即時通訊軟件的應用，在實際生活中的圖像通常會經過一系列再編輯的過程，比如裁剪縮放、美顏濾鏡、壓縮解碼等，這些操作會在一定程度上破壞了像素之間的特徵聯繫，從而導致現有的檢測算法沒有很好的達到預期性能。Wu[46]認爲考慮到圖像篡改檢測本身具有迫切的應用需求，可以預見針對互聯網共享環境下的檢測算法研究是未來一個重要的研究內容，也是從實驗室走向實際應用必須要解決的問題之一。

3.2面向大規模圖像數據集的數字圖像篡改檢測研究

得益於計算機軟件和硬件設備的不斷升級，深度學習技術開始走向大衆視野，研究學者在從大規模圖像集中利用卷積神經網絡學習特徵時，不再支付昂貴的實驗儀器費用，節省了大量的物力和財力。但是由於微信、微博等圖像社交網絡的流行，一方面研究學者可以獲取大量經過複製粘貼和拼接組合的圖像，爲篡改檢測算法有效性的研究提供了有利條件，但是另一方面大規模的圖像數據對篡改檢測算法造成了一些困難：Li等[47]認爲由於需要提取原始圖像和篡改後圖像的區分特徵，加之需要計算篡改區域和非篡改區域樣本間的相關性，使數據規模增大，導致算法的時間複雜度大大增加。因此，如何應對大規模圖像數據集，是數字圖像篡改檢測研究在未來必須要解決的一個重要難題。

參考文獻

[1] Fridrich, J., Soukal, D. and Lukas, J. (2003) Detection of Copy-Move Forgery in Digital Images. Proceedings of Digital Forensic Research Workshop, Cleveland, August 2003, 55-61.

[2] 魏爲民,胡勝斌,趙琰.數字圖像取證技術的發展[J].上海電力學院學報,2012,28(04):369-374.

[3] Shuyi Zhu,Xiaochun Cao,Handong Zhao. Photographic composite detection using circles[J]. Frontiers of Computer Science,2012,6(6).

[4] Qiong Dong,Gaobo Yang,Ningbo Zhu. A MCEA based passive forensics scheme for detecting frame-based video tampering[J]. Digital Investigation,2012,9(2).

[5] Xiuli Bi,Chi-Man Pun,Xiao-Chen Yuan. Multi-Level Dense Descriptor and Hierarchical Feature Matching for Copy–Move Forgery Detection[J]. Information Sciences,2016,345.

[6] 楚雪玲,魏爲民,華秀茹,李思纖,慄風永.面向JPEG圖像篡改的盲取證技術綜述[J].上海電力學院學報,2019,35(06):607-613.

[7] Fridrich, J., Soukal, D. and Lukas, J. (2003) Detection of Copy-Move Forgery in Digital Images. Proceedings of Digital Forensic Research Workshop, Cleveland, August 2003, 55-61.

[8] Luo W , Huang J , Qiu G . Robust Detection of Region-Duplication Forgery in Digital Image[C]// 18th International Conference on Pattern Recognition (ICPR 2006), 20-24 August 2006, Hong Kong, China. 2006.

[9] Li G , Wu Q , Tu D , et al. A Sorted Neighborhood Approach for Detecting Duplicated Regions in Image Forgeries Based on DWT and SVD[C]// Proceedings of the 2007 IEEE International Conference on Multimedia and Expo, ICME 2007, July 2-5, 2007, Beijing, China. IEEE, 2007.

[10] Lowe D G . Object Recognition from Local Scale-Invariant Features[C]// iccv. IEEE Computer Society, 1999.

[11] Irene Amerini,Lamberto Ballan,Roberto Caldelli,Alberto Del Bimbo,Luca Del Tongo,Giuseppe Serra. Copy-move forgery detection and localization by means of robust clustering with J-Linkage[J]. Signal Processing: Image Communication,2013,28(6).

[12] Ardizzone E , Bruno A , Mazzola G . Copy-Move Forgery Detection by Matching Triangles of Keypoints[J]. IEEE Transactions on Information Forensics and Security, 2015, 10(10):1-1.

[13] Nillius P , Eklundh J O . Automatic estimation of the projected light source direction[C]// Computer Vision and Pattern Recognition, 2001. CVPR 2001. Proceedings of the 2001 IEEE Computer Society Conference on. IEEE, 2001.

[14] Tiantsong Ng S C . Blind Detection of Photomontage Using Higher Order Statistics[C]// International Symposium on Circuits & Systems. IEEE, 2004.

[15] Ng T.T, Chang S.F. A model for image splicing[C]//2004 International Conference on Image Processing, 2004. ICIP’04. IEEE, 2004, 2: 1169-1172.

[16] Shi Y.Q, Chen C, Chen W. A natural image model approach to splicing detection[C]//Proceedings of the 9th workshop on Multimedia & security. ACM, 2007: 5162.

[17] Dong J, Wang W, Tan T, et al. Run-length and edge statistics based approach for image splicing detection[C]//International workshop on digital watermarking. Springer, Berlin, Heidelberg, 2008: 76-87.

[18] Wang W, Dong J, Tan T. Effective image splicing detection based on image chroma[C]//2009 16th IEEE International Conference on Image Processing (ICIP). IEEE, 2009: 1257-1260.

[19] Yoav Freund,Robert E Schapire. A Decision-Theoretic Generalization of On-Line Learning and an Application to Boosting[J]. Journal of Computer and System Sciences,1997,55(1).

[20] Dirik, A.E., Memon, N… Image tamper detection based on demosaicing artifacts[P]. Image Processing (ICIP), 2009 16th IEEE International Conference on,2009.

[21] Popescu A C , Farid H . Exposing digital forgeries in color filter array interpolated images[J]. IEEE Transactions on Signal Processing, 2005, 53(10):3948-3959.

[22] Couvreur C. The EM Algorithm: A Guided Tour[J]. 1996:115–120.

[23] Jan Lukáš,Jessica Fridrich,Miroslav Goljan. Detecting digital image forgeries using sensor pattern noise[P]. Electronic Imaging,2006.

[24] Gou H , Swaminathan A , Wu M . Noise Features for Image Tampering Detection and Steganalysis[C]// Image Processing, 2007. ICIP 2007. IEEE International Conference on. IEEE, 2007.

[25] Mahdian B , Saic S . Detection of Resampling Supplemented with Noise Inconsistencies Analysis for Image Forensics[C]// Computational Sciences and Its Applications, 2008. ICCSA '08. International Conference on. IEEE Computer Society, 2008:546-556.

[26] Farid, H. Exposing Digital Forgeries From JPEG Ghosts[J]. IEEE Transactions on Information Forensics and Security, 2009, 4(1):154-160.

[27] Ye S , Sun Q , Chang E C . Detecting Digital Image Forgeries by Measuring Inconsistencies of Blocking Artifact[C]// Multimedia and Expo, 2007 IEEE International Conference on. IEEE, 2007.

[28] Luo, Qu, Huang, et al. A Novel Method for Detecting Cropped and Recompressed Image Block[C]// IEEE International Conference on Acoustics. IEEE, 2007.

[29] He J , Lin Z , Wang L , et al. Detecting doctored JPEG images via DCT coefficient analysis[C]// Proceedings of the 9th European conference on Computer Vision - Volume Part III. Springer-Verlag, 2006.

[30] Lecun Y , Boser B , Denker J S , et al. Backpropagation Applied to Handwritten Zip Code Recognition[J]. Neural Computation, 1989, 1(4):541-551.

[31] Rao Y , Ni J . A deep learning approach to detection of splicing and copy-move forgeries in images[C]// 2016 IEEE International Workshop on Information Forensics and Security (WIFS). IEEE, 2016.

[32] J. Fridrich, and J. Kodovsky, 「Rich models for steganalysis of digital ´ images,」 IEEE Transactions on Information Forensics and Security, vol.7, no. 3, pp. 868-882, June 2012.

[33] Ghulam Muhammad,Munner H. Al-Hammadi,Muhammad Hussain,George Bebis. Image forgery detection using steerable pyramid transform and local binary pattern[J]. Machine Vision and Applications,2014,25(4).

[34] He Z , Lu W , Sun W , et al. Digital image splicing detection based on Markov features in DCT and DWT domain[J]. Pattern Recognition, 2012, 45(12):4292—4299.

[35] X. Zhao, S. Wang, S. Li and J. Li.Passive Image-Splicing Detection by a 2-D Noncausal Markov Model[J].IEEE Transactions on Circuits and Systems for Video Technology, vol. 25, no. 2, pp. 185–199, Feb. 2015.

[36] ZHANG Ying, GOH J, WIN L L, et al. Image region forgery detection: A Deep Learning Approach[M]. MATHUR A and ROYCHOUDHURY R. Proceedings of the Singapore Cyber-Security Conference. Amsterdam: IOS Press, 2016: 1–11.

[37] Bappy M J H , Roy-Chowdhury A K , Bunk J , et al. Exploiting Spatial Structure for Localizing Manipulated Image Regions[C]// International Conference on Computer Vision (ICCV), 2017. IEEE Computer Society, 2017.

[38] Hochreiter S , Schmidhuber, Jürgen. Long Short-Term Memory[J]. Neural Computation, 1997, 9(8):1735-1780.

[39] Bondi L , Lameri S , Guera D , et al. Tampering Detection and Localization Through Clustering of Camera-Based CNN Features[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). IEEE, 2017.

[40] Liu B, Pun C M. Deep Fusion Network for Splicing Forgery Localization[C]//European Conference on Computer Vision. Springer, Cham, 2018: 237-251.

[41] Zhou, Peng, Han, Xintong, Morariu, Vlad I. Learning Rich Features for Image Manipulation Detection[J].

[42] Jiang H , Learned-Miller E . Face Detection with the Faster R-CNN[J]. 2016.

[43] Chen Y , Li W , Sakaridis C , et al. Domain Adaptive Faster R-CNN for Object Detection in the Wild[J]. 2018.

[44] 畢秀麗,魏楊,肖斌,李偉生,馬建峯.基於級聯卷積神經網絡的圖像篡改檢測算法[J].電子與信息學報,2019,41(12):2987-2994.

[45] Xiuli Bi, Yang Wei, Bin Xiao, Weisheng Li. RRU-Net: The Ringed Residual U-Net for Image Splicing Forgery Detection[J].2019

[46] Wu Y , Abd-Almageed W , Natarajan P . Image Copy-Move Forgery Detection via an End-to-End Deep Neural Network[C]// 2018 IEEE Winter Conference on Applications of Computer Vision (WACV). IEEE, 2018.

[47] Li Y , Zhou J . Fast and Effective Image Copy-Move Forgery Detection via Hierarchical Feature Point Matching[J]. IEEE Transactions on Information Forensics & Security, 2018:1-1.

◎作者檔案
正蜀黍，萬千AI開發者之一，專注於計算機視覺技術知識分享
歡迎大家聯繫極市小編（微信ID:fengcall19）加入極市原創作者行列