章登勇，文凰，李峰，曹鵬，向凌云，楊高波，丁湘陵

基于雙分支網(wǎng)絡(luò)的圖像修復(fù)取證方法

章登勇1,2，文凰1,2，李峰1,2，曹鵬1,2，向凌云1,2，楊高波3，丁湘陵4

（1. 長沙理工大學(xué)湖南省綜合交通運輸大數(shù)據(jù)智能處理重點實驗室，湖南 長沙 410114；2. 長沙理工大學(xué)計算機與通信工程學(xué)院，湖南 長沙 410114；3. 湖南大學(xué)信息科學(xué)與工程學(xué)院，湖南 長沙 410082；4. 湖南科技大學(xué)計算機科學(xué)與工程學(xué)院，湖南 湘潭 411004）

圖像修復(fù)是一項利用圖像已知區(qū)域的信息來修復(fù)圖像中缺失或損壞區(qū)域的技術(shù)。人們借助以此為基礎(chǔ)的圖像編輯軟件無須任何專業(yè)基礎(chǔ)就可以輕松地編輯和修改數(shù)字圖像內(nèi)容，一旦圖像修復(fù)技術(shù)被用于惡意移除圖像的內(nèi)容，會給真實的圖像帶來信任危機。目前圖像修復(fù)取證的研究只能有效地檢測某一種類型的圖像修復(fù)。針對這一問題，提出了一種基于雙分支網(wǎng)絡(luò)的圖像修復(fù)被動取證方法。雙分支中的高通濾波卷積網(wǎng)絡(luò)先使用一組高通濾波器來削弱圖像中的低頻分量，然后使用4個殘差塊提取特征，再進行兩次4倍上采樣的轉(zhuǎn)置卷積對特征圖進行放大，此后使用一個5×5的卷積來減弱轉(zhuǎn)置卷積帶來的棋盤偽影，生成圖像高頻分量上的鑒別特征圖。雙分支中的雙注意力特征融合分支先使用預(yù)處理模塊為圖像增添局部二值模式特征圖。然后使用雙注意力卷積塊自適應(yīng)地集成圖像局部特征和全局依賴，捕獲圖像修復(fù)區(qū)域和原始區(qū)域在內(nèi)容及紋理上的差異，再對雙注意力卷積塊提取的特征進行融合。最后對特征圖進行相同的上采樣，生成圖像內(nèi)容和紋理上的鑒別特征圖。實驗結(jié)果表明該方法在檢測移除對象的修復(fù)區(qū)域上，針對樣本塊修復(fù)方法上檢測的1分?jǐn)?shù)較排名第二的方法提高了2.05%，交并比上提高了3.53%；針對深度學(xué)習(xí)修復(fù)方法上檢測的1分?jǐn)?shù)較排名第二的方法提高了1.06%，交并比提高了1.22%。對結(jié)果進行可視化可以看出，在檢測修復(fù)區(qū)域上能夠準(zhǔn)確地定位移除對象的邊緣。

圖像取證；圖像修復(fù)檢測；深度學(xué)習(xí)；注意力機制

0 引言

隨著移動互聯(lián)網(wǎng)的飛速發(fā)展，多媒體應(yīng)用軟件成為人們生活中必不可少的應(yīng)用。基于多媒體應(yīng)用軟件，如Photoshop、美圖秀秀、醒圖等，人們無須任何專業(yè)基礎(chǔ)就可以輕松編輯和修改數(shù)字圖像的內(nèi)容，并且修改后的圖像十分逼真，無法通過肉眼檢測出修改的痕跡。人們的學(xué)習(xí)、生活、娛樂都離不開數(shù)字圖像，但偽造的圖像頻繁濫用，這種行為帶來了許多負(fù)面的影響，驗證圖像是否真實完整的數(shù)字圖像取證技術(shù)對社會顯得越來越重要。對于一些典型的偽造圖像的檢測可以從圖像中提取對應(yīng)的特征來判斷圖像是否被篡改。例如，復(fù)制移動偽造檢測從不同方面在圖像中找到相似的特征來定位被篡改的區(qū)域，拼接偽造檢測在圖像中尋找光照、數(shù)據(jù)統(tǒng)計以及相機響應(yīng)函數(shù)等不一致的特征來定位被篡改的區(qū)域。在20世紀(jì)80年代，研究人員從古代文物、書畫的修復(fù)工作中得到啟發(fā)，提出了對數(shù)字圖像進行修復(fù)的技術(shù)。圖像修復(fù)技術(shù)是使用圖像原始區(qū)域的信息來補全圖像中缺失或損壞區(qū)域的過程。如果人們將這項技術(shù)用于圖像中的對象去除，使用圖像中已不包含對象的信息來修復(fù)去除的對象區(qū)域，圖像的原意將會改變。利用這項技術(shù)惡意篡改圖片內(nèi)容，將會帶來圖像內(nèi)容的信任危機，不利于數(shù)字圖像技術(shù)的進一步發(fā)展。因此，研究一個高效的檢測圖像修復(fù)的取證方法在當(dāng)前背景下是非常有意義的。

目前，圖像修復(fù)技術(shù)分為兩大類：基于傳統(tǒng)方法的圖像修復(fù)技術(shù)和基于深度學(xué)習(xí)方法的圖像修復(fù)技術(shù)。基于傳統(tǒng)方法的圖像修復(fù)技術(shù)中最常用的是基于擴散的[1-3]和基于樣本塊的[4-6]圖像修復(fù)技術(shù)。基于擴散的圖像修復(fù)技術(shù)利用缺失區(qū)域的邊緣信息來確定擴散方向，確定方向后再將信息平滑地傳播到缺失區(qū)域。這種技術(shù)存在一定的缺點，當(dāng)其用于填充實景圖像中的大塊空白時，填充的紋理會變得模糊，肉眼即可看出修改區(qū)域?；跇颖緣K的圖像修復(fù)在圖像背景簡單時可以填充圖像中的大面積缺失區(qū)域。對于基于樣本塊的圖像修復(fù)技術(shù)，許多研究人員已經(jīng)提出精度較高的檢測方法，其中大多數(shù)方法在給定區(qū)域中搜索相似塊來確定修復(fù)區(qū)域，這會消耗大量的時間。因此，一些研究人員嘗試使用深度學(xué)習(xí)的方法來檢測樣本塊圖像修復(fù)，可以大大減少檢測時間，提高整體檢測效率。利用深度學(xué)習(xí)技術(shù)的圖像修復(fù)[7-9]甚至能夠在復(fù)雜背景中填補大面積的缺失。針對深度學(xué)習(xí)的圖像修復(fù)，研究人員采用深度學(xué)習(xí)來進行檢測，該方面的研究仍然較少。目前缺少一個能夠同時準(zhǔn)確檢測樣本塊圖像修復(fù)和深度學(xué)習(xí)圖像修復(fù)的方法。

為了解決上述問題，本文提出了一個雙分支的神經(jīng)網(wǎng)絡(luò)架構(gòu)，用于檢測圖像的修復(fù)區(qū)域，具體貢獻如下。

1) 創(chuàng)建了樣本塊圖像修復(fù)和深度學(xué)習(xí)圖像修復(fù)的數(shù)據(jù)集以及符合實際應(yīng)用情形的、對象移除的、采用樣本塊和深度學(xué)習(xí)修復(fù)的圖像數(shù)據(jù)集。

2) 本文方法能夠同時檢測樣本塊圖像修復(fù)和深度學(xué)習(xí)圖像修復(fù)，在性能上優(yōu)于一些先進的方法。

3) 本文方法不僅能夠在清晰地定位修復(fù)圖像中移除對象的邊界，還能準(zhǔn)確檢測出經(jīng)過后處理的圖像修復(fù)區(qū)域。在圖像修復(fù)的實際應(yīng)用中具有優(yōu)異的性能。

1 相關(guān)工作

1.1 樣本塊圖像修復(fù)取證

傳統(tǒng)方法檢測樣本塊圖像修復(fù)已有不少成果。Wu等[10]首先提出了一種檢測樣本塊修復(fù)的被動取證方法。該方法首先對圖像中可疑區(qū)域的所有塊的零連通性作為塊的匹配特征；然后使用升半梯形分布函數(shù)，確定塊是否屬于相似塊；最后通過給定的閾值劃分切割集將相似塊分為原始塊和修復(fù)塊，聚集的塊屬于修復(fù)區(qū)域。此后，Bacchuwar等[11]提出在計算圖像塊的匹配度之前，先比較塊的亮度分量和中值，跳過可疑區(qū)域中的一個或多個塊，這樣可以大大減少算法時間。上述方法需要給定圖像的可疑區(qū)域，并且在可疑區(qū)域中搜索時會受到原始區(qū)域的內(nèi)部相似區(qū)域（如天空、草地等）干擾，導(dǎo)致產(chǎn)生誤報區(qū)域。針對相似區(qū)域，Chang等[12]提出使用相似向量刪除可疑區(qū)域中具有一致紋理的區(qū)域，然后使用多區(qū)域關(guān)系來判斷圖像的修復(fù)區(qū)域，在搜索相似塊時，還提出了一種基于權(quán)重變換的兩階段搜索算法，加快相似度的計算。然而，基于權(quán)重變換的方法無法同時優(yōu)化負(fù)載因子和搜索范圍。Liang等[13]提出了基于中心像素映射的快速搜索方法來提高搜索速度。但是，偽造圖像通常會經(jīng)歷后處理操作，圖像的修復(fù)痕跡將被隱藏，因此該方法在檢測圖像修復(fù)區(qū)域上仍然存在一定的局限性。

Zhao等[14]提出通過計算壓縮的修復(fù)圖像中壓縮次數(shù)的之間差異來檢測修復(fù)區(qū)域。Liu等[15]在離散余弦變換（DCT，discrete cosine transformer）域中提取近十萬個特征來定位圖像修復(fù)區(qū)域，能夠有效地檢測重壓縮下的圖像修復(fù)偽造。但是，這兩種方法只能檢測經(jīng)歷了JPEG壓縮后處理操作的修復(fù)圖像，無法檢測其他后處理操作。Zhang等[16]提出一種混合取證策略來檢測經(jīng)過多個后處理操作的修復(fù)偽造，但它無法定位圖像的修復(fù)區(qū)域。

Zhu等[17]首次提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的方法來檢測樣本塊圖像修復(fù)篡改。卷積神經(jīng)網(wǎng)絡(luò)遵循編碼器?解碼器的網(wǎng)絡(luò)結(jié)構(gòu)構(gòu)建。該方法可以在保持檢測精度的同時大大減少檢測時間。后來，Wang等[18]改進了語義分割中性能優(yōu)秀的基于掩膜的區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（Mask R-CNN，mask region-based convolutional neural network）檢測圖像修復(fù)篡改并識別修復(fù)區(qū)域。為了進一步利用所有尺度的特征信息，Wang等[19]提出在Mask R-CNN中將金字塔網(wǎng)絡(luò)和反向連接相結(jié)合以提取更多特征。此外，Lu等[20]提出一種基于長短期記憶?卷積神經(jīng)網(wǎng)絡(luò)的圖像修復(fù)檢測方法，利用卷積神經(jīng)網(wǎng)絡(luò)識別篡改圖像中的可疑相似塊，再使用長短期記憶網(wǎng)絡(luò)識別圖像中正常的紋理一致的區(qū)域，去除虛假可疑的相似塊，降低誤報率。

1.2 深度學(xué)習(xí)圖像修復(fù)取證

隨著深度學(xué)習(xí)的發(fā)展，研究人員提出了基于深度學(xué)習(xí)的圖像取證方法來檢測偽造的數(shù)字圖像。起初，研究人員只是使用簡單的卷積神經(jīng)網(wǎng)絡(luò)進行圖像取證[21,22]。隨后，一些研究發(fā)現(xiàn)在卷積神經(jīng)網(wǎng)絡(luò)的輸入中使用特殊的特征代替圖像內(nèi)容會獲得更好的圖像取證性能，如噪聲殘差[23]、直方圖特征[24]、約束濾波器[25]等。除了簡單的卷積神經(jīng)網(wǎng)絡(luò)與輸入特征的改變外，研究人員嘗試使用長短期記憶架構(gòu)在像素級別上定位篡改區(qū)域[26-27]或者使用多分支卷積神經(jīng)網(wǎng)絡(luò)檢測偽造區(qū)域[28-29]，這給圖像修復(fù)取證提供了很好的指導(dǎo)作用。

對于深度學(xué)習(xí)圖像修復(fù)取證，由于修復(fù)區(qū)域和原始區(qū)域在感知上是一致的，而且不同于樣本塊圖像修復(fù)，深度學(xué)習(xí)圖像修復(fù)取證沒有傳統(tǒng)方法可以提取修復(fù)區(qū)域與原始區(qū)域的不一致性特征。Li等[30]發(fā)現(xiàn)修復(fù)圖像在高通濾波后的殘留域中修復(fù)區(qū)域和原始區(qū)域中高頻分量存在顯著差異，利用這一特征，提出了高通濾波圖像殘差的全卷積網(wǎng)絡(luò)來定位深度學(xué)習(xí)圖像修復(fù)篡改的區(qū)域。Wang等[31]提出基于更快的區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（Faster R-CNN，faster region-based convolutional neural network）的語義分割網(wǎng)絡(luò)來檢測深度學(xué)習(xí)圖像修復(fù)的方法，該全卷積網(wǎng)絡(luò)模型可以捕獲修復(fù)區(qū)域和真實區(qū)域的差異特征，在檢測深度學(xué)習(xí)圖像修復(fù)上表現(xiàn)良好的性能。Li等[32]發(fā)現(xiàn)噪聲殘留域中修復(fù)區(qū)域和原始區(qū)域具有明顯的差異，基于噪聲域提出了一種用于通用深度學(xué)習(xí)修復(fù)檢測的新框架，可以識別由不同深度學(xué)習(xí)修復(fù)方法修復(fù)的區(qū)域。Wu等[33]提出了一個深度學(xué)習(xí)圖像修復(fù)檢測網(wǎng)絡(luò)，網(wǎng)絡(luò)由增強塊、提取塊和決策塊組成，可以準(zhǔn)確檢測和定位修復(fù)篡改。

盡管在深度學(xué)習(xí)圖像修復(fù)取證上，已經(jīng)有不少研究成果，但是目前缺少能夠同時檢測樣本塊圖像修復(fù)和深度學(xué)習(xí)圖像修復(fù)的方法。

圖1 網(wǎng)絡(luò)結(jié)構(gòu)

Figure 1 Network structure

2 雙分支網(wǎng)絡(luò)檢測模型

本文提出了一個雙分支網(wǎng)絡(luò)檢測模型，它能夠準(zhǔn)確檢測圖像修復(fù)區(qū)域。該模型的一個分支是高通濾波卷積網(wǎng)絡(luò)（HPCN，high-pass filter convolutional network），參考文獻[30]中的網(wǎng)絡(luò)結(jié)構(gòu)；另一個分支是雙注意力特征融合網(wǎng)絡(luò)。高通濾波卷積網(wǎng)絡(luò)分支主要用于捕獲圖像修復(fù)區(qū)域與原始區(qū)域之間的高頻分量差異，而雙注意力特征融合（DAFF，dual-attention feature fusion）分支主要負(fù)責(zé)捕獲圖像修復(fù)區(qū)域與原始區(qū)域之間內(nèi)容及紋理上的差異。整體的網(wǎng)絡(luò)結(jié)構(gòu)模型如圖1所示。

2.1 高通濾波卷積網(wǎng)絡(luò)分支

圖像中的高頻分量對應(yīng)圖像變化劇烈的部分，即圖像的邊緣、噪聲或者細(xì)節(jié)部分；而低頻分量則與之相反，對應(yīng)變化度較小的部分。高通濾波的作用是削弱低頻分量并保持高頻分量相對不變。在文獻[30]中發(fā)現(xiàn)圖像的修復(fù)區(qū)域相對于原始區(qū)域包含更少的高頻分量，因此HPCN分支使用一組高通濾波器來削弱圖像中的低頻分量。高通濾波器的內(nèi)核使用3個一階高通濾波器初始化，不同于一般的卷積，這3個濾波器分別作用于RGB圖像的每個通道，將產(chǎn)生的9個特征圖作為后續(xù)輸入。

殘差網(wǎng)絡(luò)[34]可以解決深度網(wǎng)絡(luò)的退化問題，因其性能優(yōu)越常被用于圖像分類和目標(biāo)檢測等許多計算機視覺應(yīng)用。為了準(zhǔn)確地從特征圖中捕獲出修復(fù)區(qū)域和原始區(qū)域中高頻分量的差異，HPCN分支使用4個殘差塊來提取特征，其參數(shù)配置如表1所示。每個殘差塊都由兩個與ResNet50相同的瓶頸單元組成。瓶頸單元先用核大小為1的卷積對特征圖進行降維，再用核大小為3的卷積提取特征，最后用核大小為1的卷積增加特征圖的維數(shù)，參數(shù)量得到大幅減少。瓶頸單元中的恒等映射，用來將淺層特征圖復(fù)制給深層高語義的特征圖結(jié)合，通過殘差塊HPCN分支獲得1 024個特征圖，它們的空間分辨率是輸入圖像的1/16。

圖2 雙注意力機制結(jié)構(gòu)

Figure 2 Structure diagram of dual attention mechanism

表1 HPCN分支中殘差塊的參數(shù)配置

2.2 雙注意力特征融合分支

基于樣本塊的圖像修復(fù)區(qū)別于深度學(xué)習(xí)的圖像修復(fù)的一個顯著特點是：基于樣本塊的圖像修復(fù)會在圖像全局搜索最相似的塊進行填充。為了捕獲相似性的塊，DAFF在預(yù)處理模塊為圖像增添了局部二值模式特征圖。局部二值模式是一種用于描述圖像局部紋理特征的算子，在圖像取證中提取特征有一定的作用[35]，它表示某一像素點與它的8鄰域構(gòu)成的紋理特征，其計算公式為

當(dāng)基于樣本塊的圖像修復(fù)將最匹配的塊填充到缺失區(qū)域時，紋理特征將在缺失區(qū)域內(nèi)部傳播，因此修復(fù)區(qū)域的局部二值模式值和原始區(qū)域中對應(yīng)位置的局部二值模式值相同。為圖像添加局部二值模式特征圖可以幫助捕獲圖像修復(fù)區(qū)域與原始區(qū)域之間紋理上的差異。

文獻[28]對幾種主流的主干網(wǎng)絡(luò)進行對比，發(fā)現(xiàn)可視幾何組（VGG，visual geometry group）在篡改區(qū)域的特征提取上有著更高的適用性。因此，DAFF分支中基于VGG-16構(gòu)建了特征提取模塊，首先將最后的3個全連接層去掉，然后將卷積層劃分為5個部分，前2個部分為卷積塊，后3個部分的卷積塊添加雙重注意力機制[36]，稱為雙注意力卷積塊。在每個卷積塊最后都使用了最大池化來減少網(wǎng)絡(luò)的參數(shù)，在雙注意力卷積塊中，只有第一個雙注意力卷積塊使用最大池化。池化層雖然可以通過減少網(wǎng)絡(luò)的參數(shù)來實現(xiàn)提高訓(xùn)練效率，但是同樣有降低特征圖的空間分辨率、丟棄特征圖部分信息等不可忽視的缺點。因此，在最后兩個雙注意力卷積塊中去掉了池化層，并且在第二個雙注意力卷積塊中使用了空洞卷積?？斩淳矸e可以豐富深層特征的空間信息，并生成高分辨率的特征圖。DAFF分支中特征提取模塊的參數(shù)配置如表2所示。

=softmax(T) (3)

表2 DAFF分支中特征提取模塊的參數(shù)配置

2.3 融合模塊

當(dāng)兩個分支捕獲了高頻分量、內(nèi)容及紋理上修復(fù)區(qū)域和原始區(qū)域之間的差異后，為更好地融合特征并進行最終的預(yù)測，將兩個分支的輸出送入如圖3所示的Inception模塊進行特征融合。Inception是GoogleNet中的模塊[25]，它使網(wǎng)絡(luò)變寬，既能減少計算開銷和內(nèi)存消耗又能豐富特征。融合模塊的具體步驟如下。

1) 連接HPCN分支和DAFF分支的輸出。

2) 使用3個不同大小的過濾器進行特征提取，核大小為1×1、3×3、5×5。

3) 將特征圖連接起來作為輸出。

對融合模塊的特征圖再進行softmax分類，以獲得圖像修復(fù)像素級別的定位圖。

圖3 融合模塊的結(jié)構(gòu)

Figure 3 The illustration of the fusion module

2.4 損失函數(shù)

3 實驗結(jié)果與分析

使用PASCAL VOC[37]創(chuàng)建了基于深度學(xué)習(xí)和基于樣本塊的普通圖像修復(fù)數(shù)據(jù)集和對象移除圖像修復(fù)數(shù)據(jù)集，在數(shù)據(jù)集上訓(xùn)練測試了本文提出的方法，并與圖像修復(fù)檢測的文獻[17]、文獻[30]、文獻[33]中評估的性能指標(biāo)1分?jǐn)?shù)和交并比進行了比較。

3.1 實驗數(shù)據(jù)集

目前暫無用于圖像修復(fù)取證的公開數(shù)據(jù)集，本文使用PASCAL VOC創(chuàng)建了樣本塊圖像修復(fù)和深度學(xué)習(xí)的圖像修復(fù)數(shù)據(jù)集。PASCAL VOC包含20種特定對象的自然圖像，并提供有對象的像素級的分割圖，為創(chuàng)建對象移除的圖像修復(fù)數(shù)據(jù)集提供了便利。首先將PASCAL VOC 2007和PASCAL VOC 2012訓(xùn)練集的圖像混合去除重復(fù)的圖像，獲得共21 542幅圖像；然后采用3種方法創(chuàng)建圖像的缺失區(qū)域，分別是：①中心矩形區(qū)域；②隨機1到5個矩形區(qū)域；③隨機一些線、圓、橢圓；最后分別采用基于樣本塊的圖像修復(fù)方法[4]和基于深度學(xué)習(xí)的圖像修復(fù)方法[9]對圖像進行修復(fù)。圖4展示了幾個示例圖像。將這一部分?jǐn)?shù)據(jù)集90%的圖像作為訓(xùn)練集，10%的圖像作為驗證集。

圖4 實驗數(shù)據(jù)集中的一些示例

Figure 4 Several examples of the experimental dataset

將PASCAL VOC 2007和PASCAL VOC 2012測試集圖像混合去除重復(fù)圖像，同樣采用訓(xùn)練集中的方法創(chuàng)建圖像的缺失區(qū)域，并使用基于樣本塊的圖像修復(fù)方法[4]和基于深度學(xué)習(xí)的圖像修復(fù)方法[9]對圖像進行修復(fù)，獲得8 915幅修復(fù)圖像作為測試集。另外，為了驗證本文提出的方法是否符合實際情況，從PASCAL VOC 2007中的300幅對象像素級分割圖中選取了一些對象（如人、貓、狗等）作為圖像缺失區(qū)域進行修復(fù)，更準(zhǔn)確地模擬現(xiàn)實生活中圖像修復(fù)的用途。將這一部分?jǐn)?shù)據(jù)集作為對象移除圖像修復(fù)的測試集對網(wǎng)絡(luò)效果進行驗證。圖像修復(fù)數(shù)據(jù)集的數(shù)量如表3所示。

3.2 實驗設(shè)置

該實驗的實驗環(huán)境為Ubuntu16.04，Nvidia GeForce RTX 2080ti GPU。實驗中選擇Adam[31]作為優(yōu)化器，初始學(xué)習(xí)率設(shè)置為0.000 1，此后的每個epoch學(xué)習(xí)率降低80%。因為數(shù)據(jù)集中的圖像大小不一致，所以將每一批次的大小設(shè)置為1。整個實驗訓(xùn)練迭代10次，選擇驗證集結(jié)果中1分?jǐn)?shù)值最高的模型作為最后模型。

表3 圖像修復(fù)數(shù)據(jù)集的數(shù)量

3.3 評估指標(biāo)

本文主要使用兩種逐像素分類指標(biāo)來評估性能，分別是1分?jǐn)?shù)和交并比。它們是測試集評估指標(biāo)數(shù)據(jù)的平均值，計算如下。

表4 3種損失在不同圖像修復(fù)數(shù)據(jù)集上的檢測結(jié)果

4.3 實驗結(jié)果與分析

對于本文提出的方法，我們使用了焦點損失、加權(quán)交叉熵?fù)p失和標(biāo)準(zhǔn)交叉熵?fù)p失進行實驗。在隨機缺失的樣本塊圖像修復(fù)和深度學(xué)習(xí)圖像修復(fù)、對象移除的深度學(xué)習(xí)修復(fù)的數(shù)據(jù)集上進行測試，檢測結(jié)果如表4所示。

加權(quán)交叉熵?fù)p失在修復(fù)區(qū)域和原始區(qū)域兩類交叉熵?fù)p失前面添加了不同的權(quán)重。將像素錯判為原始區(qū)域的懲罰大于將像素錯判為修復(fù)區(qū)域的懲罰。因此，使用加權(quán)交叉熵?fù)p失具有較高的召回率，但準(zhǔn)確率較低?？紤]到實際用途中修復(fù)區(qū)域可能小于未修復(fù)區(qū)域，在訓(xùn)練中使用焦點損失來增加修復(fù)區(qū)域的權(quán)重，并增加錯誤分類樣本的權(quán)重。通過實驗發(fā)現(xiàn)，焦點損失并不能有效提升性能。觀察數(shù)據(jù)集發(fā)現(xiàn)，隨機生成的修復(fù)區(qū)域與原始區(qū)域大小幾乎相同，不存在需要焦點損失解決的正負(fù)樣本不平衡問題。所以本文方法采用標(biāo)準(zhǔn)的交叉熵?fù)p失函數(shù)。

為了驗證本文方法的有效性，對網(wǎng)絡(luò)結(jié)構(gòu)進行了消融實驗，定量驗證評估指標(biāo)1分?jǐn)?shù)值如表5所示。

消融實驗各結(jié)構(gòu)分解如下。

1) 1-Base：HPCN分支，文獻[18]中的高通全卷積網(wǎng)絡(luò)。

2) 2-Base：去除DAFF分支中雙重注意力模塊和特征融合模塊的網(wǎng)絡(luò)，即DAFF分支的基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)。

3) 2-Base+DA：在DAFF分支的基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)上增加了雙重注意力模塊。

4) 2-Base+DA+FF：在DAFF分支的基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)上增加了雙重注意力模塊和特征融合模塊。

5) 本文提出的網(wǎng)絡(luò)：帶有HPCN分支和DAFF分支的雙分支網(wǎng)絡(luò)。

表5 消融實驗的檢測結(jié)果

分析表5中數(shù)據(jù)可以看出，雖然在增加了雙注意力機制后，樣本塊圖像修復(fù)檢測的1分?jǐn)?shù)值降低了，但是當(dāng)導(dǎo)入雙注意力模塊和特征融合模塊時，1分?jǐn)?shù)值提高。這可能是因為樣本塊圖像修復(fù)的痕跡很大程度依賴于淺層的紋理，在淺層網(wǎng)絡(luò)雙重注意力機制提取了相似圖像塊的全局依賴，將其與深層的語義特征進行融合使得網(wǎng)絡(luò)的檢測結(jié)果更準(zhǔn)確。這說明添加雙重注意力機制和特征融合能夠幫助網(wǎng)絡(luò)有效地提取樣本塊圖像修復(fù)區(qū)域與原始區(qū)域的相似塊特征。深度學(xué)習(xí)圖像修復(fù)檢測的1分?jǐn)?shù)值在導(dǎo)入雙注意力模塊和特征融合模塊得到進一步提升。將HPCN分支和DAFF分支結(jié)合后，樣本塊圖像修復(fù)和深度學(xué)習(xí)圖像修復(fù)的1分?jǐn)?shù)值得到了提升，這說明雙分支網(wǎng)絡(luò)不僅可以同時檢測深度學(xué)習(xí)的圖像修復(fù)區(qū)域和樣本塊的圖像修復(fù)區(qū)域，還在檢測圖像修復(fù)區(qū)域的性能上得到了進一步的提升。

為了檢測本文方法的性能優(yōu)于現(xiàn)有先進的方法，將本文方法與文獻[17]、文獻[30]、文獻[33]分別在樣本塊圖像修復(fù)和深度學(xué)習(xí)圖像修復(fù)數(shù)據(jù)集上重新訓(xùn)練，然后在隨機缺失的樣本塊圖像修復(fù)、對象移除的樣本塊圖像修復(fù)、隨機缺失的深度學(xué)習(xí)圖像修復(fù)、對象移除的深度學(xué)習(xí)修復(fù)的數(shù)據(jù)集上進行測試，進行評估指標(biāo)1分?jǐn)?shù)和交并比的比較，結(jié)果如表6所示。

表6 不同模型在不同圖像修復(fù)數(shù)據(jù)集上的檢測結(jié)果

從表6中可以看出，基于雙分支網(wǎng)絡(luò)的圖像修復(fù)取證算法在所有指標(biāo)上都超過3種先進的方法。對于基于樣本塊技術(shù)的修復(fù)圖像，無論是隨機缺失的修復(fù)圖像還是對象移除的修復(fù)圖像，本文算法檢測在1分?jǐn)?shù)值提高了2%以上。特別是對于對象移除的修復(fù)圖像，本文提出的算法比排名第二的算法在1分?jǐn)?shù)值高2.05%，在交并比上數(shù)值高3.53%。對于基于深度學(xué)習(xí)技術(shù)的修復(fù)圖像，雖然本文方法較排名第二的算法提升不多，但是排名第二的算法在檢測基于樣本塊技術(shù)的修復(fù)圖像時，檢測精度大大降低，甚至在對象移除的數(shù)據(jù)集上只有31.36%的1分?jǐn)?shù)值。雖然該方法在深度學(xué)習(xí)圖像修復(fù)中效果較好，但卻在樣本塊修復(fù)的圖像中忽略了樣本塊的相似性，導(dǎo)致其在樣本塊圖像修復(fù)數(shù)據(jù)集上表現(xiàn)較差。這說明本文提出的算法不僅能夠檢測基于深度學(xué)習(xí)的圖像修復(fù)，還能夠檢測基于樣本塊的圖像修復(fù)，并取得了優(yōu)越的性能。

為了更直觀地感受本文方法的檢測效果，本文從隨機缺失的樣本塊圖像修復(fù)、對象移除的樣本塊圖像修復(fù)、隨機缺失的深度學(xué)習(xí)圖修復(fù)、對象移除的深度學(xué)習(xí)修復(fù)的數(shù)據(jù)集選取了多幅圖像，展示了文獻[17]、文獻[30]、文獻[33]和提出方法的預(yù)測掩模圖，如圖5所示。

從圖5可以看出，在樣本塊圖像修復(fù)中，文獻[17]、文獻[30]、文獻[33]都無法準(zhǔn)確定位修復(fù)區(qū)域邊緣，這是因為它們忽略了樣本塊圖像修復(fù)中圖像塊的相似性。在深度學(xué)習(xí)圖像修復(fù)中，文獻[30]和文獻[33]都表現(xiàn)出優(yōu)越的檢測性能，但是本文提出方法能精確地分割出修復(fù)區(qū)域和原始區(qū)域。這說明本文提出的方法可以準(zhǔn)確定位修復(fù)的移除對象區(qū)域的邊界，表明了本文提出的方法不僅提高了圖像修復(fù)檢測的性能，而且在實際應(yīng)用中表現(xiàn)出良好的性能。

在對圖像進行篡改之后，為了掩蓋篡改痕跡，通常會用JPEG壓縮和高斯模糊進行后處理操作。在圖像的傳播中，也會經(jīng)歷JPEG壓縮。為了驗證本文提出方法的優(yōu)越性，對數(shù)據(jù)集進行JPEG壓縮和高斯模糊的后處理操作，然后選擇檢測樣本塊圖像修復(fù)的文獻和檢測深度學(xué)習(xí)圖像修復(fù)的文獻與本文方法進行比較。

文獻[30]指出大多圖像最低使用75的質(zhì)量因子（QF，quality factor）進行壓縮。質(zhì)量因子越小，壓縮率越大，圖片質(zhì)量越差，圖像會失真。當(dāng)質(zhì)量因子低于75時，圖像視覺質(zhì)量過低，無法保證視覺感知上與原始圖像一致。因此對于JPEG壓縮后處理操作，分別使用95和75的質(zhì)量因子對修復(fù)圖像進行JPEG壓縮處理。高斯模糊核大小代表鄰域每個像素對當(dāng)前處理像素的影響程度，高斯核的維數(shù)越高，圖像的模糊程度越大。當(dāng)高斯核大于5×5時，同樣會使得圖像過于模糊，無法保證圖像的視覺感知。因此對于高斯模糊后處理操作，分別使用3×3和5×5的高斯核對修復(fù)圖像進行高斯模糊操作。魯棒性檢測結(jié)果的1分?jǐn)?shù)值如表7所示。

對于JPEG壓縮的后處理操作，3個模型的1分?jǐn)?shù)值都隨著質(zhì)量因子的降低而降低，檢測深度學(xué)習(xí)圖像修復(fù)的文獻[30]在檢測樣本塊圖像修復(fù)上，隨著圖像質(zhì)量因子的降低1分?jǐn)?shù)值大幅下跌；而檢測樣本塊圖像修復(fù)的文獻[18]在檢測深度學(xué)習(xí)圖像修復(fù)上，隨著圖像質(zhì)量因子的降低1分?jǐn)?shù)值也出現(xiàn)了大幅下跌。但是本文提出的方法，在檢測不同類型的樣本修復(fù)上，隨著圖像質(zhì)量因子的降低，其檢測效果都優(yōu)于該類型圖像修復(fù)模型。對于高斯模糊的后處理操作，本文提出方法的檢測結(jié)果也表現(xiàn)出優(yōu)秀的性能，這說明本文提出方法的魯棒性是最佳的。

5 結(jié)束語

本文提出了一個雙分支的深度神經(jīng)網(wǎng)絡(luò)，它是一種新穎的圖像修復(fù)盲取證方法。利用雙分支

圖5 不同模型的實際檢測結(jié)果

Figure 5 The actual detection results of different models

表7 不同模型的魯棒性檢測結(jié)果的F1分?jǐn)?shù)值

同時捕獲圖像在高頻分量、內(nèi)容及紋理上修復(fù)區(qū)域和原始區(qū)域的差異，并將結(jié)果進行多尺度融合檢測圖像的修復(fù)區(qū)域?？梢杂行У貜浹a當(dāng)前缺少同時檢測樣本塊圖像修復(fù)和深度學(xué)習(xí)圖像修復(fù)的方法，并且它能夠清晰地檢測出修復(fù)圖像中移除對象的區(qū)域邊界，適用于現(xiàn)實場景。大量的實驗表明了該方法的有效性。雖然實驗數(shù)據(jù)顯示本文方法能夠很好地識別兩種圖像修復(fù)算法檢測的區(qū)域，也能抵抗修復(fù)圖像的后處理操作，但是其在兩種算法上的性能存在一定的差距，在樣本塊圖像修復(fù)上的性能還有待提升。未來將進一步提高圖像修復(fù)檢測的性能。

[1] SRIDEVI G, SRINIVAS KUMAR S. Image inpainting based on fractional-order nonlinear diffusion for image reconstruction[J]. Circuits, Systems, and Signal Processing, 2019, 38(8): 3802-3817.

[2] DOU L, QIAN Z, QIN C, et al. Anti-forensics of diffusion-based image inpainting[J]. Journal of Electronic Imaging, 2020, 29(4): 043026.

[3] ZHANG Y, DING F, KWONG S, et al. Feature pyramid network for diffusion-based image inpainting detection[J]. Information Sciences, 2021, 572: 29-42.

[4] CRIMINISI A, PéREZ P, TOYAMA K. Region filling and object removal by exemplar-based image inpainting[J]. IEEE Transactions on image processing, 2004, 13(9): 1200-1212.

[5] QUY TRAN B, VAN NGUYEN T, DUY TRAN D, et al. Accelerating exemplar-based image inpainting with GPU and CUDA[C]//2021 10th International Conference on Software and Computer Applications. 2021: 173-179.

[6] XU T, HUANG T Z, DENG L J, et al. Exemplar-based image inpainting using adaptive two-stage structure-tensor based priority function and nonlocal filtering[J]. Journal of Visual Communication and Image Representation, 2022, 83: 103430.

[7] IIZUKA S, SIMO-SERRA E, ISHIKAWA H. Globally and locally consistent image completion[J]. ACM Transactions on Graphics (ToG), 2017, 36(4): 1-14.

[8] ZENG Y, FU J, CHAO H, et al. Learning pyramid-context encoder network for high-quality image inpainting[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2019: 1486-1494.

[9] SUVOROV R, LOGACHEVA E, MASHIKHIN A, et al. Resolution-robust large mask inpainting with fourier convolutions[C]//Pro- ceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision. 2022: 2149-2159.

[10] WU Q, SUN S-J, ZHU W, et al. Detection of digital doctoring in exemplar-based inpainted images[C]//2008 International Conference on Machine Learning and Cybernetics. 2008, 3: 1222-1226.

[11] BACCHUWAR K S, RAMAKRISHNAN K. A jump patch-block match algorithm for multiple forgery detection[C]//2013 International Mutli-Conference on Automation, Computing, Communication, Control and Compressed Sensing (iMac4s). 2013: 723-728.

[12] CHANG I C, YU J C, CHANG C C. A forgery detection algorithm for exemplar-based inpainting images using multi-region relation[J]. Image and Vision Computing, 2013, 31(1): 57-71.

[13] LIANG Z, YANG G, DING X, et al. An efficient forgery detection algorithm for object removal by exemplar-based image inpainting[J]. Journal of Visual Communication and Image Representation, 2015, 30: 75-85.

[14] ZHAO Y Q, LIAO M, SHIH F Y, et al. Tampered region detection of inpainting JPEG images[J]. Optik, 2013, 124(16): 2487-2492.

[15] LIU Q, SUNG A H, ZHOU B, et al. Exposing inpainting forgery in jpeg images under recompression attacks[C]//2016 15th IEEE International Conference on Machine Learning and Applications (ICMLA). 2016: 164-169.

[16] ZHANG D, LIANG Z, YANG G, et al. A robust forgery detection algorithm for object removal by exemplar-based image inpainting[J]. Multimedia Tools and Applications, 2018, 77(10): 11823-11842.

[17] ZHU X, QIAN Y, ZHAO X, et al. A deep learning approach to patch-based image inpainting forensics[J]. Signal Processing: Image Communication, 2018, 67: 90-99.

[18] WANG X, WANG H, NIU S. An intelligent forensics approach for detecting patch-based image inpainting[J]. Mathematical Problems in Engineering, 2020, 2020(8): 1-10.

[19] WANG X, NIU S, WANG H. Image inpainting detection based on multi-task deep learning network[J]. IETE Technical Review, 2021, 38(1): 149-157.

[20] LU M, NIU S. A detection approach using LSTM-CNN for object removal caused by exemplar-based image inpainting[J]. Electronics, 2020, 9(5): 858.

[21] BARNI M, COSTANZO A, NOWROOZI E, et al. CNN-based detection of generic contrast adjustment with JPEG post-processing[C]//2018 25th IEEE International Conference on Image Processing (ICIP). 2018: 3803-3807.

[22] SHAN W, YI Y, HUANG R, et al. Robust contrast enhancement forensics based on convolutional neural networks[J]. Signal Processing: Image Communication, 2019, 71: 138-146.

[23] ZHOU P, HAN X, MORARIU V I, et al. Learning rich features for image manipulation detection[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 1053-1061.

[24] BARNI M, BONDI L, BONETTINI N, et al. Aligned and non-aligned double JPEG detection using convolutional neural networks[J]. Journal of Visual Communication and Image Representation, 2017, 49: 153-163.

[25] BAYAR B, STAMM M C. Constrained convolutional neural networks: a new approach towards general purpose image manipulation detection[J]. IEEE Transactions on Information Forensics and Security, 2018, 13(11): 2691-2706.

[26] BUNK J, BAPPY J H, MOHAMMED T M, et al. Detection and localization of image forgeries using resampling features and deep learning[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). 2017: 1881-1889.

[27] BAPPY J H, SIMONS C, NATARAJ L, et al. Hybrid lstm and encoder–decoder architecture for detection of image forgeries[J]. IEEE Transactions on Image Processing, 2019, 28(7): 3286-3300.

[28] WU Y, ABDALMAGEED W, NATARAJAN P. Mantra-net: Manipulation tracing network for detection and localization of image forgeries with anomalous features[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2019: 9543-9552.

[29] BARNI M, PHAN Q T, TONDI B. Copy move source-target disambiguation through multi-branch CNNs[J]. IEEE Transactions on Information Forensics and Security, 2020, 16: 1825-1840.

[30] LI H, HUANG J. Localization of deep inpainting using high-pass fully convolutional network[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. 2019: 8301-8310.

[31] WANG X, WANG H, NIU S. An image forensic method for AI inpainting using faster R-CNN[C]//International Conference on Artificial Intelligence and Security. 2019, 11634: 476-487.

[32] LI A, KE Q, MA X, et al. Noise doesn't lie: towards universal detection of deep inpainting[C]//Proceedings of International Joint Conference on Artificial Intelligence. 2021: 786-792.

[33] WU H, ZHOU J. IID-Net: image inpainting detection network via neural architecture search and attention[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2021, 32(3): 1172 - 1185.

[34] SZEGEDY C, LIU W, JIA Y, et al. Going deeper with convolutions[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2015: 1-9.

[35] ZHANG D, CHEN X, LI F, et al. Seam-carved image tampering detection based on the cooccurrence of adjacent lbps[J]. Security and Communication Networks, 2020, 2020: 1-12.

[36] FU J, LIU J, TIAN H, et al. Dual attention network for scene segmentation[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2019: 3146-3154.

[37] EVERINGHAM M, ESLAMI S, VAN GOOL L, et al. The pascal visual object classes challenge: a retrospective[J]. International Journal of Computer Vision, 2015, 111(1): 98-136.

Image inpainting forensics method based on dual branch network

ZHANG Dengyong1,2, WEN Huang1,2, LI Feng1,2, CAO Peng1,2, XIANG Lingyun1,2, YANG Gaobo3, DING Xiangling4

1. Hunan Provincial Key Laboratory of Intelligent Processing of Big Data on Transportation, Changsha University of Science and Technology, Changsha 410114, China 2. School of Computer and Communication Engineering, Changsha University of Science and Technology, Changsha, 410114, China 3. School of Information Science and Engineering, Hunan University, Changsha 410082, China 4. School of Computer Science and Engineering, Hunan University of Science and Technology, Xiangtan 411004, China

Image inpainting is a technique that uses information from known areas of an image to repair missing or damaged areas of the image.Image editing software based on it has made it easy to edit and modify the content of digital images without any specialized foundation. When image inpainting techniques are used to maliciously remove the content of an image, it will cause confidence crisis on the real image. Current researches in image inpainting forensics can only effectively detect a certain type of image inpainting. To address this problem, a passive forensic method for image inpainting was proposed, which is based on a two-branch network. The high-pass filtered convolutional network in the dual branch first used a set of high-pass filters to attenuate the low-frequency components in the image. Then features were extracted using four residual blocks, and two transposed convolutions were performed with 4x up-sampling to zoom in on the feature map. And thereafter a 5×5 convolution was used to attenuate the tessellation artifacts from the transposed convolutions to generate a discriminative feature map on the high-frequency components of the image. The dual-attention feature fusion branch in the dual branch first added a local binary pattern feature map to the image using a preprocessing block. Then the dual-attention convolution block was used to adaptively integrate the image’s local features and global dependencies to capture the differences in content and texture between the inpainted and pristine regions of the image. Additionally, the features extracted from the dual-attention convolution block were fused, and the feature maps were up-sampled identically to generate the discriminative image content and texture on the feature maps. The extensive experimental results show the proposed method improved the1 score by 2.05% and the Intersection over Union(IoU) by 3.53% for the exemplar-based method and by 1.06% and 1.22% for the deep-learning-based method in detecting the inpainted region of the removed object. Visualization of the results shows that the edges of the removed objects can be accurately located on the detected inpainted area.

image forensics, image forgery detection, deep learning, attention mechanism

TP393

A

10.11959/j.issn.2096?109x.2022084

2022?03?27；

2022?08?17

李峰，lif@csust.edu.cn

國家自然科學(xué)基金（62172059, 61972057, 62072055）；湖南省自然科學(xué)基金（2020JJ4626, 2020JJ4029）；湖南省教育廳優(yōu)秀青年項目（19B004）

The National Natural Science Foundation of China (62172059, 61972057, 62072055), Natural Science Foundation of Hunan Province (2020JJ4626, 2020JJ4029), Scientific Research Fund of Hunan Provincial Education Department of China (19B004)

章登勇, 文凰, 李峰, 等. 基于雙分支網(wǎng)絡(luò)的圖像修復(fù)取證方法[J]. 網(wǎng)絡(luò)與信息安全學(xué)報, 2022, 8(6): 110-122.

ZHANG D Y, WEN H, LI F, et al. Image in painting forensics method based on dual branch network[J]. Chinese Journal of Network and Information Security, 2022, 8(6): 110-122.

章登勇（1980?），男，江西南昌人，長沙理工大學(xué)副教授，主要研究方向為多媒體信息安全、圖像處理與模式識別。

文凰（1996?），女，湖南望城人，長沙理工大學(xué)碩士生，主要研究方向為多媒體信息安全。

李峰（1964?），男，湖南常德人，長沙理工大學(xué)教授，主要研究方向為多媒體信息安全、圖像處理與模式識別。

曹鵬（1982?），男，湖南常德人，長沙理工大學(xué)講師，主要研究方向為圖像處理與模式識別、圖像取證。

向凌云（1983? ），女，湖南婁底人，長沙理工大學(xué)副教授，主要研究方向為信息安全、信息隱藏與數(shù)字水印、隱寫分析、自然語言處理、模式識別與機器學(xué)習(xí)。

楊高波（1973?），湖南岳陽人，湖南大學(xué)教授、博士生導(dǎo)師，主要研究方向為圖像/視頻信息安全、多媒體通信、紋理壓縮。

丁湘陵（1981?），男，湖南株洲人，博士，湖南科技大學(xué)副教授，主要研究方向為多媒體內(nèi)容安全、圖像/視頻處理、密碼分析。