高培賢，魏立線，劉 佳，劉明明

(武警工程大學(xué) 網(wǎng)絡(luò)與信息安全武警部隊(duì)重點(diǎn)實(shí)驗(yàn)室， 陜西 西安 710086)

0 引 言

傳統(tǒng)的圖像隱寫分析方法是先提取特征，再利用分類器進(jìn)行分類，例如富模型(RM)[1]+集成分類器(EC)[2]。隨著深度學(xué)習(xí)在圖像識(shí)別領(lǐng)域的優(yōu)異表現(xiàn)，卷積神經(jīng)網(wǎng)絡(luò)(CNN)逐漸成為一種重要的圖像隱寫分析方法。Guangshuo Xu等構(gòu)建了一個(gè)5層的CNN模型進(jìn)行隱寫分析，對(duì)S-UNIWARD算法的檢測(cè)準(zhǔn)確率達(dá)到了80.24%[3]，但是CNN的缺點(diǎn)是隨著深度的增加，網(wǎng)絡(luò)模型會(huì)出現(xiàn)退化問(wèn)題，模型識(shí)別準(zhǔn)確率會(huì)很快達(dá)到飽和，然后迅速下降[4,5]。為了解決退化問(wèn)題，何凱明等提出了深度殘差網(wǎng)絡(luò)(DRN)，通過(guò)捷徑連接改變網(wǎng)絡(luò)結(jié)構(gòu)，實(shí)現(xiàn)殘差學(xué)習(xí)。何凱明等構(gòu)建的152層DRN模型在ImageNet測(cè)試集中的識(shí)別誤差為3.57%，在2015年的大規(guī)模視覺(jué)識(shí)別挑戰(zhàn)賽中贏得了第一名[6]。

針對(duì)目前圖像隱寫分析效率較低的情況，本文提出了一個(gè)基于深度殘差網(wǎng)絡(luò)的神經(jīng)網(wǎng)絡(luò)模型(S-DRN)進(jìn)行圖像隱寫分析。實(shí)驗(yàn)結(jié)果表明，相比Guanshuo Xu等的構(gòu)建CNN模型，本文模型識(shí)別準(zhǔn)確率提高了12.89%。

1 殘差網(wǎng)絡(luò)

1.1 退化問(wèn)題

深度卷積神經(jīng)網(wǎng)絡(luò)的提出引發(fā)了圖像分類方法的一系列突破[7-9]，通過(guò)增加網(wǎng)絡(luò)深度可以提取圖像更加抽象的特征，從而提高模型識(shí)別準(zhǔn)確率。隨著網(wǎng)絡(luò)深度的增加，梯度消失/爆炸問(wèn)題會(huì)阻礙網(wǎng)絡(luò)的收斂，批量規(guī)范化(BN)的提出使得深度網(wǎng)絡(luò)利用隨機(jī)梯度下降(SGD)得以收斂。但是，深度網(wǎng)絡(luò)在訓(xùn)練過(guò)程中會(huì)出現(xiàn)退化問(wèn)題，即隨著網(wǎng)絡(luò)層數(shù)的遞增，網(wǎng)絡(luò)識(shí)別性能會(huì)逐漸達(dá)到飽和后并迅速下降。退化問(wèn)題并不是由于過(guò)擬合造成的[6]，而是增加網(wǎng)絡(luò)的深度會(huì)使得訓(xùn)練誤差增加。退化問(wèn)題表明了深度網(wǎng)絡(luò)在訓(xùn)練過(guò)程中尋找最優(yōu)權(quán)重參數(shù)存在很大的困難。

1.2 殘差學(xué)習(xí)

在訓(xùn)練好的淺層網(wǎng)絡(luò)基礎(chǔ)上，通過(guò)增加網(wǎng)絡(luò)層來(lái)擬合恒等映射，這種加深網(wǎng)絡(luò)的方法使得訓(xùn)練誤差不應(yīng)高于其淺層網(wǎng)絡(luò)模型，但退化問(wèn)題表明利用非線性網(wǎng)絡(luò)層去擬合恒等映射在求解上存在困難[6]。在CNN中，H(X)為若干堆疊的非線性網(wǎng)絡(luò)層逐漸逼近的目標(biāo)函數(shù)，其中X為網(wǎng)絡(luò)的輸入。與CNN不同的是，殘差網(wǎng)絡(luò)使用非線性網(wǎng)絡(luò)層去擬合殘差函數(shù)

F(X)=H(X)-X

(1)

這里假設(shè)輸入與輸出是相同維度。通過(guò)捷徑連接，使得網(wǎng)絡(luò)的輸出為

H(X)=F(X)+X

(2)

雖然這兩種方法都可以逐漸擬合出目標(biāo)函數(shù)H(X)，但是利用堆疊的非線性網(wǎng)絡(luò)層學(xué)習(xí)殘差值使其逼近于0值相對(duì)來(lái)說(shuō)較為容易。因此，相比無(wú)參考函數(shù)的網(wǎng)絡(luò)，殘差網(wǎng)絡(luò)使得網(wǎng)絡(luò)進(jìn)行參數(shù)最優(yōu)化變得更加容易實(shí)現(xiàn)，且隨著網(wǎng)絡(luò)層數(shù)的增加可以獲得更高的識(shí)別準(zhǔn)確率。

如圖1為1組殘差學(xué)習(xí)模塊。殘差學(xué)習(xí)模塊的輸入為X，輸出為

y=F(X，{Wi})+X

(3)

式中：Wi為權(quán)重矩陣，F(xiàn)(X，{Wi})為網(wǎng)絡(luò)學(xué)習(xí)到的殘差函數(shù)。當(dāng)X與F(X，{Wi})維度不同時(shí)，通過(guò)在捷徑連接上作線性投影Ws來(lái)實(shí)現(xiàn)輸入輸出之間的加法，即

y=F(X，{Wi})+WsX

(4)

為了簡(jiǎn)化符號(hào)，在輸出公式中省略了偏差項(xiàng)。殘差模塊中必須至少含有兩層卷積層，若只有一層卷積層，則殘差模塊為線性層，其輸出為y=W1X+X，失去了殘差學(xué)習(xí)的優(yōu)勢(shì)。

圖1 殘差學(xué)習(xí)模塊

1.3 深度殘差網(wǎng)絡(luò)(DRN)

殘差學(xué)習(xí)使得深度卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練得以實(shí)現(xiàn)，隨著網(wǎng)絡(luò)層數(shù)的增加，模型的識(shí)別準(zhǔn)確率也逐漸增加。在DRN的殘差學(xué)習(xí)模塊中，捷徑連接特征圖的大小和維度必須與殘差特征圖相同，否則不能實(shí)現(xiàn)捷徑連接的輸出與殘差函數(shù)的加法。對(duì)于卷積操作帶來(lái)的特征圖大小變化，通過(guò)采用0元素填充使得特征圖大小不變。當(dāng)網(wǎng)絡(luò)中的特征維度增加時(shí)，有兩種方案實(shí)現(xiàn)維度相匹配。①對(duì)于維度增加帶來(lái)的空缺元素補(bǔ)零。②通過(guò)線性投影來(lái)匹配維數(shù)，采用大小為1×1的卷積核來(lái)實(shí)現(xiàn)。整個(gè)網(wǎng)絡(luò)仍然可以使用反向傳播算法(BP)進(jìn)行端到端的訓(xùn)練，不需修改求解方法，在很大程度上方便了網(wǎng)絡(luò)的訓(xùn)練。

2 S-DRN模型

基于何凱明等的研究，本文提出了一個(gè)S-DRN模型進(jìn)行圖像隱寫分析，如圖2所示。在該模型中共有34層卷積層。這些卷積層可分為3類：高通濾波器層(HPF層)，特征提取卷積層和殘差學(xué)習(xí)卷積層，其中參與權(quán)重更新的是殘差學(xué)習(xí)卷積層。

2.1 S-DRN網(wǎng)絡(luò)層

在圖像隱寫分析領(lǐng)域，HPF層的是一種特殊的卷積層。其卷積核大小為5×5，通道數(shù)為1，權(quán)重為固定值F，且不隨隨機(jī)梯度下降(SGD)而更新。網(wǎng)絡(luò)的輸入經(jīng)過(guò)HPF層預(yù)處理之后再進(jìn)入特征提取卷積層。HPF層的使用可以加快網(wǎng)絡(luò)的收斂速度

特征提取卷積層與CNN中的卷積層相同。該卷積層的卷積核與輸入進(jìn)行卷積操作，提取出輸入的不同特征，第一層卷積層提取低級(jí)特征，更高層的卷積層提取更高級(jí)的特征[10]。當(dāng)網(wǎng)絡(luò)深度加深以及訓(xùn)練樣本數(shù)量有限時(shí)，使用擬合好的卷積層可以避免過(guò)擬合以及縮短訓(xùn)練時(shí)間，該模型使用了擬合好的兩層卷積層。

每個(gè)殘差模塊由兩層殘差學(xué)習(xí)卷積層組成，并通過(guò)捷徑連接將殘差函數(shù)與輸入相加實(shí)現(xiàn)殘差學(xué)習(xí)。當(dāng)相鄰殘差模塊之間維度相同時(shí)，捷徑連接采用恒等映射。當(dāng)相鄰殘差模塊中卷積核個(gè)數(shù)增加時(shí)，在捷徑連接中采用大小為1×1的卷積核來(lái)實(shí)現(xiàn)維度的增加。在殘差模塊中采用了大小為3×3的卷積核，共構(gòu)建了16組殘差學(xué)習(xí)模塊。

在殘差學(xué)習(xí)模塊后采用了兩層輸出為1000維的全連接層和一層損失函數(shù)層，全連接層的神經(jīng)元與上一層網(wǎng)絡(luò)的神經(jīng)元全連接，整合出卷積層中可以區(qū)分所屬類別的局部特征。損失函數(shù)層采用的是Softmax損失函數(shù)，將輸入分為兩類。具體的分類問(wèn)題需要考慮具體的損失函數(shù)。由于池化層對(duì)分類效果產(chǎn)生不好的影響，因此該模型沒(méi)有使用池化層。

圖2 S-DRN框架

2.2 模型分析

Guanshuo Xu等構(gòu)建了一個(gè)5層CNN模型進(jìn)行隱寫分析，該模型由5組卷積模塊組成，如圖3所示，每組卷積模塊由卷積層和池化層組成。前2組卷積模塊采用TanH激活函數(shù)，后3組卷積模塊采用ReLU激活函數(shù)。為了避免模型在訓(xùn)練過(guò)程中陷入局部最優(yōu)化，在激活函數(shù)前都加入了批量正規(guī)化層(batch normalization layer，BN層)。輸出層由一層全連接層和損失函數(shù)層組成。該模型在BOSSBass數(shù)據(jù)庫(kù)上檢測(cè)S-UNIWARD嵌入算法的準(zhǔn)確率達(dá)到80.24%。

圖3 Guanshuo Xu等構(gòu)建的5層CNN模型

相比Guanshuo Xu等構(gòu)建的CNN模型，S-DRN模型顯著增加了網(wǎng)絡(luò)的深度，并且利用殘差學(xué)習(xí)解決了退化問(wèn)題，有效提高了圖像隱寫分析效果；對(duì)于圖像隱寫分析來(lái)說(shuō)，模型通過(guò)識(shí)別圖像中嵌入的噪聲進(jìn)行分類，而池化層會(huì)弱化所嵌噪聲，不利于最終的識(shí)別效果，因此S-DRN模型取消了池化層；由于殘差網(wǎng)絡(luò)的深度，在網(wǎng)絡(luò)訓(xùn)練過(guò)程中會(huì)出現(xiàn)梯度消失/爆炸問(wèn)題，導(dǎo)致模型不收斂或者收斂速度極慢。因此，每個(gè)模型都在卷積層之后增加了批量正規(guī)化層(BN層)，以實(shí)現(xiàn)模型的收斂。BN層的使用還可以增加1%左右的識(shí)別準(zhǔn)確率[11]。

2.3 網(wǎng)絡(luò)對(duì)比

為了更好的評(píng)估深度殘差網(wǎng)絡(luò)，本文構(gòu)建了3種網(wǎng)絡(luò)進(jìn)行對(duì)比實(shí)驗(yàn)。①淺層卷積神經(jīng)網(wǎng)絡(luò)：由兩層卷積層組成，如圖4(左)所示。②深度卷積神經(jīng)網(wǎng)絡(luò)：在淺層卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，直接疊加32層卷積層，如圖4(右)所示。③深度殘差網(wǎng)絡(luò)：在淺層卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上增加了16組殘差學(xué)習(xí)模塊，如圖3所示。3種網(wǎng)絡(luò)都使用相同的HPF層、全連接層、softmax層。

圖4 淺層CNN(左)和深度CNN(右)

考慮到訓(xùn)練時(shí)間，將殘差網(wǎng)絡(luò)的中的殘差模塊改為如圖5的瓶頸結(jié)構(gòu)。3個(gè)網(wǎng)絡(luò)層中卷積核大小分別為1×1、3×3和1×1。卷積核大小為1×1的卷積層是用來(lái)減少或恢復(fù)維度。通過(guò)這種結(jié)構(gòu)改變使得卷積核大小為3×3的卷積層的輸入和輸出維度減小。這種結(jié)構(gòu)的使用可以縮短訓(xùn)練時(shí)間，更加經(jīng)濟(jì)[6]。

圖5 瓶頸結(jié)構(gòu)

3 實(shí) 驗(yàn)

3.1 圖像庫(kù)及實(shí)驗(yàn)平臺(tái)

本文使用的圖像庫(kù)是目前圖像隱寫分析最常用的BOSSbase圖像庫(kù)，由10 000張大小為512×512的pgm格式的灰度圖像組成。為了增加訓(xùn)練樣本的數(shù)量以及節(jié)約內(nèi)存，實(shí)驗(yàn)中將圖像裁剪為大小為128×128的圖像，將16×104張圖像作為載體圖像，使用S-UNIWARD隱寫算法對(duì)載體圖像進(jìn)行信息嵌入，嵌入后的圖像作為隱寫圖像，嵌入率為0.4 bpp。將載體圖像和隱寫圖像中的3/4作為訓(xùn)練集，其余的圖像為測(cè)試集，訓(xùn)練集和測(cè)試集均為隨機(jī)打亂的順序并且不存在交集。殘差網(wǎng)絡(luò)同樣使用BP算法進(jìn)行端到端的訓(xùn)練，實(shí)驗(yàn)平臺(tái)選擇的是基于C++語(yǔ)言的深度學(xué)習(xí)仿真工具Caffe。

3.2 實(shí)驗(yàn)參數(shù)

與CNN相同，殘差網(wǎng)絡(luò)的訓(xùn)練使用隨機(jī)梯度下降算法(SGD)進(jìn)行優(yōu)化。學(xué)習(xí)速率初始值為0.001，學(xué)習(xí)率變化策略為“inv”，避免了手動(dòng)調(diào)整學(xué)習(xí)率參數(shù)，使學(xué)習(xí)率隨著迭代次數(shù)的增加自動(dòng)調(diào)整。由于GPU內(nèi)存的限制，訓(xùn)練時(shí)最小批量大小為64，測(cè)試時(shí)最小批量大小為40。沖量參數(shù)(momentum)為0.9，權(quán)值衰減(weight_decay)為0.004。對(duì)模型迭代20 000次進(jìn)行訓(xùn)練。為了更好地對(duì)比CNN和殘差網(wǎng)絡(luò)，在訓(xùn)練過(guò)程中網(wǎng)絡(luò)都采用相同的參數(shù)。

3.3 實(shí)驗(yàn)結(jié)果

相比傳統(tǒng)的圖像隱寫分析法，S-DRN模型較大的提高了圖像隱寫分析的檢測(cè)準(zhǔn)確率和檢測(cè)效率；相比XU等[3]構(gòu)建的5層CNN模型，S-DRN模型提取了更抽象的高級(jí)特征，并且解決了網(wǎng)絡(luò)退化問(wèn)題，提高了識(shí)別效果。實(shí)驗(yàn)結(jié)果見(jiàn)表1。

表1 各模型識(shí)別準(zhǔn)確率

本文首先構(gòu)建了兩種CNN模型進(jìn)行實(shí)驗(yàn)，這兩種模型除卷積層不同外，其余各層以及參數(shù)均相同。實(shí)驗(yàn)結(jié)果表明，兩層卷積層的CNN模型的識(shí)別效果優(yōu)于一層卷積層的CNN模型，見(jiàn)表2。同時(shí)優(yōu)于傳統(tǒng)的隱寫分析算法和XU等構(gòu)建的5層CNN模型。

表2 淺層CNN模型識(shí)別準(zhǔn)確率

在擬合好的兩層CNN模型的基礎(chǔ)上，對(duì)比了直接疊加的平凡網(wǎng)絡(luò)和不同深度的殘差網(wǎng)絡(luò)。網(wǎng)絡(luò)的深度直接影響識(shí)別效果，對(duì)于殘差網(wǎng)絡(luò)，網(wǎng)絡(luò)越深，識(shí)別效果越好。但隨著網(wǎng)絡(luò)深度增加，網(wǎng)絡(luò)參數(shù)急劇增多，需要更大的GPU內(nèi)存以及更多的訓(xùn)練時(shí)間。因此，本文對(duì)比了3種不同深度的殘差網(wǎng)絡(luò)。結(jié)果如圖6所示，殘差網(wǎng)絡(luò)的準(zhǔn)確率明顯高于淺層CNN和直接堆疊的平凡網(wǎng)絡(luò)。

圖6 3種類型的神經(jīng)網(wǎng)絡(luò)識(shí)別準(zhǔn)確率

網(wǎng)絡(luò)中池化層會(huì)弱化噪聲，不利于最終的識(shí)別效果。因此，本文還對(duì)池化層對(duì)隱寫分析檢測(cè)效果的影響做了對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果見(jiàn)表3，池化層會(huì)降低模型隱寫分析的準(zhǔn)確率，因此在模型中取消了池化層。

對(duì)于圖像隱寫分析，HPF層極大地提高了模型的收斂速度，表4為S-DRN模型在迭代20 000次時(shí)有無(wú)使用HPF層的損失值和準(zhǔn)確率對(duì)比結(jié)果，從表中可以看出，當(dāng)訓(xùn)練20 000次時(shí)，無(wú)HPF層的模型損失值仍然沒(méi)有收斂，分類結(jié)果接近于隨機(jī)分類。

網(wǎng)絡(luò)訓(xùn)練的損失值(loss)代表著網(wǎng)絡(luò)的擬合程度，圖7表明了平凡網(wǎng)絡(luò)的擬合速度慢于殘差網(wǎng)絡(luò)，這也證明了神經(jīng)網(wǎng)絡(luò)隨著深度的增加會(huì)出現(xiàn)退化問(wèn)題，而殘差網(wǎng)絡(luò)可以有效解決退化問(wèn)題。

表4 有無(wú)HPF層的損失值和識(shí)別準(zhǔn)確率

圖7 平凡網(wǎng)絡(luò)和S-DRN模型損失值(loss)

4 結(jié)束語(yǔ)

本文構(gòu)建了一個(gè)深度殘差網(wǎng)絡(luò)模型進(jìn)行圖像隱寫分析，增加了網(wǎng)絡(luò)模型的深度，解決了退化問(wèn)題，提高了識(shí)別準(zhǔn)確率。實(shí)驗(yàn)結(jié)果表明，S-DRN在圖像隱寫分析鄰域的表現(xiàn)優(yōu)于淺層卷積神經(jīng)網(wǎng)絡(luò)和傳統(tǒng)的圖像隱寫分析算法。但是，深度網(wǎng)絡(luò)的訓(xùn)練相對(duì)于淺層網(wǎng)絡(luò)比較耗時(shí)，下一步研究的方向是增強(qiáng)深度學(xué)習(xí)在隱寫分析領(lǐng)域的準(zhǔn)確性以及提高深度網(wǎng)絡(luò)的訓(xùn)練效率。