鐘夢圓,姜 麟,李 超

(昆明理工大學 理學院,昆明 650093)

0 引 言

超分辨率圖像重建(super-resolution,SR)旨在將低分辨率圖像(low resolution,LR)重建為含有清晰細節(jié)特征的高分辨率圖像(high resolution,HR),是圖像處理領域的研究熱點[1-2]。傳統(tǒng)SR重建算法計算復雜、計算量偏多,且對結構復雜、細節(jié)豐富的圖像重建質量較差。隨著深度學習的快速發(fā)展,基于卷積神經網絡的SR算法(super-resolution convolutional neural network,SRCNN)[3]實現(xiàn)了LR圖像與HR圖像端到端映射,但圖像預處理造成細節(jié)特征丟失和邊緣模糊。基于生成對抗網絡提出超分辨率生成對抗(super-resolution generative adversarial network,SRGAN)算法[4],通過生成器與判別器對抗訓練、感知損失與對抗損失反向控制訓練來解決圖像細節(jié)特征提取不足、邊緣模糊的問題,但也使得圖像色彩、亮度丟失和網絡不穩(wěn)定。

對此,為獲得圖像質量更好、色彩亮度更佳、網絡訓練更穩(wěn)定的SR算法,本文以SRGAN算法為基礎,構建一種全新的多尺度特征提取殘差生成器網絡(multi-scale feature extraction residual network,MFR),提出MFR-SRGAN算法,從而使經過該算法重建后得到的超分辨率圖像能夠保留原圖像更優(yōu)質的內容特征信息與風格語義信息。算法從以下3個方面做支撐。

1)損失函數(shù)。SRGAN算法損失函數(shù)主要為對抗損失與內容損失,均不能約束圖像風格信息。對此,本文新增風格損失函數(shù)以確保圖像紋理、色彩、亮度等風格信息的有效傳遞。

2)網絡結構。在生成器網絡中疊加使用Inception模塊、殘差特征聚合模塊[5](residual feature aggregation block,RFA)與多尺度感受野模塊[6](multiscale receptive field block,RFB)提高網絡穩(wěn)定性與網絡性能。

3)網絡訓練。使用VGG16網絡輔助新網絡進行淺層特征預訓練和深層特征加強訓練,有效提升了網絡性能,從而加強LR圖像低頻特征信息與高頻特征信息的全局連續(xù)性提取、融合與傳播。

1 基本原理

1.1 SRGAN圖像重建原理

SRGAN圖像重建是將多幅LR圖像輸入生成器中學習和建立圖像特征信息庫,輸出初步HR圖像到判別器中判斷,并反向傳播網絡參數(shù)以優(yōu)化生成器與判別器。當判別器無法判斷輸入圖像是來自生成器生成的HR圖像還是原始輸入網絡的HR圖像時(即判斷圖像真假的概率為1∶1),訓練停止,此時生成器輸出的HR圖像為所需的目標圖像,圖像重建的流程如圖1所示。

圖1 圖像重建過程Fig.1 Image reconstruction processing

圖1中黑色箭頭表示圖像重建網絡正向訓練過程,黃色箭頭表示圖像重建網絡反向優(yōu)化過程。

網絡訓練圖像并非提前設定的LR圖像,而是通過“圖像降質模型[1]”隨機產生的LR圖像,即指HR圖像經過一系列退化函數(shù)降質作用后產生的LR圖像,盡可能借助加噪、模糊、運動、降采樣等退化操作模擬實際生活中圖像分辨率降低的情形,表示為

ILR=D(IHR;θP)=SdBκMIHR+nξ{κ,ξ,d}

(1)

(1)式中:ILR為LR圖像;IHR為HR圖像;D為退化函數(shù);θP表示與退化函數(shù)相關的各種參數(shù)和退化因子;Sd為降采樣矩陣;d為降采樣矩陣的比例因子;B為模糊矩陣;κ表示與HR卷積相關的模糊核;M為運動矩陣;nξ為添加的帶有標準差的噪聲;ξ為標準差。

SR本質為“圖像降質模型”逆過程,即由LR圖像通過重建函數(shù)作用得到HR圖像,表示為

IHR=R(ILR;σa)

(2)

(2)式中:R為重建函數(shù);σa表示與重建函數(shù)相關的各種參數(shù)與重建因子。

1.2 網絡結構設計

1.2.1 多尺度特征提取層

本文引入Inception模塊、RFA模塊、RFB模塊和殘差塊形成一個全新的多尺度特征提取層,解決SRGAN算法低頻、高頻特征信息提取不充分以及重建圖像出現(xiàn)噪聲、色彩暗淡的問題,實現(xiàn)多尺度、多維度、多層次低頻、高頻細節(jié)特征提取與學習。多尺度特征提取層主要模塊的功能描述如下。

1)Inception模塊。由于圖像中相關性較遠的特征需要大卷積核才能學習,用Inception模塊替換原始卷積層,既保留原始卷積層控制圖像維度變化的性能,還能小幅度改變輸入圖像的維度,避免維度變化過大、過快造成圖像細節(jié)特征大量丟失而出現(xiàn)偽影、模糊等問題。借助9×9、7×7、5×5、3×3大小不一的卷積核來控制感受野的大小,使其同時學習圖像各個維度相關性不同或較遠的特征,且用1×1的卷積核進行降維,減少網絡計算量,最后用Concatenate將不同圖像特征連接融合輸至下一模塊,如圖2所示。

圖2 Inception塊Fig.2 Inception block

2)淺層特征提取塊。隨著網絡結構不斷加深,淺層特征信息(顏色、亮度、邊緣等)會隨著卷積操作而逐漸消失,而在SR重建過程中,淺層信息尤為重要。為解決該問題,本文借鑒EDSR[7]思想,利用RFA模塊有效提取淺層局部殘差特征的優(yōu)勢,用跳躍短連接將多個殘差塊疊加、跳躍長連接將局部殘差分支特征融合,確保每個殘差塊所提取的特征信息都能夠有記憶性地傳遞,RFA模塊結構如圖3所示。

圖3 RFA模塊Fig.3 RFA block

本文利用多個RFA模塊和卷積層重復疊加組成淺層特征提取塊,通過跳躍連接將每層的特征附加前一層的特征連續(xù)向后一層傳遞,并向最后的卷積層傳遞。通過重復疊加連接的方式緩解了梯度消失的問題,加強了圖像特征的連續(xù)提取、傳播和重復利用的性能,淺層特征提取塊結構如圖4所示。

圖4 淺層特征提取塊Fig.4 Shallow feature extraction block

3)深層特征提取塊。如何將抽象的深層特征提取、重建、恢復為圖像骨架是圖像重建需要重點考慮的問題,本文用小卷積核(1×1、1×3、3×1)替換RFB模塊中的大濾波器(3×3、5×5等),在減少網絡訓練參數(shù)量和縮短網絡訓練時間的同時提高了RFB模塊對細節(jié)特征的提取,特別是線條特征的提取,如頭發(fā)、皮膚紋理、窗戶邊緣等,RFB模塊結構如圖5所示。

圖5 RFB模塊Fig.5 RFB block

深層特征需要在圖像紋理、結構等方面進行全局性恢復,本文將多個RFB模塊組裝進多尺度特征提取的殘差網絡中,構建深層特征提取塊,使其對前面淺層特征提取塊所提取的特征信息再進行多次、多尺度的學習,同時輔以對圖像深層特征信息的連續(xù)性學習,深層特征提取塊結構如圖6所示。

圖6 深層特征提取塊Fig.6 Deep feature extraction block

1.2.2 上采樣層

上采樣層由RFB模塊與上采樣模塊交叉組合構建,簡單上采樣模塊逐步放大與RFB模塊記憶性傳遞相結合,可使多尺度特征提取層提取的淺層特征和深層特征在圖像逐漸放大的過程中保留,避免出現(xiàn)SRGAN網絡直接進行2次上采樣放大圖像分辨率而導致淺層、深層特征缺失與剝離問題。

1.2.3 MFR-SRGAN生成器網絡結構

MFR-SRGAN生成器網絡結構如圖7所示。

圖7 MFR-SRGAN算法的生成器網絡結構Fig.7 Network structure of MFR-SRGAN generator

1)多尺度特征提取層。Inception模塊初步提取圖像不同尺度上的簡單特征,淺層特征提取塊提取圖像顏色、亮度等低頻信息,深層特征提取塊提取圖像紋理、結構、邊緣等高頻信息,最終實現(xiàn)圖像細節(jié)特征全局連續(xù)性提取[7]。

2)上采樣層連續(xù)傳遞圖像特征信息,且逐步放大圖像分辨率,保證淺層特征和深層特征的不缺失與不剝離。

1.3 損失函數(shù)

1.3.1 生成器損失函數(shù)

SRGAN生成器損失函數(shù)主要由內容損失、對抗損失構成[4],能夠盡可能地保留原始圖像的內容信息,但圖像重建在實際訓練過程中,重建圖像與原始圖像之間難免出現(xiàn)風格遷移問題,即圖像風格信息缺失的問題。對此,本文新增風格損失函數(shù)以控制圖像風格信息,以達到重建圖像在內容、風格上的雙重約束,MFR-SRGAN生成器整體損失函數(shù)由對抗損失、內容損失、風格損失構成。生成器損失表示為

(3)

(4)

(4)式中:ILR表示待重建LR圖像;N表示每批次訓練的LR圖像數(shù)量;Dθd[·]表示生成器重建的圖像在判別器中判別的函數(shù);Gθg(ILR)表示經生成器網絡重建的HR圖像;θg、θd分別表示生成器G和判別器D中的參數(shù)[4]。

(5)

(6)

(7)

(7)式中:Wi,j、Hi,j分別表示VGG16網絡中某層特征圖的寬與高;Ix,y表示某層特征圖提取相應圖像的像素值;φi,j表示VGG16網絡中第i個最大池化前通過第j個卷積層(激活后)而獲得的特征映射。

(8)

網絡l層輸出圖像的Gram矩陣表示為

(9)

通過疊加計算對應層與層之間的歐氏距離來表現(xiàn)輸入、輸出圖像之間的風格差異,即原始HR圖像與重建HR圖像間的風格損失表示為

(10)

1.3.2 判別器損失函數(shù)

判別器借助Sigmoid函數(shù)刻畫輸入的HR圖像是來自原始HR圖像集,還是生成器網絡輸出的HR圖像集的概率,判別器損失表示為

(11)

(12)

ΔFFake=δ(D(ILR)-D(Gθg(ILR)))→0

(13)

2 實驗結果與分析

2.1 實驗環(huán)境設置

本文實驗平臺為Linux操作系統(tǒng):Linux-X86-64,軟件平臺為Anaconda3(Python3.7.6),深度學習框架為TensorFlow、Keras。由于本文實驗所用圖像像素較高且網絡訓練涉及大量的卷積運算,實驗使用圖形處理單元(graphic processing unit,GPU)輔助訓練,Cuda和Cudnn實現(xiàn)GPU運算加速。

2.2 實驗數(shù)據(jù)準備

本文以公開數(shù)據(jù)集OutdoorScene提供的1 727張?zhí)炜請D像作為訓練集,選用Set5、Set14、BSD100、Urban100數(shù)據(jù)集進行客觀性有參考實驗,保證算法客觀性;另外,選用道路監(jiān)控拍攝圖像和衛(wèi)星拍攝圖像進行實用性無參考實驗,驗證算法的實用性。

2.3 網絡訓練方式

將圖像以數(shù)據(jù)流的形式輸入VGG16網絡,經過相應的卷積響應,實現(xiàn)不同層圖像特征信息的精準量化和捕捉整合。VGG16網絡測試圖如圖8所示。

圖8 VGG16網絡測試圖 Fig.8 Test image of VGG16 network

本文調整網絡訓練為預訓練與加強訓練2個階段,輔助MFR-SRGAN網絡提取淺層和深層特征。

1)預訓練階段。使用VGG16網絡第3層與第5層特征圖進行20 000批次淺層特征預訓練,保存訓練參數(shù)用于第2階段訓練,此階段主要是色彩、邊緣、亮度等淺層特征的學習。

2)加強訓練階段。使用VGG16網絡第9層與第15層特征圖在預訓練階段參數(shù)基礎上進行20 000批次深層特征訓練,保存網絡訓練的最終參數(shù)用于測試集的測試實驗,此階段主要是紋理、結構等深層特征學習。

2.4 仿真實驗

2.4.1 客觀性有參考實驗

本組實驗為圖像降采樣因子為4倍的主、客觀圖像重建質量評價對比實驗,對比算法包括本文算法、Bicubic、SRCNN、DRCN、SRGAN、SRResNet、SRDenseNet和GAMMNet。

客觀評價方面,本文以峰值信噪比(peak signal to noise ratio,PSNR)和結構相似性(structural similarity,SSIM)作為重建圖像質量評估的客觀指標,PSNR越高,SSIM越接近1,其圖像重建質量越好,超分辨率圖像重建測試結果如表1所示。

表1 超分辨率圖像重建測試結果

從表1發(fā)現(xiàn),在結構復雜、細節(jié)豐富、種類繁多的BSD100測試集(動植物圖像占半數(shù))中,PSNR為31.81 dB,較對比算法增加3 dB以上;SSIM為0.87,較對比算法增加0.02以上。這表明本文算法針對細節(jié)豐富、顏色鮮明、圖像視覺立體的動植物圖像有著明顯的重建優(yōu)勢。在此基礎上,對比近幾年典型的超分辨率圖像重建算法,測試結果如表2所示。由表2可見,本文算法在BSD100測試集上有著明顯優(yōu)勢,其PSNR值達到了31.81 dB,高于其他對比算法。

表2 不同算法在BSD100測試集上的測試結果

主觀評價方面,將本文算法與三類典型算法作圖像主觀視覺對比,即與無網絡結構的Bicubic算法、基于卷積神經網絡的SRCNN算法、基于生成對抗網絡的SRGAN算法作對比,以Set14測試集中的女孩圖像和Urban100測試集中的現(xiàn)代建筑物圖像作為主觀測試結果呈現(xiàn)圖,不同算法下的重建圖像整體圖對比如圖9所示。

圖9 不同算法下的重建圖像整體圖對比Fig.9 Overall image comparison of reconstructed images under different algorithms

從圖9發(fā)現(xiàn),Bicubic算法重建圖像噪聲太多,圖像出現(xiàn)塊效應而模糊不清;SRCNN算法重建圖像清晰度、線條感明顯增強,但女孩頭飾、項鏈紋路出現(xiàn)銳化且建筑物褶皺增多;SRGAN算法重建圖像清晰度接近原圖,但圖像亮度、色彩淡于原圖(女孩臉龐、建筑物上的光暈),且建筑圖像天空出現(xiàn)空白;本文算法重建圖像在細節(jié)信息(飾品、窗戶等)與色彩亮度(臉龐、天空)都比其他算法更接近原始圖像。

為了更清晰地展現(xiàn)各算法重建圖像在細節(jié)特征上的差異,將不同算法下重建圖像的局部細節(jié)進行比較,結果如圖10所示。由圖10可見,Bicubic算法、SRCNN算法、SRGAN算法重建圖像在窗臺檐邊出現(xiàn)不同程度的扭曲,而本文算法,即圖10e中頭飾顏色、紋理以及窗戶線條的恢復明顯優(yōu)于其他3種算法。

圖10 不同算法下重建圖像的局部細節(jié)比較Fig.10 Comparison of local details of reconstructed images under different algorithms

時間復雜度方面,表3列出了增加Inception模塊、RFA模塊、RFB模塊、風格損失函數(shù)后,每訓練一個epoch的平均速度、網絡計算量,且給出Set5測試集的PSNR值和SSIM值。

表3 不同網絡結構下圖像重建質量比較

分析表3發(fā)現(xiàn),本文算法相比SRGAN算法在融合了3種新模塊之后,訓練速度減緩、計算量增加,但PSNR與SSIM都相對提高了,PSNR為32.87 dB,SSIM為0.97,充分驗證了同時疊加使用3個模塊提升圖像重建性能的有效性。在未添加風格損失函數(shù)前,PSNR為30.87 dB,SSIM為0.94,添加后,PSNR增加1 dB,SSIM增加0.03,表明添加風格損失函數(shù)的確能夠提高圖像重建性能;SSIM非常接近1,說明圖像對比度、亮度等方面恢復很好,驗證了風格損失函數(shù)能有效約束圖像風格信息的結論。

通常圖像原有的風格信息(色彩問題)容易造成圖像重建過程中出現(xiàn)風格遷移的問題,本文為驗證圖像自身顏色對風格損失函數(shù)不會產生影響,取女孩彩色圖像、黑白圖像、灰度圖像在同一網絡訓練參數(shù)下測試,三類圖像的實驗結果如圖11所示。

圖11 三類圖像的實驗結果Fig.11 Experimental results of three kinds of images

分析圖11發(fā)現(xiàn),經本文網絡作用后的黑白圖、灰度圖在清晰度、噪聲、圖像質感上與原始圖像沒有明顯差異,且灰度圖SSIM值與彩色圖僅差0.01,且由于黑白圖是單通道圖像,像素值只能取0或255,色彩上明顯弱于彩色圖與灰度圖,SSIM值最低,但PSNR值達到了30 dB以上。實驗表明,本文網絡具有較好的重建性能,無論是針對三通道圖像還是單通道圖像,其黑白圖、灰度圖的測試結果都能夠較為貼近彩色圖像的測試結果。

表4為僅淺層輔助訓練、僅深層輔助訓練、淺層和深層結合輔助訓練3種方式下圖像重建質量結果的情況。由表4可見,淺層訓練與深層訓練相結合的方式比單獨淺層訓練或深層訓練的結果要好,PSNR值分別提高了15.6%、8.5%,SSIM分別增加了0.16、0.04。

表4 不同網絡訓練方式下的實驗結果

2.4.2 實用性無參考實驗

現(xiàn)實生活中,需重建的圖像并沒有對應的HR圖像進行PSNR與SSIM數(shù)值上的客觀評價,只能通過圖像結構、紋理、清晰度等方面來主觀評價。本文隨機選用道路拍攝和衛(wèi)星拍攝2張圖像進行實用性無參考實驗。相對原始圖像,局部細節(jié)特征圖(車牌號、飛機)能夠看清車牌數(shù)字與字母為“A·29F59”,具體結果如圖12所示。

圖12 無參考測試圖像Fig.12 No reference test image

3 結束語

本文構建多尺度特征提取殘差網絡,提出MFR-SRGAN算法,輔以淺層特征訓練與深層特征訓練接替訓練,實現(xiàn)圖像低頻、高頻信息連續(xù)提取、傳遞和重復利用;增加風格損失函數(shù)約束圖像重建過程中的風格信息。在結構復雜、細節(jié)豐富、種類繁多的BSD100測試集上,本文算法的測試結果明顯優(yōu)于典型的、最新的一些算法,其PSNR為31.81 dB,SSIM為0.87,表明MFR-SRGAN算法能夠深層次學習自然景物圖像在紋理細節(jié)、邊緣輪廓等方面的特征信息,新增加的風格損失函數(shù)能夠很好地約束圖像色彩、亮度等方面的風格信息,有效提升圖像整體的重建效果。

雖然MFR-SRGAN算法整體上很好地還原了圖像視覺效果,且PSNR和SSIM在數(shù)值上也達到了較好的結果,但重建圖像的局部細節(jié)信息還與原圖像之間存在著差距,且在實用性無參考實驗中,車牌前面的文字不能看清,網絡訓練速度也較慢,今后可以進一步研究如何改善這兩方面的問題。