李超

摘要：隨著時(shí)代與科技的進(jìn)步，人們對圖像分辨率的要求越來越高。提高圖像分辨率成為必須要解決的問題。目前利用深度學(xué)習(xí)進(jìn)行超分辨率圖像重建成為提高圖像質(zhì)量的一種趨勢。深度學(xué)習(xí)對圖像進(jìn)行重建可以有效地提高圖像質(zhì)量?，F(xiàn)有的基于卷積神經(jīng)網(wǎng)絡(luò)的超分辨率圖像重建算法有著自身的優(yōu)勢同時(shí)也存在著缺陷。針對算法的缺陷，本文提出一種改進(jìn)的圖像重建算法。系統(tǒng)地分析了卷積神經(jīng)網(wǎng)絡(luò)在圖像重建時(shí)的缺陷，針對重建時(shí)的訓(xùn)練時(shí)間長，存在網(wǎng)絡(luò)退化現(xiàn)象等缺點(diǎn)。本文利用殘差網(wǎng)絡(luò)對傳統(tǒng)的SRCNN進(jìn)行改進(jìn)。改進(jìn)后的算法與傳統(tǒng)的SRCNN算法相比，可以減少訓(xùn)練時(shí)間，同時(shí)可以防止網(wǎng)絡(luò)退化現(xiàn)象的發(fā)生。

關(guān)鍵詞：圖像重建；卷積神經(jīng)網(wǎng)絡(luò)；殘差網(wǎng)絡(luò)；網(wǎng)絡(luò)退化

中圖分類號：TP311 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3044（2019）04-0163-03

Abstract：With the advancement of the times and technology， people are increasingly demanding image quality. Increasing image resolution has become a problem that must be solved. At present， the use of deep learning for super-resolution image reconstruction has become a trend to improve image quality. Deep learning to reconstruct images can effectively improve image quality. The existing super-resolution image reconstruction algorithms based on convolutional neural networks have their own advantages and defects. Aiming at the defects of the algorithm，this paper proposes an improved image reconstruction algorithm. The system analyzes the defects of convolutional neural network in image reconstruction， and has shortcomings such as long training time and network degradation phenomenon. This paper uses the residual network to improve the traditional SRCNN. Compared with the traditional SRCNN algorithm， the improved algorithm can reduce the training time and prevent network degradation.

Key words：Image reconstruction；Convolutional neural network；Residual network；Network degradation

圖像的分辨率是圖像清晰度以及圖像中所含細(xì)節(jié)信息多少的一個(gè)重要指標(biāo)。由于獲取圖像的硬件以及其他一些外部因素的影響，這對我們獲取高分辨率圖像產(chǎn)生了一定的干擾。為了減少對于硬件的投資，使用軟件的方式來獲取高分辨率的圖像已經(jīng)成為圖像處理方面研究的熱點(diǎn)。超分辨圖像重建技術(shù)[1-3]是指由一幀或多幀低分辨圖像經(jīng)過圖像處理算法來重建一幀高分辨率圖像的技術(shù)，它不需要改變成像系統(tǒng)的硬件就可獲取我們所需的高分辨圖像。超分辨率重建技術(shù)可以提高圖像的分辨率使得模糊的圖像變得清晰，從而推動(dòng)了圖像處理的發(fā)展，而且該技術(shù)在醫(yī)療診斷，交通監(jiān)控，軍事偵察等方面有著廣泛的應(yīng)用。

超分辨率重建技術(shù)發(fā)展至今，主要算法分為兩個(gè)大類，一種是基于重建的算法，另一種是基于學(xué)習(xí)的算法。基于重建的超分辨率方法是利用低分辨率圖像作為約束的前提下，結(jié)合圖像的先驗(yàn)知識對圖像進(jìn)行還原。其實(shí)質(zhì)是先對圖像的降質(zhì)過程進(jìn)行建模，然后利用觀察到的低分辨率圖像對高分辨率圖像進(jìn)行約束。其典型算法有：插值法[4-5]、迭代反投影算法[6]（IBP），凸集投影法[7]（POCS），最大似然估計(jì)（ML）和最大后驗(yàn)估計(jì)[8]（MAP）。插值法是圖像重建的一種簡單方法。插值法的復(fù)雜度較低，重構(gòu)的圖像邊緣比較模糊，存在明顯的鋸齒效應(yīng)，對圖像的修復(fù)效果不佳很難修復(fù)圖像中高頻細(xì)節(jié)信息。IBP、POCS、MAP這幾種算法是在插值法的基礎(chǔ)上的改進(jìn)，對圖像的重建效果具有明顯的提高。

隨著深度學(xué)習(xí)的發(fā)展，深度學(xué)習(xí)被廣泛地運(yùn)用于超分辨率重建算法中。在基于學(xué)習(xí)的圖像重建算法中，低分辨率圖像可以預(yù)測與之對應(yīng)的高分辨率圖像的部分細(xì)節(jié)信息。我們可以通過對大量樣本的學(xué)習(xí)訓(xùn)練，得到低分辨率圖像與高分辨率圖像之間的映射關(guān)系，從而對圖像進(jìn)行重建。其典型的基于學(xué)習(xí)的算法有：Chang等人提出的領(lǐng)域嵌入[9]（neighbor embedding）算法、Yang等人提出的稀疏編碼[10]（sparse coding）算法及Dong等人提出的基于卷積神經(jīng)網(wǎng)絡(luò)[11，12]（CNN）的算法。Dong等人將深度學(xué)習(xí)應(yīng)用于圖像重建問題，提出了應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)的單幀圖像重建算法（SRCNN），避免了人為設(shè)計(jì)特征提取方式，實(shí)現(xiàn)了圖像自身對自身的學(xué)習(xí)，提高了低分辨率圖像的分辨率。

雖然基于學(xué)習(xí)的圖像超分辨率算法成為圖像重建的研究熱點(diǎn)，但它并不是完美的，它們也都有著自身的缺點(diǎn)。基于卷積神經(jīng)網(wǎng)絡(luò)的超分辨率圖像重建算法有著傳統(tǒng)算法沒有的優(yōu)點(diǎn)，同時(shí)也有著自身的缺點(diǎn)，例如訓(xùn)練時(shí)間太長，網(wǎng)絡(luò)學(xué)習(xí)的能力較弱等。這些缺點(diǎn)都制約著圖像重建的質(zhì)量以及效率。

針對SRCNN算法收斂速度慢，前期對圖像的處理的不確定性及多變性。本文提出對卷積神經(jīng)網(wǎng)絡(luò)超分辨率重建算法的一些改進(jìn)。

1 相關(guān)工作

1.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)[13]是一種為了處理二維輸入數(shù)據(jù)而設(shè)計(jì)的多層人工神經(jīng)網(wǎng)絡(luò)。CNN在圖像處理上有著自己獨(dú)特的優(yōu)勢1）CNN可以直接將輸入網(wǎng)絡(luò)的多維數(shù)據(jù)進(jìn)行處理；2）局部的權(quán)值共享可以減少訓(xùn)練參數(shù)；3）有著強(qiáng)大的學(xué)習(xí)能力及建模能力。基于CNN的這些優(yōu)勢Dong等人提出了SRCNN，SRCNN網(wǎng)絡(luò)模型分為三層。特征提取層，非線性映射層以及最終的重建層，網(wǎng)絡(luò)模型如下圖1：

基于SRCNN網(wǎng)絡(luò)模型有著自身的優(yōu)勢，同時(shí)也有著很多的缺點(diǎn)。比如說在特征提取的時(shí)候，提取效率較低且提取的特征使用雙三次插值，使得提取的特征不能有效的代表整幅圖片。在對提取的特征進(jìn)行訓(xùn)練的時(shí)候，訓(xùn)練時(shí)間長，效果差，還會(huì)出現(xiàn)退化現(xiàn)象。最后重建的時(shí)候不能得到理想的重建圖片。

1.2 殘差網(wǎng)絡(luò)

殘差網(wǎng)絡(luò)[14]提出的學(xué)習(xí)模塊，能夠有效地減少網(wǎng)絡(luò)的參數(shù)數(shù)量，同時(shí)可以加深網(wǎng)絡(luò)，解決梯度彌散的問題，增加網(wǎng)絡(luò)的特征提取能力。其思想是將深度網(wǎng)絡(luò)后面的層進(jìn)行恒等映射，使模型退化為一個(gè)淺層的網(wǎng)絡(luò)，基礎(chǔ)的殘差學(xué)習(xí)模塊如圖2所示。將網(wǎng)絡(luò)設(shè)計(jì)為H（x）=Y（x）+x，可以轉(zhuǎn)化為學(xué)習(xí)一個(gè)殘差函數(shù)Y（x）=H（x）-x。只要Y（x）=0，就構(gòu)成了一個(gè)恒等映射H（x）=x，這樣轉(zhuǎn)化使擬合殘差更加容易。雖然包含恒等映射的殘差塊有助于訓(xùn)練極深層的網(wǎng)絡(luò)，但缺點(diǎn)是在梯度反向傳播時(shí)，并不能保證能夠流經(jīng)每一個(gè)殘差模塊的weights，因此在整個(gè)訓(xùn)練過程中，只有很少的幾個(gè)殘差模塊能夠?qū)W到有用的表達(dá)，而絕大多數(shù)的殘差模塊起到的作用并不大。

基于文獻(xiàn)[15]思想，將殘差網(wǎng)絡(luò)進(jìn)行改進(jìn)，增加殘差網(wǎng)絡(luò)的寬度以及對殘差模塊、輸出尺寸和濾波器的個(gè)數(shù)的重新設(shè)計(jì)。改進(jìn)的殘差網(wǎng)絡(luò)結(jié)構(gòu)圖如圖3所示。

本文提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)超分辨率圖像重建的改進(jìn)算法。 本文的算法是以SRCNN網(wǎng)絡(luò)模型為基礎(chǔ)在該網(wǎng)絡(luò)模型上進(jìn)行的改進(jìn)，針對SRCNN在網(wǎng)絡(luò)訓(xùn)練時(shí)，時(shí)間較長，收斂較慢，存在的退化現(xiàn)象，本文算法思想是在該網(wǎng)絡(luò)模型中加入改進(jìn)的殘差網(wǎng)絡(luò)。

2實(shí)驗(yàn)結(jié)果及分析

為了驗(yàn)證本文提出的圖像重建算法對圖像重建的效果，實(shí)驗(yàn)使用超分辨率重建常用的測試數(shù)據(jù)集Set5、Set14。

2.1訓(xùn)練過程

首先將數(shù)據(jù)集里的低分辨率圖像利用插值法進(jìn)行特征提取，將提取的圖像特征作為算法的輸入，將特征輸入到網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，設(shè)置網(wǎng)絡(luò)的初始學(xué)習(xí)率為0.0001。在訓(xùn)練過程中如果在一段時(shí)間內(nèi)不能得到好的訓(xùn)練效就將學(xué)習(xí)率下調(diào)30%，繼續(xù)訓(xùn)練。網(wǎng)絡(luò)訓(xùn)練迭代次數(shù)設(shè)定為10000。最終通過重建層得到相應(yīng)的重建后的圖像。

2.2結(jié)果分析

3 總結(jié)

本文中提出的算法是在傳統(tǒng)SRCNN算法的基礎(chǔ)上提出的改進(jìn)，改進(jìn)的方向主要是針對SRCNN算法中訓(xùn)練時(shí)間過長，存在網(wǎng)絡(luò)退化現(xiàn)象。本文提出的算法可以解決訓(xùn)練時(shí)間長，網(wǎng)絡(luò)退化等問題。雖然解決的一些問題但是對圖像的特征提取方面還不能有效的解決，所以還需要在特征提取方面進(jìn)一步改進(jìn)。

參考文獻(xiàn)：

[1] Tian Y，Yap K. Joint image registration and super-resolution from low-resolution images with zooming motion[J]. IEEE Trans on Circuits and Systems for Video Technology，2013，23（7）：1224-1234.

[2] Yang Min-Chun， Wang Yu-Chiang Frank. A self-learning approach to single image super-resolution[J]. IEEE Trans on Multimedia，2013，15（3）：498-508.

[3] Elad M， Aharon M. Image denoising via sparse and redundant representations over learned dictionaries[J]. IEEE Trans on Image Processing，2006 15（12）：3736-3745.

[4] Hou H，Andrews H. Cubic spline for image interpolation and digital filtering[J]. IEEE Transactions Signal Processing，1978，26（6）：508-517.

[5] KeysR.Cubic convolution interpolation for digital image processing[J]. IEEE Transactions on Acoustics，Speech and Signal Processing，1981，29（6）：1153-1160.

[6] Irani M，Peleg S.Improving resolution by image registration[J].CV-GIP：Graphical Models and Image Processing，1991，53（3）：231-239.

[7] Stark H，Oskoui P.High-resolution image recovery form image-plane arrays，using convex projection[J].Journal of the Opt.Soc.of America，1989，6（11）：1715-1726.

[8] Schultz R，Stevenson R.Bayesian estimation of sub-pixel motion field and high-resolution video stills[C]//IIEEE Int.conf.on Image Processing，1997（3）：62-65.

[9] Fang B，Huang Z，Li Y，Wang Y.v-Support vector machine based on discriminant sparse neighborhood preserving embedding.Pattern Analysis and Applications，2017，20（4）：1077-1089.

[10] Yang J，Wang Z，Lin Z，Huang T.Coupled dictionary training for image super-resolution.IEEE Trans.on Image Processing，2012，21（8）：3467-3478.

[11] Dong C，Loy CC，He K，Tang X.Image super-resolution using deep convolutional networks.IEEE Trans.on Pattern Analysis and Machine Intelligence，2016，38（2）：295-307.

[12] Dong C，Loy CC，Tang X.Accelerating the super-resolution convolutional neural network.In：Proc.of the European Conf.on Computer Vision.Springer-Verlag，2016.391-407.

[13] 周飛燕，金林鵬，董軍.卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J].計(jì)算機(jī)學(xué)報(bào)，2017，40（7）：1-23.

[14] HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition[C]. IEEE Conference on Computer Vision and Pattern Recognition. IEEE Computer Society， 2016：770-778.

[15] ZAGORUYKO S， KOMODAKIS N. Wide residual networks [C]. British Machine Vision Conference. 2016：87.

【通聯(lián)編輯：唐一東】