張大寶 趙建偉,2 周正華

圖像超分辨率(Super-Resolution,SR)在航空影像[1]和醫(yī)療成像[2]等領(lǐng)域被廣泛應(yīng)用,主要原理是從觀測(cè)到的一幅或多幅低分辨率(Low Resolution,LR)圖像重建高分辨率(High Resolution,HR)圖像.一般地,圖像的退化模型可表示為

y=Ax+n,

(1)

其中,y表示觀測(cè)到的低分辨率圖像,A表示退化操作,x表示未知的高分辨率圖像,n表示加性噪聲.顯然,從退化后的低分辨率圖像y中恢復(fù)高分辨率圖像x是個(gè)不適定問(wèn)題.

關(guān)于上述不適定問(wèn)題,學(xué)者們提出許多高效的超分辨率重建方法,主要分為基于插值的方法[3]、基于重建的方法[4]和基于學(xué)習(xí)的方法[5].特別地,隨著深度學(xué)習(xí)的快速發(fā)展和應(yīng)用,基于深度學(xué)習(xí)的超分辨率重建方法得到學(xué)者的關(guān)注.該類(lèi)方法主要利用深度網(wǎng)絡(luò)擬合低分辨率圖像到高分辨率圖像之間的映射關(guān)系.Dong等[6-7]將深度卷積網(wǎng)絡(luò)引入圖像超分辨率重建中,先后提出SRCNN(Super-Reso-lution Convolutional Neural Network)和FSRCNN(Fast Super-Resolution Convolutional Neural Net-work).

在此基礎(chǔ)上,學(xué)者們提出許多基于深度網(wǎng)絡(luò)的圖像超分辨率重建方法.Shi等[8]引入有效的亞像素卷積,提出ESPCN(Efficient Sub-Pixel Convo-lutional Neural Network).為了提高深度網(wǎng)絡(luò)的重建性能,Kim等[9]利用殘差連接將網(wǎng)絡(luò)深度加深到20層,提出VDSR.Lai等[10]利用逐級(jí)放大的思想,提出LapSRN(Laplacian Pyramid Super-Resolution Network).Zhang等[11]利用殘差連接和關(guān)注機(jī)制,提出RCAN(Very Deep Residual Channel Attention Networks).Zhang等[12]提出RDN(Residual Dense Network),利用殘差連接和密集連接的思想,提取豐富的局部特征和全局特征.Li等[13]結(jié)合多尺度特征融合和局部殘差學(xué)習(xí),提出MSRN(Multi-scale Residual Network).Zhang等[14-16]將物理學(xué)中的流體力學(xué)、熱傳導(dǎo)理論和曲率一致應(yīng)用到芯片和自然圖像的超分辨率重建中.

上述超分辨率重建方法主要通過(guò)不斷構(gòu)造更深、更復(fù)雜的深度網(wǎng)絡(luò)以提高網(wǎng)絡(luò)重建性能,但是網(wǎng)絡(luò)的加深會(huì)導(dǎo)致網(wǎng)絡(luò)權(quán)值數(shù)量的急劇增加,給網(wǎng)絡(luò)訓(xùn)練和存儲(chǔ)帶來(lái)巨大負(fù)擔(dān).因此,學(xué)者們開(kāi)始探討輕量級(jí)深度網(wǎng)絡(luò)模型的設(shè)計(jì).為了減少網(wǎng)絡(luò)的權(quán)值數(shù)量并盡量保持網(wǎng)絡(luò)的重建性能,Kim等[17]基于遞歸權(quán)值共享的思想,提出DRCN(Deeply Recursive Convolutional Network),大幅減少網(wǎng)絡(luò)的權(quán)值數(shù)量.在此基礎(chǔ)上,Tai等[18]結(jié)合殘差連接,提出DRRN(Deep Recursive Residual Network).

盡管基于遞歸的權(quán)值共享可減少深度網(wǎng)絡(luò)的權(quán)值數(shù)量,但該類(lèi)網(wǎng)絡(luò)的遞歸模塊是人為設(shè)計(jì)的,沒(méi)有在專(zhuān)家先驗(yàn)知識(shí)的指導(dǎo)下進(jìn)行網(wǎng)絡(luò)設(shè)計(jì).Reichstein等[19]指出融合模型驅(qū)動(dòng)與數(shù)據(jù)驅(qū)動(dòng)是未來(lái)研究系統(tǒng)科學(xué)問(wèn)題的主流方向之一.因此,學(xué)者們開(kāi)始探討將模型驅(qū)動(dòng)和數(shù)據(jù)驅(qū)動(dòng)相結(jié)合進(jìn)行基于輕量級(jí)深度網(wǎng)絡(luò)的超分辨率圖像重建的研究.Ren等[20]提出PEP-DSP，從l2圖像退化模型出發(fā)推導(dǎo)優(yōu)化迭代算法,并根據(jù)迭代算法設(shè)計(jì)輪廓增強(qiáng)先驗(yàn)網(wǎng)絡(luò)及去噪統(tǒng)計(jì)先驗(yàn)網(wǎng)絡(luò),實(shí)現(xiàn)圖像重建.同時(shí),Dong等[21]提出DPDNN(Denoising Prior Driven Deep Neural Net-work)，也從l2圖像退化模型出發(fā)推導(dǎo)其優(yōu)化迭代算法,并根據(jù)迭代算法設(shè)計(jì)多尺度殘差卷積網(wǎng)絡(luò)去噪器.

上述PEP-DSP和DPDNN是從l2圖像退化優(yōu)化模型出發(fā)推導(dǎo)迭代算法,在算法的指導(dǎo)下設(shè)計(jì)深度網(wǎng)絡(luò)進(jìn)行圖像重建.由于l2數(shù)據(jù)保真項(xiàng)對(duì)高斯類(lèi)噪聲具有較好的平滑作用,但對(duì)于具有稀疏性的椒鹽噪聲處理效果并不明顯,因此PEP-DSP和DPDNN對(duì)帶有稀疏噪聲圖像的重建效果不明顯.考慮到實(shí)際應(yīng)用中圖像噪聲具有一定的稀疏性,而l1保真項(xiàng)能較好地刻畫(huà)噪聲的稀疏性.同時(shí),評(píng)價(jià)圖像的重建效果除峰值信噪比(Peak Signal to Noise Ratio,PSNR)和結(jié)構(gòu)相似性(Structural Similarity,SSIM)以外,圖像的視覺(jué)效果即圖像具有清晰的輪廓也很重要.

因此,本文基于模型驅(qū)動(dòng)與數(shù)據(jù)驅(qū)動(dòng)結(jié)合的思想,提出基于l1誘導(dǎo)輕量級(jí)深度網(wǎng)絡(luò)(l1Induced Lightweight Deep Networks,l1ILDN)的圖像超分辨率重建方法.先利用分裂Bregman算法[22]和軟閾值算子,從帶有邊緣正則項(xiàng)的l1重建優(yōu)化模型推演有效的迭代算法.再在上述迭代算法的指導(dǎo)下設(shè)計(jì)相應(yīng)的遞歸深度網(wǎng)絡(luò)用于圖像重建.不同于現(xiàn)有的深度網(wǎng)絡(luò)依賴(lài)人為模塊設(shè)計(jì),本文的深度網(wǎng)絡(luò)是在重建優(yōu)化模型的指導(dǎo)下設(shè)計(jì)的,推導(dǎo)的遞歸結(jié)構(gòu)由于其權(quán)值共享的特性，可減少網(wǎng)絡(luò)權(quán)值的數(shù)量.同時(shí),由帶有邊緣正則項(xiàng)的l1保真項(xiàng)誘導(dǎo)的輕量級(jí)深度網(wǎng)絡(luò)能更好地增強(qiáng)重建圖像的銳度.

1 基于l1誘導(dǎo)輕量級(jí)深度網(wǎng)絡(luò)的圖像超分辨率重建

本文利用l1保真項(xiàng)比l2保真項(xiàng)能更好地刻畫(huà)圖像噪聲的稀疏性的特點(diǎn),在深度學(xué)習(xí)的基礎(chǔ)上融合專(zhuān)家先驗(yàn)知識(shí),提出基于l1誘導(dǎo)輕量級(jí)深度網(wǎng)絡(luò)(l1ILDN)的圖像超分辨率重建方法.

1.1 網(wǎng)絡(luò)設(shè)計(jì)原理

由于l1ILDN是在重建優(yōu)化模型的指導(dǎo)下設(shè)計(jì)的,避免傳統(tǒng)深度網(wǎng)絡(luò)盲目加深網(wǎng)絡(luò)帶來(lái)的網(wǎng)絡(luò)權(quán)值急劇增加的問(wèn)題，因此,本節(jié)先推導(dǎo)l1誘導(dǎo)輕量級(jí)深度網(wǎng)絡(luò)的設(shè)計(jì)原理.

對(duì)于圖像退化問(wèn)題(1),超分辨率重建的主要目的是從低分辨率圖像y中重建高分辨圖像x.根據(jù)貝葉斯條件[23],圖像退化問(wèn)題(1)的解可由最大后驗(yàn)概率p(y|x)表示,即

其中,lgp(y|x)表示似然項(xiàng)，lgp(x)表示先驗(yàn)項(xiàng).

在PEP-DSP和DPDNN中,似然項(xiàng)選取l2保真項(xiàng)‖y-Ax‖2,先驗(yàn)項(xiàng)選取關(guān)于x的正則項(xiàng)J(x),

即

(2)

其中λ表示正則化系數(shù).

不同于PEP-DSP和DPDNN,本文方法考慮到實(shí)際應(yīng)用中圖像噪聲具有一定的稀疏性,而相比l2保真項(xiàng)，l1保真項(xiàng)能更好地刻畫(huà)圖像噪聲的稀疏性,因此本文選取‖y-Ax‖1作為數(shù)據(jù)保真項(xiàng).另外,不同于PEP-DSP和DPDNN中采取抽象的正則項(xiàng),為了提高重建圖像的視覺(jué)效果,增強(qiáng)重建圖像的銳度,本文選取圖像邊緣的方差作為先驗(yàn)正則項(xiàng),即

(3)

其中，‖·‖1表示l1范數(shù),B表示圖像邊緣提取算子,Var(·)表示方差.顯然,上述帶有邊緣正則項(xiàng)的l1重建優(yōu)化模型能較好地體現(xiàn)圖像噪聲的稀疏性和重建圖像的局部結(jié)構(gòu).

由于上述l1重建優(yōu)化模型(3)中的l1范數(shù)是不可微的,因此求解該優(yōu)化問(wèn)題比求解l2重建優(yōu)化模型(2)更復(fù)雜.

首先,利用變量分離策略將l1重建優(yōu)化模型(3)轉(zhuǎn)化為如下形式:

(4)

接著,利用分裂Bregman算法將約束問(wèn)題(4)轉(zhuǎn)化為如下無(wú)約束問(wèn)題：

(5)

其中η表示懲罰系數(shù).利用文獻(xiàn)[21]中的Bregman分離策略,式(5)可轉(zhuǎn)化為

其中b表示輔助變量.此時(shí),上述迭代方法可分解為如下迭代公式:

(6)

對(duì)于式(6)中的x子問(wèn)題,由于l2范數(shù)和Var是可微的，因此采用經(jīng)典的梯度下降法求解,得

xk+1,l+1=xk+1,l+βηAT(dk-Axk+1,l+y-bk)+

對(duì)于式(6)中的d子問(wèn)題,由于l1是不可微的,因此求解變得困難.本文采用軟閾值算子求解d子問(wèn)題,得

其中Soft(·)表示軟閾值算子.

綜上所述,式(6)的解可表述為如下迭代形式:

(7)

其中,xk+1表示內(nèi)部進(jìn)行L步迭代后得到的解,再參與dk+1和bk+1的外部迭代運(yùn)算.

1.2 網(wǎng)絡(luò)結(jié)構(gòu)

經(jīng)典的基于深度學(xué)習(xí)的超分辨率重建方法在設(shè)計(jì)網(wǎng)絡(luò)時(shí)主要通過(guò)人為設(shè)計(jì)網(wǎng)絡(luò)模塊，提高重建性能,而本文方法在1.1節(jié)中推導(dǎo)的算法指導(dǎo)下,設(shè)計(jì)相應(yīng)的深度網(wǎng)絡(luò),避免盲目增加網(wǎng)絡(luò)權(quán)值參數(shù)量,網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示.

圖1 l1誘導(dǎo)輕量級(jí)深度網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Structure of l1 induced lightweight deep network

具體網(wǎng)絡(luò)的設(shè)計(jì)過(guò)程如下.對(duì)于給定的低分辨率圖像ILR∈Rm1×n1×3,為了便于后續(xù)模塊中的卷積操作獲得充足的通道數(shù)，本文方法首先使用64組3×3的卷積核對(duì)ILR進(jìn)行卷積操作,得到的特征圖作為觀測(cè)的低分辨率圖像y.由于本文的深度網(wǎng)絡(luò)是在1.1節(jié)中的算法指導(dǎo)下設(shè)計(jì)的,而從式(7)可知,重建的高分辨率圖像x具有雙重遞歸結(jié)構(gòu).因此,本文令

x0=ATy

作為遞歸的初始值.為了提高重建性能,本文選取多尺度殘差塊[13]作為退化矩陣AT.

對(duì)于式(7)中的y、bk和dk,令X模塊表示高分辨率圖像x的L次內(nèi)部遞歸過(guò)程,結(jié)構(gòu)如圖2所示.對(duì)于第l次內(nèi)部迭代輸入xk+1,l,利用多尺度殘差塊作用于xk+1,l，得到Axk+1,l,再與y、bk和dk進(jìn)行相應(yīng)的運(yùn)算，得到

dk-Axk+1,l+y-bk,

再經(jīng)過(guò)AT和參數(shù)βη的作用后得到

βηAT(dk-Axk+1,l+y-bk).

同理,xk+1,l在特征提取矩陣B的作用下得到Bxk+1,l,再根據(jù)方差的定義進(jìn)行取平均和相減操作,得到

然后經(jīng)過(guò)βλBT的作用后,得到

最后與xk+1,l相減,完成xk+1,l的更新.

圖2 X模塊結(jié)構(gòu)Fig.2 Structure of X module

進(jìn)行完X模塊的L次內(nèi)部遞歸后,需要更新輔助變量bk+1、dk+1,保證式(7)中高分辨率圖像x的外部遞歸過(guò)程.d-b模塊更新過(guò)程如圖3所示.

圖3 d-b更新過(guò)程Fig.3 Updating process of d-b

給定輸入變量xk+1、bk和y,首先對(duì)xk+1實(shí)行對(duì)應(yīng)于退化A的卷積運(yùn)算,然后將其與bk和y進(jìn)行相應(yīng)的和差運(yùn)算，得

rk+1=Axk+1+bk+1-y.

最后,將rk+1輸入軟閾值函數(shù)Soft(·)中,得

dk+1=Soft(rk+1).

同理,rk+1與dk+1相互作用,可得

bk+1=rk+1-dk+1.

通過(guò)上述X模塊和d-b模塊雙重遞歸過(guò)程,x0經(jīng)過(guò)K次迭代后,得到特征圖xK∈Rm1×n1×64.最后,使用像素重組將xK放大r倍,得到重建的高分辨率圖像ISR∈Rm1×n1×3.

1.3 損失函數(shù)

其中,θ表示網(wǎng)絡(luò)中需要訓(xùn)練的權(quán)值和參數(shù),Yi表示輸入的低分辨率圖像塊,Xi表示原始的高分辨率圖像塊,I(θ;Yi)表示經(jīng)網(wǎng)絡(luò)重建后的高分辨率圖像塊.由于本文網(wǎng)絡(luò)是根據(jù)l1數(shù)據(jù)保真項(xiàng)推導(dǎo)的算法而設(shè)計(jì)的，因此在損失函數(shù)的選擇上采用收斂更快且魯棒性更強(qiáng)的L1損失函數(shù).另外,本文采取經(jīng)典的Adam(Adaptive Moment Estimation)優(yōu)化器[24]優(yōu)化損失函數(shù).

2 實(shí)驗(yàn)及結(jié)果分析

2.1 實(shí)驗(yàn)環(huán)境

本文選擇DIV2K數(shù)據(jù)集[25]中前800幅圖像構(gòu)造網(wǎng)絡(luò)訓(xùn)練集,通過(guò)對(duì)圖像進(jìn)行旋轉(zhuǎn)操作以增強(qiáng)數(shù)據(jù)集.同時(shí),本文選擇Set5[26]、Set14[27]、BSD100[28]和Urban100[29]數(shù)據(jù)集進(jìn)行重建測(cè)試.選擇PSNR和SSIM作為重建性能的評(píng)價(jià)指標(biāo).一般地,PSNR和SSIM值越高,方法的重建性能越優(yōu).

在訓(xùn)練階段,各方法將DIV2K數(shù)據(jù)集上的高分辨率圖像進(jìn)行雙三次下采樣后得到的圖像作為低分辨率圖像,然后將圖像減去數(shù)據(jù)集的平均值進(jìn)行預(yù)處理.低分辨率圖像大小為48×48,網(wǎng)絡(luò)訓(xùn)練的批次大小為16.在訓(xùn)練網(wǎng)絡(luò)時(shí),Adam優(yōu)化器的相關(guān)參數(shù)設(shè)置為β1=0.9,β2=0.999,ε=10-8,初始學(xué)習(xí)率為10-4,每200代后學(xué)習(xí)率減半.

本文實(shí)驗(yàn)均是在Pytorch 1.1.0框架下實(shí)施的,在Intel(R) Xeon(R) E5-1620@3.50 GHz、8核處理器、32 GB內(nèi)存、RTX 2060顯卡和Windows 10操作系統(tǒng)下實(shí)現(xiàn).

2.2 參數(shù)分析

本文的深度網(wǎng)絡(luò)包含3個(gè)網(wǎng)絡(luò)結(jié)構(gòu)重要參數(shù):X模塊內(nèi)部結(jié)構(gòu)中遞歸次數(shù)L、網(wǎng)絡(luò)中X模塊遞歸次數(shù)K和軟閾值算子中的超參數(shù)η.本節(jié)通過(guò)實(shí)驗(yàn)討論這3個(gè)參數(shù)對(duì)網(wǎng)絡(luò)重建性能的影響.

考慮到網(wǎng)絡(luò)訓(xùn)練的時(shí)間,在較合適的網(wǎng)絡(luò)規(guī)模,即LK=12的情況下討論不同的遞歸次數(shù)L和K對(duì)重建性能的影響,在Set5數(shù)據(jù)集上,L、K取值不同時(shí)的PSNR值和SSIM值如表1所示.由表可知,在L=3,K=4時(shí)，網(wǎng)絡(luò)取得最優(yōu)的重建性能.隨著L的增加和K的減少,網(wǎng)絡(luò)性能有所下降.這主要是網(wǎng)絡(luò)的外遞歸的影響比X模塊的內(nèi)遞歸的影響要大.

表1 L、K取不同值時(shí)對(duì)網(wǎng)絡(luò)性能的影響Table 1 Influence of different L and K on network performance

下面討論軟閾值算子中的參數(shù)η對(duì)網(wǎng)絡(luò)重建性能的影響.在Set5數(shù)據(jù)集上η不同時(shí)的PSNR值和SSIM值如表2所示.由表可知,在η-1=0.01時(shí),網(wǎng)絡(luò)取得最優(yōu)的重建性能.主要原因是η-1太小時(shí),軟閾值算子在網(wǎng)絡(luò)上的作用較小;而當(dāng)η-1較大時(shí),不能使d-(Ax-y)近似于0.

表2 η取不同值時(shí)對(duì)網(wǎng)絡(luò)性能的影響Table 2 Influence of different η on network performance

2.3 消融實(shí)驗(yàn)結(jié)果

本節(jié)通過(guò)消融實(shí)驗(yàn)說(shuō)明l1ILDN的創(chuàng)新性.首先,為了說(shuō)明多尺度殘差塊(Multi-Scale Residual Block,MSRB)和先驗(yàn)項(xiàng)約束的意義,將退化模型中A選取普通卷積、l1優(yōu)化模型中無(wú)先驗(yàn)正則項(xiàng)導(dǎo)出的網(wǎng)絡(luò)作為基本網(wǎng)絡(luò),記為Based-net.其次,為了凸顯在先驗(yàn)指導(dǎo)下設(shè)計(jì)網(wǎng)絡(luò)的意義,將LK個(gè)MSRB遞歸網(wǎng)絡(luò)記為Deep-net.最后,為了說(shuō)明損失函數(shù)L1的優(yōu)點(diǎn),將使用本文網(wǎng)絡(luò)結(jié)構(gòu)而損失函數(shù)為MSE損失的網(wǎng)絡(luò)記為l1ILDN-l2.

Based-net、Deep-net、l1ILDN-l2和l1ILDN的消融實(shí)驗(yàn)結(jié)果如表3所示.由表可看出,l1ILDN的重建結(jié)果在4個(gè)數(shù)據(jù)集上都最優(yōu).相比Based-net，l1ILDN具有明顯優(yōu)勢(shì)主要是因?yàn)橥嘶Ｐ椭蠥選取MSRB,比普通卷積具有更好的特征提取能力.同時(shí),在推演模型算法時(shí),使用先驗(yàn)正則項(xiàng),使根據(jù)算法設(shè)計(jì)的網(wǎng)絡(luò)具有更好的擬合能力.l1ILDN的重建結(jié)果優(yōu)于Deep-net,說(shuō)明在模型推導(dǎo)下設(shè)計(jì)網(wǎng)絡(luò)具有重要意義.l1ILDN的重建結(jié)果優(yōu)于l1ILDN-l2,說(shuō)明即使網(wǎng)絡(luò)結(jié)構(gòu)一樣,但網(wǎng)絡(luò)訓(xùn)練選取損失函數(shù)的不同,將產(chǎn)生不同的重建結(jié)果.

表3 本文方法的消融實(shí)驗(yàn)結(jié)果Table 3 Results of ablation experiments of the proposed method

2.4 復(fù)雜度分析

本節(jié)討論l1ILDN的復(fù)雜性.選擇如下4種對(duì)比方法：DRCN[17]、DPDNN[21]、MemNet(Very Deep Per-sistent Memory Network)[30]、MADNet[31].選擇Set5數(shù)據(jù)集，各方法的實(shí)驗(yàn)結(jié)果(放大因子為2)如表4所示，表中FLOPS(Floating-Point Operations per Second)表示每秒浮點(diǎn)運(yùn)算次數(shù).

表4 各方法在Set5數(shù)據(jù)集上的復(fù)雜度對(duì)比Table 4 Complexity comparison of different methods on the Set5 dataset

由表4可看出,l1ILDN使用最少的參數(shù)量和最小的FLOPS實(shí)現(xiàn)最高的PSNR和SSIM.究其原因，本文方法是在先驗(yàn)知識(shí)誘導(dǎo)的算法指導(dǎo)下進(jìn)行網(wǎng)絡(luò)設(shè)計(jì)的,避免盲目加深網(wǎng)絡(luò)帶來(lái)的參數(shù)冗余,使網(wǎng)絡(luò)能在參數(shù)較少時(shí)得到較好的網(wǎng)絡(luò)重建效果.

2.5 對(duì)比實(shí)驗(yàn)結(jié)果

本節(jié)選擇如下對(duì)比方法進(jìn)行對(duì)比實(shí)驗(yàn)：Bicubic、SRCNN[6]、FSRCNN[7]、ESPCN[8]、VDSR[9]、LapSRN[10]、DRCN[17]、DRRN[18]、PEP-DSP[20]、DP-DNN[21]、文獻(xiàn)[29]方法、MemNet[30]、MADNet[31]、A+(Adjusted Anchored Neighborhood Regression)[32]、IDN(Information Distillation Network)[33]、RiRSR(Resnet in Resnet Architecture)[34].

選擇放大因子r=2、3、4，各方法在Set5、Set14、B100、Urban100數(shù)據(jù)集上的PSNR和SSIM對(duì)比結(jié)果如表5～表7所示，表中黑體數(shù)字表示最優(yōu)值.

表5 r=2時(shí)各方法的指標(biāo)值對(duì)比Table 5 Comparison of index values of different methods with r=2

表6 r=3時(shí)各方法的指標(biāo)值對(duì)比Table 6 Comparison of index values of different methods with r=3

表7 r=4時(shí)各方法的指標(biāo)值對(duì)比Table 7 Comparison of index values of different methods with r=4

由表5～表7可知,本文方法取得最高的PSNR和SSIM.究其原因,本文方法考慮噪聲的稀疏性和先驗(yàn)知識(shí),在算法的指導(dǎo)下設(shè)計(jì)深度網(wǎng)絡(luò),避免盲目構(gòu)造網(wǎng)絡(luò)造成的冗余.

2.6 重建圖像對(duì)比

l1ILDN、ESPCN、VDSR、DRCN、DPDNN、RiRSR的重建高分辨率圖像對(duì)比如圖4所示.從圖中右下角的放大圖像可看出,l1ILDN能重建具有更清晰紋理、更少偽影的圖像,而ESPCN重建的3幅圖像非常模糊.究其原因,主要是l1ILDN是在帶有邊緣正則項(xiàng)的重建模型推導(dǎo)的算法指導(dǎo)下進(jìn)行設(shè)計(jì)的,邊緣正則項(xiàng)的約束使重建圖像具有更好的邊緣清晰度.

(a)原始圖像(a)Original images

3 結(jié) 束 語(yǔ)

現(xiàn)有的基于深度學(xué)習(xí)的方法主要通過(guò)加深網(wǎng)絡(luò)以提高網(wǎng)絡(luò)的重建性能,但是直接加深網(wǎng)絡(luò)會(huì)造成網(wǎng)絡(luò)參數(shù)帶來(lái)的冗余,給網(wǎng)絡(luò)訓(xùn)練和內(nèi)存存儲(chǔ)帶來(lái)負(fù)擔(dān).考慮到噪聲的稀疏性和減小網(wǎng)絡(luò)參數(shù)帶來(lái)的冗余,并增強(qiáng)重建圖像的清晰度,本文結(jié)合數(shù)據(jù)驅(qū)動(dòng)和模型驅(qū)動(dòng),提出基于l1誘導(dǎo)輕量級(jí)深度網(wǎng)絡(luò)的圖像超分辨率重建方法.從帶有正則項(xiàng)的l1優(yōu)化模型出發(fā),推導(dǎo)輕量級(jí)深度網(wǎng)絡(luò)的設(shè)計(jì)原理.然后根據(jù)該原理設(shè)計(jì)相應(yīng)的輕量級(jí)深度網(wǎng)絡(luò),進(jìn)行圖像重建.因此,本文方法是在模型的指導(dǎo)下設(shè)計(jì)輕量級(jí)深度網(wǎng)絡(luò),避免盲目加深網(wǎng)絡(luò)造成的參數(shù)冗余,可體現(xiàn)數(shù)據(jù)驅(qū)動(dòng)和模型驅(qū)動(dòng)的優(yōu)勢(shì).實(shí)驗(yàn)表明,本文方法重建性能較優(yōu).重建優(yōu)化模型和迭代算法決定深度網(wǎng)絡(luò)的結(jié)構(gòu)和性能.因此,深入挖掘重建先驗(yàn)知識(shí),構(gòu)造更能反映圖像退化過(guò)程的輕型深度網(wǎng)絡(luò)將是進(jìn)一步的研究重點(diǎn).