摘 要：現(xiàn)有基于卷積神經(jīng)網(wǎng)絡(luò)主要關(guān)注圖像重構(gòu)的精度，忽略了過度參數(shù)化、特征提取不充分以及計(jì)算資源浪費(fèi)等問題。針對(duì)上述問題，提出了一種輕量級(jí)多頻率特征提取網(wǎng)絡(luò)（MFEN），設(shè)計(jì)了輕量化晶格信息交互結(jié)構(gòu)，利用通道分割和多模式卷積組合減少參數(shù)量；通過分離圖像的低頻、中頻以及高頻率信息后進(jìn)行特征異構(gòu)提取，提高網(wǎng)絡(luò)的表達(dá)能力和特征區(qū)分性，使其更注重紋理細(xì)節(jié)特征的復(fù)原，并合理分配計(jì)算資源。此外，在網(wǎng)絡(luò)內(nèi)部融合局部二值模式（LBP）算法用于增強(qiáng)網(wǎng)絡(luò)對(duì)紋理感知的敏感度，旨在進(jìn)一步提高網(wǎng)絡(luò)對(duì)細(xì)節(jié)的提取能力。經(jīng)驗(yàn)證，該方法在復(fù)雜度和性能之間取得了良好的權(quán)衡，即實(shí)現(xiàn)輕量有效提取圖像特征的同時(shí)重建出高分辨率圖像。在Set5數(shù)據(jù)集上的2倍放大實(shí)驗(yàn)結(jié)果最終表明，相比較于基于卷積神經(jīng)網(wǎng)絡(luò)的圖像超分辨率經(jīng)典算法（SRCNN）和較新算法（MADNet），所提方法的峰值信噪比（PSNR）分別提升了1.31 dB和0.12 dB，參數(shù)量相比MADNet減少了55%。

關(guān)鍵詞：圖像超分辨率重建；卷積神經(jīng)網(wǎng)絡(luò)；輕量化；多頻率特征提取；局部二值模式算法

中圖分類號(hào)：TN911.73 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1001-3695（2024）08-038-2515-06

doi： 10.19734/j.issn.1001-3695.2023.09.0561

Lightweight image super-resolution reconstruction with multi-frequency feature and texture enhancement

Liu Yuanyuan， Zhang Yuxin， Wang Xiaoyan， Zhu Lu

（College of Information Engineering， East China Jiaotong University， Nanchang 330013， China）

Abstract：

Existing studies based on convolutional neural networks mainly focus on the accuracy of image reconstruction， ignoring problems such as excessive parameters， insufficient feature extraction， and resource waste. In response to the above， this paper proposed multi-frequency feature extraction network （MFEN）， which designed a lightweight lattice information interaction structure and used channel segmentation with multi-mode convolution combination to reduce the number of parameters. By separating the low-frequency， mid-frequency， and high-frequency information of the image and extracting the feature heterogeneity， it improved the expressiveness and feature differentiation of the network， made the network pay more attention to the restoration of texture detail features， and reasonably allocated the computational resources. In addition， it integrated the local binary pattern （LBP） algorithm into the network to enhance texture sensitivity， which further improved the network’s ability to extract details. It experimentally verifies that the proposed method balances complexity and performance well. In the 2X zooming experiments on the Set5 dataset， compared to the conventional image super-resolution algorithm （SRCNN） based on convolutional neural network and the newer algorithm （MADNet）， the peak signal-to-noise ratio （PSNR） of the proposed method is improved by 1.31 dB and 0.12 dB respectively， and the number of parameters is reduced by 55% compared to MADNet.

Key words：image super-resolution reconstruction; convolutional neural network; lightweight; multi-frequency feature extraction; local binary patterns algorithm

0 引言

圖像超分辨重建是將低分辨率（low resolution，LR）圖像通過特定算法恢復(fù)出相應(yīng)的高分辨率（high resolution，HR）圖像的一種技術(shù)［1］，旨在彌補(bǔ)或克服圖像采集的環(huán)境或系統(tǒng)本身的限制，解決成像質(zhì)量低、模糊等問題。相比于紋理邊緣不清晰的低分辨率圖像，高分辨率圖像包含更多像素，具有更多細(xì)節(jié)紋理信息，在視頻安全監(jiān)控［2，3］、醫(yī)學(xué)影像分析［4］、衛(wèi)星遙感圖像［5］等領(lǐng)域具有廣闊的應(yīng)用前景。在實(shí)際采集圖像的過程中，受硬件限制和環(huán)境因素的影響，采集到的圖像分辨率往往無法達(dá)到人們的預(yù)期，而改進(jìn)成像硬件制造工藝成本高昂、實(shí)際環(huán)境復(fù)雜，因此圖像超分辨率重建技術(shù)以成本低、效率高的優(yōu)點(diǎn)成為主流的研究方向。

傳統(tǒng)圖像超分辨率通常采用基于插值的方法［6］、基于重建的方法［7］、基于示例的方法［8］等。這些方法大多是用淺層特征進(jìn)行操作，特征表達(dá)能力有限，很大程度上限制了重建效果，而深度學(xué)習(xí)通過自訓(xùn)練學(xué)習(xí)提取到表達(dá)效果更突出的深層特征，因此被廣泛應(yīng)用在超分辨領(lǐng)域。2014年Dong等人［9］利用卷積神經(jīng)網(wǎng)絡(luò)完成圖像超分辨率重建（super resolution convolutional neural network，SRCNN）；隨后提出的FSRCNN［10］在SRCNN基礎(chǔ)上改進(jìn)，直接將LR圖像送入網(wǎng)絡(luò)提取特征，極大地縮短了重建時(shí)間。文獻(xiàn)［11，26～29］通過改變特征提取、上采樣和加深網(wǎng)絡(luò)結(jié)構(gòu)等方式提出新的網(wǎng)絡(luò)結(jié)構(gòu)，其重建精度得到明顯提升。然而，高精度往往依賴較深的網(wǎng)絡(luò)結(jié)構(gòu)，導(dǎo)致了過度參數(shù)化，進(jìn)而需要長時(shí)間訓(xùn)練和推理，加上實(shí)際應(yīng)用中的設(shè)備存儲(chǔ)、計(jì)算能力有限，極大限制了過度參數(shù)化網(wǎng)絡(luò)在移動(dòng)設(shè)備上的應(yīng)用。而輕量化網(wǎng)絡(luò)結(jié)構(gòu)核心是盡可能在保證重建精度的前提下，降低參數(shù)量和計(jì)算復(fù)雜度，使深度神經(jīng)網(wǎng)絡(luò)可以部署在存儲(chǔ)空間和計(jì)算性能有限的設(shè)備上。

CARN［12］將1×1的卷積核與殘差結(jié)構(gòu)級(jí)聯(lián)，以性能為代價(jià)換取較低參數(shù)量；IDN［13］通過切片操作，將長路徑和短路徑的局部特征有效結(jié)合在一起，使參數(shù)量和性能達(dá)到一定程度平衡；在此基礎(chǔ)上，IMDN［14］引入信息多蒸餾模塊，以此擴(kuò)大提取特征的感受野，從而在低參數(shù)量的前提下提升網(wǎng)絡(luò)重建性能；LESRCNN［15］采用異形卷積結(jié)構(gòu)分層次提取的方式，在保證性能的同時(shí)降低參數(shù)、提高效率；DRSA［16］通過自動(dòng)調(diào)節(jié)殘差塊以適應(yīng)學(xué)習(xí)輸入圖像特征，在不增加參數(shù)量的情況下提高了網(wǎng)絡(luò)性能。盡管以上方法降低了參數(shù)量，但輕量化超分辨率依舊存在問題，即忽略了圖像不同頻率信息之間的差異。低頻信息代表圖像主要成分，中頻信息代表圖像的主要邊緣結(jié)構(gòu)［17］，高頻信息代表圖像的邊緣和細(xì)節(jié)，不同頻率的信息需要的計(jì)算能力不同，若將特征圖中全部信息不分主次地重建，會(huì)導(dǎo)致資源的浪費(fèi)，同時(shí)網(wǎng)絡(luò)提取細(xì)節(jié)特征的能力也將降低。

文獻(xiàn)［18］將特征分為低頻和高頻信息進(jìn)行處理，使網(wǎng)絡(luò)專注于信息量更大的特征，提高其判別能力；文獻(xiàn)［19］利用Sobel算子和分段平滑圖像生成高頻和低頻映射后分別提取感知特征，從而提高網(wǎng)絡(luò)性能，但這兩種方法都忽略了中頻信息的作用。此外，圖像中的紋理特征包含細(xì)微結(jié)構(gòu)和細(xì)節(jié)信息，通過利用這些特征可以使重建出的高分辨率圖像更加清晰真實(shí)，而深度學(xué)習(xí)方法并未對(duì)該特征的提取有針對(duì)性體現(xiàn)。

針對(duì)以上問題，本文提出了一種基于輕量級(jí)的多頻率特征提取網(wǎng)絡(luò)，主要貢獻(xiàn)包括：a）提出了輕量化晶格信息交互結(jié)構(gòu)，利用通道分割技術(shù)和多模式卷積組合，減少冗余信息重復(fù)處理次數(shù)，降低參數(shù)量；將不同信息進(jìn)行自適應(yīng)交互，促進(jìn)通道間信息的流動(dòng)，以獲得更優(yōu)的重構(gòu)能力；b）提出了多頻率特征提取模塊。將圖像的低頻、中頻、高頻特征信息有效分離并實(shí)現(xiàn)特征異構(gòu)提取，充分利用不同頻率信息的特點(diǎn)，分配更多計(jì)算資源給細(xì)節(jié)紋理使其便于重建；結(jié)合各頻率信息特點(diǎn)設(shè)計(jì)連接方式，采取逐步細(xì)化提取思想，增強(qiáng)了低頻信息的流動(dòng)和高頻信息的修復(fù)；c）充分發(fā)揮傳統(tǒng)算法在紋理分析和特征提取方面的優(yōu)勢，將LBP特征提取算法嵌入到MFEN內(nèi)部。通過窗口滑動(dòng)機(jī)制，在不同位置上對(duì)圖像進(jìn)行特征提取，以獲取全局紋理信息，從而顯著提高模型對(duì)整幅圖像紋理特征的感知能力。

1 網(wǎng)絡(luò)結(jié)構(gòu)

1.1 整體框架

本文提出的MFEN，采用輕量化晶格信息交互結(jié)構(gòu)，在保持低參數(shù)量的同時(shí)進(jìn)行不同頻率信息的異構(gòu)提取和交互，并結(jié)合LBP特征提取算法，提升網(wǎng)絡(luò)對(duì)細(xì)節(jié)特征的提取能力。MFEN結(jié)構(gòu)如圖1所示，主要由初級(jí)特征提取模塊、特征層次提取模塊和上采樣模塊三個(gè)模塊組成。

初級(jí)特征提取模塊使用兩個(gè)連續(xù)的3×3的卷積對(duì)輸入ILR提取初級(jí)特征，即

FIFE=HIFE（ILR）=fconv（fconv（ILR））（1）

其中： fconv（·）表示3×3卷積。為了進(jìn)一步提取特征，將輸出饋送到特征層次提取模塊FFHE，分淺層、深層特征兩部分進(jìn)行提取，使模型能夠在多層次上學(xué)習(xí)和表示圖像的特征。淺層特征提取將初級(jí)特征提取的輸出FIFE利用LBP算法fLBP提取出全局紋理信息，再加到末端的輸出，以此增加網(wǎng)絡(luò)對(duì)紋理的提取能力，可表示為

FFHE=FDFE+fLBP（FIFE）（2）

其中：FDFE表示深層特征提取。為了挖掘圖像內(nèi)部信息的聯(lián)系、充分提取細(xì)節(jié)特征，深層特征提取FDFE部分通過級(jí)聯(lián)四個(gè)多頻率特征提取塊HiMFEB（·），逐步提取深層特征。采用密集連接思想，每一個(gè)多頻率特征提取塊的輸入均由前面所有多頻率特征提取塊的輸出連接組成，以充分利用不同層級(jí)不同頻率的特征，增強(qiáng)模型的表達(dá)能力，可表示為

FDFE=FiMFEB=HiMFEB（FIFE） i=1

HiMFEB（F1MFEB） i=2

HiMFEB（concat（Fi－1MFEB，…，F(xiàn)1MFEB）） i=3，4（3）

其中：concat（·）表示沿通道維度的連接操作。上采樣模塊Fup用一個(gè)3×3卷積細(xì)化深層特征，再用一個(gè)3×3卷積調(diào)整特征維度，像素洗牌操作生成放大倍數(shù)的三通道特征圖，完成圖像重建，可表示為

Fup=Hup（FFHE）=fup（fconv（fconv（FFHE）））（4）

其中： fup（·）表示像素洗牌。

為了達(dá)到優(yōu)質(zhì)的重建效果，本文采用常用的L1函數(shù)作為損失函數(shù)，主要計(jì)算輸入圖像和目標(biāo)圖像各像素間差值的平均絕對(duì)值，其公式為

Euclid Math OneLAp（θ）=1N∑Ni=1（‖HMFEN（IiLR）-IiHR‖1）（5）

其中：θ為擬合網(wǎng)絡(luò)參數(shù)的集合；IHR為目標(biāo)圖像；N為ILR和IHR圖像對(duì)的個(gè)數(shù)。

此外，本文采用全局和局部殘差連接，解決網(wǎng)絡(luò)提取特征過程中的特征消失以及梯度爆炸等問題。如圖1所示，在網(wǎng)絡(luò)最外層，將輸入經(jīng)過雙線性上采樣操作后連接到網(wǎng)絡(luò)末端，使特征層次提取部分更注重細(xì)節(jié)的恢復(fù)；在網(wǎng)絡(luò)特征層次提取內(nèi)部，也采用了殘差連接操作，通過LBP特征提取算法處理后連接到末尾，提高網(wǎng)絡(luò)對(duì)細(xì)節(jié)紋理信息的提取能力。

1.2 輕量化晶格信息交互結(jié)構(gòu)

如圖2（a）所示，晶格塊［20］借鑒了晶格濾波器［21］ 的思想，并將雙蝶型結(jié)構(gòu)作為其關(guān)鍵特征，利用注意力機(jī)制計(jì)算出各分支的權(quán)值參數(shù)自適應(yīng)組合殘差塊，賦予結(jié)構(gòu)對(duì)雙殘差塊進(jìn)行多種線性組合的能力，從而擴(kuò)展表示空間，實(shí)現(xiàn)更強(qiáng)大的網(wǎng)絡(luò)。

受晶格塊和SA［22］中通道分割的啟發(fā)，本文設(shè)計(jì)的輕量化晶格信息交互模塊如圖2（b）所示，引入通道分割機(jī)制，將所有特征圖分為兩部分并行操作，減少對(duì)冗余信息重復(fù)處理的次數(shù)，使計(jì)算量和參數(shù)量降低；然后將兩部分特征進(jìn)行充分提取后，用單蝶形結(jié)構(gòu)即一次上下分支自適應(yīng)信息交互，達(dá)到提高模塊效率的目的；最后使用低廉的逐點(diǎn)卷積對(duì)兩部分特征壓縮融合，得到特征信息。具體介紹如下。

首先將輸入通道分為兩部分，使其在低參數(shù)量的同時(shí)運(yùn)行速度也得到了提高，即

Si－1（x），Ti－1（x）=split（x）（6）

其中：split（·）表示沿通道維度分割。之后將上分支經(jīng)過f（·）提取特征，即3×3卷積、ReLU、分組卷積、ReLU、1×1卷積，再對(duì)兩分支使用注意力機(jī)制得到不同的組合系數(shù)后，自適應(yīng)地進(jìn)行信息交互，使上下分支信息組合更多樣，即

Si（x）=concat（f（Si－1（x）），αTi－1（x））

Ti（x）=concat（Ti－1（x），βf（Si－1（x）））（7）

其中：α、β為通道注意力機(jī)制計(jì)算得到的權(quán)值。由于特征圖按通道維度分為兩分支，而整個(gè)特征由多個(gè)特征圖沿通道維度串聯(lián)，所以使用通道注意力機(jī)制生成權(quán)值，詳細(xì)計(jì)算如下：

設(shè)M=［m1，m2，…，mn］代表輸入的n個(gè)特征圖，每個(gè)特征圖維度為H×W。其中，第o個(gè)特征圖Fo通過空間維度收縮統(tǒng)計(jì)Zo為

Zo=favgpool（Fo）=1H×W ∑Hi=1 ∑Wj=1Fo（i， j）（8）

特征圖Fo的注意力統(tǒng)計(jì)權(quán)值為

α=δ（W2σ（W1Zo））（9）

其中：δ代表sigmoid函數(shù)；σ代表ReLU函數(shù)。同理β也由此計(jì)算得出。之后將下分支經(jīng)過f′（·），即3×3卷積、ReLU、分組卷積、ReLU、1×1卷積操作，采用卷積和分組卷積組合的方式，在確保充分提取特征的前提下降低參數(shù)量的使用。最后兩分支以低經(jīng)濟(jì)的1×1卷積進(jìn)行通道壓縮后融合，得到低頻特征圖FLFE，即

FC=concat（fconv1（Si（x）），fconv1（f′（Ti（x））））

FLFE=fconv1（FC）（10）

其中： fconv1（·）代表1×1卷積。

1.3 多頻率特征提取模塊

對(duì)圖像特征的恢復(fù)和增強(qiáng)是超分辨率的主要任務(wù)，而圖像信息是由低頻、中頻和高頻信息構(gòu)成。因此本文設(shè)計(jì)多頻率特征提取塊，將不同頻率分離后嵌入輕量化晶格信息交互結(jié)構(gòu)中進(jìn)行處理，使注意力更有針對(duì)性地集中在特定頻率上提取特征，進(jìn)而在提高模型提取信息精準(zhǔn)度的同時(shí)計(jì)算資源也得到了充分利用。多頻率特征提取塊FMFEB由三個(gè)模塊組成，如圖3所示，分別是：a）低頻率特征提取塊（low-frequency feature extraction block，LFB）；b）中頻率特征提取塊（mid-frequency feature extraction block，MFB）；c）高頻率特征提取塊（high-frequency feature extraction block，HFB）。通過分層提取，模塊獲得圖像在不同尺度上的表示，同時(shí)對(duì)不同頻率的信息采用不同的處理策略，在更高頻率的層次上有選擇地應(yīng)用更精細(xì)的處理，從而降低了整體的計(jì)算負(fù)擔(dān)。因此，該模塊首先將信息輸入到LFB模塊中進(jìn)行處理，隨后將處理后的信息輸入MFB模塊，并與輸入信息進(jìn)行串聯(lián)融合，形成HFB的輸入，使高頻特征提取塊的信息更加豐富，從而提取出更多的細(xì)節(jié)信息。可用式（11）表示：

FLFE=HLFB（F0）， FMFE=HMFB（FLFE）

FHFE=HHFB（concat（FLFE，F(xiàn)MFE））， FMFEB=FHFE（11）

其中：FLFE、FMFE、FHFE分別表示低、中、高頻特征提取塊的輸出。

1.3.1 低頻特征提取塊

低頻信息為圖像中變化緩慢的部分，如平滑的表面或漸變，包括大塊的背景、平坦的區(qū)域和一般性的圖像整體結(jié)構(gòu)。低頻信息的提取可以捕捉到圖像的整體結(jié)構(gòu)和主要特征。過往的研究［18］ 表明低頻信息并不需要大量的計(jì)算及特殊的方式便可有效提取，因此出于對(duì)低參數(shù)量的追求和奧卡姆剃刀原理的考慮，如圖3（a）所示，在設(shè)計(jì)LFB時(shí)，并未改變輕量化晶格信息交互結(jié)構(gòu)的內(nèi)部設(shè)計(jì)模式，使用了組合卷積的方式，達(dá)到輕量高效提取低頻特征的目的，將更多的計(jì)算資源分配給中高頻特征進(jìn)行處理，從而降低整體的計(jì)算資源。

1.3.2 中頻特征提取塊

圖像中頻信息代表圖像的邊緣信息，而高頻信息是對(duì)中頻信息內(nèi)細(xì)節(jié)、紋理、邊緣、噪聲處理方面的進(jìn)一步強(qiáng)化?；诖怂枷耄O(shè)計(jì)MFB使后續(xù)能更好地提取出高頻信息。用雙插值上采樣fbilinear（·）處理可使圖像平滑化，用高斯低通濾波器fgausconv（·）處理可使圖像模糊化。因此，如圖3（b）所示，將經(jīng)過插值放大后的圖像與插值放大并經(jīng)高斯低通濾波器處理后的圖像之間做差，再經(jīng)過卷積和激活函數(shù)的操作得出中頻信息fM。表達(dá)式如下：

F1=fbilinear（favgpool（x）），

F2=fgausconv（F1），

F3=F1－F2

F4=fsigmoid（fconv（F3）+x），

F5=fconv（x）·F4，

fM=f（F5）（12）

其中： favgpool（·）代表全局平均池化； fsigmoid（·）代表sigmoid函數(shù)。提取的中頻信息嵌入輕量化晶格信息交互塊，中頻信息與特征信息自適應(yīng)組合，增加模型對(duì)邊緣特征的提取力。即將式（7）中的f（·）替換成式（12）中f（·），即為中頻特征提取塊。中頻特征有效的提取將圖像分解為不同的結(jié)構(gòu)，有助于模型后續(xù)對(duì)高頻特征即細(xì)節(jié)特征的處理和利用。

1.3.3 高頻特征提取塊

提取高頻信息是圖像超分辨重建技術(shù)的關(guān)鍵，因此設(shè)計(jì)HFB。如圖3（c）所示，為了得到模糊圖像信息即低頻信息，將LFB和MFB的輸出結(jié)合作為輸入圖像信息x，經(jīng)過池化的縮放操作后，采用最近鄰上采樣將圖像信息尺寸放大到最初尺寸。最后將輸入圖像信息與得到的低頻信息做差，經(jīng)過卷積和激活函數(shù)的處理得到高頻信息fH。表達(dá)式如下：

F6=x－fbilinear（favgpool（x）），

F7=fsigmoid（fconv（F6）+x）

F8=fconv（x）·F7， fH=f（F9）（13）

將提取的高頻信息嵌入輕量化晶格信息交互塊，高頻信息與特征信息自適應(yīng)結(jié)合，增加模型對(duì)紋理細(xì)節(jié)特征的提取力。即將式（7）中的f（·）替換成式（13）中的f（·），即為高頻特征提取塊。

1.4 LBP特征提取算法

紋理特征提取是超分辨的關(guān)鍵性任務(wù)之一，而卷積神經(jīng)網(wǎng)絡(luò)作為近些年主流方法，并未對(duì)該特征的提取有針對(duì)性體現(xiàn)，因此本文把傳統(tǒng)特征提取算法局部二值模式（LBP）引入神經(jīng)網(wǎng)絡(luò)，使模型更精準(zhǔn)地提取關(guān)鍵特征信息。LBP是一種描述圖像局部紋理的算法。與傳統(tǒng)卷積類似，LBP是通過滑動(dòng)窗口來提取圖像的紋理。原始的LBP算子定義3×3窗口，將中心像素作為基點(diǎn)，把鄰域像素值與其比較，若鄰域像素值大于等于基點(diǎn)值，則標(biāo)記為1，否則標(biāo)記為0。如前所述從窗口的左端開始順時(shí)針比較，得到一個(gè)8位的二進(jìn)制值。再將其轉(zhuǎn)換為十進(jìn)制值，正好對(duì)應(yīng)8位圖像的灰度值。利用這個(gè)方法遍歷整個(gè)圖像，得到提取的紋理圖像。表達(dá)式為

LBP（xc，yc）=∑p－1p=02pq（ip－ic）（14）

其中：（xc，yc）為中心像素坐標(biāo)；p為鄰域的第p個(gè)像素；ip為鄰域像素的灰度值；ic為中心像素的灰度值；q（·）為符號(hào)函數(shù)，表達(dá)式如下：

q（x）=1 x≥00 x<0（15）

傳統(tǒng)的LBP算法僅具有灰度不變性。為了適應(yīng)更多尺寸的紋理特征，同時(shí)也滿足旋轉(zhuǎn)不變性，本文將更精細(xì)化的圓形LBP算法引入模型的殘差連接分支上。如圖1所示，將特征層次提取模塊的輸入采用LBP算法提取出局部紋理信息，再連接至末端融合輸出。值得一提的是，LBP算法機(jī)理是通過圖像本身的像素值進(jìn)行局域性的運(yùn)算，無須額外參數(shù)量，因此以更經(jīng)濟(jì)的方式傳遞了紋理信息，進(jìn)一步增強(qiáng)了網(wǎng)絡(luò)對(duì)細(xì)節(jié)的修復(fù)能力。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 訓(xùn)練細(xì)節(jié)

本文提出的網(wǎng)絡(luò)模型輸入和輸出數(shù)據(jù)形式為RGB圖像，使用雙三次插值對(duì)訓(xùn)練HR圖像進(jìn)行下采樣合成LR圖像。訓(xùn)練時(shí)從LR圖像隨機(jī)裁剪出16個(gè)特定大小的色塊作為一個(gè)batchsize輸入，每個(gè)LR色塊的大小為64×64。模型由Adam優(yōu)化器訓(xùn)練，其中β1=0.9，β2=0.999，epsilon=10-8，學(xué)習(xí)率初始化為1E－4，每200個(gè)epoch將衰減一半，整體通過L1損失函數(shù)經(jīng)過1 000次訓(xùn)練。模型使用PyTorch框架實(shí)現(xiàn)，在單個(gè)NVIDIA 2080Ti GPU上完整運(yùn)行僅僅需要兩天時(shí)間。

2.2 數(shù)據(jù)集

在數(shù)據(jù)集的設(shè)置上，使用DIV2K數(shù)據(jù)集訓(xùn)練模型，該數(shù)據(jù)集覆蓋了多種場景，包括人物、動(dòng)植物、自然風(fēng)景、建筑物等，有利于訓(xùn)練模型在不同類型圖像上的泛化能力，其中包括用于訓(xùn)練集的800張多類型高質(zhì)量圖像，以及用于驗(yàn)證和測試的200張圖像。

使用四個(gè)基準(zhǔn)數(shù)據(jù)集作為測試數(shù)據(jù)集，分別是Set5、Set14、B100、Urban100。每個(gè)數(shù)據(jù)集都包含不同的圖像類型和特征。Set5和Set14數(shù)據(jù)集分別包含5張和14張高分辨率圖像，相對(duì)較小的規(guī)模使得算法在短時(shí)間內(nèi)可以快速進(jìn)行評(píng)估；B100數(shù)據(jù)集包含100張高分辨率圖像，大樣本規(guī)模有助于更全面地了解算法的泛化能力和穩(wěn)健性；Urban100數(shù)據(jù)集包含100張城市景觀的高分辨率圖像，可以用于測試算法在包含復(fù)雜場景和細(xì)節(jié)的圖像上的性能。

2.3 消融實(shí)驗(yàn)

2.3.1 多頻率提取研究

為了驗(yàn)證本文提出的多頻率特征提取的有效性，將多頻提取特征模塊內(nèi)部替換成三種不同結(jié)構(gòu)進(jìn)行消融實(shí)驗(yàn)，相應(yīng)結(jié)果如表1和圖4所示。表1中，LLL表示三個(gè)常規(guī)的特征提取塊，LML表示兩個(gè)常規(guī)特征提取塊中加一個(gè)中頻特征提取塊，LLH表示兩個(gè)常規(guī)特征提取塊和一個(gè)高頻特征提取塊，LMH表示本文提出的結(jié)構(gòu)，即一個(gè)低頻特征提取塊、一個(gè)中頻特征提取塊以及一個(gè)高頻特征提取塊。從表中數(shù)據(jù)可知，本文設(shè)計(jì)的結(jié)構(gòu)效果均優(yōu)于不做任何頻率分離的特征提取和只做中頻或高頻分離的特征提取的效果；圖4是四種結(jié)構(gòu)訓(xùn)練1 000次的精度折線圖，從圖中可以明顯看出，使用LMH模塊的MFEN模型在250個(gè)周期后趨于穩(wěn)定，此外，相較于三個(gè)未使用LMH模塊的MFEN模型，其在PSNR數(shù)值上提升了0.42 dB，該結(jié)果證明了LMH模塊的有效性。

2.3.2 輕量化晶格信息交互結(jié)構(gòu)研究

對(duì)于這部分研究，分兩個(gè)方向進(jìn)行實(shí)驗(yàn)說明：

首先將傳統(tǒng)的晶格塊結(jié)構(gòu)（TL）替換模型的輕量化晶格信息交互結(jié)構(gòu)（CL）進(jìn)行訓(xùn)練，結(jié)果如表2所示，傳統(tǒng)晶格塊模型效果比本文模型的效果高0.05 dB，然而參數(shù)量多了近十萬。由于本文研究輕量級(jí)模型，綜合精度與參數(shù)量來考慮，本文模型更具優(yōu)勢。

其次將傳統(tǒng)卷積塊組合（NL），即conv3+ReLU+conv3+ conv1替換模型中改進(jìn)的晶格塊，為公平比較，替換的模塊與本文結(jié)構(gòu)具有近似的復(fù)雜性。結(jié)果如表2所示，在參數(shù)量相近的前提下，本文模型提高了0.16 dB。

2.3.3 LBP研究

LBP算法作用是反映圖像的局部細(xì)節(jié)紋理，圖5是使用LBP算法后可視化圖像，反映出來圖像中的輪廓以及細(xì)節(jié)紋理，因此從理論上該算法是有效的；為進(jìn)一步驗(yàn)證LBP算法在模型中對(duì)紋理特征感知的有效性，設(shè)計(jì)在放大因子為4的前提下將LBP算法從模型中刪除后進(jìn)行訓(xùn)練。實(shí)驗(yàn)結(jié)果如表3所示。在兩個(gè)數(shù)據(jù)集上，有LBP算法的模型效果（PSNR）均更佳。

2.4 結(jié)果對(duì)比分析

為了驗(yàn)證MFEN的有效性，與其他經(jīng)典先進(jìn)的方法進(jìn)行比較，其中SRCNN［9］ 、FSRCNN［10］、DRCN［11］ 、VDSR［23］和LapSRN［24］為圖像超分辨的經(jīng)典深度學(xué)習(xí)模型，代表了圖像超分辨領(lǐng)域的關(guān)鍵發(fā)展，IDN［13］ 、CARN-M［12］、LESRCNN［15］、MADNet［25］、A2F-S［26］和FeNet［5］為輕量化圖像超分辨領(lǐng)域經(jīng)典先進(jìn)模型的代表。同時(shí)采用自集成方式進(jìn)一步評(píng)估本文模型，用“+”標(biāo)記。為了結(jié)果的可比較性，所有的測試都在四個(gè)公共數(shù)據(jù)集上進(jìn)行：Set5、Set14、B100和Urban100。

此處的經(jīng)典先進(jìn)模型使用的是通用數(shù)據(jù)。在參數(shù)和精度的綜合評(píng)估下，MFEN模型在不同公開數(shù)據(jù)集中取得了更好的效果。此外，MFEN+模型的PSNR值和SSIM值的各個(gè)比例因子都全面超越其他SISR模型。

以數(shù)據(jù)集Set5為例，MADNet模型的參數(shù)量比MFEN模型要高出一倍有余，其PSNR值和SSIM值都略低于MFEN，其中在放大因子為2的情況中，MFEN的PSNR值比MADNet高出0.12 dB；與參數(shù)量相當(dāng)?shù)腃ARN-M模型相比，MFEN在放大因子為4時(shí)表現(xiàn)力略微遜色的情況下，也高出了0.13 dB；對(duì)于不同放大因子，MFEN的PSNR值和SSIM值已全面超越參數(shù)量較小的FeNet模型。

圖6隨機(jī)選取了定量比較中的四個(gè)模型進(jìn)行定性比較，從更直觀的角度證明了MFEN模型的優(yōu)勢，分別在放大因子為2的Set14數(shù)據(jù)集、放大因子為4的Urban100和B100數(shù)據(jù)集上進(jìn)行視覺比較?？梢钥闯觯疚哪Ｐ椭亟ǔ龅腟R相比于其他模型而言，本文模型從視覺效果和紋理細(xì)節(jié)角度都更接近HR圖。例如本文模型重建出的Set14圖像中胡須和褶皺都更加明顯清晰；在Urban100的建筑物輪廓信息中，VDSR、DRCN、IDN等模型恢復(fù)的輪廓發(fā)生了不同程度的模糊與扭曲，而本文模型較清晰完整地恢復(fù)出了輪廓信息。

為了從精度、參數(shù)量和計(jì)算量三個(gè)方面對(duì)模型進(jìn)行比較，將本文模型與多個(gè)經(jīng)典模型和輕量模型進(jìn)行對(duì)比，即FSRCNN、VDSR、IDN、MemNet、LapSRN、CARN-M、A2F-S、BTSRN，并以圖7的形式展現(xiàn)，橫坐標(biāo)代表參數(shù)，縱坐標(biāo)代表精度，而圓圈的面積與計(jì)算量成正比。如圖7所示，在參數(shù)量、運(yùn)算量都要高的情況下，MemNet、VDSR、LapSRN模型比本文模型精度反而更低；在運(yùn)算量相當(dāng)?shù)那闆r下，A2F-S、IDN精度比本文更低；在參數(shù)量相當(dāng)?shù)那闆r下，BTSRN比本文模型精度略低、運(yùn)算量略大。綜上本文模型從以上三個(gè)方面綜合結(jié)果最佳。

3 結(jié)束語

針對(duì)圖像超分辨率重建網(wǎng)絡(luò)中常見的參數(shù)量過大、頻率信息利用不充分、計(jì)算資源分配不合理等問題，本文提出了一種基于多頻率特征提取的輕量級(jí)網(wǎng)絡(luò)。其中設(shè)計(jì)的輕量化信息交互結(jié)構(gòu)利用通道分割、簡化思想以及內(nèi)部卷積組合的設(shè)計(jì)，使網(wǎng)絡(luò)在保持性能的同時(shí)達(dá)到輕量化的效果，并采用通道注意力機(jī)制生成通道權(quán)值進(jìn)行高效信息交互；設(shè)計(jì)的多頻率特征提取模塊，將不同頻率信息分離并提取特征，使網(wǎng)絡(luò)整體性能和效率提升；同時(shí)在殘差路徑上嵌入LBP特征提取算法，提取出局部細(xì)節(jié)紋理信息，增強(qiáng)網(wǎng)絡(luò)對(duì)細(xì)節(jié)紋理的提取能力。實(shí)驗(yàn)表明，MFEN在精度和參數(shù)量的綜合評(píng)估下具有良好的重建性和優(yōu)勢。后續(xù)將重點(diǎn)研究如何進(jìn)一步提升圖像超分辨率重建網(wǎng)絡(luò)的泛化能力，解決由于數(shù)據(jù)集的類型差異較大而導(dǎo)致的性能衰減問題。

參考文獻(xiàn)：

［1］王拓然，程娜，丁士佳，等. 基于自適應(yīng)注意力融合特征提取網(wǎng)絡(luò)的圖像超分辨率 ［J］. 計(jì)算機(jī)應(yīng)用研究，2023，40（11）： 3472-3477. （Wang Tuoran，Cheng Na，Ding Shijia，et al. Image super-resolution based on adaptive attention fusion feature extraction network ［J］. Application Research of Computers，2023，40（11）： 3472-3477.）

［2］孫磊，張洪蒙，毛秀青，等. 基于超分辨率重建的強(qiáng)壓縮深度偽造視頻檢測 ［J］. 電子與信息學(xué)報(bào)，2021，43（10）： 2967-2975. （Sun Lei，Zhang Hongmeng，Mao Xiuqing，et al. Super-resolution reconstruction detection method for deep fake hard compressed videos ［J］. Journal of Electronics & Information Technology，2021，43（10）： 2967-2975.）

［3］Gao Guangwei，Tang Lei，Wu Fei，et al. JDSR-GAN： constructing an efficient joint learning network for masked face super-resolution ［J］. IEEE Trans on Multimedia，2023，25： 1505-1512.

［4］Chen Chao，Raymond C，Speier W，et al. Synthesizing MR image contrast enhancement using 3D high-resolution ConvNets ［J］. IEEE Trans on Biomedical Engineering，2023，70（2）： 401-412.

［5］Wang Zheyuan，Li Liangliang，Xue Yuan，et al. FeNet： feature enhancement network for lightweight remote-sensing image super-resolution ［J］. IEEE Trans on Geoscience and Remote Sensing，2022，60： 1-12.

［6］Han J W，Suryanto，Kim J H，et al. New edge-adaptive image interpolation using anisotropic Gaussian filters ［J］. Digital Signal Processing，2013，23（1）： 110-117.

［7］Su Jian，Xu Zongben，Shum H Y. Image super-resolution using gradient profile prior ［C］// Proc of IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Piscataway，NJ： IEEE Press，2008： 24-26.

［8］Li Bo，Liu Risheng，Cao Junjie，et al. Online low-rank representation learning for joint multi-subspace recovery and clustering ［J］. IEEE Trans on Image Processing，2018，27（1）： 335-348.

［9］Dong Cao，Chen C L，He Kaiming，et al. Image super-resolution using deep convolutional networks ［J］. IEEE Trans on Pattern Analysis and Machine Intelligence，2016，38（2）： 295-307.

［10］Dong Cao，Loy C C，Tang Xiaoou. Accelerating the super-resolution convolutional neural network ［C］// Proc of European Conference on Computer Vision. Cham： Springer，2016： 391-407.

［11］Kim J，Lee J K，Lee K M. Deeply-recursive convolutional network for image super-resolution ［C］// Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2016： 1637-1645.

［12］Ahn N，Kang B，Sohn K A. Fast，accurate，and lightweight super-resolution with cascading residual network［C］// Proc of the 15th European Conference on Computer Vision.Berlin： Springer，2018： 252-268.

［13］Hui Zheng，Wang Xiumei，Gao Xinbo. Fast and accurate single image super-resolution via information distillation network ［C］// Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2018： 723-731.

［14］Hui Zheng，Gao Xinbo，Yang Yunchu，et al. Lightweight image super-resolution with information multi-distillation network ［C］// Proc of ACM International Conference on Multimedia.New York： ACM Press，2019： 2024-2032.

［15］Tian Chunwei，Zhuge Ruibin，Wu Zhihao，et al. Lightweight image super-resolution with enhanced CNN ［J］. Knowledge-Based Systems，2020，205： 106235.

［16］Park K，Soh J W，Cho N I. A dynamic residual self-attention network for lightweight single image super-resolution ［J］. IEEE Trans on Multimedia，2021，25： 907-918.

［17］葉盛楠，蘇開娜，肖創(chuàng)柏，等. 基于結(jié)構(gòu)信息提取的圖像質(zhì)量評(píng)價(jià) ［J］. 電子學(xué)報(bào)，2008，36（5）： 856-861. （Ye Shengnan，Su Kaina，Xiao Chuangbo，et al. Image quality assessment based on structural information extraction ［J］. Acta Electronica Sinica，2008，36（5）： 856-861.）

［18］Parichehr B，Pau R，Carles F T，et al. Frequency-based enhancement network for efficient super-resolution ［J］. IEEE Access，2022，10（1）： 57383-57397.

［19］Zhang Zicheng，Sun Wei，Min Xiongkuo，et al. A no-reference deep learning quality assessment method for super-resolution images based on frequency maps ［C］// Proc of IEEE International Symposium on Circuits and Systems. Piscataway，NJ：IEEE Press，2022： 3170-3174.

［20］Luo Xiaotong，Qu Yanyun，Xie Yuan，et al. Lattice network for lightweight image restoration ［J］. IEEE Trans on Pattern Analysis and Machine Intelligence，2023，45（4）： 4826-4842.

［21］Li Bodong，Gao Xieping. Lattice structure for regular linear phase paraunitary filter bank with odd decimation factor ［J］. IEEE Signal Processing Letters，2013，21（1）： 14-17.

［22］Zhang Qinglong，Yang Yubin. SA-Net： shuffle attention for deep convolutional neural networks ［C］// Proc of IEEE International Confe-rence on Acoustics. Piscataway，NJ：IEEE Press，2021： 2235-223.

［23］Kim J，Lee J K，Lee K M. Accurate image super-resolution using very deep convolutional networks ［C］// Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway，NJ：IEEE Press，2016： 1646-1654.

［24］Lai Weisheng，Huang Jiabin，Ahuja N，et al. Deep Laplacian pyramid networks for fast and accurate super-resolution ［C］// Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway，NJ：IEEE Press，2017： 624-632.

［25］Lan Rushi，Sun Long，Liu Zhenbing，et al. MADNet： a fast and lightweight network for single-image super resolution ［J］. IEEE Trans on Cybernetics，2021，51（3）： 1443-1453.

［26］Wang Xuehui，Wang Qing，Zhao Yuzhi，et al. Lightweight single-image super-resolution network with attentive auxiliary feature learning ［C］// Proc of the 15th Asian Conference on Computer Vision Workshops. Cham： Springer，2021： 1-17.

［27］盤展鴻，朱鑒，遲小羽，等. 基于特征融合和注意力機(jī)制的圖像超分辨率模型 ［J］. 計(jì)算機(jī)應(yīng)用研究，2022，39（3）： 884-888. （Pan Zhanhong，Zhu Jian，Chi Xiaoyu，et al. Image super-resolution model based on feature fusion and attention mechanism ［J］. Application Research of Computers，2022，39（3）： 884-888.）

［28］Mehri A，Behjati P，Sappa A D. TnTViT-G： transformer in transfor-mer network for guidance super resolution ［J］. IEEE Access，2023，11： 11529-11540.

［29］楊樹媛，曹寧，郭斌，等. 基于雙模式聯(lián)合三邊濾波器的深度圖像超分辨率方法 ［J］. 計(jì)算機(jī)應(yīng)用研究，2021，38（11）： 3472-3477. （Yang Shuyuan，Cao Ning，Guo Bin，et al. Depth map super resolution based on dual mode joint trilateral filter ［J］. Application Research of Computers，2021，38（11）： 3472-3477.）