胡聲輝，楊曉敏

(四川大學(xué)電子信息學(xué)院，成都 610065)

0 引言

圖像超分辨率的目標(biāo)是從低分辨率圖像中獲取信息來重建高分辨率圖像。圖像超分辨率廣泛的應(yīng)用于多個領(lǐng)域，如：醫(yī)學(xué)圖像處理、人臉識別、高清圖像生成等。實際上，圖像超分辨率是一個不適定問題，這意味著他存在著不止一種方法來重建高分辨率圖像。大體的有三種方式，基于重建的方法，基于重建的方法和基于學(xué)習(xí)的方法。

近年來，深度學(xué)習(xí)發(fā)展迅速，基于此方法的圖像超分辨率也得到了很好的效果。董超等人[1]參考了稀疏表示和字典學(xué)習(xí)的方式，第一次提出了一個三層的端到端卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)來處理圖像超分辨率任務(wù)，這種方式比傳統(tǒng)方法操作更簡便，圖像處理效果更好。自此，圖像超分辨率努力地方向被吸引到了提高卷積神經(jīng)網(wǎng)絡(luò)的性能。之前工作把大部分精力放在了通過引入更多的參數(shù)并加深網(wǎng)絡(luò)的深度來提高圖像的精度中，缺忽略了網(wǎng)絡(luò)模型所占用的計算資源。網(wǎng)絡(luò)計算量和存儲量的增加導(dǎo)致了訓(xùn)練難度的劇增，并且如此規(guī)模網(wǎng)絡(luò)的網(wǎng)絡(luò)很難應(yīng)用到實際的應(yīng)用場景中。其次，之前的研究都將網(wǎng)絡(luò)的每一層來處理由上一層傳遞過來的所有的圖像結(jié)構(gòu)和特征的信息流，都沒有區(qū)分不同的頻率信息。而實質(zhì)上，不同頻率的圖像信息有對應(yīng)的紋理和結(jié)構(gòu)，應(yīng)該得到不同的處理。泰勒展開公式指出可以用函數(shù)在某一點的各階導(dǎo)數(shù)值做系數(shù)構(gòu)建一個多項式來近似表達(dá)這個函數(shù)，這與圖像頻帶的分布及處理非常相似。因為圖像也可以用數(shù)個主要的頻帶來近似的表示，并且處理圖像只需處理這幾個頻帶的圖像信息。在這篇文章中，我們引入了泰勒展開公式的結(jié)構(gòu)來構(gòu)建我們的網(wǎng)絡(luò)模型。而基于泰勒公式的網(wǎng)絡(luò)模型由數(shù)個處理對應(yīng)頻帶信息的模塊組成，以此來逐漸恢復(fù)分層次的圖像信息流。

圖像信息流在經(jīng)過不同模塊的處理后精度雖然會提高，但信息會有所損失，所以必須得由之前模塊的信息作為補充來修正信息流。密集連接可以解決這一困擾并且得到很好的效果圖像，模型泛化能力和表征性能都得到明顯提高。

1 算法實現(xiàn)

1.1 算法描述

在本節(jié)中，我們在頻域中處理圖像的方法與泰勒公式之間建立了聯(lián)系，并將此概念應(yīng)用于卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計中。

通常來說，一幅圖像可以由不同頻率的特征信息所組成的。換句話說，一幅自然圖像可以被分解成一系列不同頻帶的圖像信息。實際工作中也是類似的處理，將圖片信息分成多頻帶信息，然后用不同的方式分別處理對應(yīng)的頻帶信息。在圖像融合領(lǐng)域中的研究[2]和超分辨率領(lǐng)域中的研究[3]表明，分別處理分解后的頻帶信息流可以得到很好的效果。這種處理模式與泰勒展開公式中，將原函數(shù)微分并分解至各階導(dǎo)數(shù)的加權(quán)和的形式非常類似，我們可以從這種結(jié)構(gòu)中獲得設(shè)計網(wǎng)絡(luò)的靈感。泰勒公式具體如下表示：

事實上，我們不可能照顧到所有頻帶的信息流，在大多數(shù)情況下，研究或者工程都僅處理主要的頻帶信息而忽略那些對結(jié)果影響不大的超高頻信息。同樣泰勒展開公式也可以應(yīng)用于獲得實際情況的近似值，如下列公式描述的那樣，可以逐漸增加階次N以逼近函數(shù)的真實值。

泰勒展開公式傳遞出了一個理念函數(shù)值可以由分解出來的各階導(dǎo)數(shù)的加權(quán)和來表示。而在實際處理中，我們僅取前面幾階導(dǎo)數(shù)的加權(quán)來獲得近似值P(x)。而o((x-x0)n)可以表示為函數(shù)的誤差，這個誤差的大小取決于所取的階數(shù)N的大小來決定，隨著N的增大，誤差必然會隨之減小。顯然，在泰勒展開公式和圖像頻域處理之間存在著的聯(lián)系。每一階導(dǎo)數(shù)對應(yīng)著一個頻帶信息，而近似值P(x)與處理之后的圖像對應(yīng)。如果我們將超分辨率卷積神經(jīng)網(wǎng)絡(luò)看成一個函數(shù)，那么我們就可以應(yīng)用上述公式的理念來構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)模型。一般來說，我們可以通過將第一次處理的圖像與原圖像相減的方式獲得補充的高頻圖像信息，之后將得到的高頻信息圖像當(dāng)作基礎(chǔ)圖像，并再次處理它。之后重復(fù)數(shù)次之前的操作并得到更高頻率的圖像信息。最后將原圖像與得到的各個高頻率圖像相加當(dāng)作輸出圖像。反向投影第一次用在圖像超分辨率領(lǐng)域是在DBPN[4]一文中，實際上這種方式是通過圖像上采樣與下采樣獲得殘差信息，并將此加以利用。而EBRN[3]利用反向投影所產(chǎn)生的殘差信息當(dāng)作高頻信息，并逐漸產(chǎn)生更高頻的圖像分量。但這種方式在高分辨率空間處理信息，增加了更多的參數(shù)量和計算量。實際上，在低分辨率圖像中濾波器已經(jīng)具備很強的泛化能力了，因此我們構(gòu)建基于泰勒公式的網(wǎng)絡(luò)模塊(TF-Inspired Block，TIB)僅在低分辨率空間處理信息流就可以模擬圖像的頻域處理操作。這個模塊的組成參見圖1，模塊的功能由函數(shù)fTIB，n表示。TIB的函數(shù)表達(dá)式如下：

圖1 TIB模塊結(jié)構(gòu)示意圖

1.2 基于泰勒公式的網(wǎng)絡(luò)結(jié)構(gòu)的整體框架

模塊TIB在基于泰勒公式的網(wǎng)絡(luò)結(jié)構(gòu)起著補充高頻信息的關(guān)鍵性作用。我們假設(shè)訓(xùn)練整個網(wǎng)絡(luò)以達(dá)到能使圖像從低分辨率圖像映射到高分辨率圖像的能力。為了達(dá)到這一目標(biāo)，整個網(wǎng)絡(luò)需要多個模塊去逐漸處理信息流來提升整個網(wǎng)絡(luò)的性能。這些模塊一般是以串聯(lián)的方式連接，但這種連接方式會導(dǎo)致信息流逐漸損失并加大了訓(xùn)練難度。串聯(lián)模式下，模塊之間可采用跳躍連接的方式將之前準(zhǔn)確的信息流傳遞直接傳遞到后面的模塊幫助修正信息流。特別來說，密集連接也就是多個跳躍連接將所有模塊用的濾波器連接的方式，提取并融合特征和結(jié)構(gòu)信息，這極大提高了信息的利用率。在本文中，我們提出的基于泰勒公式的模塊密集連接，這種模塊群可以使我們的網(wǎng)絡(luò)性能有最優(yōu)的表現(xiàn)。

從圖2中可見，整個網(wǎng)絡(luò)由三個部分組成：特征提取模塊(Feature Extraction Block，F(xiàn)EB)，處理功能模塊：基于泰勒公式的網(wǎng)絡(luò)模塊群(TF-Inspired Dense Blocks，TIDB)，上采樣重建模塊(Reconstruction Block，RB)。首先圖像信息流分為兩路，其中一路直接進(jìn)行原始圖像上采樣，另外一路經(jīng)過學(xué)習(xí)得到低分辨率圖像到高分辨率圖像所缺少的殘差信息，稱為殘差圖像。整個網(wǎng)絡(luò)模塊中我們都使用PreLU作為激活函數(shù)，Conv(s，m)表示一個卷積濾波器，Deconv(s，m)表示反卷積濾波器，其中表示卷積濾波器的尺寸，表示卷積層數(shù)。ILR、OSR分別表示處理功能模塊TIDB的輸入和輸出，In、On則表示第n個TIB模塊的輸入和輸出。FEB模塊提取的原始低分辨率圖像ILR中的特征結(jié)構(gòu)信息，輸出為O0。RB模塊由一個反卷積濾波器Deconv(k，m)和一個Conv(3，m)組成，并且每個濾波器后都有一個激活函數(shù)保證非線性映射能力。Deconv(k，m)中的k根據(jù)所需要的上采樣的倍數(shù)因子決定。倍數(shù)因子為2到4倍時，k的取值相應(yīng)為6到8。最后將原始圖像上采樣對應(yīng)倍數(shù)后的圖像與學(xué)習(xí)的得到的殘差圖像相加就得到了所需的超分辨率圖像。

圖2 網(wǎng)絡(luò)整體框架

2 實驗結(jié)果

本文參考文獻(xiàn)[5]，使用含有800張訓(xùn)練樣本圖的DIV2K數(shù)據(jù)集作為我們的訓(xùn)練數(shù)據(jù)集，采用雙三次插值的方法將原高分辨率圖像下采樣至低分辨率圖像，并且都使用與文獻(xiàn)[6]一致的方式增廣所有的圖像。本文分別在5個標(biāo)準(zhǔn)數(shù)據(jù)集：Set5、Set14、B100、Urban100、Manga109等上采用峰值信噪比(Peak Signal-To-Noise Ratio，PSNR)，結(jié)構(gòu)相似性指數(shù)(Structural Similarity Index，SSIM)兩個客觀指標(biāo)在RGB通道上來驗證我們的超分辨率結(jié)果。

本次實驗中將模塊的參數(shù)設(shè)置為N=4，D=3，同時模塊之間采用密集連接進(jìn)一步提升模型的性能，通過數(shù)種客觀指標(biāo)及可視化的評估以證明所提出算法模型的優(yōu)秀性能。本實驗中我們對比了近些年來4種典型的基于卷積神經(jīng)網(wǎng)絡(luò)的圖像超分辨輕網(wǎng)絡(luò)模型算法，這4種算法是：DRRN、MemNet、CARN，OISR-RK2-s。本文提出的基于泰勒公式的網(wǎng)絡(luò)結(jié)構(gòu)超分辨率算法(TIDN)在本實驗中與上述4種算法分別在2、3、4倍圖像放大系數(shù)基礎(chǔ)上對比網(wǎng)絡(luò)的性能以及所需的參數(shù)量和計算量的大小。實驗將從客觀指標(biāo)和視覺感知兩方面進(jìn)行對比。

表1是各個算法在5種驗證集下的客觀指標(biāo)所取得的值。其中PSNR和SSIM的數(shù)值越大表示圖像效果越好，算法越優(yōu)越。在相同的圖像表現(xiàn)前提下，算法所占用的參數(shù)量和計算量越小越好。從表1可以看出，文中所提的基于泰勒展式的網(wǎng)絡(luò)結(jié)構(gòu)超分辨率算法確實能有效地對低分辨率圖像信息進(jìn)行更好地提取和補充高分辨率信息。

表1 客觀指標(biāo)對比結(jié)果

從圖3中可以看出我們的算法得出的超分辨率圖像在結(jié)構(gòu)性的紋理修復(fù)細(xì)節(jié)上比其他4種算法能力更強，恢復(fù)出的圖像細(xì)節(jié)的結(jié)構(gòu)更接近原始圖像。這表明了我們提出的網(wǎng)絡(luò)算法的優(yōu)越性。

圖3 對比實驗4倍放大的細(xì)節(jié)表現(xiàn)

4 結(jié)語

本文基于泰勒公式提出了超分辨率網(wǎng)絡(luò)模型，這種模型具有強大的性能，能漸進(jìn)地處理圖像的細(xì)節(jié)。我們的網(wǎng)絡(luò)結(jié)構(gòu)仍有改進(jìn)的空間，在保證網(wǎng)絡(luò)泛化性能前提下，繼續(xù)降低參數(shù)使用量以確保模型的優(yōu)越性。