孫忠凡，周正華，趙建偉

（中國計量大學信息與數(shù)學系，杭州 310018）

（?通信作者電子郵箱zhaojw@amss.ac.cn）

0 引言

圖像超分辨率重建的主要任務(wù)是從一張或多張低分辨率圖像中重建出高分辨率圖像，是機器視覺中的研究熱點之一，在醫(yī)學圖像處理［1］、航空影像［2］、安全監(jiān)測等領(lǐng)域有著重要的應用。

目前，人們基于插值、基于學習方法［3］和基于重建方法，提出了許多高效的超分辨率重建方法。特別地，隨著深度學習的快速發(fā)展和廣泛應用，超分辨率重建得到了迅速發(fā)展?；谏疃葘W習的超分辨率重建方法通常包括深度特征提取和特征圖放大兩部分。近年來，關(guān)于特征提取部分已有各種模式，使得提取出來的特征更有代表性。然而，關(guān)于特征圖放大的方法卻比較少，主要有前端上采樣、轉(zhuǎn)置卷積［4］和像素重組［5］等。本文主要關(guān)注特征圖的放大方法。

前端上采樣是在低分辨率圖像輸入網(wǎng)絡(luò)之后，通過雙三次插值等方法將低分辨率圖像放大到指定圖像尺寸。超分辨率卷積神經(jīng)網(wǎng)絡(luò)（Super-Resolution Convolutional Neural Network，SRCNN）［6］第一次將深度學習應用到超分辨率圖像重建中，用三層卷積神經(jīng)網(wǎng)絡(luò)擬合放大后的低分辨率圖像和高分辨率圖像之間的映射關(guān)系，并取得了很好的重建效果。使用極深卷積網(wǎng)絡(luò)的精確圖像超分辨率（accurate image Super-Resolution using Very Deep convolutional networks，VDSR）［7］將放大后的圖像輸入到網(wǎng)絡(luò)中，構(gòu)建20 層的深度網(wǎng)絡(luò)重建高分辨率圖像。深度遞歸卷積網(wǎng)絡(luò)（Deeply-Recursive Convolutional Network，DRCN）［8］首次將現(xiàn)有的遞歸神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)應用于放大后的低分辨率圖像，減少網(wǎng)絡(luò)權(quán)值的參數(shù)。深度遞歸殘差網(wǎng)絡(luò)（Deep Recursive Residual Network，DRRN）［9］結(jié)合了遞歸學習和殘差學習的思想，設(shè)計了更深層次的網(wǎng)絡(luò)結(jié)構(gòu)作用在放大的低分辨率圖像上來提高網(wǎng)絡(luò)重建性能。基于雙層可變形卷積網(wǎng)絡(luò)的超分辨率（Super-Resolution using Bilayer Deformable Convolution Network，SRBDCN）［10］為了提取不同尺度的圖像特征，利用雙層可變形卷積單元來構(gòu)建網(wǎng)絡(luò)。由于前端上采樣在放大低分辨率圖像的過程中會引入錯誤信息，因此由該方法重建的高分辨率圖像質(zhì)量較差。

轉(zhuǎn)置卷積通過在低分辨率圖像中插入零值并通過卷積操作來放大圖像尺寸。Laplacian 金字塔超分辨率網(wǎng)絡(luò)（Laplacian pyramid Super-Resolution Network，LapSRN）［11］通過轉(zhuǎn)置卷積在每個金字塔級上將圖像放大一倍，逐步放大低分辨率圖像。深度反投影網(wǎng)絡(luò)（Deep Back-Projection Network，DBPN）［12］利用轉(zhuǎn)置卷積構(gòu)造上投影單元和下投影單元，充分利用了高分辨率圖像和低分辨率圖像之間的關(guān)系。嵌入塊殘差網(wǎng)絡(luò)（Embedded Block Residual Network，EBRN）［13］利用轉(zhuǎn)置卷積，考慮圖像的紋理特征，利用更深的網(wǎng)絡(luò)來恢復圖像的高頻信息。轉(zhuǎn)置卷積的放大方法比前端上采樣快，但重建圖像會產(chǎn)生棋盤效應。

像素重組是在低分辨率圖像經(jīng)過深度網(wǎng)絡(luò)特征提取后，利用像素信息進行圖像尺寸的放大。有效的亞像素卷積神經(jīng)網(wǎng) 絡(luò)（Efficient Sub-Pixel Convolutional Neural network，ESPCN）［5］首次提出像素重組的方法放大特征圖的尺寸，產(chǎn)生更好的高分辨率圖像。多尺度殘差網(wǎng)絡(luò)（Multi-Scale Residual Network，MSRN）［14］利用不同尺度的卷積核構(gòu)建多尺度殘差模塊，充分利用圖像的特征，并用像素重組放大特征圖的尺寸。殘差通道關(guān)注網(wǎng)絡(luò)（Residual Channel Attention Network，RCAN）［15］設(shè)計了殘差中的殘差結(jié)構(gòu)深化網(wǎng)絡(luò)，使用多個跳躍連接使網(wǎng)絡(luò)專注于高頻信息，并用像素重組放大特征圖的尺寸。殘差密集網(wǎng)絡(luò)（Residual Dense Network，RDN）［16］使用密集連接來提取冗余的局部特征，采用全局特征融合來提取整體的分層特征，并用像素重組放大特征圖的尺寸。雖然像素重組的放大方法可以獲得較好的重建結(jié)果，但是它僅限于放大整數(shù)倍的重建情形。

以上的基于深度學習的超分辨率圖像重建主要考慮特征圖放大整數(shù)倍的情形，較少考慮放大任意倍的情況。然而，現(xiàn)實生活中會遇到高分辨率圖像的尺寸并不一定是低分辨率圖像的整數(shù)倍情況。也有研究者開始嘗試解決這個問題，文獻［17］基于元學習網(wǎng)絡(luò)給出了放大任意倍的超分辨率重建方法。該方法為了產(chǎn)生更好的效果，將殘差密集網(wǎng)絡(luò)（RDN）［16］作為特征提取模塊，然后通過構(gòu)建元學習放大模塊放大特征圖為任意倍。但是，該方法中的元學習只使用了坐標信息對卷積核進行預測，沒有考慮特征圖像的空間特性。

鑒于此，本文在文獻［17］的基礎(chǔ)上，考慮特征圖像的空間信息，通過壓縮操作提取空間特征，將空間特征和坐標信息相結(jié)合，作為權(quán)值預測網(wǎng)絡(luò)的輸入，給出空間元學習模塊，提出了基于空間元學習的超分辨率重建（Spatial Meta-Learning based Super-Resolution，SMLSR）方法。所提的空間元學習模塊有效地開發(fā)了隱藏在圖像中的空間信息，可以進行更精準的卷積核預測，產(chǎn)生重建效果更好的高分辨率圖像。

綜上，本文的主要工作包括以下幾個方面：

1）利用深層特征的空間信息和坐標特性，提出空間元學習模塊，可以更精準地預測卷積核權(quán)值。

2）提出的基于空間元學習的超分辨率重建方法可以實現(xiàn)圖像放大任意尺寸，豐富超分辨率重建的方法。

3）本文所提的空間元學習模塊可以與其他深度網(wǎng)絡(luò)相結(jié)合，得到放大任意尺寸的超分辨率圖像重建方法。

1 SMLSR方法

眾所周知，基于深度學習的超分辨率重建包括特征提取和特征圖像放大兩部分。由于本文的重點在于討論特征圖的放大方法，因此，特征提取部分選擇殘差密集模塊作為網(wǎng)絡(luò)的主要構(gòu)成部分。對于特征圖放大部分，本文在元學習模塊的基礎(chǔ)上，考慮特征圖的空間信息，通過壓縮操作提取空間信息，將空間信息和坐標信息相結(jié)合，預測卷積核的權(quán)值，給出空間元學習模塊。本文所提基于空間元學習的超分辨率重建（SMLSR）的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 本文基于殘差密集網(wǎng)絡(luò)模塊的空間元學習的超分辨率重建方法結(jié)構(gòu)Fig.1 Architecture of proposed spatial meta-learning super-resolution reconstruction method based on residual dense network modules

1.1 特征提取部分

令I(lǐng)LR和ISR分別表示尺寸大小為H×W和rH×rW的低分辨率圖像和重建出的高分辨率圖像，其中r為大于1的放大尺寸因子。首先，將低分辨率圖像ILR輸入到網(wǎng)絡(luò)，經(jīng)過兩個卷積層作用，得到：

其中：X1、X2分別表示通過兩層卷積層操作后提取到的特征圖；Conv表示卷積操作。

其次，將提取到的特征圖X2輸入到三個串聯(lián)的殘差密集模塊，并將三個模塊的輸出級聯(lián)在一起，經(jīng)過一個1×1 的卷積操作將特征圖的通道數(shù)壓縮到與X1通道數(shù)相同，再經(jīng)過一層卷積操作并通過殘差連接，最終得到深層特征圖FLR。整個過程可以由如下計算式描述：

其中：B0=X2，Bi代表經(jīng)過第i個殘差密集模塊的輸出；RDB表示第i個模塊的操作作用，[B1，B2，B3]代表級聯(lián)操作；FLR為特征提取部分最后提取的深層特征。

最后，介紹殘差密集模塊的操作過程，其具體結(jié)構(gòu)如圖2所示。每個殘差密集模塊中包含3 組卷積層和線性整流函數(shù)（Rectified Linear Unit，ReLU），輸入特征經(jīng)過每組卷積操作和激活函數(shù)后，將得到的結(jié)果輸入到后面各個卷積層。將上述特征圖的輸出進行級聯(lián)，并通過1×1的卷積操作將級聯(lián)的特征圖的通道數(shù)壓縮到與模塊輸入的通道數(shù)相同，最后將其與模塊輸入相加。

整個RDB的操作過程可由如下計算式表示：

其中：ReLU為激活函數(shù)；L0=Bi-1，Li代表著被第i個ReLU激活函數(shù)作用后的輸出。

圖2 殘差密集模塊（RDB）的結(jié)構(gòu)Fig.2 Architecture of Residual Dense Block（RDB）

1.2 特征圖放大部分

特征提取部分提取到深度特征FLR之后，將其輸入到空間元學習模塊。本文所提的空間元學習模塊的結(jié)構(gòu)如圖3 所示，其包含六個部分：坐標投影、空間信息壓縮、坐標偏移、信息聯(lián)合、權(quán)值預測和函數(shù)映射。該模塊首先利用坐標投影的方法在低分辨率圖像上找到與高分辨率坐標相關(guān)的坐標點；其次，運用空間信息壓縮操作生成空間信息特征，并聯(lián)合坐標偏移量，生成權(quán)值預測網(wǎng)絡(luò)的輸入量，通過權(quán)值預測網(wǎng)絡(luò)生成卷積核的權(quán)值；最后，將該卷積核作用在深度特征FLR上，生成最終的高分辨率圖像。具體細節(jié)如下。

1）坐標投影。

基于深度學習重建高分辨率圖像，即利用網(wǎng)絡(luò)確定高分辨率圖像中每個像素點的值。對于放大r倍的高分辨率圖像ISR，由于r不一定是整數(shù)，因此需要通過坐標投影在深度特征FLR上找到與（i'，j'）最相關(guān)的像素位置（i，j），這樣才方便確定卷積的作用區(qū)域A(i，j)，使得卷積作用在A(i，j)上得到(i'，j')的像素值。給定坐標點(i'，j')和放大因子r，通過以下投影可以在深度特征FLR上找到位置(i，j)：

其中：P是坐標投影；是向下取整操作。利用坐標投影，建立了低分辨率圖像與放大任意尺寸的圖像之間的對應關(guān)系。根據(jù)坐標(i，j)，可以在深度特征圖FLR上確定卷積的作用區(qū)域A(i，j)。

圖3 本文空間元學習模塊的結(jié)構(gòu)Fig.3 Architecture of proposed spatial meta-learning module

2）空間信息壓縮。

考慮在元學習模塊中充分利用特征圖FLR的空間信息，使用卷積層來壓縮提取空間本質(zhì)信息U，學習濾波器的關(guān)鍵信息，移除冗余信息。這里將提取出的深層特征FLR壓縮成四個通道，該過程表示為：

其中SI表示卷積后得到的四通道特征圖，且SI=(S1，S2，S3，S4)。令式（10）作為權(quán)值預測網(wǎng)絡(luò)輸入的一部分。

3）坐標偏移。

為了得到較好的濾波權(quán)值，需要利用高分辨率圖像與低分辨率圖像坐標點之間的對應關(guān)系。對于放大整數(shù)倍的超分辨率重建，通過(ir，jr)可以將低分辨率圖像上的每個點精確映射到高分辨率圖像的對應坐標。然而，對于任意大小的尺度因子，可能會得到一個分數(shù)而不是整數(shù)。通過添加坐標偏移量，可以利用對應整數(shù)位置的偏移程度來預測分數(shù)位置的濾波器權(quán)值。對于不同的尺度因子r，圖像具有其不同的尺度特性。因此加入尺度信息，最終構(gòu)建V(i'，j')作為權(quán)值輸入網(wǎng)絡(luò)的一部分：

4）信息聯(lián)合。

聯(lián)合2）中壓縮出的空間信息和3）中的坐標偏移兩部分信息，對應于每一批輸入圖像，得到權(quán)值預測網(wǎng)絡(luò)的輸入，構(gòu)造出權(quán)值預測網(wǎng)絡(luò)的輸入矩陣Q：

其中R(k)=k/r-。上述權(quán)值網(wǎng)絡(luò)的輸入，不僅考慮了坐標特性，而且添加了不同像素位置的空間特性，這使得后續(xù)預測出的濾波器權(quán)值更加地精確。

5）權(quán)值預測。

有了聯(lián)合信息Q，利用子網(wǎng)絡(luò)來預測相應的濾波器的權(quán)值ω(i'，j')。這里預測網(wǎng)絡(luò)Φ由兩個全連接層和一個激活函數(shù)層構(gòu)成，其計算式為：

其中：F1、F2分別代表第一、第二個全連接層；θ為網(wǎng)絡(luò)中需要訓練的權(quán)值的集合。

利用權(quán)值預測網(wǎng)絡(luò)，可得濾波器權(quán)值：

其中：ω是對應像素(i'，j')的濾波器權(quán)值。

6）函數(shù)映射。

通過坐標投影和權(quán)值預測網(wǎng)絡(luò)，得到了特征圖FLR上的卷積作用區(qū)域A(i，j)和卷積ω(i'，j')。利用下面的卷積操作，得到重建的高分辨率圖像。

其中?是卷積操作。

2 實驗與結(jié)果分析

2.1 實驗環(huán)境設(shè)置

本文使用291 張圖像作為實驗的訓練集，其中91 張圖像來自文獻［18］，其他200 張圖片來自Berkeley Segmentation Dataset［19］。為了充分利用訓練數(shù)據(jù)，用三種方式增強數(shù)據(jù)：1）將圖像縮放為原來的0.5 和0.7；2）將圖像旋轉(zhuǎn)90°、180°和270°；3）將圖像水平和垂直翻轉(zhuǎn)。另外，選擇Set5［20］、Set14［21］、B100［22］和Manga109［23］作為測試集。將增強后的數(shù)據(jù)集從RGB彩色空間轉(zhuǎn)成YCbCr彩色空間。

為了促進訓練，將低分辨率圖像裁剪成30×30 的圖像塊，每16 個圖像塊作為一批輸入進網(wǎng)絡(luò)。對于任意尺度的超分辨率，在區(qū)間［1，4］選取每0.2 作為一個間隔。使用Adam［24］優(yōu)化算法進行網(wǎng)絡(luò)訓練，其中的參數(shù)分別設(shè)置為β1=0.9，β2=0.999，ε=10-8，學習率初始設(shè)置為10-4，并且每40代衰減一半。本文所有實驗利用峰值信噪比（Peak Signal-to Noise-Ratio，PSNR）和結(jié)構(gòu)相似度（Structural SIMilarity，SSIM）作為圖像超分辨率重建效果的評價標準。

所有的實驗都在Pytorch 1.1.0 框架下實施，在Intel Xeon Silver 4108 CPU @ 1.80 GHZ、內(nèi)存為48 GB、GPU 為GTX2080ti、顯存為11 GB、操作系統(tǒng)為Windows 10 的設(shè)備上運行。

2.2 消融實驗

本文所提的超分辨率重建方法在構(gòu)建元學習模塊時，聯(lián)合空間信息與坐標信息，學習更為合理的卷積核，從而重建出效果更好的高分辨率圖像。為了說明空間信息和坐標信息對重建效果的影響，本節(jié)給出了數(shù)據(jù)集Manga109［22］上關(guān)于本文方法的消融實驗，其中網(wǎng)絡(luò)第一部分仍取1.1 節(jié)中的特征提取模塊。具體實驗結(jié)果見表1。

表1 所提方法關(guān)于空間信息和坐標信息的消融實驗Tab.1 Ablation experiment of proposed method on spatial information and coordinate information

如表1 所示，元學習中僅結(jié)合坐標信息的算法性能比僅結(jié)合空間信息的算法性能要好，主要原因是空間信息的構(gòu)造方式不適合單獨用來預測卷積核。如圖4 所示，通過式（8）的坐標投影操作，可能會將高分辨率圖像上的兩個點(k'，l')和(k'，l'+1)投影到低分辨率圖像上的同一個點(k，l)，導致高分辨率上的兩個點(k'，l')和(k'，l'+1)有不同的坐標信息V(k'，l')和V(k'，l'+1)，卻有相同的空間信息U(k，l)。因此，僅用空間信息U(k，l)進行預測會使得(k'，l')和(k'，l'+1)所對應的卷積核相同，從而生成相同的像素值，使重建效果變差。但是，當空間信息與坐標信息聯(lián)合使用時，對于映射在相同低分辨率坐標(k，l)上的高分辨率的點(k′，l′)和(k'，l'+1)會有不同的坐標信息，使得這兩個點對應的權(quán)值預測網(wǎng)絡(luò)的輸入不同，從而可以預測出不同的卷積核，提高網(wǎng)絡(luò)的重建效果。

2.3 放大任意尺度的超分辨率方法

為了驗證本文所提出的空間元學習模塊的有效性，將網(wǎng)絡(luò)的特征提取部分統(tǒng)一設(shè)置為殘差密集模塊，而特征圖放大部分選取不同的方法。假設(shè)將低分辨率圖像放大r倍：第一種比較方法選取雙三次插值；第二種基線是前端上采樣基線，用雙三次下采樣將低分辨率圖像放大r倍，將擴大后的圖像輸入到網(wǎng)絡(luò)進行重建；第三種方法是文獻［17］中基于元學習的超分辨率方法。本文所提方法與上述三種方法在各個放大尺寸下的重建結(jié)果見表2。

圖4 高分辨率圖像與低分辨率圖像像素點映射關(guān)系Fig.4 Mapping relation between pixels from high-resolution image to low-resolution image

如表2 所示，雖然雙三次插值不需要進行網(wǎng)絡(luò)的訓練就可以得到超分辨率圖像，但是僅僅得到質(zhì)量比較差的超分辨率圖像。前端上采樣將雙三次預處理后的圖像輸入網(wǎng)絡(luò)，以至于通過網(wǎng)絡(luò)后直接可以得到相應尺寸的圖像。然而，這種方法非常耗時，產(chǎn)生的超分辨圖像的質(zhì)量也不是很好。用于超分辨率的放大任意倍網(wǎng)絡(luò)（Magnification-arbitrary network for Super-Resolution，Meta-SR）［17］在預測濾波器時沒有考慮到原始圖像的空間信息，所以它不能實現(xiàn)最好的效果。本文所提出的SMLSR 幾乎在所有的尺度上都產(chǎn)生了比其他任意倍的圖像放大方法更高的PSNR。實驗結(jié)果表明本文所提出的空間元學習放大方法具有一定的優(yōu)越性。

表2 數(shù)據(jù)集B100上放大任意倍的超分辨率方法的峰值信噪比 單位：dBTab.2 PSNR of super-resolution methods with arbitrary magnification on dataset B100 unit：dB

2.4 放大整數(shù)尺度的超分辨率方法

因為當前基于深度學習的超分辨率重建方法主要是放大整數(shù)倍的尺度因子。本實驗將本文的方法和這些放大整數(shù)倍的方法進行比較。設(shè)置了一系列基線，包括雙三次基線、前端上采樣基線、轉(zhuǎn)置卷積［4］基線、像素重組［5］基線和Meta-SR［17］基線。在這里，轉(zhuǎn)置卷積［4］的參數(shù)設(shè)置遵循DBPN［12］，因此沒有放大3 倍的參數(shù)配置。在Set5［20］、Set14［21］、B100［22］、Manga109［23］四個數(shù)據(jù)集上進行實驗，其實驗結(jié)果見表3，加粗的數(shù)值為最好的結(jié)果。

表3 放大整數(shù)倍的超分辨率方法比較Tab.3 Comparison of super-resolution methods with integer magnification

如表3 所示，不同整數(shù)倍方法在不同數(shù)據(jù)集、不同的尺度上有不同的優(yōu)勢。雙三次插值和前端上采樣在整數(shù)倍放大上和任意倍放大一樣，產(chǎn)生的高分辨率圖像效果較差。轉(zhuǎn)置卷積在網(wǎng)絡(luò)的最后利用轉(zhuǎn)置卷積層放大圖像，速度相較于前端上采樣更快，產(chǎn)生了相較前端上采樣更好的結(jié)果。Meta-SR相較于前三種方法進一步提高了性能?？傮w上，在整數(shù)放大因子為2 倍和4 倍時，像素重組相較其他方法產(chǎn)生了最優(yōu)的結(jié)果；而在整數(shù)放大因子為3 倍時，本文的方法產(chǎn)生了最優(yōu)的結(jié)果。與這些先進的放大整數(shù)倍的方法相比，本文提出的空間元學習具有一定的優(yōu)勢。實驗結(jié)果表明本文提出的空間元學習不僅產(chǎn)生了最優(yōu)的任意尺度因子超分辨率效果，在整數(shù)尺度因子上也能達到先進水平。

2.5 復雜度分析

神經(jīng)網(wǎng)絡(luò)的時間復雜度和空間復雜度通常用計算量：浮點運算數(shù)（FLoating Point Operations，F(xiàn)LOPs）和網(wǎng)絡(luò)參數(shù)量來衡量。本節(jié)給出放大2 倍時，不同重建方法構(gòu)造出的網(wǎng)絡(luò)模型在訓練階段所需的計算量和參數(shù)量，實驗結(jié)果見表4，其中1 GFLOPs等于十億次浮點運算數(shù)。

表4 不同重建方法的浮點運算數(shù)和參數(shù)量Tab.4 Floating-point operation numbers and parameter numbers for different reconstruction methods

表4 結(jié)果表明，在計算量方面，因為前端升采樣方法在整個模型上的運算都是高分辨率圖像，所以計算量最大。轉(zhuǎn)置卷積［4］、像素重組［5］、Meta-SR［17］和本文方法僅僅在模型的最后放大圖像，但是像素重組［5］利用卷積層將通道擴大r×r倍，極大地增加了計算量；而Meta-SR［17］和本文方法所用的權(quán)值預測網(wǎng)路所包含的兩個全連接層的計算量較低，加上本文方法提取空間信息的卷積層，計算量也基本和轉(zhuǎn)置卷積［4］計算量相當，遠低于像素重組［5］的計算量。在參數(shù)量方面，前端上采樣和轉(zhuǎn)置卷積［4］較低，因為前端上采樣將雙三次插值放大后的圖像輸入網(wǎng)絡(luò)，僅僅在模型的最后用一層卷積將通道進行壓縮。在卷積核大小相同的情況下，轉(zhuǎn)置卷積層和普通卷積層參數(shù)量相同，故轉(zhuǎn)置卷積［4］參數(shù)量也不高。像素重組［5］利用兩個卷積層分別進行擴維和壓縮維度，與Meta-SR、本文方法所用的權(quán)值參數(shù)量基本相當。實驗結(jié)果表明，在任意倍放大圖像的方法當中，本文所提的方法幾乎在所有的尺度上產(chǎn)生了最好的效果，卻與其他的方法具有幾乎一樣的參數(shù)量和最少的計算量。在整數(shù)倍放大圖像的方法當中，本文所提出的重建方法與像素重組具有相當?shù)膮?shù)量，在不同整數(shù)倍上的效果各有優(yōu)勢，然而計算量幾乎只有像素重組的一半。綜上，本文所提出的方法與其他方法相比，在參數(shù)量、計算量都較少的情況下產(chǎn)生了更好的效果。

3 結(jié)語

本文在元學習網(wǎng)絡(luò)的基礎(chǔ)上，考慮特征圖的空間信息，聯(lián)合該空間信息與坐標信息，設(shè)計空間元學習模塊，并結(jié)合殘差密集網(wǎng)絡(luò)結(jié)構(gòu)，提出了基于空間元學習的超分辨率圖像重建方法。所提的空間元學習模塊可以與其他深度網(wǎng)絡(luò)相結(jié)合，得到放大任意倍的超分辨率圖像重建方法。實驗結(jié)果表明，本文所提的重建方法優(yōu)于現(xiàn)有的基于相同特征提取網(wǎng)絡(luò)但不同放大模塊的超分辨率重建方法。

本文所提的基于空間元學習的放大任意倍超分辨率重建方法雖然相較其他放大方法更有優(yōu)勢，但是在生成卷積核時需要將一維數(shù)據(jù)轉(zhuǎn)換成多個維度，對計算機硬件的要求較高。因此，下一步工作將考慮如何構(gòu)建更簡單高效的放大任意倍重建方法，更方便地重建出高分辨率圖像。