樊 帆，高 媛，秦品樂，王麗芳

（中北大學(xué)大數(shù)據(jù)學(xué)院，太原 030051）

（?通信作者電子郵箱843933175@qq.com）

0 引言

圖像超分辨率（Super-Resolution，SR）是指將低分辨率圖像（Low Resolution，LR）重建成高分辨率圖像（High Resolution，HR）的技術(shù)。SR 在諸如高光譜成像［1］、醫(yī)學(xué)影像［2-3］、面部識(shí)別［4］等領(lǐng)域均有著廣泛應(yīng)用。

腹部包含人體的肝、膽、胰、脾等臟器，磁共振成像（Magnetic Resonance Imaging，MRI）能夠?qū)Σ煌母共科鞴俜祷夭煌l率的信號(hào)，明確病變的程度范圍及其特征［5］。醫(yī)生可通過(guò)腹部MRI 影像進(jìn)行有效的病原診斷，有利于病人及早發(fā)現(xiàn)問題，并及早提醒病人腹部病變位置。超分辨率可以在現(xiàn)有設(shè)備條件下獲得特征明顯、細(xì)節(jié)清晰、更有利于輔助醫(yī)生診斷的高清腹部MRI影像。

SR 屬于不適定問題，即一張LR 圖像重建后會(huì)獲取多張可能的HR 圖像［6］，不存在唯一解，因此重建圖像質(zhì)量受到很大的限制。傳統(tǒng)的SR 算法有插值法［7-8］和重建法［9-10］，由于復(fù)雜度較低，適應(yīng)性較弱，獲得的重建圖像極易出現(xiàn)失真和棋盤偽影等現(xiàn)象。伴隨著神經(jīng)網(wǎng)絡(luò)的不斷發(fā)展，當(dāng)前主流基于神經(jīng)網(wǎng)絡(luò)的超分辨率算法采用網(wǎng)絡(luò)末端上采樣策略，該策略將網(wǎng)絡(luò)分為特征提取和特征上采樣兩個(gè)部分，先在計(jì)算復(fù)雜度較低的LR空間提取特征，再將特征輸入位于網(wǎng)絡(luò)末端的上采樣層獲取重建后的SR 圖像。Shi等［11］在使用亞像素卷積層實(shí)現(xiàn)實(shí)時(shí)圖像視頻超分辨率（real-time single image and video super-resolution using an Efficient Sub-Pixel Convolutional Neural network，ESPCN）中提出了能夠放在網(wǎng)絡(luò)末端實(shí)現(xiàn)超分辨率圖像重建過(guò)程的亞像素卷積層（Pixel Shuffle）；Hu等［12］在任意超分辨率放大網(wǎng)絡(luò)（Magnification-arbitrary network for Super-Resolution，Meta-SR）中提出了能夠?qū)崿F(xiàn)任意尺度上采樣的多尺度上采樣層（Meta-Upscale Module）。這兩種算法通過(guò)改進(jìn)上采樣層，均有效提升了網(wǎng)絡(luò)的重建效果。而Lim等［13］提出的單圖像增強(qiáng)型深度殘差超分辨率網(wǎng)絡(luò)（Enhanced Deep residual networks for single image Super-Resolution，EDSR）去除了殘差塊的批量標(biāo)準(zhǔn)化層（Batch Normalization，BN），減小了網(wǎng)絡(luò)尺寸；Yu 等［14］提出的寬殘差超分辨率網(wǎng)絡(luò)（WiDe activation for efficient and accurate image Super-Resolution，WDSR）拓寬了網(wǎng)絡(luò)寬度以增加流入深層的特征，均有效提升了圖像的重建質(zhì)量。但是以上網(wǎng)絡(luò)未充分識(shí)別圖像的顯著信息［15］，這也限制了其性能的進(jìn)一步提升。由Zhang 等［16］提出的深層殘差通道注意力超分辨率網(wǎng)絡(luò)（image super-resolution using very deep Residual Channel Attention Network，RCAN）認(rèn)為僅通過(guò)堆疊網(wǎng)絡(luò)深度無(wú)法進(jìn)一步提升重建圖像的質(zhì)量，將壓縮激勵(lì)網(wǎng)絡(luò)（Squeeze and Excitation network，SE-net）［17］提出的通道注意力機(jī)制引入超分辨率任務(wù)，通過(guò)學(xué)習(xí)圖像各通道特征間的相互依賴性自適應(yīng)調(diào)整提取到的特征，成功提升了網(wǎng)絡(luò)的性能表現(xiàn)，為超分辨率圖像重建貢獻(xiàn)了新的思路。

受RCAN 啟發(fā)，本文提出了基于并行通道-空間注意力的腹部MRI 影像多尺度超分辨率重建網(wǎng)絡(luò)（abdominal MRI Image multi-scale Super-Resolution reconstruction network based on Parallel channel-spatial Attention mechanism，PASR）。PASR

構(gòu)造了新的并行通道-空間注意力殘差塊，利用拓寬的卷積層提取特征，優(yōu)化了通道注意力模塊，能夠更好地捕捉各通道特征相互依賴性，并添加了尺寸更小的空間注意力模塊以學(xué)習(xí)圖像重點(diǎn)區(qū)域與高頻信息的相關(guān)性。通過(guò)拓寬后的特征提取層使豐富的全局圖像特征流入注意力模塊進(jìn)行自適應(yīng)調(diào)整，提升了腹部MRI影像超分辨率重建時(shí)的細(xì)節(jié)收益。為了方便醫(yī)生診療使用，該算法在網(wǎng)絡(luò)末端應(yīng)用多尺度上采樣層，使得網(wǎng)絡(luò)在更少的參數(shù)下實(shí)現(xiàn)對(duì)腹部MRI影像的多尺度超分辨率重建。實(shí)驗(yàn)結(jié)果表明，并行通道-空間注意力殘差塊與多尺度上采樣層結(jié)合使用的效果顯著，與WDSR、RCAN 等算法相比，PASR 在峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）和結(jié)構(gòu)相似性（Structural SIMilarity index，SSIM）指標(biāo)上取得了更好的結(jié)果。

1 相關(guān)工作

1.1 注意力機(jī)制

注意力機(jī)制是當(dāng)前計(jì)算機(jī)視覺領(lǐng)域的熱點(diǎn)問題，就像人類會(huì)選擇性地關(guān)注圖像信息顯著的部分，神經(jīng)網(wǎng)絡(luò)也可以通過(guò)對(duì)顯著信息的識(shí)別以確定圖像所表達(dá)的具體意義［15］。腹部MRI 圖像細(xì)節(jié)相較自然圖像而言更加復(fù)雜，高低頻信號(hào)對(duì)比明顯，辨識(shí)度不及彩色圖像，實(shí)際診斷中需要重建圖像展現(xiàn)更清晰的腹部周邊組織形狀。雖然卷積網(wǎng)絡(luò)已經(jīng)在深度學(xué)習(xí)中體現(xiàn)了其高性能，但是標(biāo)準(zhǔn)卷積神經(jīng)網(wǎng)絡(luò)的卷積核是平移不變的，所以卷積核會(huì)平等對(duì)待不同區(qū)域不同通道的特征［18］，這導(dǎo)致網(wǎng)絡(luò)很難利用上下文信息來(lái)學(xué)習(xí)到有效的特征；而引入注意力機(jī)制可以幫助網(wǎng)絡(luò)學(xué)習(xí)特征通道的相互依賴性以及高頻信息與圖像空間位置的相關(guān)性，有效提升網(wǎng)絡(luò)的性能。

注意力機(jī)制主要有通道注意力（Channel Attention，CA）和空間注意力（Spatial Attention，SA），分別在通道維度和空間維度上強(qiáng)調(diào)對(duì)任務(wù)有用的圖像特征信息［19］。SE-net提出的SE模塊如圖1 所示，用于計(jì)算通道注意力。SE 模塊采用全局平均池化層（Global Average Pooling，GAP）［20］對(duì)輸入維度為h×w×C的特征信息在h×w維度上壓縮獲取特征描述符v∈R1×1×C，再通過(guò)由全連接層和激活函數(shù)組成的門控機(jī)制來(lái)生成注意力值CA，最終通過(guò)乘法將CA逐通道加權(quán)到輸入特征上，獲取對(duì)關(guān)鍵信息相應(yīng)程度更高的通道特征圖，有效提升了分類任務(wù)的準(zhǔn)確性。然而SE-net只根據(jù)通道維度的權(quán)重對(duì)特征進(jìn)行調(diào)整，忽略了特征空間維度的重要性。

圖1 SE模塊結(jié)構(gòu)Fig.1 SE module structure

Woo 等［21］提出的卷積塊注意力模塊（Convolutional Block Attention Module，CBAM）除了采用通道注意力之外，還設(shè)計(jì)了空間注意力模塊，如圖2 所示。先使用GAP 和全局最大池化層（Global Max Pooling，GMP）在通道維度上壓縮輸入特征以獲取特征描述符favg、fmax∈Rh×w×1，級(jí)聯(lián)后通過(guò)全連接層和Sigmoid 激活函數(shù)計(jì)算二維空間注意力SA，最終與輸入特征相乘，能夠強(qiáng)調(diào)空間維度上對(duì)任務(wù)更有效的圖像特征區(qū)域。CBAM 同時(shí)應(yīng)用通道和空間注意力，成功提升了圖像分類任務(wù)的準(zhǔn)確性。

圖2 CBAM的空間注意力模塊Fig.2 Spatial attention module of CBAM

本文結(jié)合通道注意力與空間注意力設(shè)計(jì)了注意力模塊，旨在使網(wǎng)絡(luò)獲取對(duì)關(guān)鍵信息響應(yīng)程度更高的通道特征圖，強(qiáng)調(diào)含有豐富高頻信息的圖像區(qū)域，減少冗余低頻信息的傳遞，進(jìn)而提升重建圖像的細(xì)節(jié)紋理效果。

1.2 寬殘差超分辨率網(wǎng)絡(luò)

WDSR 在超分辨率的重建效果上取得了巨大的提升，該算法采用了網(wǎng)絡(luò)末端上采樣策略，主要針對(duì)EDSR 的特征提取部分進(jìn)行了改進(jìn)。網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 WDSR網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Network structure of WDSR

WDSR 認(rèn)為激活函數(shù)ReLU（Rectified Linear Unit）對(duì)特征從淺層到深層的流動(dòng)造成了阻礙，若在ReLU 前利用卷積層將特征圖的通道數(shù)增多，可以有效提升網(wǎng)絡(luò)的性能。因此WDSR 提出了改進(jìn)后的殘差塊WDSR-A，結(jié)構(gòu)如圖4 所示。WDSR-A 將3×3 卷積核的寬度由64 拓寬到192，同時(shí)在每個(gè)3×3 卷積層后采用權(quán)重歸一化（Weight Normalization，WN）層代替BN層以加速網(wǎng)絡(luò)收斂，降低了過(guò)寬網(wǎng)絡(luò)的訓(xùn)練難度。

圖4 WDSR-A殘差塊Fig.4 WDSR-A residual block

網(wǎng)絡(luò)先使用3×3卷積層提取輸入圖像的淺層特征，通過(guò)遞歸殘差塊（Residual Body）學(xué)習(xí)到圖像的高級(jí)特征后再使用Pixel Shuffle 層將提取到的圖像特征上采樣處理，同樣將低分辨率圖像通過(guò)Pixel Shuffle 層上采樣處理后與遞歸網(wǎng)絡(luò)學(xué)習(xí)到的特征疊加輸出結(jié)果。

本文在殘差塊內(nèi)應(yīng)用寬殘差網(wǎng)絡(luò)提取特征，使得注意力模塊學(xué)習(xí)到更多的上下文信息，使對(duì)重建更有效的特征能夠流入網(wǎng)絡(luò)深層。

1.3 上采樣層

在SR 中，常用的上采樣層有反卷積層［22］和Pixel Shuffle層。如圖5 所示，反卷積層通過(guò)先補(bǔ)充零值以執(zhí)行卷積來(lái)增加圖像尺寸，但是容易產(chǎn)生棋盤偽影，影響重建效果。

如圖6所示，Pixel Shuffle 層也是端到端學(xué)習(xí)的上采樣層，通過(guò)卷積操作生成多個(gè)通道，最后為特征通道重新排序以獲取最終的重建圖像［11］。與反卷積層相比，Shuffle 層具有較大的感受野，能夠提供更多的上下文信息，但是Shuffle層的感受野分布不均勻，這導(dǎo)致重建圖像邊界可能會(huì)出現(xiàn)畸變。

圖5 反卷積層工作原理Fig.5 Working principle of deconvolution layer

圖6 Pixel Shuffle層工作原理Fig.6 Working principle of Pixel Shuffle

多尺度上采樣層結(jié)構(gòu)如圖7 所示。不同于Shuffle 層和反卷積層，多尺度上采樣層分為三個(gè)部分：位置投影層（Location Projection）、權(quán)重預(yù)測(cè)層（Weight Prediction）以及特征映射層（Feature Mapping）。通過(guò)三個(gè)模塊的計(jì)算，對(duì)于輸入的任意尺度，多尺度上采樣層都能夠動(dòng)態(tài)預(yù)測(cè)其所需要上采樣卷積核的權(quán)重，使得網(wǎng)絡(luò)無(wú)需保存每個(gè)尺度所對(duì)應(yīng)模型的權(quán)重，實(shí)現(xiàn)對(duì)輸入低分辨率圖像的任意尺度超分辨率放大。

圖7 多尺度上采樣層Fig.7 Meta-upscale module

2 基于注意力機(jī)制的多尺度圖像重建網(wǎng)絡(luò)

2.1 改進(jìn)思想

RCAN 將通道注意力機(jī)制引入了超分辨率任務(wù)，取得了較優(yōu)的結(jié)果，但網(wǎng)絡(luò)沒有學(xué)習(xí)圖像各位置特征之間的相關(guān)性，未強(qiáng)調(diào)富含高頻信息的圖像區(qū)域，只能完成單尺度超分辨率任務(wù)，限制了性能的提升和實(shí)際應(yīng)用效果。本文提出了基于并行通道-空間注意力的腹部MRI 多尺度超分辨率重建網(wǎng)絡(luò)（PASR），設(shè)計(jì)了并行通道-空間注意力殘差塊，將殘差塊內(nèi)提取特征的卷積層拓寬，允許更多的上下文信息流入并行通道-空間注意力模塊，以使網(wǎng)絡(luò)提取有效特征，減少了冗余信息的傳遞，同時(shí)在每個(gè)卷積層后添加WN 層以保證網(wǎng)絡(luò)的收斂效率。最后，結(jié)合多尺度上采樣層，實(shí)現(xiàn)了單模型多尺度超分辨率，增加了網(wǎng)絡(luò)的靈活可應(yīng)用性。

2.2 PASR

2.2.1 網(wǎng)絡(luò)結(jié)構(gòu)

PASR 網(wǎng)絡(luò)主體結(jié)構(gòu)如圖8 所示，采用網(wǎng)絡(luò)末端上采樣策略，包含用于提取淺層特征的3×3卷積層、遞歸殘差組、用于全局殘差學(xué)習(xí)的跳層連接和用于重建圖像的多尺度上采樣層。遞歸殘差組由8個(gè)殘差組（Residual Group，RG）和用于控制特征通道數(shù)的3×3 卷積層構(gòu)成。每個(gè)殘差組包含10 個(gè)并行通道-空間注意力殘差塊和1 個(gè)用于局部殘差學(xué)習(xí)的跳層連接。

網(wǎng)絡(luò)采用低分辨率圖像ILR作為輸入，先通過(guò)3×3 卷積層提取淺層特征F0：

其中：HSF代表3×3 卷積層；F0也被用于全局殘差學(xué)習(xí)。將F0輸入遞歸殘差組，計(jì)算完成后與F0疊加得到FDF，有：

其中，HBody代表遞歸殘差組。通過(guò)多尺度上采樣層映射特征，最終輸出超分辨率圖像ISR：

其中，HMeta代表多尺度上采樣層。為了保證網(wǎng)絡(luò)的簡(jiǎn)潔性以避免繁瑣的訓(xùn)練，PASR 在訓(xùn)練中采用L1 損失來(lái)對(duì)網(wǎng)絡(luò)進(jìn)行優(yōu)化，有：

其中：HPASR代表PASR 算法；IHR代表HR 圖像；θ代表PASR 網(wǎng)絡(luò)的參數(shù)。通過(guò)計(jì)算每一個(gè)訓(xùn)練期間（epoch）迭代SR 和HR之間的L1損失來(lái)優(yōu)化PASR的參數(shù)。

圖8 PASR網(wǎng)絡(luò)結(jié)構(gòu)Fig.8 Network structure of PASR

2.2.2 并行通道-空間注意力殘差塊

并行通道-空間注意力殘差塊（Parallel channel-spatial Attention Residual Block，PARB）結(jié)構(gòu)如圖9 所示。以第g組第m個(gè)殘差塊為例，維度為h×w×64 的特征在輸入網(wǎng)絡(luò)后先經(jīng)過(guò)拓寬后的特征提取層，有：

其中：δ代表Sigmoid 激活函數(shù)；ωU和ωD分別代表下采樣和上采樣卷積層的參數(shù)集。再使用GAP 和GMP 將輸入特征Z在通道維度上壓縮成兩個(gè)特征描述符favg、fmax∈Rh×w×1。并利用空洞卷積相較普通卷積層在相同的尺寸下感受野更大的特性［23］，將favg、fmax級(jí)聯(lián)后通過(guò)空洞率為2 的空洞卷積層（Dilation Conv），使網(wǎng)絡(luò)學(xué)習(xí)到可以檢測(cè)目標(biāo)區(qū)域的特征信息，最后通過(guò)Sigmoid 函數(shù)獲取二維的空間注意力圖SA，SA的計(jì)算式如下：

其中：δ代表Sigmoid激活函數(shù)；Hconv代表空洞率為2、卷積核尺寸為3×3 的空洞卷積層。將SA與CA分別與殘差塊內(nèi)學(xué)習(xí)到的特征Z相乘后疊加輸出，有：

其中，F(xiàn)g，m代表第g組第m個(gè)殘差塊的最終輸出。

圖9 并行通道-空間注意力殘差塊Fig.9 Parallel channel-spatial attention residual block

與RCAN 的殘差塊相比，PARB 同時(shí)應(yīng)用了CA 和SA 機(jī)制，并拓寬特征提取層以增加流入注意力模塊的特征信息，在每個(gè)卷積層后添加了WN 層以加速網(wǎng)絡(luò)收斂。此外，在CA 模塊內(nèi)添加了GMP 層以獲取各特征通道的最大響應(yīng)值描述符vmax，配合GAP層能夠獲取更完整的特征通道數(shù)值信息。相較于解決分類任務(wù)的CBAM 的注意力模塊，PARB 的SA 模塊中采用空洞率為2 的空洞卷積層合并特征描述符，縮小卷積核尺寸的同時(shí)獲取了相同大小的感受野，并通過(guò)實(shí)驗(yàn)采用了更適合超分辨率任務(wù)的并行模塊設(shè)計(jì)。因此，PARB 能夠?qū)W習(xí)復(fù)雜的圖像特征，通過(guò)并行通道-空間注意力模塊學(xué)習(xí)各位置通道特征的相互聯(lián)系性并進(jìn)行相應(yīng)調(diào)整，有效增強(qiáng)了特征的表達(dá)能力，使其在上采樣中能夠恢復(fù)更多的紋理細(xì)節(jié)。

2.2.3 多尺度上采樣層

在網(wǎng)絡(luò)末端使用多尺度上采樣層，首先通過(guò)位置投影層在LR上定位每個(gè)像素對(duì)應(yīng)的SR的像素位置：

其中：T代表轉(zhuǎn)換函數(shù)；代表向下取整函數(shù)。在得到SR 的像素點(diǎn)(i，j)對(duì)應(yīng)的LR 像素點(diǎn)(i′，j′)后，權(quán)重預(yù)測(cè)層使用一個(gè)簡(jiǎn)單的預(yù)測(cè)網(wǎng)絡(luò)來(lái)預(yù)測(cè)像素點(diǎn)(i，j)在不同縮放尺度下對(duì)應(yīng)的上采樣卷積核的權(quán)重W，計(jì)算式如下：

其中：W(i，j)代表SR 圖像中像素(i，j)的權(quán)重；ui，j代表與(i，j)相關(guān)的矢量；φ代表權(quán)重預(yù)測(cè)網(wǎng)絡(luò)；θ代表權(quán)重預(yù)測(cè)網(wǎng)絡(luò)的參數(shù)集。最后，通過(guò)特征映射層將網(wǎng)絡(luò)從(i′，j′)提取到的特征FDF投影到對(duì)應(yīng)的像素點(diǎn)(i，j)，獲得最終超分辨率圖像，有

其中，?代表特征映射操作。通過(guò)結(jié)合多尺度上采樣層，PASR 訓(xùn)練好的單個(gè)模型即可實(shí)現(xiàn)對(duì)LR 圖像的×2、×3、×4 尺度超分辨率重建。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)參數(shù)

本文實(shí)驗(yàn)采用的數(shù)據(jù)集是開源的Kaggle數(shù)據(jù)庫(kù)中的腹部MRI 數(shù)據(jù)集，并從中選取了縱隔清晰、高低頻信號(hào)對(duì)比明顯、富含紋理細(xì)節(jié)的440 張360×360 高質(zhì)量圖像進(jìn)行實(shí)驗(yàn)，其中400 張用于訓(xùn)練、40 張用于測(cè)試，高分辨率圖像通過(guò)雙三次插值法下采樣2、3、4 倍得到LR 圖像，并采用文獻(xiàn)［13］提出的數(shù)據(jù)增強(qiáng)方法，對(duì)每個(gè)LR圖像執(zhí)行水平翻轉(zhuǎn)等幾何變換以獲取額外的7 張LR 圖片，最終將訓(xùn)練集擴(kuò)大至3 200 張圖像。同時(shí)，從測(cè)試集中選出20張圖像作為每個(gè)訓(xùn)練epoch 的驗(yàn)證集。將LR 圖像隨機(jī)裁剪后得到尺寸為30×30的補(bǔ)丁輸入網(wǎng)絡(luò)進(jìn)行訓(xùn)練。在每個(gè)epoch 訓(xùn)練結(jié)束后，將驗(yàn)證集輸入模型以跟蹤該epoch 的訓(xùn)練結(jié)果，在200 個(gè)epoch 訓(xùn)練完成后使用測(cè)試集進(jìn)行最終測(cè)試。由額外的LR 圖像重建得到的SR 圖像經(jīng)逆變換后再與HR圖像對(duì)比計(jì)算PSNR和SSIM值。

本文算法使用ADAM 優(yōu)化器，初始參數(shù)設(shè)置為β1=0.9，β2=0.999，ε=10-8；使用mini-batch 策略訓(xùn)練，batch 的尺寸設(shè)為16；初始學(xué)習(xí)率為10-4；軟件采用PyTorch V0.4.1 框架，在一塊內(nèi)存為12 GB 的NVIDIA Tesla M40 上訓(xùn)練共計(jì)48 h。

3.2 對(duì)比實(shí)驗(yàn)分析

3.2.1 改進(jìn)注意力殘差塊的對(duì)比實(shí)驗(yàn)

為了進(jìn)一步驗(yàn)證同時(shí)應(yīng)用通道-空間注意力機(jī)制的作用，該組實(shí)驗(yàn)在PASR 的網(wǎng)絡(luò)主體上，分別使用去掉SA 模塊僅有CA 模塊的PARB、去掉CA 模塊僅有SA 模塊的PARB 與完整的PARB作為殘差塊進(jìn)行效果對(duì)比。表1給出了實(shí)驗(yàn)結(jié)果，可以看到完整的PARB 在3 個(gè)尺度下的PSNR 和SSIM 指標(biāo)均達(dá)到了最高，這也表明了應(yīng)用通道-空間注意力機(jī)制有效提升了重建圖像質(zhì)量。

表1 殘差塊各種改進(jìn)方法的PSNR和SSIMTab.1 PSNR and SSIM of various improvement methods of residual block

本文同時(shí)對(duì)PARB 內(nèi)SA 模塊和CA 模塊的組合方式進(jìn)行了探討。該組實(shí)驗(yàn)在PASR 的網(wǎng)絡(luò)主體上分別對(duì)先SA 再CA（串行）、先CA 再SA（串行）和SA、CA 并行計(jì)算的PARB 進(jìn)行了效果對(duì)比。表2 給出了不同注意力模塊組合方式的實(shí)驗(yàn)結(jié)果?？梢钥吹剑⑿羞B接CA 模塊和SA 模塊的方式在不同尺度下均取得了最好的效果，表現(xiàn)最優(yōu)。

表2 PARB內(nèi)CA、SA模塊不同組合的PSNR和SSIMTab.2 PSNR and SSIM of different combinations of CA and SA modules in PARB

3.2.2 網(wǎng)絡(luò)收斂

該組實(shí)驗(yàn)對(duì)RCAN和PASR訓(xùn)練的收斂情況進(jìn)行了對(duì)比。如圖10 所示，上下兩條曲線分別為RCAN 和PASR 的L1 損失收斂曲線。PASR 算法在25 個(gè)epoch 出現(xiàn)明顯收斂，最終L1損失為1.80，RCAN 算法在第50 個(gè)epoch 時(shí)才出現(xiàn)明顯收斂，最終L1 損失為2.01。PASR 算法的損失小于RCAN 算法，相較于RCAN，通過(guò)在殘差塊內(nèi)卷積層后添加WN層以及應(yīng)用多尺度上采樣層，PASR算法的收斂性更好。

3.2.3 和其他算法的對(duì)比

為了測(cè)試PASR 算法的性能，本文將PASR 與傳統(tǒng)的雙線性插值法（Bilinear）、雙三次插值法（Bicubic），和基于神經(jīng)網(wǎng)絡(luò)的SRCNN、VDSR、EDSR、RCAN，以及同樣可以實(shí)現(xiàn)單模型多尺度上采樣的MDSR算法［13］進(jìn)行了效果對(duì)比。

表3 給出了尺度分別為×2、×3、×4 時(shí)不同算法的PSNR 值和SSIM 指標(biāo)。與同樣可以實(shí)現(xiàn)單模型多尺度超分辨率的MDSR相比，PASR在各個(gè)尺度上均提升了1～2 dB的PSNR值。與其他方法相比，RCAN和PASR的結(jié)果更為優(yōu)秀，而PASR在各個(gè)尺度上的指標(biāo)均比RCAN要高，這是由于PASR添加了空間注意力模塊，使網(wǎng)絡(luò)重點(diǎn)關(guān)注圖像中高頻信息較為豐富的區(qū)域。

圖10 PASR和RCAN的Loss曲線Fig.10 Loss curves of PASR and RCAN

表3 不同算法在測(cè)試集上的PSNR和SSIMTab.3 PSNR and SSIM of different algorithms on test set

為了客觀顯示PASR 與各個(gè)算法的重建效果，本文從測(cè)試集中選取了2幅高分辨率圖像通過(guò)Bicubic 下采樣4倍后分別輸入以上8 個(gè)網(wǎng)絡(luò)，重建效果如圖11 所示。由圖11 可以看出，相較對(duì)比的7 種方法，從視覺效果上來(lái)看，PASR 算法效果提升明顯，且與RCAN 相比，在圖像的細(xì)節(jié)上取得了更逼真的還原度。

圖11 不同算法重建效果對(duì)比Fig.11 Comparison of reconstruction effects of different algorithms

3.3 模型尺寸分析與殘差組數(shù)量的選取

該組實(shí)驗(yàn)對(duì)EDSR、RCAN 和PASR 模型的尺寸進(jìn)行了分析，其中PASR 分別采用堆疊6 個(gè)殘差組、8 個(gè)殘差組（即本文方法）及10 個(gè)殘差組的模型進(jìn)行對(duì)比。表4 給出了5 種模型結(jié)構(gòu)的參數(shù)數(shù)量與不同尺度的PSNR 值。表4數(shù)據(jù)表明，堆疊8 個(gè)殘差組的PASR 和堆疊10 個(gè)殘差組的PASR 的性能相近，均比只堆疊6 個(gè)殘差組的PASR 性能要好，由于堆疊10 個(gè)殘差組所需參數(shù)較多且效果提升不明顯，最終PASR 選取殘差組數(shù)量為8，其參數(shù)數(shù)量相較于RCAN 稍多，但只需要1 個(gè)模型即可實(shí)現(xiàn)3 個(gè)尺度的圖像超分辨率重建，而RCAN 每個(gè)上采樣尺度都需要訓(xùn)練單獨(dú)的模型。與EDSR 和RCAN 相比，PASR在模型尺寸和性能之間實(shí)現(xiàn)了更好的權(quán)衡。

表4 不同模型參數(shù)數(shù)量以及不同尺度下的PSNRTab.4 Different models’parameter numbers and their PSNRs at different scales

4 結(jié)語(yǔ)

本文針對(duì)腹部MRI 影像提出了一種基于并行通道-空間注意力機(jī)制的多尺度超分辨率算法，該算法設(shè)計(jì)了新的殘差塊，將網(wǎng)絡(luò)拓寬，并通過(guò)添加權(quán)重歸一化層以保證網(wǎng)絡(luò)的運(yùn)行效率；構(gòu)建了新的并行通道-空間注意力模塊，與拓寬后的網(wǎng)絡(luò)結(jié)合能夠有效強(qiáng)調(diào)圖像重點(diǎn)特征，減少網(wǎng)絡(luò)內(nèi)部冗余信息的傳遞；最后，結(jié)合多尺度上采樣層，達(dá)到了性能和尺寸的最佳權(quán)衡。在這樣的設(shè)計(jì)下，PASR 提升了重建效果，實(shí)現(xiàn)了針對(duì)腹部MRI影像的單模型多尺度超分辨率重建。在之后的研究中，將嘗試新的損失計(jì)算方法以及網(wǎng)絡(luò)結(jié)構(gòu)，探討收斂性更強(qiáng)、重建效果更好的超分辨率算法。