司菁菁，張 寧，趙 熙，程銀波

(1.燕山大學 信息科學與工程學院，河北 秦皇島 066004； 2.河北省信息傳輸與信號處理重點實驗室，河北 秦皇島 066004； 3.河北農業(yè)大學 海洋學院，河北 秦皇島 066003)

0 引言

計算機斷層掃描(Computed Tomography,CT)是一種無損檢測技術，通過對被檢測目標進行X射線斷層掃描，根據獲得的投影數據，運用特定的數學算法，重建出被檢測目標的斷層圖像。目前，CT技術已經被廣泛應用于醫(yī)學、工業(yè)無損檢測、生物學、考古學等領域。在醫(yī)學應用中，CT圖像能夠為醫(yī)生提供重要的參考數據，用以預防、診斷、治療疾病。然而，X射線會產生電離輻射。當輻射達到一定量時，會破壞人體內某些大分子結構，對人體細胞造成損傷。研究表明，人體的損傷程度與受到的輻射劑量成正比[1-2]。因此，降低CT掃描過程使用的X射線的劑量，成為降低人體傷害的一個重要手段。

Naidich等人[3]提出了低劑量CT(Low-Dose CT,LDCT)的概念。與標準劑量相比，當被檢查者所接受的X射線劑量降低20%以上時，認為是劑量降低。然而，X射線劑量的降低會使得重建圖像中存在大量的噪聲與偽影，破壞圖像的細節(jié)與結構，降低圖像的質量與可讀性，甚至會影響醫(yī)生的診斷。因此，低劑量CT圖像的重建成為了一個具有重要實際應用意義的科研課題。

現有的低劑量CT圖像重建方法主要分為三大類：投影域濾波算法、迭代重建算法和后處理方法。其中，投影域濾波算法是對投影域的原始數據進行濾波處理，然后用濾波反投影(Filter Back-Projection,FBP)算法[4]重建CT圖像。由于投影域上每一點的數據中都包含了 CT 圖像的全局信息，在投影域上每一點上的操作都會在 CT 圖像上有所表現，因此重建過程容易引入新的偽影。迭代重建算法利用圖像的先驗信息，從投影域直接重建高質量的CT圖像。學者們先后提出了基于總變分[5]、字典學習[6]和低秩矩陣分解[7]等的迭代重建算法，獲得了優(yōu)于FBP的重建性能[8-9]。然而，該類算法模型復雜度較高、計算量較大，會導致計算資源消耗過大。后處理類方法對初步重建的低劑量CT圖像進行處理，盡量抑制噪聲和偽影，盡可能多地保持原有重建圖像中的邊緣、紋理等細節(jié)特征，且不引入新的偽影。

近年來，隨著深度學習的興起，其優(yōu)越的特征提取能力受到了醫(yī)學圖像處理領域越來越多學者的關注[10]。在低劑量CT圖像后處理方向，深度學習可以有效減少CT圖像中的噪聲，便于醫(yī)生判斷出細微病變[11-14]。Chen等人[15]構造了一種用于低劑量CT圖像后處理的淺層卷積神經網絡(Convolutional Neural Network,CNN)，獲得了優(yōu)于傳統(tǒng)算法的重建效果。然而，該網絡只包含三個卷積層，不足以充分提取圖像特征。Badretale等人[16]將網絡層數增加到8層，重構效果有所提升，但是對醫(yī)學圖像中細節(jié)信息的提取仍不夠充分。Chen等人[17]采用編解碼器結構提出了殘差編解碼卷積神經網絡(Residual Encoder-Decoder Convolutional Neural Network,RED-CNN)實現低劑量CT圖像后處理。該網絡可以消除低劑量CT圖像中的偽影，但是重建圖像的清晰度仍然不夠。Han等人[18]在RED-CNN的基礎上，通過在標準劑量CT圖像中加入高斯信號來模擬病變、構造數據集，使用observer損失函數，通過提高對圖像中有無病灶的判別精度來優(yōu)化去噪網絡。然而，該方法適用于具有特定類型病灶的CT圖像。為了克服單一尺度網絡在提取CT圖像細節(jié)特征方面的不足，劉文斌等人[19]提出了利用多尺度特征與殘差網絡的低劑量CT圖像后處理網絡。該網絡通過改變不同卷積層中卷積核的尺寸來提取圖像中不同尺度的信息。然而，該網絡的深度限制了重建性能，細節(jié)特征的提取能力有待進一步提高。Jiao等人[20]提出了基于頻率劃分的生成式對抗網絡，分別提取LDCT中的高頻特征和低頻特征。該網絡可以很好地去除噪聲，保留結構信息，但是網絡結構過于復雜，運行時間長。

針對以上問題，本文引入圖像金字塔模型，結合殘差結構，設計了一種基于多尺度雙層CNN的低劑量CT圖像后處理方案。該方案在圖像金字塔模型的多尺度框架下，利用雙層殘差網絡提取不同尺度下的圖像細節(jié)特征，有效去除低劑量CT圖像中的噪聲與偽影，提高重建圖像的清晰度。利用人體胸部CT與腹部CT圖像的實驗結果表明，本文方案可以很好地提取邊緣、紋理特征，保留圖像中的細節(jié)信息；在重建圖像質量的客觀指標、主觀視覺質量和時效方面均優(yōu)于現有的基于RED-CNN、CNN的低劑量CT圖像后處理方案。

1 問題描述與圖像金字塔模型

理論上，低劑量CT圖像與標準劑量CT圖像之間的關系可以表示為

X=F(Y)，

(1)

其中，Y∈Rm×n表示標準劑量CT圖像，F(·)表示受到量子噪聲影響而使得標準劑量CT圖像質量下降的過程，X∈Rm×n表示低劑量CT圖像，含有大量條形偽影和噪聲。

由低劑量CT圖像X重建標準劑量CT圖像Y的過程可以表示為

Y=F-1(X)≈H(X)，

(2)

其中，H(·)表示F(·)的逆映射F-1(·)的最佳近似。由低劑量CT圖像X重建標準劑量CT圖像Y的優(yōu)化問題可以表示為

(3)

本文引入圖像金字塔模型，基于神經網絡，結合多尺度特征，實現該優(yōu)化問題的求解。

圖像金字塔是由一系列分辨率逐級降低、以金字塔形狀排列的圖像構成的集合，是進行圖像多尺度分析的一種簡單有效的模型。例如，以一幅m×n像素的圖像作為金字塔的第一層，若對該圖像進行下采樣，則可以得到一幅像素數為m/2×n/2的圖像，作為金字塔的第二層。以此類推，在金字塔中每增加一層，圖像行、列像素數均降為前一層的1/2，直到層數滿足需求為止。圖1顯示了本文擬采用的層數為2的圖像金字塔模型。

圖1 層數為2的圖像金字塔模型Fig.1 Image pyramid model with two layers

2 基于多尺度CNN的低劑量CT圖像后處理方案

2.1 基本塊

與普通CNN相比，殘差網絡可以實現更深層次的網絡結構。殘差網絡一般由基本塊(Basic block)構成。通用的基本塊結構如圖2(a)所示，包含3個卷積層(Conv+BN+ReLU)和1個平均池化層。卷積層由卷積(Conv)、批歸一化(Batch Norm,BN)和ReLU激活函數實現。

圖2 基本塊結構Fig.2 Structure of basic block

本文設計的多尺度CNN以低劑量CT圖像為輸入，以重建的高質量CT圖像為輸出。然而，若在基本塊中包含池化，則會壓縮圖像特征，甚至會丟失圖像中的重要細節(jié)[17]，與本文重建高質量CT圖像的目的相悖。另一方面，在實驗中發(fā)現，與文獻[21]中相同，BN的加入會降低本文網絡輸出圖像的質量。因此，在本文網絡的基本塊中不包含池化與BN。本文采用的基本塊的結構如圖2(b)所示。

若令fi(·)表示基本塊中的第i個Conv+ReLU操作，則

fi(Ii)=g(Wi*Ii+bi),

(4)

其中，i=1,2,3，*表示卷積運算，Ii、Wi、bi分別表示第i個Conv+ReLU操作的輸入、卷積核和偏置。g(·)為ReLU激活函數，其表達式為

g(x)=max(0,x)。

(5)

若令I和O分別表示基本塊的輸入和輸出，則基本塊的運算Basicblock(·)可以表示為

O=Basicblock(I)=f3(f2(f1(I)))+I。

(6)

2.2 多尺度CNN的構建

本文構建多尺度雙層CNN (Multi-scale Double-layer CNN,MD-CNN)實現低劑量CT圖像的后處理。該網絡的結構框架如圖3所示?；陔p層圖像金字塔結構，該網絡共包括兩級，以m×n像素的低劑量CT圖像X為輸入，輸出重建的高質量CT圖像Y′。

圖3 本文構建的MD-CNN的具體結構Fig.3 Structure of MD-CNN constructed in this paper

將卷積層Convj的運算表示為

Convj(Ij)=g(Wj*Ij+bj)，(7)

其中，j=1,2,3,4，Ij、Wj、bj分別表示卷積層Convj的輸入、卷積核和偏置。g(·)為激活函數。

MD-CNN的具體運算結構描述如下：

1) 第一級：粗級別重建網絡，包含3個基本塊(BasicBlock1，BasicBlock2，BasicBlock3)和2個卷積層(Conv1和Conv2)。該級網絡的輸入Xdown由X下采樣得到，即

(8)

第一級網絡的輸出X′down為

X′down=Layer1(Xdown)，

(9)

其中，Layer1(·)表示第一級網絡的整體運算，可以具體表示為

X′down=Conv2(Basicblock3(Basicblock2
(Basicblock1(Conv1(Xdown)))))。

(10)

2)第二級：細級別重建網絡，包含3個基本塊(BasicBlock4，BasicBlock5，BasicBlock6)，2個卷積層(Conv3和Conv4)和一個并聯層(Concat)。第一級的輸出X′down通過反卷積運算(DeConv)后，輸入第二級。反卷積運算DeConv(·)可以表示為

DeConv(X′down)=g(W′*X′down+b′)，(11)

其中，W′和b′分別表示反卷積的卷積核和偏置，g(·)為激活函數。反卷積是卷積的逆運算，實質上是將卷積核轉置后對輸入進行卷積操作。

第二級的輸入為X和DeConv(X′down)，輸出Y′可以表示為

Y′=Layer2(X,DeConv(X′down))，

(12)

其中，Layer2(·)表示第二級網絡的整體運算，可以具體表示為

X′=Concat(Conv3(X),DeConv(X′down))，

(13)

Y′=Conv4(Basicblock6(Basicblock5
(Basicblock4(X′))))。

(14)

在MD-CNN中，第一級與第二級分別以具有不同分辨率的圖像Xdown和X為輸入，利用分別構建的CNN子網絡實現不同尺度圖像特征的提取；第一級的輸出通過反卷積操作與Conv3(X)并聯，共同輸入至第二級的基本塊，實現多尺度特征融合，使得深層網絡可以更全面地學習圖像細節(jié)特征，提高重建圖像的質量。

2.3 網絡訓練

令{(Xk,Yk):k=1,2,…,K}表示訓練集，其中(Xk,Yk)表示第k個樣本，Xk和Yk分別表示m×n像素的低劑量CT圖像和對應的標準劑量CT圖像，K為訓練集中的樣本總數。本文設計的MD-CNN的具體訓練過程如算法1所示。

算法1:

輸入：{(Xk,Yk):k=1,2,…,K}，Epoch，Batchsize，Iter；

迭代過程：

Forj=1 to Epoch

Forl=1 to Iter

i++

從訓練集中隨機選取Batchsize個樣本構成Bl={(Xb,Yb):b=1,2,…,Batchsize}；

Forb=1 to Batchsize

Loss1b=LOSS(X′down,b,Ydown,b)

Loss2b=LOSS(Y′b,Yb)

End for

End for

End for

輸出：網絡參數集Δi。

3 實驗結果與分析

3.1 數據集構建

本文采用從Mayo診所癌癥影像檔案庫中下載的320組512×512像素的低劑量CT圖像與對應的標準劑量CT圖像構造實驗數據集D={(Xk,Yk):k=1,2,…,320}，其中Xk和Yk分別表示第k個低劑量CT圖像和相應的標準劑量CT圖像。此數據集中包含256組胸部CT圖像和64組腹部CT圖像。隨機選取其中的196組胸部CT圖像和44組腹部CT圖像進行網絡訓練，以其余的60組胸部CT圖像和20組腹部CT圖像進行測試。

為了提高計算效率，本文對標準劑量CT圖像進行分塊重構：首先，將低劑量CT圖像劃分為32×32像素的重疊圖像塊；然后，逐塊利用MD-CNN進行重建；最后，將重建塊組合成完整的標準劑量CT圖像。為了實現分塊重構，將用于訓練的240組512×512像素的CT圖像劃分成32×32像素的重疊圖像塊，從每組CT圖像中隨機選出10對32×32像素的圖像塊，并進行最大-最小歸一化，從而構成訓練集{(Xk,Yk):k=1,2,…,2 400}。對圖像進行分塊操作不僅可以提高圖像特征提取的效率，還可以擴大數據集，增加樣本的多樣性，有效避免過擬合。

3.2 參數設置

根據實驗經驗，為MD-CNN選用ReLU激活函數。設置算法1中的訓練輪數Epoch為1 000，批量大小Batchsize為16，每輪的迭代次數Iter為15，迭代總次數為15 000。采用kaiming方法[23]初始化網絡參數，并采用Adam優(yōu)化算法實現參數更新Optimizer(·)。將學習率α初始化為10-3。當迭代次數為3 000時，將α降到10-4，并保持不變，直至迭代終止。代價函數LOSS(·)計算均方根誤差(Root Mean Square Error,RMSE)。各級網絡的具體超參數設置如表1所示。其中，S表示卷積核的移動步長(stride)，P表示邊緣填充的像素數(padding)。為了不丟棄原圖像信息并保持圖像大小不變，讓較深網絡層的輸入依舊保持足夠大的信息量，在第一級與第二級中均令P為1。

表1 MD-CNN的超參數設置Tab.1 Setting of hyper-parameters in MD-CNN

3.3 測試結果

為了驗證本文構建的MD-CNN的性能，將其與以下兩種基于深度學習的低劑量CT后處理重建方案進行比較。

1)基于RED-CNN的低劑量CT后處理[17]。該方案是一種基于殘差網絡的、具有較高重建性能的低劑量CT后處理重建算法。網絡采用先卷積后反卷積的編-解碼結構，整體上是一個殘差網絡。在對比實驗中，RED-CNN的網絡結構與超參數均采用[17]中的最優(yōu)設置。

2)基于CNN的低劑量CT后處理。該網絡的結構如圖4所示，卷積層數與MD-CNN相同，但僅為單層結構，且無殘差連接，用以驗證在MD-CNN中引入多尺度CNN的效果。在該網絡中，前11個卷積層的卷積核大小為3×3，通道數為64，與MD-CNN的第一級中各卷積層的設置相同；后11個卷積層的卷積核大小為3×3，通道數為128，與MD-CNN的第二級中各卷積層的設置相同；其余參數與MD-CNN完全一致。

圖4 基于CNN的低劑量CT圖像后處理Fig.4 Post-processing of low-dose CT images based on CNN

采用3.1節(jié)構建的訓練集與測試集分別對RED-CNN、CNN和MD-CNN進行訓練與測試。實驗中，網絡在Python3.7，Pycharm2017上執(zhí)行。計算機硬件配置為Intel Core i5-8300H CPU@2.30GHz，8 GB內存，NVIDIA GeForce GTX 1050 Ti。以峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)，結構相似度(Structural Similarity,SSIM)和均方根誤差作為客觀評價指標，比較三種方案的性能。PSNR值越高、SSIM值越接近1、RMSE值越低，說明重建圖像越接近于標準劑量CT圖像。

表2和表3分別顯示了三種方案在60個胸部測試樣本和20個腹部測試樣本上獲得的平均PSNR、平均SSIM、平均RMSE和平均重建時間。其中，LDCT表示測試集中的低劑量CT圖像。

表2 胸部測試集實驗結果Tab.2 Experimental results of chest test set

表3 腹部測試集實驗結果Tab.3 Experimental results of abdominal test set

由表2和表3可見，對于胸部和腹部測試樣本，MD-CNN獲得的平均PSNR、SSIM和RMSE值均優(yōu)于其他兩種方案，且MD-CNN方案的平均重建時間低于其他兩種方案。以胸部測試樣本為例，MD-CNN獲得的平均PSNR值高于RED-CNN方案1.02 dB，高于CNN方案0.54 dB；MD-CNN的平均重建時間比RED-CNN節(jié)約23.6%，比CNN節(jié)約3.6%。

以代表性胸部CT圖像為例，圖5顯示了基于RED-CNN、CNN和MD-CNN的三種低劑量CT圖像后處理方案獲得的重建圖像PSNR、SSIM和RMSE值隨迭代次數的變化情況。由圖5可見，MD-CNN方案的收斂速度快于其他兩方案，且最終收斂到的結果也優(yōu)于其他兩方案。

圖5 代表性胸部CT圖像重建指標隨迭代次數的變化Fig.5 Dependence of evaluation indices on iterations for a representative chest CT image

為了直觀地比較三種方案重建圖像的質量，圖6展示了代表性胸部CT圖像的重建結果，圖7放大展示了圖6中方框內的局部區(qū)域。

圖6 三種網絡方案重建的胸部CT圖像比較Fig.6 Comparison of chest CT images reconstructed with three methods based on neural networks

圖7 圖6中方框內的放大圖Fig.7 Enlarged blocks in Fig.6

在圖6與圖7中，圖(a)為標準劑量CT圖像(NDCT)，圖(b)為相應的低劑量CT圖像(LDCT)，圖(c)～圖(e)分別為RED-CNN、CNN和MD-CNN三種方案的重建圖像。比較可見，MD-CNN方案能夠有效去除低劑量CT圖像中的噪聲與偽影。與RED-CNN和CNN兩種方案相比，MD-CNN方案的重建圖像中局部細節(jié)更豐富，輪廓更明顯，與標準劑量CT圖像更接近。

3.4 消融實驗

利用消融實驗驗證本文MD-CNN網絡設置的合理性。由于3.3節(jié)中與CNN方案的對比結果已經驗證了MD-CNN雙層結構的有效性，因此這里在雙層網絡結構下，分別改變基本塊的數量和第二級中卷積層的通道數，形成如下6種不同的網絡設置，進行對照實驗：1) 第一級與第二級均不包含基本塊，第二級中Conv3通道數為64，其余各卷積層的通道數為128；2) 第一級與第二級各包含1個基本塊，第二級中Conv3通道數為64，其余各卷積層的通道數為128；3) 第一級與第二級各包含2個基本塊，第二級中Conv3通道數為64，其余各卷積層的通道數為128；4) 第一級與第二級各包含4個基本塊，第二級中Conv3通道數為64，其余各卷積層的通道數為128；5) 第一級與第二級各包含3個基本塊，第二級中Conv3通道數為32，其余各卷積層的通道數為64；6) 第一級與第二級各包含3個基本塊，第二級中Conv3通道數為80，其余各卷積層的通道數為160。

表4以測試集中的60組胸部CT圖像為例，列出了消融實驗中不同網絡設置下獲得的平均PSNR、SSIM、RMSE和平均重建時間。最后一行是采用表1中設置實現的MD-CNN的結果。

表4 不同網絡配置下的胸部測試集實驗結果Tab.4 Experimental results over chest test set under different network configurations

對比配置1～4和MD-CNN的重建結果可見，當第一級與第二級各包含3個基本塊時，網絡重建性能優(yōu)于第一級與第二級各包含1、2、或4個基本塊的情況。然而，基本塊數目的增多會增加圖像重建時間。對比配置5)、6)和MD-CNN的重建結果可見，第二級中各卷積層的通道數越多，重建性能越好，但是通道數的增加會增加圖像重建時間。當第二級中除Conv3外的卷積層通道數大于160后，重建效果增加的不明顯，但重建時間增加明顯，因此不予考慮。

根據消融實驗結果，綜合考慮網絡訓練耗時、內存占用量、圖像重建效果與重建時間，本文構建的MD-CNN在第一級與第二級中各包含3個基本塊，設置第一級中各卷積層的通道數為64，設置第二級中各卷積層的通道數為128。

4 結論

本文引入圖像金字塔模型，設計了一種多尺度雙層CNN(MD-CNN)，提取并融合圖像中不同尺度的結構特征，實現低劑量CT圖像的后處理，有效去除低劑量CT圖像中的噪聲與偽影，提高重建圖像的清晰度。采用Mayo診所癌癥影像檔案庫中的胸部與腹部CT圖像的實驗表明：在重建圖像質量的客觀指標方面，MD-CNN方案優(yōu)于現有的基于RED-CNN、CNN的低劑量CT圖像后處理方案(對于胸部CT樣本，重建圖像的平均PSNR值比RED-CNN提高了1.02 dB，對于腹部CT樣本，重建圖像的平均PSNR值比RED-CNN提高了0.48 dB)；在重建圖像的主觀視覺質量方面，MD-CNN方案的重建圖像更好地去除了低劑量胸部與腹部CT圖像中的噪聲與偽影，保留了更多的細節(jié)結構特征；在時效方面，MD-CNN方案重建一幅512×512像素的胸部CT圖像平均需要1.265 s，低于基于RED-CNN、CNN的后處理方案。

本文構建的多尺度CNN模型在深度方面是可擴展的。若基于多層圖像金字塔結構，構建更深層次的多尺度CNN，則有望進一步提高圖像重建性能。在后續(xù)研究中，需要進一步擴大樣本集的多樣性，以提高并驗證網絡的普遍適用性。