丁 偕,崔浩陽,張敬誼

(萬達信息股份有限公司 數據中心,上海 201112)

1 引言

卷積神經網絡(Convolutional Neural Network,CNN)已經成為圖像分類的重要方法[1],并在醫(yī)學影像領域得到了快速發(fā)展,具體包括甲狀腺癌篩查、乳腺癌診斷、前列腺的Gleason 分級、眼底圖像的異常篩查等方面.不斷改進和創(chuàng)新的CNN 模型,已然成為提高準確率和效率的關鍵,其中池化層是CNN 最重要的組成部分之一.池化層目的在于減少圖像尺寸和參數,提高計算效率,增大感受野以及提高模型的魯棒性.目前最大值池化和平均值池化是在CNN 中被廣泛使用,而這兩種傳統(tǒng)的池化方法雖然處理速度較快,但會引入邊緣光暈、模糊和塊效應.最大值池化是最常用的池化方式,由于其處理過程過于簡單,使得在激活圖上丟失了大量信息,而平均池化會對某些特征圖產生模糊效果[2].雖然這些池化方法是高效簡單的,但是阻礙了網絡學習最優(yōu)模型參數的潛力[3].

本文提出了一種基于小波分解卷積神經網絡,利用小波分解中的下采樣實現(xiàn)對特征圖的池化,從而減少特征信息的丟失,并且通過小波分解能夠獲得特征圖的頻域信息,包括低頻分量和高頻分量[4].而傳統(tǒng)的卷積神經網絡擅長捕獲空間域特征[5,6].因此,通過小波分解可將頻域信息引入到CNN 框架中,使得模型能夠同時學習空域特征和頻域特征,其中小波分解得到的低頻信息作為特征圖池化的結果,而高頻信息通過捷徑連接方式添加到下一層[7].可彌補在池化過程中丟失的細節(jié)特征.最后在Camelyon16 數據集[8]上與最大值池化和平均值池化進行了對比驗證,從而證明了本文方法的正確性.

目前組織病理學診斷是臨床腫瘤診斷的金標準,但是不斷更新的疾病譜系、腫瘤治療手段,以及傳統(tǒng)玻璃切片易損壞等多重因素導致單純依靠病理醫(yī)生已經無法滿足臨床需求.因此隨著GPU和數字影像設備的快速發(fā)展,全視野數字切片(Whole Slide Image,WSI)在醫(yī)學影像領域的快速應用,利用人工智能輔助病理醫(yī)生對數字病理圖像分析,提高病理診斷的效率和一致性,已經成為研究熱點.

由于CNN在各種任務中出色表現(xiàn)[9],所以基本上替代了傳統(tǒng)手工制作高維特征向量.從經典的AlexNet,VGG,ResNet 到DenseNet,原始的CNN 結構已經擴展到更深的體系結構,例如ResNet[7]它通過引入捷徑連接的方法使得網絡模型更深且更易訓練.在受到ResNet的啟發(fā),相繼提出了多種改進的CNN 網絡[10-12]最近的研究工作中證明了CNN 與FV-CNN的組合比單獨使用CNN 可以獲得更高的準確率,Lin 等通過雙線性池化代替全連接層,在視覺識別方面表現(xiàn)出色[13].而CNN 中的池化層是其重要的組成部分,最大值池化和平均值池化是常用的兩種池化方法,雖然它們有效簡單,但是不可避免的丟失了大量的特征信息[3,14].

在頻域方面,利用小波變換處理數字圖像已經得到了廣泛的研究,并取得了很大的成果[15,16].Tian 等利用非向下采用小波變換實現(xiàn)了對微觀物體的三維形貌重建,將物體的頻域信息與三維空間建立關聯(lián),是小波變換在三維重構領域的突出應用[17].小波變換能輕松的獲得圖像的低頻信息和高頻信息,可將頻域信息集成到CNN 模型中,使得CNN 能夠同時學習空域和頻域特征.Liu 等[18]提出多級小波的U-Net 模型,將小波分解和小波重構嵌入到U-Net 架構中,用于圖像復原,但是它不僅對低頻分量進行小波變換,同時也對高頻分量進行小波變換,因此冗余的小波變換極大的增加了計算負擔.

在病理圖像的良惡性分類中,Garud 等[19]通過175 張WSI 訓練測試CNN 模型鑒別乳腺癌良惡性的可靠性,研究結果顯示,準確率可達到0.89.Lu 等[20]提出基于聚類約束的弱監(jiān)督病理圖像良惡性分類,通過計算每個圖塊的注意力得分,對不同得分的圖塊進行聚類操作,最后再訓練一個有監(jiān)督的能夠區(qū)分正負樣本的線性分類器,以提高整個WSI 分類準確率.Mercan等[21]研究證明以計算機為基礎的病理診斷方法具有良好的應用前景,特別是在乳腺癌良惡性分類診斷上.目前,傳統(tǒng)的CNN 網絡對病理圖像進行良惡性分類,主要是學習病理圖像中空域信息,鮮有將頻域信息引入到CNN 網絡中,并且傳統(tǒng)的池化層也不可避免的丟失了原特征圖中的細節(jié)信息.

2 方法

2.1 離散小波變換(Discrete Wavelet Transform,DWT)

經典快速離散小波變換是二維離散小波變換一種高效實現(xiàn)方法[22],其分解與重構過程如圖1所示,原始信號x={x0,x1,···,x2j-1}的長度為2j,可寫為xj=x,Hd(z),Ld(z),Hr(z)和Lr(z)是根據理想重構條件設計的濾波器陣列.Hd(z)和Ld(z)稱為分解濾波器,Hr(z)和Lr(z)稱為重構濾波器,↓2和↑2 表示下采樣和上采樣.圖像分解濾波器和下采樣后,可以獲得1 個低頻分量LL和3 個高頻分量LH,HL,HH.隨后的分解在低頻分量中進行,然后遞歸計算下一級分解.由于在分解的過程中,使用了下采樣,因此實現(xiàn)了對圖像的池化.而重構過程是分解過程的逆運算,對分解后的圖像進行上采樣,通過重構濾波器進行合并,再逐級遞歸恢復至原圖像.此外小波變換具有快速,簡單以及變換后無冗余信息的優(yōu)點,已經在圖像處理領域被廣泛應用[23,24].

圖1 離散小波變換結構框圖

二維離散小波變換在給定尺度函數 φ(x)和小波函數 ψ (x) 下,可以得到一個二維尺度函數和三個二維小波函數:

其中,H,V,D分別表示水平高頻分量,垂直高頻分量和對角高頻分量.

M×N的圖像經小波變換后的低頻系數和高頻系數如下:

其中,j0是一個任意的開始尺度,Wφi(j0,m,n)系數定義了圖像在尺度j0處的近似值,Wψi(j,m,n)系數對尺度j≥j0附加了水平、垂直和對角方向的細節(jié).φj0,m,n(x,y)是尺度函數,ψij,m,n(x,y)是小波函數,其定義如下:

從式(5)中可以看出,圖像經過小波變換后能夠得到圖像的近似表達,其作用與傳統(tǒng)的最大值池化和均值池化相同,在式(6)中小波變換后仍保留了低頻分量中丟失的高頻分量.

2.2 小波池化與傳統(tǒng)池化

傳統(tǒng)的CNN 專注于學習空間域信息,并且被廣泛使用的最大值池化和平均值池化存在丟失大量特征信息的現(xiàn)象,阻礙了網絡學習最優(yōu)參數的潛力.

從圖2中可以看出,在最大值池化中,當重要特征幅度低于不重要特征時,重要特征信息就會丟失.而在平均值池化中則接收了幅值大的特征和幅值小的特征,因此會減小幅值大的特征.

圖2 最大值池化和平均值池化的缺點

在給定具有n個輸入分量x=(x0,x1,···,xn-1)∈Rn,卷積層輸出相同分量y=(y0,y1,···,yn-1)∈Rn,卷積和池化可被簡單定義為:

其中,*表示卷積運算符,w代表卷積核,P=(1/p,···,1/p)∈Rp表示均值濾波器,CNN 中平均池化是通過與P進行卷積,然后再以步長p進行下采樣.

在平均值池化中,其本質就是將原圖像進行均值濾波后再進行下采樣,由于均值濾波屬于低通濾波器并且進行了下采樣,這不可避免的丟失了原圖像中的細節(jié)信息.而利用小波分解后得到的高頻分量則能夠有效彌補這一信息.

以最簡單的Haar 小波為例,4 個濾波器定義為:

顯然,fLL,fLH,fHL,fHH彼此正交,形成4×4 可逆矩陣,DWT的運算被定義為:

其中,*表示卷積運算符,↓ 2表示步長為2的下采樣.根據Harr 小波變換的理論[25],二維的Harr 小波變換后的值可寫為:

從式(15)中可以看出Harr 小波變換后得到的低頻分量是與傳統(tǒng)CNN 中平均池化結果是一致的,此外還得到了在低頻分量中丟失的高頻分量.因此將小波變換的多尺度分析引入到神經網絡架構中,以代替?zhèn)鹘y(tǒng)的池化方法,盡管這一想法很簡單,但是其對模型性能的提升是明顯的,正如本文的實驗結果所示.

2.3 小波分解卷積神經網絡(WDCNN)

由3.1和3.2 節(jié)可知,二維小波變換會沿行列方向對圖像進行下采樣,因此經過一次尺度變換后,圖像尺寸變?yōu)樵瓉淼乃姆种?實現(xiàn)了與傳統(tǒng)池化方法同樣的作用.從式(6)中看出小波變換后保留了低頻分量中丟失的高頻分量,能彌補池化過程中丟失的細節(jié)特征.因此本文在此基礎上提出一種基于小波分解卷積神經網絡(WDCNN),利用小波分解具有多尺度分析的能力,實現(xiàn)對圖像的池化,以此代替?zhèn)鹘y(tǒng)的最大值池化和平均值池化,并將小波分解后的高頻分量引入到CNN中,使得CNN 能夠同時學習空域特征和頻域特征.圖像經小波變換后分解為4 部分:LL 表示低頻分量,它是圖像的近似表示,HL是圖像的高頻水平分量,LH是圖像的高頻垂直分量,HH是圖像的高頻對角分量,如圖3所示.

圖3 小波變換示意圖

在本文中只對特征圖使用一級小波分解,以獲得圖像的低頻和高頻信息,低頻分量作為特征圖池化的結果,而3 個高頻分量相加后通過捷徑連接的方式,添加到下一層.在整個過程中不涉及小波重構.將小波分解引入到CNN 網絡中,可構建小波分解模塊,如圖4所示.

圖4 小波分解模塊示意圖

WD 模塊的結構簡單,主要可分為兩部分:低頻部分和高頻部分,將小波分解后的低頻部分作為池化的結果,然后通過一次常規(guī)的BN-ReLU-conv 操作,得到輸出結果L;小波分解后的3 個高頻分量的值相加,得到結果H;最后將L和H的值再次相加,并且通道數不變,得到WD 模塊的輸出結果.將WD 模塊代替?zhèn)鹘y(tǒng)的池化層嵌入到CNN 中,即可得到小波分解卷積神經網絡(WDCNN),如圖5所示.

圖5 WDCNN 結構示意圖

圖5中BN 表示批量標準化,Conv 表示卷積核大小為3×3,步距為1的卷積操作,FC 表示全連接層.

從圖5中可以看出,引入WD 模塊的CNN 網絡中沒有使用傳統(tǒng)的池化層來減小特征圖的大小,而是通過WD 模塊中的小波分解實現(xiàn)對特征圖大小的縮減.此外,為了充分利用小波分解后得到的圖像信息,本文使用捷徑連接[7]的方式,將小波分解得到的3 個高頻分量添加到下一層中,通過這種方式可以彌補低頻特征圖中丟失的細節(jié)信息.

3 實驗與討論

3.1 數據集

Camelyon16 數據集[8](https://camelyon16.grandchallenge.org/Data/)由Radboud University Medical Center和University Medical Center Utrecht 提供乳腺癌患者的前哨淋巴結全視野數字切片(Whole Slide Image,WSI),共計400 張,大多數在10 萬×10 萬的分辨率,包含醫(yī)生標注腫瘤區(qū)域的輪廓信息,如圖6所示.因此需要經過一系列的預處理操作將其裁剪為256×256大小的圖像塊作為訓練數據.病理圖像的裁剪過程示意圖如圖7所示[26].數據集分布情況如表1所示.

表1 數據集的分布

圖6 全切片病理圖像

圖像預處理過程如下:

第1 步.將病理圖像從RGB 轉為HSV (Hue,Saturation,Value)表示色相,飽和度和亮度.

第2 步.利用閾值分割算法Otsu對病理圖像進行背景與組織區(qū)域分割,以獲得病理圖像中的組織區(qū)域.使用Otsu 算法計算出每個通道的最佳分割閾值,通過實驗表明使用H 通道和S 通道分割出來的組織區(qū)域的交集作為最終組織區(qū)域.

第3 步.利用病理醫(yī)生標注的癌變區(qū)域的輪廓信息(如圖6中的深色曲線)分割出正常組織區(qū)域和癌變組織區(qū)域.

第4 步.以隨即撒點的方式,在正常區(qū)域和癌變區(qū)域進行圖像塊采樣,圖像塊大小為256×256,如圖7所示.

圖7 數據集制作流程

3.2 評價指標

為了全面評價WDCNN 模型在病理圖像分類任務中的優(yōu)勢,本文采用準確率(Accuracy)、精確率(Precision)、召回率(Recall)和平衡分數(F1 值).具體公式如下:

其中,TP代表正樣本被正確識別為正樣本的數量;TN代表負樣本被正確識別為負樣本的數量;FP代表負樣本被錯誤識別為正樣本的數量;FN代表正樣本被錯誤識別為負樣本的數量.

3.3 實驗

為驗證WD 模塊對傳統(tǒng)CNN 模型在病理圖像分類性能上的提升,本文統(tǒng)一搭建一個五層CNN 網絡,如圖8所示,由于在CNN 中使用了全局平均池化,因此要求輸入圖像的大小一致均為256×256,為加快網絡訓練防止梯度爆炸,在激活函數之前使用了批量歸一化[27].對于優(yōu)化函數,我們使用Adam[28]代替SGD,并使用ReLU[29]作為激活函數.

圖8(b)中可以看出包含5 個卷積層以及兩個Max/Average 池化層.由于WD 模塊在池化的同時也做了一次卷積操作,因此在圖8(a)中只顯示3 個卷積層,這樣做的目的是保證了WDCNN 與傳統(tǒng)CNN 模型的訓練參數保持一致,從而充分驗證WD 模塊對網絡性能的提升.經過計算兩個模型的訓練參數均為589 762.

圖8 5 層CNN 結構框圖

此外不同的小波基函數在小波分解后會得到不同的低、高頻分量,因此為了選取最優(yōu)的小波基函數,在WDCNN 中對經典的Haar、Biorthogonal和Daubechies小波基函數也進行了對比驗證.

從表2的各項評價指標中可以看出,相比于最大值池化和平均值池化而言,在網絡中引入WD 模塊,能夠明顯提升CNN 模型的分類性能.從不同小波基函的對比結果來看,使用Biorthogonal 小波基函數對CNN分類性能提升最大.

表2 Camelyon16 數據集上不同方法的評估

為了進一步驗證WD 模塊在深度卷積神經網絡中的性能,本文將WD 模塊引入到經典的VGG16 中,將VGG16 中的最大值池化層全部替換為WD 模塊,并在Camelyon16 數據集中進行對比驗證,證明本文方法的有效性和通用性.

從表3中可以看出,將傳統(tǒng)的最大值池化層替換為WD 模塊后,WD-VGG16在準確率、召回率和F1 值上均優(yōu)于傳統(tǒng)的VGG16.從而說明了WD 模塊的引入,能夠顯著提升傳統(tǒng)CNN在病理圖像分類任務中的性能.圖9是WD-VGG16和VGG16的AUC-ROC曲線對比圖,從圖中可以看出WD-VGG16 具有更高的AUC 值,說明引入WD 模塊能夠提高分類器的穩(wěn)定性和魯棒性.

表3 WD-VGG16 與VGG16的評估結果

圖9 WD-VGG16和VGG16的ROC 曲線

4 結束語

本文提出的小波分解卷積神經網絡(WDCNN),利用小波變換多尺度分析的能力,將特征圖分解為低頻分量和高頻分量,不僅實現(xiàn)了對特征圖的池化,也將特征圖中的細節(jié)特征信息通過捷徑連接的方式引入到傳統(tǒng)CNN 中,使得傳統(tǒng)CNN 能夠同時學習空域信息和頻域信息,提高了模型的泛化能力,并在病理圖像分類任務中表現(xiàn)優(yōu)異.最后在Camelyon16 數據進行了充分的對比驗證,并選取了最優(yōu)的小波基函數,證明了本文方法在病理圖像分類任務中的優(yōu)勢.但是,相比與最大值池化和平均值池化而言,引入小波分解模塊會增加網絡的計算負擔,因此需要優(yōu)化模型結構,在不影響網絡性能的同時減少網絡計算量.