于凌濤，夏永強(qiáng)，閆昱晟，王鵬程，曹偉

(哈爾濱工程大學(xué) 機(jī)電工程學(xué)院，黑龍江 哈爾濱 150001)

癌癥是當(dāng)今世界重要的公共健康問(wèn)題。根據(jù)世界衛(wèi)生組織國(guó)際癌癥研究機(jī)構(gòu)的數(shù)據(jù)顯示，2018年約有1 810萬(wàn)新病例和960萬(wàn)癌癥相關(guān)死亡病例，影響到所有國(guó)家和地區(qū)的人口。尤其是乳腺癌在女性癌癥新發(fā)病例占比最高(占比24.2%)，而且死亡率非常高[1]。

病理組織學(xué)分析仍然是診斷乳腺癌最廣泛使用的方法[2]，而且大多數(shù)診斷仍由病理學(xué)家在顯微鏡下對(duì)組織學(xué)樣本進(jìn)行目視檢查來(lái)完成，需要專業(yè)的病理學(xué)家的大量工作，專家之間的診斷一致性平均約為75%[3]。因此運(yùn)用計(jì)算機(jī)來(lái)進(jìn)行病理組織學(xué)圖像的自動(dòng)分類(lèi)可以使乳腺癌診斷更快，而且更不容易出錯(cuò)。目前關(guān)于乳腺癌識(shí)別的研究主要分為2種方法：1)基于手工特征提取結(jié)合傳統(tǒng)機(jī)器學(xué)習(xí)的方法。Belsare等[4]使用統(tǒng)計(jì)紋理特征訓(xùn)練K-NN(k近鄰)和 支持向量機(jī)(support vector machine，SVM)分類(lèi)器，在一個(gè)40倍放大的私人乳腺組織學(xué)數(shù)據(jù)集上達(dá)到了70%～100%的準(zhǔn)確率。Spanhol等[5]公開(kāi)了乳腺癌病理圖像數(shù)據(jù)集 BreaKHis，研究了6種包括鄰接閾值統(tǒng)計(jì)[6]在內(nèi)的手工提取的紋理特征結(jié)合包含SVM在內(nèi)的4種分類(lèi)器共24組的分類(lèi)性能，作為區(qū)分良性和惡性腫瘤的參考基線，達(dá)到了80%～85%的準(zhǔn)確率；2)基于深度學(xué)習(xí)的分類(lèi)方法，深度學(xué)習(xí)使得模型可以直接從輸入的圖片中提取特征，避免了人工提取特征的程序，節(jié)省了大量的人力物力。近年來(lái)，卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNN)作為深度學(xué)習(xí)的重要方法在圖像識(shí)別領(lǐng)域取得了巨大的成功,其在醫(yī)療圖像分析方面也取得了快速的發(fā)展[7]。Araújo等[8]利用卷積神經(jīng)網(wǎng)絡(luò)將乳腺癌病理圖像分成了癌和非癌2大類(lèi)，最高達(dá)到了88．3% 的識(shí)別率。進(jìn)一步劃分為正常組織、良性病變、原位癌和浸潤(rùn)性癌4類(lèi)時(shí)，最高達(dá)到了77.8%的總體準(zhǔn)確率。何雪英等[9]使用卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)BreaKHis數(shù)據(jù)集進(jìn)行了良性和惡性分類(lèi)，經(jīng)過(guò)數(shù)據(jù)增強(qiáng)處理之后的識(shí)別率最高可達(dá)到91%。Spanhol等[10-11]在BreaKHis數(shù)據(jù)集上采用卷積神經(jīng)網(wǎng)絡(luò)和深度特征的方法將乳腺癌組織病理圖像分為良性和惡性2類(lèi)，最高分別達(dá)到了90%和86.3%的準(zhǔn)確度。Bayramoglu等[12]提出了一種與放大系數(shù)無(wú)關(guān)的乳腺癌組織病理圖像分類(lèi)方法，該方法在BreaKHis數(shù)據(jù)集上，可同時(shí)分類(lèi)病理圖像的良性或惡性和分類(lèi)放大倍數(shù)，其實(shí)驗(yàn)結(jié)果在良性或惡性分類(lèi)上達(dá)到了84.3%的準(zhǔn)確度。

為了進(jìn)一步提高乳腺病理圖像分類(lèi)精度，本文提出了基于卷積神經(jīng)網(wǎng)絡(luò)的乳腺癌病理圖像分類(lèi)方法，同時(shí)針對(duì)高分辨病理圖像提出了圖像分塊的思想，并在BreaKHis數(shù)據(jù)集上，驗(yàn)證了此方法的性能。

1 BreaKHis數(shù)據(jù)集

BreaKHis數(shù)據(jù)集[5]是巴拉那聯(lián)邦大學(xué)的Spanhol等論文中發(fā)布的公開(kāi)數(shù)據(jù)集。該數(shù)據(jù)集采集自82個(gè)病人，其中良性24人，惡性58人。目前為止，該數(shù)據(jù)集一共包含7 909張圖片，分為4個(gè)放大系數(shù)40、100、200、400。每個(gè)放大系數(shù)又可分為良性和惡性腫瘤2大類(lèi)。具體分布情況如表1所示。

表1 按放大系數(shù)和類(lèi)別的圖像分布Table 1 Image distribution by magnification factor and class

乳腺良性和惡性腫瘤在顯微鏡下又可根據(jù)腫瘤細(xì)胞的不同分為不同類(lèi)型，本文只研究不同放大系數(shù)下的良性和惡性二元分類(lèi)問(wèn)題。圖1展示了40放大系數(shù)下的部分病理圖像，圖1(a)～(d)圖像為4種良性腫瘤，圖1(e)～(h)為4種惡性腫瘤。所有圖像存儲(chǔ)格式為三通道RGB格式，固定尺寸為700×460像素。

圖1 乳腺癌組織病理學(xué)圖像樣本Fig.1 Sample breast cancer histopathology image

2 圖像分類(lèi)方法

2.1 基于遷移學(xué)習(xí)的特征提取和圖像分類(lèi)

隨著深度學(xué)習(xí)的快速發(fā)展，在圖像識(shí)別領(lǐng)域，深度學(xué)習(xí)方法特別是采用CNN的方法已經(jīng)優(yōu)于傳統(tǒng)的機(jī)器學(xué)習(xí)方法。CNN體系結(jié)構(gòu)的主要由3種層構(gòu)成：卷積層、池化層和全連接層。卷積層是用一組參數(shù)可學(xué)習(xí)的濾波器對(duì)輸入圖像進(jìn)行卷積運(yùn)算，每個(gè)濾波器經(jīng)過(guò)運(yùn)算產(chǎn)生特征映射。池化層對(duì)輸入特征映射進(jìn)行向下采樣以降低輸入的空間維度。全連接層一般用在模型末端，用來(lái)將前邊提取到的特征綜合起來(lái)進(jìn)行分類(lèi)等操作。通常，完整的CNN架構(gòu)是通過(guò)各種方式疊加這些層來(lái)獲得的。LeNet-5模型[13]運(yùn)用CNN模型結(jié)構(gòu)進(jìn)行圖像分類(lèi)實(shí)例，它對(duì)輸入尺寸為32×32的灰度圖像進(jìn)行2次卷積加池化操作，最后加上3層全連接層進(jìn)行圖像的10分類(lèi)。

目前，各大研究機(jī)構(gòu)相繼發(fā)布了一些CNN模型結(jié)構(gòu)，如LeNet、VGG、AlexNet和ResNet等，這些模型都曾在圖像識(shí)別上取得過(guò)優(yōu)異的成績(jī)。在一些數(shù)據(jù)集上的識(shí)別上，基于這些成熟的模型來(lái)構(gòu)建模型，往往比自己從頭搭建模型效果更好，更方便快捷。如基于AlexNet模型進(jìn)行了乳腺圖像的特征提取[10]，該模型相對(duì)簡(jiǎn)單，限制了其分類(lèi)精度。故本文基于結(jié)構(gòu)更加復(fù)雜的Inception V3[14]模型搭建模型，進(jìn)行病理圖像的分類(lèi)。

如圖2所示，模型由特征提取過(guò)程和分類(lèi)過(guò)程構(gòu)成。因?yàn)镮nceptionV3模型針對(duì)圖片大小為299×299搭建，所以采用圖像縮放和Inception V3模型構(gòu)成特征提取過(guò)程，其中InceptionV3模型不包含原模型最后2層全連接層。分類(lèi)過(guò)程由2層新的全連接層神經(jīng)網(wǎng)絡(luò)構(gòu)成，其中第1層全連接層神經(jīng)網(wǎng)絡(luò)具有512個(gè)節(jié)點(diǎn)，第2層具有2個(gè)節(jié)點(diǎn)，并在最后一層神經(jīng)網(wǎng)絡(luò)采用SoftMax函數(shù)作為激活函數(shù)進(jìn)行分類(lèi)。

圖2 圖像基于Inception V3模型分類(lèi)過(guò)程Fig.2 Image classification based on inception V3 model

單張圖像分類(lèi)具體操作步驟為：1)將圖片通過(guò)縮放使尺寸大小固定為299×299；2)將縮放后的圖片送入InceptionV3模型進(jìn)行計(jì)算，取InceptionV3模型最后一層池化層的輸出參數(shù)作為圖片的特征向量，其尺寸為1×2 048；3)將特征向量送入全連接層神經(jīng)網(wǎng)絡(luò)進(jìn)行計(jì)算，第2層每個(gè)節(jié)點(diǎn)的數(shù)值經(jīng)過(guò)SoftMax函數(shù)計(jì)算之后的輸出結(jié)果即為輸入圖像屬于某一類(lèi)的概率；4)將圖像分類(lèi)到輸出概率最大的類(lèi)別。

由于數(shù)據(jù)量的限制，本文只訓(xùn)練特征提取之后2層全連接層的參數(shù)。對(duì)于特征提取階段Inception V3模型的參數(shù)，采用了遷移學(xué)習(xí)[15]的方法獲得。遷移學(xué)習(xí)的是先在1個(gè)大型數(shù)據(jù)集上訓(xùn)練CNN模型的參數(shù)，然后將訓(xùn)練好的參數(shù)作為在新的數(shù)據(jù)集訓(xùn)練相同CNN模型的初始化權(quán)值，遷移學(xué)習(xí)又可分為微調(diào)和固定權(quán)值的2種方式，微調(diào)方式在每輪訓(xùn)練之后對(duì)CNN模型的參數(shù)進(jìn)行更新，而固定權(quán)值的方式是CNN模型參數(shù)在初始化之后便固定不變。

本文采用在ImageNet[16]數(shù)據(jù)集上訓(xùn)練的InceptionV3模型參數(shù)作為特征提取階段模型的初始化權(quán)值。且微調(diào)方式導(dǎo)致模型參數(shù)的改變，使得每次訓(xùn)練都需要重新計(jì)算圖像的特征向量，計(jì)算任務(wù)大、訓(xùn)練時(shí)間長(zhǎng)，故本文采用固定權(quán)值的方法。由此本文在計(jì)算出圖像特征向量之后將其存儲(chǔ)為文本文檔，這樣可使本張圖片在下輪訓(xùn)練過(guò)程中，可直接讀取文本文檔獲得特征向量，避免重復(fù)特征提取過(guò)程的計(jì)算，節(jié)約計(jì)算時(shí)間。

在訓(xùn)練過(guò)程中，采用通過(guò)構(gòu)建SoftMax函數(shù)的輸出結(jié)果與圖像標(biāo)簽之間的交叉熵作為損失函數(shù)，通過(guò)梯度下降法進(jìn)行全連接層神經(jīng)網(wǎng)絡(luò)的參數(shù)優(yōu)化，進(jìn)而對(duì)損失函數(shù)進(jìn)行最小化。單張圖片交叉熵?fù)p失函數(shù)為：

(1)

式中：pk(x)是輸入圖像x被分類(lèi)器分為第k類(lèi)的概率；yk是指示性函數(shù)，當(dāng)輸入圖像x的標(biāo)簽y是k類(lèi)時(shí)yk=1，否則yk=0。

2.2 基于四叉樹(shù)圖像分割的數(shù)據(jù)增強(qiáng)

在訓(xùn)練CNN模型時(shí)，若使用的數(shù)據(jù)集的樣本數(shù)較少，該網(wǎng)絡(luò)容易過(guò)度擬合。常用的方法為數(shù)據(jù)增強(qiáng)。數(shù)據(jù)增強(qiáng)是通過(guò)旋轉(zhuǎn)、翻轉(zhuǎn)、滑動(dòng)窗口等操作提升數(shù)據(jù)量，本文采用更適合高分辨率圖像的基于四叉樹(shù)分割的數(shù)據(jù)增強(qiáng)方法[17]。四叉樹(shù)由1個(gè)連續(xù)的結(jié)構(gòu)組成，在每一層，將上一層的輸入圖像均等分成4個(gè)部分。即在每一級(jí)L(L≥1)處，將輸入圖像劃分為(2L-1)2個(gè)大小相等且不重疊的塊。這意味著在第1級(jí)輸入圖像保持為原始圖像，在第2級(jí)輸入圖像被分成4個(gè)圖像，在第3級(jí)輸入圖像被分成16個(gè)圖像，依此類(lèi)推，如圖3所示。本文對(duì)乳腺圖像的第2級(jí)和第3級(jí)切分結(jié)果進(jìn)行了研究，即每張圖片分割為4塊和16塊。經(jīng)過(guò)分割之后訓(xùn)練數(shù)據(jù)分別增加為原數(shù)據(jù)量的4倍和16倍，在分割之后，每塊子圖像都被認(rèn)為與原始圖像具有相同的類(lèi)標(biāo)簽。

圖3 基于四叉樹(shù)方法的圖像分割方法Fig.3 Image cutting method based on quadtree

2.3 融合算法

測(cè)試時(shí)由于采用了基于四叉樹(shù)的圖像分割方法，一張圖片被分割成多個(gè)子圖像塊，每個(gè)圖像塊在經(jīng)過(guò)模型計(jì)算可能產(chǎn)生不同的分類(lèi)結(jié)果，故需要融合算法將所有圖像塊的分類(lèi)結(jié)果整合起來(lái)。常用的算法有和規(guī)則、乘積規(guī)則、最大值規(guī)則、多數(shù)投票規(guī)則等。為了研究不同的融合算法對(duì)對(duì)乳腺圖像分類(lèi)結(jié)果的影響，本文選取了和規(guī)則，乘積規(guī)則和最大值規(guī)則[18]算法進(jìn)行了實(shí)驗(yàn)驗(yàn)證，算法計(jì)算過(guò)程為：

和規(guī)則:

(2)

乘積規(guī)則：

(3)

最大值規(guī)則:

(4)

式中：pi(k)表示為1張圖片的第i個(gè)子圖像塊被模型分為k類(lèi)的概率值；K表示分類(lèi)類(lèi)別總數(shù)；N表示1張圖片被切分塊的數(shù)量。圖4展示1張病理圖片的完整分類(lèi)示例過(guò)程，在本例中將原始圖像分割為4塊，采用的融合函數(shù)為最大值規(guī)則。

圖4 圖像完整分類(lèi)過(guò)程Fig.4 Image integrity classification process

3 乳腺病理圖像實(shí)驗(yàn)分析

本文中所有試驗(yàn)均在相同試驗(yàn)環(huán)境下完成，試驗(yàn)平臺(tái)為1臺(tái)CPU為Intel I7-8700，GPU為NVIDIA GTX1060 6 GB顯存，內(nèi)存為16 GB的計(jì)算機(jī)，試驗(yàn)環(huán)境為Windows 10操作系統(tǒng)，基于Python語(yǔ)言的TensorFlow架構(gòu)進(jìn)行編程。

3.1 實(shí)驗(yàn)細(xì)節(jié)與評(píng)價(jià)標(biāo)準(zhǔn)

本文將實(shí)驗(yàn)數(shù)據(jù)集按照75%、15%、15%的比例切分為訓(xùn)練集、驗(yàn)證集、測(cè)試集。訓(xùn)練集用來(lái)訓(xùn)練模型，驗(yàn)證集用來(lái)調(diào)節(jié)模型的超參數(shù)。模型的超參數(shù)選定之后，合并使用訓(xùn)練集和驗(yàn)證集的數(shù)據(jù)進(jìn)行重新訓(xùn)練模型，利用測(cè)試集來(lái)輸出測(cè)試結(jié)果。本文實(shí)驗(yàn)結(jié)果為5次測(cè)試結(jié)果的平均取值，且5次實(shí)驗(yàn)獨(dú)立進(jìn)行，每次實(shí)驗(yàn)前重新隨機(jī)劃分訓(xùn)練集、驗(yàn)證集和測(cè)試集。

實(shí)驗(yàn)結(jié)果以乳腺病理圖像在圖像層面和病人層面的分類(lèi)準(zhǔn)確率作為評(píng)價(jià)標(biāo)準(zhǔn)，并在每個(gè)放大系數(shù)上獨(dú)立評(píng)估。基于圖片層面的分類(lèi)準(zhǔn)確率只是考慮分類(lèi)正確的圖像占全部圖像的比例，圖像層面分類(lèi)準(zhǔn)確率IA為：

(5)

式中：Nim表示全部圖片的數(shù)量；Nc是分類(lèi)正確的圖片數(shù)量。

基于病人層面的分類(lèi)準(zhǔn)確率則先對(duì)每個(gè)患者的多張病理圖像計(jì)算分類(lèi)準(zhǔn)確率，再對(duì)所有患者的分類(lèi)準(zhǔn)確率取平均值。病人層面分類(lèi)準(zhǔn)確率PA為：

(6)

3.2 實(shí)驗(yàn)結(jié)果與對(duì)比

3.2.1 實(shí)驗(yàn)結(jié)果

根據(jù)3.1節(jié)所定義的實(shí)驗(yàn)細(xì)節(jié)和評(píng)價(jià)標(biāo)準(zhǔn)，本節(jié)在BreaKHis數(shù)據(jù)集上進(jìn)行本文提出的乳腺病理圖像識(shí)別方法的性能驗(yàn)證實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表2和表3所示。表2和表3分別展示了測(cè)試集在圖像層面和病人層面的識(shí)別準(zhǔn)確度。從實(shí)驗(yàn)結(jié)果上看，將圖片基于四叉樹(shù)策略分割后，無(wú)論4切分還是16切分，準(zhǔn)確度都明顯高于原圖，其中4切分提高了2.0%～4.4%的準(zhǔn)確率，16切分提高了0.9%～4.9%的準(zhǔn)確率。說(shuō)明圖片分割方法結(jié)合融合算法能有效提升乳腺病理圖像識(shí)別準(zhǔn)確度。

表2 圖像層面的準(zhǔn)確率Table 2 Accuracy at picture level

表3 病人層面的準(zhǔn)確率Table 3 Accuracy at patient level

而從實(shí)驗(yàn)結(jié)果上并不能得出哪一個(gè)融合算法更適合本實(shí)驗(yàn)，說(shuō)明采用不同的融合算法規(guī)則對(duì)實(shí)驗(yàn)結(jié)果的影響很小。通過(guò)對(duì)比不同放大系數(shù)之間的實(shí)驗(yàn)數(shù)據(jù)，發(fā)現(xiàn)100放大系數(shù)下的識(shí)別率最高，400放大系數(shù)下的識(shí)別率最低，40放大系數(shù)略高于200放大系數(shù)的識(shí)別率。

圖5展示了100放大系數(shù)下使用原圖和16切分的病理圖像在訓(xùn)練過(guò)程中的損失函數(shù)隨著訓(xùn)練步數(shù)的變化曲線，為了便于觀察，曲線經(jīng)過(guò)平滑處理?？梢钥闯?，在原圖的情況下，本該逐漸減小收斂的損失函數(shù)卻在訓(xùn)練步數(shù)大約達(dá)到2 000步時(shí)達(dá)到最小值，隨后開(kāi)始增大。這說(shuō)明模型在訓(xùn)練步數(shù)超過(guò)2 000時(shí)開(kāi)始過(guò)擬合。而在16切分情況下，損失函數(shù)是逐漸下降并收斂的，說(shuō)明圖像切分?jǐn)U大了訓(xùn)練數(shù)據(jù)量，避免了過(guò)擬合情況的發(fā)生，這也是圖像切分能提高識(shí)別準(zhǔn)確度的原因之一。

圖5 原圖和16切分圖像的損失函數(shù)對(duì)比Fig.5 Loss function comparison between original image and 16-sliced image

4切分的結(jié)果除了在100放大系數(shù)上都要略高于16切分的結(jié)果。這是由于在16切分的情況下，圖像切分的相對(duì)較小，導(dǎo)致部分單張子圖片所包含的信息不足以體現(xiàn)病理情況。

3.2.2 與其他實(shí)驗(yàn)對(duì)比

為了更好的評(píng)估實(shí)驗(yàn)結(jié)果，我們選取了文獻(xiàn)[5，10-12]和本文中各個(gè)放大系數(shù)中最好的實(shí)驗(yàn)結(jié)果進(jìn)行對(duì)比，如表4所示。文獻(xiàn)[12]中未展示圖片層面識(shí)別準(zhǔn)確度。從表中可以看到基于卷積神經(jīng)網(wǎng)絡(luò)和四叉樹(shù)圖片切分的方法，在各個(gè)放大系數(shù)上達(dá)到了最高的識(shí)別準(zhǔn)確度。相對(duì)文獻(xiàn)[5]中采用手工特征提取和傳統(tǒng)的機(jī)器學(xué)習(xí)的方法，本文的方法提高了9.9%～12.2%的圖像識(shí)別準(zhǔn)確度；相對(duì)文獻(xiàn)[9]采用卷積神經(jīng)網(wǎng)絡(luò)提取特征，旋轉(zhuǎn)、翻轉(zhuǎn)的方法增強(qiáng)數(shù)據(jù)，本文的方法提高了2.3%～5.1%的圖像識(shí)別率；相對(duì)文獻(xiàn)[10]中采用卷積神經(jīng)網(wǎng)絡(luò)提取特征，滑動(dòng)窗口數(shù)據(jù)增強(qiáng)的方法，本文的方法提高了5%～11.5%的圖像識(shí)別率；相對(duì)文獻(xiàn)[11]中采用深度特征和特征融合的方法，本文的方法提高了8.2%～10.9%的圖像識(shí)別率；相對(duì)文獻(xiàn)[12]中采用多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)的方法，本文方法提高了10.2%～12%的圖像識(shí)別率。并且經(jīng)過(guò)試驗(yàn)結(jié)果對(duì)比可以得出，基于卷積神經(jīng)網(wǎng)路特征提取的方法，在分類(lèi)性能上要優(yōu)于手工特征提取的方法。

表4 與其他方法的實(shí)驗(yàn)結(jié)果比較Table 4 Comparisons with experimental results of other methods

4 結(jié)論

1)圖像分割的數(shù)據(jù)增強(qiáng)方法能夠明顯提高乳腺圖像識(shí)別率；4切分的性能要高于16切分。

2)不同融合算法對(duì)分塊圖像識(shí)別率的影響較小。通過(guò)與其他相關(guān)方法的對(duì)比，驗(yàn)證了利用深度學(xué)習(xí)方法提取特征的性能要優(yōu)于基于視覺(jué)的手工特征。

未來(lái)將要優(yōu)化圖像的特征提取方法，如采用多模型提取特征結(jié)合特征融合的方法。通過(guò)優(yōu)化圖片的切分方法，數(shù)據(jù)增強(qiáng)方法，進(jìn)一步提高分類(lèi)的精度。在二分類(lèi)的基礎(chǔ)上，對(duì)于良性和惡性腫瘤進(jìn)行進(jìn)一步的分類(lèi)，做到細(xì)分。