王振東，李悅，申炳俊，金麗虹，夏冰

（1.長春理工大學 生命科學技術學院，長春 130022；2.長春婦產(chǎn)科醫(yī)院，長春 130041）

乳腺癌是女性最常見的惡性腫瘤之一［1］，早期的診斷和治療可以大大提高乳腺癌患者的生存率和生活質量。組織病理學圖像是乳腺癌診斷的“金標準”，病理醫(yī)師根據(jù)組織病理學圖像的細胞形態(tài)學特征及分布信息，進而完成對乳腺癌臨床分類診斷。然而，這個過程不僅非常費時費力，而且診斷易受到病理醫(yī)師經(jīng)驗和知識水平的影響。隨著組織病理學圖像被大量應用于乳腺癌的臨床分類診斷，最大程度地輔助醫(yī)生精確、快速地診斷病情，這成為醫(yī)學圖像處理領域的研究熱點。

深度學習作為計算機輔助診斷的方法之一，其在提高乳腺癌診斷的效率和準確度方面展現(xiàn)了顯著優(yōu)勢。2016 年，Spanhol 等人［2］發(fā)表了乳腺病理圖像處理領域重要的數(shù)據(jù)集BreakHis，通過對數(shù)據(jù)進行預處理達到對數(shù)據(jù)擴增的目的，使用Alexnet 網(wǎng)絡訓練數(shù)據(jù)并進行分類，實驗結果與傳統(tǒng)的機器學習分類相比，高出4%-6%。2021 年，Singh 等人［3］提出了一種混合深度神經(jīng)網(wǎng)絡，用于組織病理學圖像中的癌癥檢測，BreakHis 數(shù)據(jù)庫放大倍數(shù)分別為40、100、200 和400 的分類精度分別達到0.808 0、0.827 6、0.865 5和0.858 0。隨著神經(jīng)網(wǎng)絡的層數(shù)越來越多，提取的特征越來越復雜，計算量也逐漸增加，但增加網(wǎng)絡的深度不一定會取得較好的分類結果，有時候也會適得其反。為了解決這種問題，遷移學習算法進入了研究者的視野。Vesal 等人［4］使用預訓練好的Inception-V3 和ResNet50 網(wǎng)絡，通過微調方法對乳腺腫瘤組織病理圖像進行分類。對比發(fā)現(xiàn)，Inception-V3 的分類結果高于ResNet50，達到97.08%。Saini 等人［5］提出一種遷移學習策略，首先在大型數(shù)據(jù)ImageNet 上進行訓練并保存參數(shù)，對BreakHis 數(shù)據(jù)集上不同放大倍數(shù)的圖像進行實驗驗證，分別獲得了0.965、0.94、0.955 和0.93 的準確率。

近年來，許多研究者開始使用遷移學習結合其他分類器來進行分類。Zerouaoui 等人［6］使用MLP 分類器和DensNet 201 特征提取（MDEN）的混合架構，對BreakHis 數(shù)據(jù)集四種放大倍數(shù)圖像進行分類，準確率分別達到92.61%、92%、93.93%和91.73%。Wang 等人［7］采用卷積神經(jīng)網(wǎng)絡和與機器學習結合的卷積神經(jīng)網(wǎng)絡模型對ICIAR2018數(shù)據(jù)集上的乳腺圖像進行分類。通過數(shù)據(jù)增強操作，使用Vgg-16 模型分類取得的分類準確率為92.5%。

隨著不同的分類器應用到乳腺癌分類中，像遺傳算法（GA）這樣的優(yōu)化算法也成為提高分類準確率的趨勢。Dhahri 等人［8］提出了一個基于GP 的乳腺癌分類模型，GP 算法在研究中的作用是優(yōu)化模型的數(shù)據(jù)和控制參數(shù)。Davoud 等人［9］使用三種不同的優(yōu)化器（小批量梯度下降、Adam和GA）訓練模型，并通過對BreakHis 數(shù)據(jù)集的各種實驗評估模型。實驗結果表明，通過GA 訓練的CNN 模型的性能與Adam 優(yōu)化器一樣好，分類準確率為85%。Fu 等人［10］采用果蠅優(yōu)化算法（FOA）優(yōu)化網(wǎng)絡架構，進一步提高SNN 性能。通過特征提取、基于熵的時間編碼和網(wǎng)絡優(yōu)化，對BreaKHis 數(shù)據(jù)圖像分類的準確率為95.83%。

基于此，本文提出了一種基于遷移學習的乳腺腫瘤診斷方法：使用塊處理作為數(shù)據(jù)增強技術，用于解決基于深度學習的模型訓練時數(shù)據(jù)量不足問題；調用已經(jīng)在ImageNet 數(shù)據(jù)集上訓練好的Alexnet，凍結頂部的卷積層權重，微調底部的全連接層部分，并采用支持向量機作為分類器；最后，使用三種優(yōu)化算法優(yōu)化SVM 的參數(shù)，進一步提高分類效果。

1 數(shù)據(jù)集及預處理

1.1 數(shù)據(jù)集

BreakHis 數(shù)據(jù)集目前包含四種不同類型的良性乳腺腫瘤和四種惡性腫瘤，數(shù)據(jù)庫中的7 909個樣本來自于82 名志愿者，其中2 480 個樣本標記為良性腫瘤，剩余5 429 個樣本標記為惡性腫瘤。圖1 給出了四種不同放大倍數(shù)下的圖像樣本。表1 詳細介紹BreakHis 中各放大倍數(shù)下良惡性樣本的數(shù)量。

表1 BreakHis 中各放大倍數(shù)下良惡性病人數(shù)目分布

圖1 BreakHis 數(shù)據(jù)集中四種不同放大倍數(shù)下的圖像樣本

1.2 預處理

BreakHis 數(shù)據(jù)集原始圖像大小為700×460，而Alexnet 網(wǎng)絡圖像輸入大小為227×227×3，因此采用塊處理的方法對組織病理學圖像進行裁剪，提取六個大小為227×227 的非重疊圖像塊，對邊緣部分進行舍棄（如圖2 所示），以便于將其輸入到神經(jīng)網(wǎng)絡。經(jīng)過預處理后，各放大倍數(shù)下的良惡性樣本數(shù)量擴大到原來的6 倍。將預處理過后的圖像數(shù)據(jù)按照7∶3 的比例隨機劃分為訓練集和測試集。

圖2 數(shù)據(jù)預處理

2 遷移學習模型

2.1 遷移學習

遷移學習方法最大的特點就是可以很快地建立一種識別圖像的模型，通過調用在大型數(shù)據(jù)庫已經(jīng)訓練好的學習模型，來解決與原有問題相似的問題。所引用的模型在大規(guī)模數(shù)據(jù)上表現(xiàn)出非常出色的效果，其包含大量的層結構及參數(shù)，通過微調技術，可以將其應用到所要解決的問題中。主要方法是凍結模型的卷積結構及其參數(shù)，修改全連接層以匹配數(shù)據(jù)。

2.2 分類器及優(yōu)化

Alexnet 網(wǎng)絡最終全連接層輸出端是一個Softmax 分類器，為了提高分類準確率，本文在提取特征之后選用SVM 作為分類器。

SVM 通過訓練有限數(shù)量的樣本，獲得誤差較小，尤其是在給數(shù)據(jù)獨立測試時，發(fā)生錯誤的概率是最小的。SVM 分類方法避免了神經(jīng)網(wǎng)絡在分類問題中難以解決的局部最小值問題，具有處理小樣本和非線性分類問題的優(yōu)點。給定特征向量χi，權重向量ω和類標簽yi：

其中，i表示樣本數(shù)；C是懲罰參數(shù)，用于控制間隔最大化和分類誤差最小化之間的權衡；ζi是松弛變量。

SVM 作為一種機器學習算法，它能夠將決策函數(shù)的內積置換為核函數(shù)，進而有效地求解復雜的不確定性現(xiàn)象。其中，線性核能用來解答復雜的線性問題，而高斯徑向基能用來解答復雜的非線性問題。

在其他學者的研究基礎上，本文選擇徑向基核函數(shù)（RBF）的SVM 作為分類器。此外，使用灰狼算法（GWO）、遺傳算法（GA）和網(wǎng)格搜索算法（Grid）對SVM 的核參數(shù)進行自動尋優(yōu)來提高SVM 的分類性能。

2.3 模型結構

2012 年Krizhevsky 等人［15］構建了Alexnet 網(wǎng)絡，由此遷移學習受到學者的追捧，逐漸成為最熱門的研究領域。本文所使用的策略為微調，保留Alexnet 網(wǎng)絡中的內部網(wǎng)絡及參數(shù)（圖3 方框所示），對網(wǎng)絡的全連接層部分進行微調。在Alexnet 網(wǎng)絡前兩層全連接層及其參數(shù)后添加fc8和fc9 全連接層，參數(shù)設置為64 和2，在fc8 層添加ReLU 激活函數(shù)。此外，采用SVM 替換原先的Softmax 分類器，修改后的網(wǎng)絡結構如圖3 所示，將其稱為Alexnet-SVM 網(wǎng)絡。圖像經(jīng)模型訓練提取特征，將最后一層全連接層特征歸一化到［0 1］，輸入到SVM 分類器進行良惡性分類。

圖3 Alexnet-SVM 網(wǎng)絡結構

2.4 參數(shù)設置

網(wǎng)絡訓練使用帶動量的隨機梯度下降（SGDM）作為優(yōu)化函數(shù)，學習策略為分段式學習，學習率下降因子設置為0.5，學習率下降周期為8，驗證頻率設置為80。每訓練完一個epoch就打亂一次數(shù)據(jù)，避免丟棄同一批數(shù)據(jù)。此外，為了防止過擬合，引入L2 正則化技術。提取最后一層全鏈接層輸出的特征，將數(shù)據(jù)打亂后進行歸一化處理，輸入SVM 分類器進行分類。表2詳細介紹網(wǎng)絡模型的超參數(shù)。

表2 實驗參數(shù)設置

3 實驗結果和討論

3.1 實驗環(huán)境

本文所有實驗都是在以下平臺進行的：操作系統(tǒng)為64 位Windows10，Inter Xeon CPUE5-2678-v3@2.40 GHz，運行內存為48 GB，GTX 1050Ti 4G圖形處理器。實驗使用的軟件是Matlab 2019b。

3.2 預處理前后對比

將未進行預處理的圖像調整尺寸后輸入到Alexnet（Softmax）網(wǎng)絡，與經(jīng)過預處理的數(shù)據(jù)進行對比，觀察預處理前后分類性能的變化。實驗采用五倍交叉驗證，每次實驗網(wǎng)絡在訓練集的準確率均達到100%，其在測試集表現(xiàn)如圖4 所示。方塊代表的是沒有進行預處理的分類結果，圓點代表的是采用塊處理后的分類結果。

圖4 預處理前后的分類準確率

圖4 展示了四種不同放大倍數(shù)下病理圖像分類結果?？梢钥闯觯?jīng)過預處理后的數(shù)據(jù)分類準確率均比未經(jīng)過預處理的數(shù)據(jù)分類準確率高，其在放大倍數(shù)為40、100 和400 中表現(xiàn)最為明顯。放大倍數(shù)為200 時的兩種實驗分類結果最為相近，但經(jīng)過預處理之后的分類準確率仍比未經(jīng)過預處理的略高。

在放大倍數(shù)為40、100 和400 的實驗中，沒有經(jīng)過塊處理的數(shù)據(jù)，其分類準確率波動幅度范圍較大，而經(jīng)過塊處理后的數(shù)據(jù)，其分類準確率不僅有較大提高，且準確率的波動幅度比未進行預處理的要小很多。因此，經(jīng)過所提出的預處理方法后，遷移學習策略可以明顯提高網(wǎng)絡分類性能，并且具有較好的魯棒性。

3.3 與原Alexnet（Softmax）對比

圖像經(jīng)過預處理后，對比原Alexnet（Softmax）和Alexnet-SVM 兩種遷移學習模型對數(shù)據(jù)的分類效果。圖5 所示為四種不同放大倍數(shù)下的圖像經(jīng)過預處理后Alexnet（Softmax）和Alexnet-SVM 兩種網(wǎng)絡對數(shù)據(jù)的分類結果。紅色代表的是Alexnet-SVM 網(wǎng)絡，黑色代表的是Alexnet（Softmax）網(wǎng)絡。

圖5 Alexnet（Softmax）和Alexnet-SVM 的分類準確率

放大倍數(shù)為40X 和200X 下的圖像分類結果中，Alexnet-SVM 的分類準確率明顯要比Alexnet（Softmax）高，說明SVM 分類效果比Softmax 更好；放大倍數(shù)為100X 下的圖像分類結果中，Alexnet-SVM 的準確率和Alexnet（Softmax）的相差很小，但SVM 分類器的分類結果仍比Softmax 的高；放大倍數(shù)為400X 下的圖像分類結果中，Alexnet-SVM 只在第2 次實驗中的分類準確率比Alexnet（Softmax）低，其他4 次實驗中的分類準確率均比Alexnet（Softmax）高。綜上可知，SVM 分類器比Softmax 更具有優(yōu)勢。

3.4 SVM 參數(shù)優(yōu)化

由以上實驗可知替換為SVM 分類器，模型的分類性能有了明顯的提高。為了進一步提高分類的準確率，本文采用三種算法來優(yōu)化SVM 的核參數(shù)。圖6 展示的是使用放大倍數(shù)為40 的圖像使用Alexnet-SVM 網(wǎng)絡與三種算法優(yōu)化后的分類準確率，可以看出GWO、GA、Grid 優(yōu)化SVM 后都能在不同程度上提高網(wǎng)絡分類的準確率。

圖6 不同優(yōu)化算法分類結果

GA 算法在對SVM 參數(shù)進行優(yōu)化后所得到的準確率在五次實驗中均為最高，尤其是在第4 次實驗中準確率提升最為明顯，比Alexnet-SVM 提高0.25%，GWO 算法的優(yōu)化效果次之，表現(xiàn)最差的是未優(yōu)化的Alexnet-SVM 模型。Grid 算法在第3 次和第5 次實驗中表現(xiàn)與GA 算法一樣，準確率分別為97.61%和97.63%，但在其他3 次實驗中的分類準確率均比GA 算法優(yōu)化過的分類準確率低。由此可知GA 優(yōu)化的SVM 分類性能較好。

3.5 不同放大倍數(shù)下的分類結果

表3 是四種放大倍數(shù)的乳腺腫瘤圖像分類準確率。使用放大倍數(shù)為40 的圖像進行分類時，只有Fold1 的分類準確率在97%之下，其他四組實驗分類準確率均在97.50%以上；使用放大倍數(shù)為100 的圖像進行分類時，在Fold2 實驗中其分類準確率達到最高，為98.02%；而以200 放大倍率的圖像作為數(shù)據(jù)集測試時，準確率最高達到了98.10%，比其他三種放大倍數(shù)下的測試準確率都要高。

表3 不同放大倍數(shù)的圖像分類結果

四種放大倍數(shù)的交叉驗證分類準確率平均值均在97%以上，實驗結果證明，微調后的網(wǎng)絡不僅在分類性能上表現(xiàn)很好，而且具有較好的穩(wěn)定性。

3.6 評價指標

用TN 表示“將負類預測為負類”的數(shù)量，F(xiàn)P表示“將負類預測為正類”的數(shù)量，F(xiàn)N 表示“將正類預測為負類”的數(shù)量，TP 表示“將正類預測為正類”的數(shù)量，則以下指標可表示為：

其中，準確率（Accuracy）反映模型正確預測正樣本精度的能力；召回率（Recall）反映模型正確預測正樣本數(shù)量占全部正樣本數(shù)量的能力；特異性（Specificity）是疾病分類中的一個重要指標，它衡量了分類器對負例的識別能力。表4 顯示了四種放大倍數(shù)下性能指標平均值。

表4 不同放大倍數(shù)的圖像分類指標

3.7 與其他方法對比

本文將基于Alexnet-SVM 方法與其他文獻進行對比，驗證本模型分類性能。各文獻方法具體的分類準確率如表5 所示。在放大倍數(shù)為40的圖像分類中，本文模型表現(xiàn)最佳，與分類效果最差的Dense-Net 201 相比，高出16.71%；在放大倍數(shù)為100 的圖像分類中，Googlenet 模型的準確率達到94.60%，比其他五種方法獲得的分類準確率均高，但本文模型比其高了3.05%；在放大倍數(shù)為200 和400 圖像分類中，全卷積模型FCN+Bi-LSTM 得到的準確率比其他方法都要高，分別為96.32%和94.29%。而Dense-Net 201 混合深度神經(jīng)網(wǎng)絡，分類的準確率分別為86.55% 和85.80%，表現(xiàn)最差。本文提出的遷移學習模型獲得的分類準確率比其他方法均高，其分類性能表現(xiàn)最好。

表5 與其他方法對比

4 結論

本文致力于開發(fā)一種精確的乳腺腫瘤圖像分類算法，提出了一種基于遷移學習網(wǎng)絡與支持向量機相結合的分類模型，簡稱Alexnet-SVM模型。首先通過對圖像進行塊處理，對數(shù)據(jù)量進行擴增，增強模型的泛化能力；使用基于核的SVM 作為分類器，替換掉原Softmax 分類器，提高了分類準確率；使用算法優(yōu)化SVM 的核參數(shù)，進一步提高Alexnet-SVM 的分類性能。通過一系列對比實驗分析，所提出的遷移學習模型對乳腺腫瘤組織病理圖像有較好的分類效果，該研究對于乳腺腫瘤的診斷具有重要意義。未來的研究將側重于不同乳腺癌類型的分類，以確定其作為醫(yī)療診斷工具的適用性。