胡偉岸，鄒俊忠，郭玉成，張 見，王 蓓

1.華東理工大學(xué) 信息科學(xué)與工程學(xué)院，上海 200237

2.清影醫(yī)療科技（深圳）有限公司，廣東 深圳 518083

目前，通過病理檢查對癌癥進行診斷是一種常用的方法，它能夠提供明確的疾病診斷，指導(dǎo)病人的治療。對病理圖像進行人工分析本身是一件非常有挑戰(zhàn)性的工作，一張病理切片通常包含數(shù)百萬個細胞[1]，一名病理科醫(yī)生一天需要分析許多病理圖像，這給他們帶來很大的工作負擔(dān)，疲勞閱片現(xiàn)象時有發(fā)生[2-3]。同時，該領(lǐng)域內(nèi)專家的培養(yǎng)速度趕不上病例的增加速度，將有限的、珍貴的人力資源大量投入到重復(fù)的病理圖像的識別診斷中是非?？上У?。通過卷積神經(jīng)網(wǎng)絡(luò)[4]（Convolutional Neural Network，CNN）快速識別病理圖像中的病變區(qū)域是本文的主要研究內(nèi)容。

CNN 是一種高效的學(xué)習(xí)方法，局部連接和權(quán)值共享的特點降低了網(wǎng)絡(luò)模型的復(fù)雜程度，減少了需要學(xué)習(xí)的參數(shù)。將計算機輔助診斷應(yīng)用于數(shù)字病理圖像已經(jīng)得到了研究：在Cossatto等人[5]的研究中，采用人工提取特征，多實例學(xué)習(xí)的半監(jiān)督胃癌檢測與診斷方法；Spanhol等人[6]的研究中，在BreaKHis乳腺病理數(shù)據(jù)集上對圖像提取了6種特征描述，之后使用機器學(xué)習(xí)方法對圖像進行分類，最終整體準(zhǔn)確率達到85%；Ciresan 等人[7]使用有監(jiān)督的深度神經(jīng)網(wǎng)絡(luò)作為分類器，以88%的查準(zhǔn)率及70%的查全率贏得了ICPR 2012有絲分裂檢測競賽；王瑩等人[8]使用Alexnet及GoogLeNet對臨床結(jié)直腸病理圖像進行圖塊分類，獲得91%的整體準(zhǔn)確率。在Sharma等人[9]的研究中，使用了卷積神經(jīng)網(wǎng)絡(luò)，對小樣本胃癌數(shù)據(jù)集的三個惡性級別進行了分類，并取得了良好的效果；Li 等人[10]設(shè)計了一種基于CNN 的胃癌自動識別框架，獲得了97%的圖塊級別準(zhǔn)確率；基于多種結(jié)構(gòu)的融合模型在胃癌病理圖像上取得了較好的分類結(jié)果[11]；Coudray等人[12]使用基于Inception網(wǎng)絡(luò)的架構(gòu)，在對肺病理圖像中肺組織及肺癌進行區(qū)分任務(wù)中獲得良好的效果；遷移學(xué)習(xí)的應(yīng)用在乳腺病理圖像的自動分類中獲得91%的圖塊識別準(zhǔn)確率[13]；以上的研究均證明了卷積神經(jīng)網(wǎng)絡(luò)在數(shù)字病理圖像研究中的實用性。然而，在上述研究中仍存在一些問題，影響了計算機輔助治療在實際中的應(yīng)用，包括：手動提取圖像特征的過程復(fù)雜；網(wǎng)絡(luò)模型參數(shù)多，訓(xùn)練過程耗時；準(zhǔn)確率有待提高。

另外，出于多種原因，如染色原料差異、制備方法差異、圖像保存時間長短等，病理圖像所呈現(xiàn)的顏色都會有所不同。為使得網(wǎng)絡(luò)在學(xué)習(xí)時更加關(guān)注細胞的形態(tài)、結(jié)構(gòu)和排列等特征，期望圖像在輸入網(wǎng)絡(luò)前表現(xiàn)出較一致的顏色。使用標(biāo)準(zhǔn)化染色方案和自動染色機可以通過產(chǎn)生更準(zhǔn)確和一致的染色來改善染色質(zhì)量。但是，很難避免所有的外在因素，使最終的染色完全一致[14]。

針對上述問題，本文在預(yù)處理階段采用了染色校正的策略，在不改變原有形態(tài)特征的情況下，使圖像表現(xiàn)出更加一致的顏色；受文獻[15]啟發(fā)，本文提出一種結(jié)合多維度特征的卷積神經(jīng)網(wǎng)絡(luò)模型以自動提取病理圖像特征，將CNN 中包含紋理等信息的低維特征與包含豐富抽象語義信息的高維特征相結(jié)合，使用深度可分離卷積（Depth Wise Separable Convolution）降低模型參數(shù)量，減小了計算復(fù)雜度，并使用批量規(guī)范化（Batch Normalization，BN）及殘差連接（Residual Connection）避免梯度消失，改善輸出結(jié)果。實驗結(jié)果表明：采用染色校正的處理方法能夠提高預(yù)測準(zhǔn)確率；本文所提出的CNN模型能夠自動提取圖像特征，且參數(shù)少訓(xùn)練快，最終能夠達到較好的識別性能。在胃病理病灶識別任務(wù)中準(zhǔn)確率達到98.67%，TCGA肝癌病理病灶識別任務(wù)中準(zhǔn)確率達到97.4%，且假陽性及假陰性均較低，在病灶識別任務(wù)中能夠媲美主流CNN模型所達到的效果。

1 方法

傳統(tǒng)的機器學(xué)習(xí)方法需要以人工提取特征為前提，特征的提取需要設(shè)計者具有深厚的專業(yè)背景及實際操作經(jīng)驗。然而，使用深度學(xué)習(xí)的方法能夠直接從原始數(shù)據(jù)中提取特征，LeCun等人[4]提出了卷積神經(jīng)網(wǎng)絡(luò)，使用卷積核對輸入圖像進行多層卷積操作，逐層學(xué)習(xí)并在更高層直接對抽象的特征進行整合，最終通過圖像的高層表征對其做出分類。目前優(yōu)秀的深度學(xué)習(xí)分類模型 有 Vgg16[16]、Inception V3[17]、InceptionResnet V2[18]、Resnet50[19]、Densenet169[20]等。以上模型大多使用最后一個卷積層的feature map 來進行分類，它們的缺點是往往在關(guān)注網(wǎng)絡(luò)最后一層特征時忽略了其他層的特征。同時，上述模型在分類任務(wù)中能夠取得較好的結(jié)果，通常是以消耗計算量和時間為代價的，這樣以計算資源換取效果的策略在實際應(yīng)用時常會受到局限。

有研究證明，深度學(xué)習(xí)模型的各層特征圖側(cè)重于不同類型的信息：由于所經(jīng)過的卷積網(wǎng)絡(luò)層較少，模型的低層特征圖包含較多邊緣、紋理等信息；在經(jīng)過更多的卷積操作后，高層特征包含更多抽象的語義信息；結(jié)合淺層特征可以在一定程度上提升模型精度，將不同特征高效融合，是改善模型性能的關(guān)鍵[21]。因此，本文選擇將多個維度的特征從top-down方向上采樣為同一尺寸后進行融合。

1.1 模型架構(gòu)

本文所提出的結(jié)合多維特征的病灶識別模型結(jié)構(gòu)如圖1所示。

圖1 結(jié)合多維特征的病理圖像病灶識別模型

圖1 中包含三個模塊：Bottom-top 特征學(xué)習(xí)模塊、Top-down特征疊加模塊及Modeloutput模型輸出模塊。

Bottom-top特征學(xué)習(xí)模塊主要由普通卷積、深度可分離卷積及殘差學(xué)習(xí)組成，通過多層卷積自動提取多維度特征。在普通卷積后依次添加BN層及線性整流函數(shù)（Rectified Linear Unit，ReLU）。

在對輸入圖像進行兩次普通卷積后，改用深度可分離卷積繼續(xù)提取特征。在一般卷積中，卷積核對特征圖的三個維度進行學(xué)習(xí)。其中兩個維度處于特征圖的平面（高和寬），另一個維度處于特征圖的通道方向（深度），卷積核能同時學(xué)習(xí)到特征圖的平面相關(guān)性和通道相關(guān)性。將平面相關(guān)性和通道相關(guān)性分離開來，是Inception模塊的重要思想[13]。在深度可分離卷積中，將卷積操作分為兩個部分：首先將所有2維的卷積作用在特征圖的每個單層通道上，平面相關(guān)性和通道相關(guān)性即達到了完全分離的效果，此步驟稱為depth-wise卷積；然后使用1×1的卷積核對新的特征空間進行映射，此步驟被稱為point-wise 卷積，如圖2（a）所示。使用深度可分離卷積能夠降低模型參數(shù)。假設(shè)輸入通道數(shù)為N，長寬均為Di，且輸出通道數(shù)為M，長寬均為Do，卷積核的尺寸設(shè)置為k，使用普通卷積時參數(shù)量為：

在使用深度可分離卷積過程中，depth-wise 卷積參數(shù)量與point-wise卷積參數(shù)量分別為式（2）、（3）所示：

深度可分離卷積與普通卷積的參數(shù)量之比為：

由式（4）可以看出，兩者的比值與輸出通道及卷積核大小相關(guān)，在本文所使用模型中，M的取值包括128、256、512及1 024，卷積核尺寸k均設(shè)置為3。因此，所使用的的深度可分離卷積參數(shù)量是普通卷積參數(shù)量的0.118、0.115、0.113及0.112倍。較少的參數(shù)量節(jié)省了模型訓(xùn)練及測試時間。

對于卷積神經(jīng)網(wǎng)絡(luò)，如果只是簡單地堆疊網(wǎng)絡(luò)層以增加網(wǎng)絡(luò)深度，容易導(dǎo)致梯度彌散和梯度爆炸。為避免該問題的發(fā)生，在本文網(wǎng)絡(luò)模型中增加了BN層及Residual connection。文中所使用的Residual connection 結(jié)構(gòu)如圖2（b）所示。為保證F′(x)與F(x)在相加時尺寸相同，使用簡單的1×1 大小卷積層（步長為2）及全零填充（padding=same）對F′(x)的通道數(shù)進行匹配。在Residual connection中，F(xiàn)(x)是求和前網(wǎng)絡(luò)映射，F(xiàn)′(x)是輸入x的簡單映射，保留了x的大部分原有信息，三者關(guān)系如下：

Top-down 特征疊加模塊中，在自頂向下的方向?qū)μ卣鬟M行上采樣，并與左側(cè)相鄰的殘差輸出進行連接，如圖2（c）中的1×1 卷積被使用以匹配特征圖的通道數(shù)量，本文中設(shè)置卷積核個數(shù)d=512。之所以選擇將每個殘差塊的輸出作為特征結(jié)合的因子是因為這些輸出具有每個階段最具代表性的特征，同時，鄰近的特征較為相似并且重復(fù)使用這些特征會使得計算量成倍增長。由于網(wǎng)絡(luò)的前兩層卷積所包含淺層特征與原始圖像較為相似，且尺寸過大，故不將其作為特征結(jié)合的因子。

圖2 部分模型結(jié)構(gòu)

特征圖上采樣能夠使卷積核細致學(xué)習(xí)病理圖像中的小特征。特征圖上采樣的處理可以簡單理解為增加了特征映射的分辨率，使用相同卷積核在放大后的特征圖進行操作時可以獲取更多關(guān)于小目標(biāo)的信息。

特征相加的方式采用主元素相加（add）而非特征圖堆疊（concat）。add 方式更加節(jié)省參數(shù)和計算量，如果使用concat，特征圖通道數(shù)會是add方法的兩倍，如此計算量會是一筆較大的開銷。

在Modeloutput 模塊中，添加了全局平均池化層（Global Average Pooling，GAP），使用GAP 可以對前一層的每一個特征圖求平均值，保留全局信息，同時避免了全連接層（Fully Connected layer，F(xiàn)C layer）訓(xùn)練參數(shù)過多，耗時較長的缺點。在GAP 層后添加2 維的輸出層，激活函數(shù)使用softmax，softmax的計算公式如下：

其中，Vi表示前級第i個單元的輸出，i表示類別索引，總的類別個數(shù)為k。Si表示的是當(dāng)前元素的指數(shù)與所有元素指數(shù)和的比值。通過這種方法，可以將神經(jīng)元的輸出映射到（0，1）區(qū)間內(nèi)，當(dāng)成概率來理解。對應(yīng)于softmax，采用交叉熵（CrossEntropy）作為損失函數(shù)，當(dāng)輸出為兩類時，交叉熵公式如下：

其中，y代表真實樣本標(biāo)簽，代表樣本標(biāo)簽為1的概率。

表1 給出了本文深度神經(jīng)網(wǎng)絡(luò)主要層的參數(shù)設(shè)定以及輸出。

表1 深度神經(jīng)網(wǎng)絡(luò)每層參數(shù)以及輸出

在每層卷積層后分別包含BN 層，ReLU 及最大池化層。

1.2 整體流程

本文所提出的病理圖像病變區(qū)域檢測的主要流程如圖3所示。

模型訓(xùn)練階段，計算機接收數(shù)字病理圖像，在專家標(biāo)注內(nèi)進行圖像切割，隨后對切割出的圖塊進行染色校正的操作，再對整個圖塊數(shù)據(jù)集進行數(shù)據(jù)增強，以提高模型的泛化能力，最后將圖塊數(shù)據(jù)輸入所建CNN 模型進行訓(xùn)練。

在對數(shù)字病理圖像進行預(yù)測的過程中，首先自適應(yīng)提取感興趣區(qū)（Region of Interests，ROI），在ROI 內(nèi)進行圖像切割；再進行染色校正操作；然后使用CNN對各圖塊進行預(yù)測，計算圖塊屬于病變區(qū)域的概率；最后根據(jù)圖塊坐標(biāo)和預(yù)測概率在原始數(shù)字病理圖像中進行標(biāo)記，輔助醫(yī)生進行最終診斷。

圖3 檢測方法流程圖

自適應(yīng)ROI提?。菏褂醚谀みM行分離是提取ROI的一種可靠方法。在本研究中，觀察到不同病理圖像呈現(xiàn)的主體顏色存在差異，因此無法直接使用固定閾值對所有圖像進行前、背景分離。本研究中采用大津閾值法[22]（Otsu）自適應(yīng)計算各圖的閾值T,Otsu也稱最大類間方差法，方差是灰度分布均勻性的一種度量，背景和前景之間的類間方差越大，說明構(gòu)成圖像的兩部分的差別越大，當(dāng)部分前景錯分為背景或部分背景錯分為前景都會導(dǎo)致兩部分差別變小。因此，使類間方差最大的分割意味著錯分概率最小。以閾值T作為界限將灰度圖像分為前景和背景。自適應(yīng)計算方法公式如下：

其中，w0、w1分別代表前景和背景像素占整幅圖像的比例；μ0、μ1、μ分別代表前景、背景和整幅圖像的平均灰度；g表示類間方差。將公式（9）代入公式（10），得到以下公式：

通過不斷調(diào)整閾值T，使類間方差g獲得最大值，對圖像進行前、背景分離。

自適應(yīng)提取ROI 過程：計算原始圖像的灰度圖；使用大津閾值法獲得掩膜；使用形態(tài)學(xué)閉運算（先膨脹再腐蝕），祛除掩膜中小黑點；剔除面積占整圖比例較小區(qū)域；獲得ROI。

滑動窗圖像切割：在標(biāo)注及ROI 內(nèi)，從上向下依次滑動，保存滑動窗口內(nèi)的圖塊作為后續(xù)CNN 的輸入數(shù)據(jù)，滑動窗口的邊長與步長相同，為1 024 像素。如果圖塊處于標(biāo)注的病變區(qū)域內(nèi)，則將其標(biāo)記為陽性，標(biāo)簽為1；如果圖塊處于標(biāo)注的正常區(qū)域內(nèi)，則將其標(biāo)注為陰性，標(biāo)簽為0。

數(shù)據(jù)增強：由于期待卷積神經(jīng)網(wǎng)絡(luò)在圖塊中提取的特征應(yīng)該是方位不變的，數(shù)據(jù)增強包括對圖塊進行旋轉(zhuǎn)、水平或垂直翻轉(zhuǎn)、邊緣裁剪和等比例縮放。染色校正會對圖像進行色彩上的調(diào)整，為保留圖像原本的紋理特征，數(shù)據(jù)增強過程未對圖像的亮度和對比度做任何額外的調(diào)整。

染色校正：染色校正的目的是降低各圖像之間的顏色差異，使得卷積神經(jīng)網(wǎng)絡(luò)著重學(xué)習(xí)病理圖像中細胞的排列和結(jié)構(gòu)，組織的紋理等特征。本研究中采取Reinhard顏色遷移方法[23]將模板圖像的內(nèi)部顏色特征應(yīng)用于目標(biāo)圖像。RGB 各通道之間存在著一定的相關(guān)性，這意味著，如果要對圖像的色彩進行處理，常常需要對像素的三個通道同時進行修改才不會影響圖像的真實感，這將大大增加顏色調(diào)整過程的復(fù)雜性。

因此，在RGB 色彩空間下進行色彩變化會比較復(fù)雜，得到的視覺效果也不自然。本研究中，首先將各圖像轉(zhuǎn)移到Lab 色彩空間中，Lab 色彩空間不僅基本消除了顏色分量之間的強相關(guān)性，而且有效地將圖像的灰度信息和顏色信息分離開來。所以可以分別對三個通道圖像進行獨立的運算，而不需要修改另外兩個通道的信息，從而不會影響原圖像的自然效果。色彩空間轉(zhuǎn)換過程如下：

其中，R、G、B代表像素點RGB 通道分量；L、M、S代表像素點LMS 通道分量；l、α、β代表像素點Lab 通道分量。

此方法的主要思想是根據(jù)圖像的統(tǒng)計分析確定一個線性變換，使得目標(biāo)圖像和模板圖像在Lab色彩空間中有相同的均值和方差，計算公式如下：

其中，rl、rα、rβ分別是源圖像Lab通道原有的數(shù)據(jù)，L、A、B分別是變換后得到新的源圖像Lab通道的值，ml、mα、mβ和ml′、mα′、mβ′分別是源圖像和著色圖像的三個顏色通道的均值，nl、nα、nβ和nl′、nα′、nβ′表示它們的標(biāo)準(zhǔn)方差。在獲得L、A、B后，通過公式（12）～（14）獲得染色校正后新圖像的RGB通道數(shù)值。

經(jīng)過染色后的圖像在不改變原有紋理特征的情況下，使得RGB各通道有著更為相似的分布，有著類數(shù)據(jù)歸一化的作用。圖4所示為染色前后的圖像對比圖。

圖4 染色效果圖

2 實驗結(jié)果與分析

實驗時，所使用的 CPU 型號為 3.4 GHz、16 核AMD1950x，內(nèi)存容量為 64 GB，GPU 為 12 GB 顯存NVIDIA TITAN-V。軟件方面，使用Python作為設(shè)計語言，配合openslide、opencv 等視覺庫進行代碼編寫。深度學(xué)習(xí)模型框架使用Keras 以完成對模型的構(gòu)建、訓(xùn)練與預(yù)測。

實驗過程中使用了不同數(shù)據(jù)集對本研究中的網(wǎng)絡(luò)模型進行了驗證，包括胃病理數(shù)據(jù)集和TCGA肝癌公開數(shù)據(jù)集。為了定量地評估染色效果及不同算法的性能，采用了以下評價指標(biāo)：分類準(zhǔn)確率Accuracy，敏感性Sensitivity，特異性Specificity。

其中，TP為真陽性圖塊數(shù)量，TN為真陰性圖塊數(shù)量，F(xiàn)P為假陽性圖塊數(shù)量，F(xiàn)N為假陰性圖塊數(shù)量。

2.1 特征可視化

本次研究中，為探究不同維度特征在病灶識別中的意義，將Bottom-top模塊中常規(guī)卷積層及各殘差塊中最后深度可分離卷積層的輸出特征進行可視化，如圖5所示。

圖5 中，左側(cè)為進行染色校正后的病理圖塊；右側(cè)為對當(dāng)前圖塊進行不同卷積后的可視化特征圖，每次卷積取兩層特征圖作為示例。為突出特征圖的細節(jié)，將其顏色風(fēng)格設(shè)置為紫紅色以凸顯對比度?？梢杂^察到，在Con1、Conv2中，由于卷積處于淺層位置，特征圖中仍能保留原始圖像中的較多信息，大量紋理特征被學(xué)習(xí)；隨著網(wǎng)絡(luò)加深，Block1中特征圖經(jīng)過下采樣，分辨率降低，但與上層特征仍然較為相似，這也是本文網(wǎng)絡(luò)選擇將此處特征圖作為特征結(jié)合最后一項因子的原因；Block2中，紋理信息淡化，邊緣、輪廓等特征逐漸增強；Block3中基本無法觀察到紋理信息，細胞及組織的邊緣、輪廓信息愈加明顯；網(wǎng)絡(luò)不斷加深使得特征更加抽象化，Block5中生成對分類有較強決策意義的語義特征。

圖5 特征圖可視化

病理醫(yī)生在對圖像進行診斷時需要不斷地調(diào)整視野及關(guān)注區(qū)域，需對細胞的輪廓及大小，組織邊緣的光滑程度，紋理的排列特征等進行觀察，最后整合信息形成判斷。從特征可視化圖像可以觀察到，CNN 對圖像進行學(xué)習(xí)的方式與人工判斷的方式有著相似之處，不同維度特征在病灶識別任務(wù)中具有實際意義。

2.2 胃病理數(shù)據(jù)集

本次研究中的胃病理數(shù)據(jù)集來自于國內(nèi)某三甲醫(yī)院，共包含355 張tif 格式的全視野數(shù)字病理切片（Whole Slide Images，WSIs），所有切片均使用 HE（Hematoxylin-Eosin）染色法進行著色，且以40X的倍率進行數(shù)字化。專業(yè)病理科醫(yī)生在ASAP 標(biāo)注軟件中進行標(biāo)注，所有標(biāo)注經(jīng)過另一名醫(yī)生復(fù)核。

以8∶2 的比率將WSI 分為兩部分，其中284 張作為訓(xùn)練集的原始數(shù)據(jù)，另外獨立的71 張作為驗證集原始數(shù)據(jù)。經(jīng)過切割后的圖塊數(shù)據(jù)分布如表2所示。

表2 數(shù)據(jù)分布表 張

訓(xùn)練過程中，初始學(xué)習(xí)率設(shè)置為0.000 1，使用Adam優(yōu)化器優(yōu)化訓(xùn)練，與其他自適應(yīng)學(xué)習(xí)率算法相比，Adam的收斂速度更快，且能夠避免損失函數(shù)波動大的問題。Batchsize 設(shè)置為64，即每輪隨機輸入圖64 張。設(shè)置迭代次數(shù)epoch 值為20。剛開始訓(xùn)練的時候使用較大的學(xué)習(xí)率，能夠避免模型陷入到局部最優(yōu)；在模型的效果趨于平緩后，使用衰減后較小的學(xué)習(xí)率，使模型能夠收斂到最優(yōu)值。

將圖1本文模型的Top-down疊加模塊去除（即Bottomtop 輸出直接連接到 Modeloutput），記為 Modelb。在染色校正后的數(shù)據(jù)集上與本文模型進行對比，對比效果如表3所示。

表3 特征疊加效果對比 %

由表3 可知，在添加特征疊加模塊后，預(yù)測準(zhǔn)確率提高了1.87%，這得益于多維度特征結(jié)合時對各層次特征的聯(lián)合學(xué)習(xí)以及上采樣后對細小特征的精細學(xué)習(xí)。

另選取多種主流CNN模型及其他方法進行實驗對比，各模型對獨立的驗證集圖像進行預(yù)測的信息如表4所示。

表4 染色校正前后各模型效果對比

可以發(fā)現(xiàn)，在對病理圖像的圖塊進行預(yù)測時，各深度學(xué)習(xí)方法都能夠獲得較高的準(zhǔn)確率，均高于95%。在同等條件下，本文所建立的模型能夠獲得更好的預(yù)測效果，InceptionResnet V2 所達到的準(zhǔn)確率與本文模型相似，但是訓(xùn)練參數(shù)量卻高達14 倍之多。表4 中，使用相同的網(wǎng)絡(luò)模型且加入染色校正的預(yù)處理方法后，各性能指標(biāo)均有提升，各模型預(yù)測準(zhǔn)確率最多提高了3.42%。染色校正能夠降低各圖像之間的顏色差異，使模型能夠著重于學(xué)習(xí)細胞的形態(tài)、結(jié)構(gòu)和排列等特征。在對圖塊進行預(yù)測前仍進行了染色校正的預(yù)處理操作，所以網(wǎng)絡(luò)查找相關(guān)特征不會受到顏色差異的影響。使用染色校正方法后，本文模型在驗證集上可以獲得最高98.65%的靈敏度，同時特異性達到98.69%。雖然特異性沒有達到所有模型中的最高，但是靈敏度作為一個非常重要的指標(biāo)，能夠反映模型檢測出病變區(qū)域的能力。越高的靈敏度值說明漏診率的下降，這對于病人提早發(fā)現(xiàn)病情，接收早期治療有著重要意義。特異性高說明模型未將正常區(qū)域錯分為病變區(qū)域。本文模型對染色校正后的圖塊預(yù)測準(zhǔn)確率最終為98.67%，這已經(jīng)達到了相當(dāng)高的準(zhǔn)確率。結(jié)合各模型中最高的敏感性98.65%，本次研究中所應(yīng)用的方法能夠為病理科醫(yī)生提供可靠的診斷基礎(chǔ)。

本次研究中，在完成每輪（epoch）訓(xùn)練后使用當(dāng)次訓(xùn)練所得參數(shù)對驗證集圖像進行測試。圖6 所示即為染色后的圖塊驗證集在各模型上的準(zhǔn)確率-時間曲線。為直觀體現(xiàn)各模型在耗時上的對比，橫軸設(shè)置為時間軸，代表在整個過程中獲得對應(yīng)坐標(biāo)點所經(jīng)歷的訓(xùn)練與驗證時間總和。對圖6觀察可知，對于相同規(guī)模的圖像數(shù)據(jù)集，本文模型在訓(xùn)練及驗證時長上遠低于其他模型。本文模型每訓(xùn)練1 個epoch 約需40 min，其余模型每訓(xùn)練1 個epoch 的時間在45～73 min 內(nèi)。由于每個模型都需要訓(xùn)練多次，因此本文模型能夠減少大量訓(xùn)練時間。由圖6 可以發(fā)現(xiàn)，本文模型在第11 個epoch，約440 min時達到最佳效果，其余模型中最快在600 min時才能達到最高的準(zhǔn)確率。

圖6 染色后圖像驗證集準(zhǔn)確率曲線

綜上所述，本文模型在病灶識別任務(wù)中準(zhǔn)確率高，并且較其他方法有更強的病灶檢出能力，同時，模型參數(shù)少極大節(jié)省了訓(xùn)練時間。在圖像不斷累積，模型參數(shù)需要不斷更新的現(xiàn)實情況下具有實際應(yīng)用意義。

2.3 TCGA肝癌公開數(shù)據(jù)集

為進一步驗證本文模型在不同種類病理上的適用性，對肝癌數(shù)據(jù)集進行了測試。癌癥基因組圖譜（The Cancer Genome Atlas，TCGA）收錄了各種人類癌癥的臨床數(shù)據(jù)，選擇其中的肝癌病理圖像作為實驗對象。TCGA肝癌數(shù)據(jù)集共包含379張svs格式的WSI，所有圖像標(biāo)注由專家提供并復(fù)核。選擇302 張WSI 作為訓(xùn)練集，另外77 張WSI 作為驗證集。在標(biāo)注內(nèi)對圖像進行切割后，數(shù)據(jù)分布如表5所示。

表5 數(shù)據(jù)分布表 張

經(jīng)圖像切割后，使用染色校正方法對數(shù)據(jù)進行處理，將染色后的圖塊輸入網(wǎng)絡(luò)進行訓(xùn)練和預(yù)測。模型參數(shù)設(shè)置與上文相同。對驗證集進行預(yù)測后的混淆矩陣如表6所示。

表6 驗證集混淆矩陣

由混淆矩陣可以得出，本文模型在TCGA肝癌數(shù)據(jù)集上的準(zhǔn)確率可以達到97.4%，敏感性達到97.3%。數(shù)據(jù)證明，本文方法可以在不同的病理圖像上獲得良好效果。

3 結(jié)論

為了提高病理圖像病灶識別的準(zhǔn)確率及效率，提出了一種結(jié)合多維度特征的病理圖像病灶識別方法。本文中的模型以深度可分離卷積為基礎(chǔ)，降低了模型的訓(xùn)練參數(shù)量；在Bottom-top 提取特征后，將多維度特征在Top-down 方向進行上采樣并進行疊加，使低維特征與高維語義特征進行關(guān)聯(lián)，特征上采樣能夠使卷積學(xué)習(xí)到圖像中更精細的特征，疊加特征可以提高特征利用率；最終獲得的模型在訓(xùn)練參數(shù)量上較主流模型得到大幅降低。同時，本研究在預(yù)處理過程中采用染色校正的方法，降低了不同圖像的顏色差異。本文在胃病理數(shù)據(jù)集及TCGA 肝癌公開數(shù)據(jù)集上驗證了所提模型的性能。實驗結(jié)果表明，所提出的模型與其他方法相比，具有參數(shù)少，訓(xùn)練快，準(zhǔn)確率高的優(yōu)點，能夠更準(zhǔn)更快地實現(xiàn)病理圖像病灶標(biāo)注。