張夢(mèng)倩，張 莉,2+

1.蘇州大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，江蘇 蘇州 215006

2.蘇州大學(xué) 機(jī)器學(xué)習(xí)與類腦計(jì)算國(guó)際合作聯(lián)合實(shí)驗(yàn)室，江蘇 蘇州 215006

圖像分類是計(jì)算機(jī)視覺中最基本的任務(wù)。早期，支持向量機(jī)和K近鄰方法是圖像分類的主流方法。然而，在1998 年Lecun 等人[1]提出了用于圖像分類的5 層卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN），即LeNet-5 方法之后，CNN 開始在這個(gè)領(lǐng)域散發(fā)光芒。因而，基于CNN 的各種高效方法被提出，如AlexNet（Alex network）[2]、VGG16（visual geometry group 16）[3]、GoogLeNet（Google Net）[4]、ResNet（deep residual network）[5]、DenseNet（densely networks）[6]等。

細(xì)胞圖像分類在圖像分類任務(wù)中占有一席之地，如宮頸細(xì)胞[7-8]、白細(xì)胞[9]、紅細(xì)胞[10]等。細(xì)胞圖像往往來自醫(yī)學(xué)圖像采集，與視覺圖像相比，這類圖像通常具有分辨率低、對(duì)比度低、圖像信息模糊等特點(diǎn)。因此，細(xì)胞圖像分類是圖像分類中的一個(gè)難題。然而，對(duì)細(xì)胞圖像進(jìn)行準(zhǔn)確分類對(duì)于臨床診斷和醫(yī)學(xué)研究具有重要意義。因此，細(xì)胞圖像分類具有重要的學(xué)術(shù)研究?jī)r(jià)值和巨大的實(shí)用研究?jī)r(jià)值。

本文研究的對(duì)象是人上皮2 型（human epithelial type 2，HEp-2）細(xì)胞，針對(duì)其間接免疫熒光檢測(cè)（indirect immunofluorescence，IIF）圖像進(jìn)行分類。對(duì)于HEp-2 圖像而言，往往有著看似相同的細(xì)胞輪廓和難以區(qū)分的細(xì)節(jié)特征。因而，對(duì)HEp-2 細(xì)胞圖像細(xì)節(jié)特征中的差別進(jìn)行抽取，是分類任務(wù)的根本。但對(duì)于HEp-2 細(xì)胞全局特征的把握也是不可或缺的，Gao等人[11]在其論文中對(duì)于細(xì)胞掩模部分的研究充分證明了這一點(diǎn)。因此，單一地關(guān)注其全局特征或者細(xì)節(jié)特征，都無法對(duì)其準(zhǔn)確判斷。

因此，本文將粗-細(xì)（coarse-to-fine,CTF）策略應(yīng)用到模型中。在人類的生長(zhǎng)和生活中，對(duì)于視覺的感知往往是一個(gè)CTF 的過程。例如，當(dāng)新生兒的初始視力很弱時(shí)，在大多數(shù)情況下，只能看到物體的整體結(jié)構(gòu)，對(duì)于細(xì)節(jié)特征的掌握和記憶能力較差。隨著視力的提高和大腦發(fā)育的不斷改善，大腦將逐漸豐富每一個(gè)認(rèn)知原型的細(xì)節(jié)，從而獲得對(duì)目標(biāo)粒度更豐富的理解，直到穩(wěn)定。這與Navon[12]在1977 年提出的視覺感知中的“全局優(yōu)先”效應(yīng)相吻合，即對(duì)于人類而言，全局特征比局部特征更能被識(shí)別。相應(yīng)的認(rèn)知實(shí)驗(yàn)表明，人類識(shí)別大寫字母的反應(yīng)時(shí)間，比識(shí)別小寫字母的反應(yīng)時(shí)間短。該理論也充分證明了CTF 的合理性。

學(xué)者們相繼將CTF 策略應(yīng)用到了相關(guān)算法中。該策略最早出現(xiàn)在20 世紀(jì)90 年代初的人臉檢測(cè)算法中，Yang 和Huang[13]提出了使用CTF 策略來解決計(jì)算資源不足的問題。在對(duì)人像進(jìn)行下采樣和上采樣后，先對(duì)模糊圖像進(jìn)行分類，然后對(duì)原始圖像進(jìn)行進(jìn)一步分類，不僅提高了分類結(jié)果，而且節(jié)約了計(jì)算資源。在圖像分類領(lǐng)域，也有不少學(xué)者對(duì)CTF 策略進(jìn)行了擴(kuò)展應(yīng)用。Tian 等人[14]提出以霍夫圓檢測(cè)為粗分類器及CNN 和支持向量機(jī)為細(xì)分類器，對(duì)白細(xì)胞和白帶濕膜細(xì)胞進(jìn)行識(shí)別。Fu 等人[15]利用CNN 不同維度的全連接層輸出，作為粗略和精細(xì)的信息，聯(lián)合優(yōu)化損失函數(shù)對(duì)圖像進(jìn)行分類。以上方法雖不同，但都表明了CTF 策略對(duì)模型有正面影響。

為此，本文提出一種基于聚類的粗-細(xì)卷積神經(jīng)網(wǎng)絡(luò)（coarse-to-fine two-stage convolutional neural network，CTFTCNN）模型，并應(yīng)用于HEp-2 細(xì)胞圖像分類。本文模型由兩種子網(wǎng)絡(luò)組成：粗粒度網(wǎng)絡(luò)和細(xì)粒度網(wǎng)絡(luò)。每種子網(wǎng)絡(luò)都獨(dú)立訓(xùn)練，不會(huì)增加整體網(wǎng)絡(luò)的深度。先基于驗(yàn)證集圖像聚類，獲得一個(gè)粗粒度數(shù)據(jù)集，用于粗粒度網(wǎng)絡(luò)的訓(xùn)練。該數(shù)據(jù)集在每一粗類中包含一個(gè)或多個(gè)細(xì)類且每個(gè)細(xì)類只屬于一個(gè)粗類。

在CTFTCNN 中，粗粒度網(wǎng)絡(luò)是一個(gè)多尺度卷積神經(jīng)網(wǎng)絡(luò)（multi-scale convolutional neural network，MSCNN）[16]。為其分配的任務(wù)是確定樣本屬于哪個(gè)粗類，這項(xiàng)任務(wù)的重點(diǎn)是識(shí)別圖像的全局特征，相對(duì)較簡(jiǎn)單?？蓪⒋至６染W(wǎng)絡(luò)類比弱視時(shí)期的人類。細(xì)粒度神經(jīng)網(wǎng)絡(luò)中包含的網(wǎng)絡(luò)個(gè)數(shù)，與粗粒度數(shù)據(jù)集中包含兩個(gè)細(xì)類以上的粗類個(gè)數(shù)相同。每個(gè)子網(wǎng)絡(luò)將對(duì)應(yīng)每個(gè)粗類，用于重新訓(xùn)練兩個(gè)或多個(gè)細(xì)類。細(xì)粒度網(wǎng)絡(luò)中的每個(gè)子分類器都是一個(gè)需要微調(diào)的VGG16 網(wǎng)絡(luò)，可以極大地節(jié)省計(jì)算資源和訓(xùn)練時(shí)間?？蓪⒓?xì)粒度網(wǎng)絡(luò)類比有著豐富視覺經(jīng)驗(yàn)和專業(yè)知識(shí)時(shí)期的人類。預(yù)測(cè)時(shí)，如果粗類中只含有一個(gè)細(xì)類，則可以從粗粒度網(wǎng)絡(luò)輸出結(jié)果。否則，將粗粒度網(wǎng)絡(luò)和細(xì)粒度網(wǎng)絡(luò)提取的特征，聯(lián)合決定出最終的預(yù)測(cè)結(jié)果。

1 相關(guān)工作

1.1 HEp-2 細(xì)胞分類

病人血清中的抗核抗體是各種自身免疫性疾病特別是抗核抗體相關(guān)風(fēng)濕性疾病的重要血清標(biāo)志物。常用的檢測(cè)血清中抗核抗體的方法是用純化或重組抗原篩選抗核抗體，如酶聯(lián)免疫吸附試驗(yàn)（enzyme linked immunosorbent assay，ELISA）和HEp-2 細(xì)胞間接免疫熒光法（IIF）[17-18]。雖然ELISA 方法簡(jiǎn)單、自動(dòng)化程度高，但在抗原純化過程中，會(huì)出現(xiàn)抗原性“衰減”或“失活”等缺點(diǎn)，而后一種方法則不會(huì)。另外，HEp-2 細(xì)胞是人源性細(xì)胞，有著核抗原豐富、特異性強(qiáng)、含量高、核體積大、細(xì)胞結(jié)構(gòu)清晰等優(yōu)點(diǎn)，易于觀察和熒光染色分析，還能檢測(cè)總抗核抗體。因此，基于HEp-2 細(xì)胞的IIF 方法被美國(guó)風(fēng)濕病學(xué)會(huì)和歐洲自身免疫標(biāo)準(zhǔn)化協(xié)會(huì)推薦為抗核抗體檢測(cè)的標(biāo)準(zhǔn)方法[19]。本文針對(duì)經(jīng)過IIF 方法的HEp-2 細(xì)胞，對(duì)其抗核抗體的核型進(jìn)行鑒定，其中不同的核型，可能對(duì)應(yīng)于不同的自身免疫性疾病。

在2015 年之前，對(duì)于HEp-2 圖像分類的主流方法是傳統(tǒng)淺層機(jī)器學(xué)習(xí)[20-26]。在這類算法中，特征提取是分類任務(wù)的關(guān)鍵步驟。但傳統(tǒng)淺層機(jī)器學(xué)習(xí)算法提取的特征不充分，且包含一些不相關(guān)的特征，導(dǎo)致分類性能較差。為了進(jìn)一步提高分類性能，學(xué)者們提出了一些基于CNN 的HEp-2 圖像特征提取方法。Gao 等人[11]在2017 年提出了一種基于5 層CNN的HEp-2 圖像分類器，在ICPR 2012 和ICPR 2014 數(shù)據(jù)集上都取得了良好的效果。并說明了在處理HEp-2 圖像時(shí)，不需要使用掩模和校正圖像。同年，Liu 等人[27]提出了一個(gè)由5 層CNN 組成的深度自動(dòng)編碼分類網(wǎng)絡(luò)（deep autoencoding-classification network,DACN），分為兩個(gè)分支：圖像恢復(fù)解碼器和圖像分類器。DACN 的損失函數(shù)是兩個(gè)分支的聯(lián)合。

基于殘差網(wǎng)絡(luò)ResNet[5]，Shen 等人[28]提出了一種更深層次的網(wǎng)絡(luò)結(jié)構(gòu)，稱為深交叉剩余網(wǎng)絡(luò)（deep cross residual network，DCRN）。DCRN 中的深度交叉殘差模塊由3 個(gè)卷積層和3 個(gè)交叉連接組成，將網(wǎng)絡(luò)升級(jí)到24 層，并在I3A 和ICPR 2012 數(shù)據(jù)集上取得了良好的效果。無獨(dú)有偶，Xie 等人[29]提出了一種50 層的深度監(jiān)督ResNet（deeply supervised ResNet,DSRN），充分利用了殘差模塊，能夠解決梯度消失和彌散問題。

1.2 圖像聚類

聚類算法是一類無監(jiān)督學(xué)習(xí)算法，其目的是利用相似度度量，使得同一個(gè)簇（或組）的數(shù)據(jù)比來自不同簇的數(shù)據(jù)更相似。以此，將數(shù)據(jù)集分為多個(gè)簇。因此，數(shù)據(jù)的特征在聚類算法中顯得極為重要。然而，圖像數(shù)據(jù)的信息表示方式不具有結(jié)構(gòu)化和代表性，給特征的確定帶來困難，同時(shí)圖像數(shù)據(jù)也是一種高維數(shù)據(jù)。即使是100×100 像素的小灰度圖像也有10 000 維。因此，圖像的聚類通常存在以下問題：（1）直接在高維數(shù)據(jù)集中應(yīng)用聚類算法效率低。（2）由于數(shù)據(jù)在高維空間中具有稀疏性，數(shù)據(jù)分布分散難以成簇。（3）由于維數(shù)高，算法的計(jì)算時(shí)間復(fù)雜度也高。

實(shí)際上，學(xué)者們對(duì)圖像聚類做了很多研究。Zheng 等人[7]提出了一種用于圖像聚類的局部預(yù)服務(wù)方法。Yang 等人[30]提出了一種使用局部判別模型和全局集成的聚類算法。He 等人[31]提出在張量空間中表示圖像，并采用K-means 對(duì)這些圖像進(jìn)行聚類。Tariq 等人[32]基于張量分解和圖像的空間結(jié)構(gòu)，提出了一種非參數(shù)聚類方法。另有學(xué)者以深度學(xué)習(xí)的方式從自編碼器中抽取圖像特征，嵌入聚類層完成圖像聚類任務(wù)[33]。對(duì)于數(shù)據(jù)降維算法[34]和聚類算法[35]的優(yōu)化，也都在不斷進(jìn)行。

在本文方法中，聚類的作用是輔助劃分?jǐn)?shù)據(jù)集為粗集。本文使用最簡(jiǎn)單也最普遍的方法，主成分分析和K-均值（PCA+K-means）來輔助劃分?jǐn)?shù)據(jù)集。

2 粗-細(xì)兩階段神經(jīng)網(wǎng)絡(luò)算法

2.1 數(shù)據(jù)預(yù)處理

假設(shè){(X,Y)}={(x1,y1),(x2,y2),…,(xn,yn)} 為給定的數(shù)據(jù)集，其中圖像數(shù)據(jù)xi∈?l×d，yi∈{1,2,…,k}是xi的標(biāo)簽，l和d分別表示圖像的行和列數(shù)，k是總的類別數(shù)，也是細(xì)類的個(gè)數(shù)。令X=XT?XV和Y=YT?YV，其中XT是樣本數(shù)為|XT|=t的訓(xùn)練集，XV是樣本數(shù)為|XV|=v的驗(yàn)證集，YT和YV是對(duì)應(yīng)的標(biāo)簽集，n=t+v是給定樣本的數(shù)量。

本文方法采用CTF 策略。先考慮為粗粒度分類任務(wù)生成粗粒度數(shù)據(jù)集，即對(duì)原始數(shù)據(jù)集進(jìn)行一個(gè)粗略的劃分。一般情況下，根據(jù)給定的簇?cái)?shù)k′且k′

接著本文考慮為細(xì)粒度分類任務(wù)生成數(shù)據(jù)集。由于細(xì)粒度網(wǎng)絡(luò)采用VGG16 模型，需要將原始圖像xi∈?l×d轉(zhuǎn)換成大小為224×224 且通道為3 的圖像，即。令轉(zhuǎn)換后的圖像數(shù)據(jù)集為。根據(jù)先前的聚類結(jié)果，對(duì)轉(zhuǎn)換后的圖像數(shù)據(jù)集進(jìn)行重新劃分，即。本文使用細(xì)類標(biāo)簽生成訓(xùn)練集和驗(yàn)證集：

其中，tu和vu分別表示Cu粗類中訓(xùn)練集和驗(yàn)證集的圖像個(gè)數(shù)。

2.2 訓(xùn)練過程

2.2.1 粗粒度網(wǎng)絡(luò)

從圖1（a）可以看出，粗粒度網(wǎng)絡(luò)是一種MSCNN模型，它可以在非相鄰層之間傳遞信息。由于MSCNN在圖像分類問題上，特別是在低精度圖像的分類問題上具有優(yōu)異的性能[36]，本文將MSCNN 作為粗粒度網(wǎng)絡(luò)。

Fig.1 Model in training procedure圖1 訓(xùn)練過程的模型結(jié)構(gòu)圖

如圖1（a）所示，粗粒度網(wǎng)絡(luò)由5 個(gè)卷積層、3 個(gè)非重疊最大池層、2 個(gè)完全連接層和1 個(gè)多尺度連接組成。粗粒度網(wǎng)絡(luò)的參數(shù)列在表1 中，6′表示操作設(shè)置在多尺度連接上。在執(zhí)行卷積之后，每個(gè)層由激活函數(shù)ReLU（rectified linear unit）來激活。激活函數(shù)可以為模型引入非線性因素，提高網(wǎng)絡(luò)表達(dá)能力。

Table 1 Configuration of coarse-grained network with input size 78×78表1 輸入尺寸為78×78 的粗粒度網(wǎng)絡(luò)的配置

在本文的模型中，粗粒度網(wǎng)絡(luò)被用作初級(jí)分類。粗粒度網(wǎng)絡(luò)的訓(xùn)練集是帶有粗類標(biāo)簽y′i的XTC。由于聚類的作用，在某粗類中的圖像具有相似的全局特征。而正如“全局優(yōu)先”假設(shè)所言，對(duì)于全局特征的識(shí)別比局部特征要簡(jiǎn)單得多，因此粗粒度網(wǎng)絡(luò)的結(jié)構(gòu)相對(duì)簡(jiǎn)單。在粗粒度網(wǎng)絡(luò)中，卷積層的核較大，便于從圖像中提取全局特征。

粗粒度網(wǎng)絡(luò)的具體訓(xùn)練過程如下。對(duì)于任意(xi,y′i)∈XTC，將xi通過11 層網(wǎng)絡(luò)，并使用Softmax 函數(shù)得到它的粗類估計(jì)輸出。其中，在第三個(gè)卷積層之后，特征映射將被傳播到兩條路徑：主路徑和分支路徑。在主路中，第三卷積層的輸出通過2×2 非重疊最大池化層和第四個(gè)卷積層。在分支路徑中，第三個(gè)卷積層的輸出直接通過4×4 的非重疊最大池化層，與主路徑中的特征映射在信道上進(jìn)行拼接。將拼接后的特征映射通過第五卷積層，在通道上進(jìn)行混合和壓縮，進(jìn)一步融合前后特征信息。最后經(jīng)過2 個(gè)全連接層后，通過Softmax 函數(shù)對(duì)特征圖進(jìn)行分類。

粗粒度網(wǎng)絡(luò)的模型可以表示為以下公式：

其中，F(xiàn)C(xi)表示xi在粗粒度分類階段的最終特征圖，fconv(?)表示卷積層操作，表示重復(fù)k次的全連接操作，fconv+p4(?)表示卷積操作和步長(zhǎng)為4 的非重疊最大化池化層，表示重復(fù)k次卷積操作和步長(zhǎng)為2 的非重疊最大化池化層。采用Softmax 函數(shù)對(duì)xi的粗類估計(jì)表示如下：

2.2.2 細(xì)粒度網(wǎng)絡(luò)

細(xì)粒度網(wǎng)絡(luò)的目標(biāo)是通過進(jìn)一步細(xì)化每個(gè)粗類的判別能力，以此來提高分類性能。根據(jù)“全局優(yōu)先”假設(shè)可知，確定細(xì)節(jié)特征的任務(wù)相對(duì)困難。因此，本文需要用復(fù)雜而有經(jīng)驗(yàn)的網(wǎng)絡(luò)來處理它。VGG16 包含16 層，并且由數(shù)以千計(jì)的圖像進(jìn)行預(yù)訓(xùn)練，是解決任務(wù)的“最佳人選”。同時(shí)，在細(xì)粒度網(wǎng)絡(luò)中，卷積核較小，也便于從圖像中提取細(xì)節(jié)特征。在本模型中，細(xì)粒度網(wǎng)絡(luò)采用已預(yù)訓(xùn)練好的VGG16 模型，其中預(yù)先訓(xùn)練的VGG16 模型意味著，該模型已經(jīng)在ImageNet 數(shù)據(jù)集上進(jìn)行了訓(xùn)練，并且在許多分類應(yīng)用中取得了良好的效果。此處，本文再對(duì)VGG16進(jìn)行微調(diào)，可以節(jié)省訓(xùn)練成本并提高模型表達(dá)效率。由于原VGG16 模型使用224×224×3 的圖像進(jìn)行訓(xùn)練，因此相應(yīng)地把輸入細(xì)粒度網(wǎng)絡(luò)的圖像尺寸進(jìn)行了調(diào)整，以便更好地適應(yīng)VGG16 模型。

2.3 預(yù)測(cè)過程

假設(shè)已經(jīng)訓(xùn)練好了粗粒度網(wǎng)絡(luò)和細(xì)粒度網(wǎng)絡(luò)。現(xiàn)在考慮對(duì)無標(biāo)簽的圖像x∈?l×d分配標(biāo)簽。

首先，通過粗粒度網(wǎng)絡(luò)對(duì)x進(jìn)行初步的類別預(yù)測(cè)，即

其中，0 ≤α≤1 是加權(quán)系數(shù)。如圖2 所示，將混合特征圖F(x)輸入到分類器中獲得對(duì)x的分類估計(jì)：

3 實(shí)驗(yàn)與結(jié)果

為了驗(yàn)證本文所提模型的有效性，本章在ICPR2014 Task-2 數(shù)據(jù)集上測(cè)試并對(duì)比了本文方法。

以Python 3.6 在Tensorflow1.13.1 框架作為實(shí)驗(yàn)運(yùn)行環(huán)境。在本文的實(shí)驗(yàn)中，以1E-4 的學(xué)習(xí)率，采用Adam（adaptive moment estimation）優(yōu)化器來訓(xùn)練網(wǎng)絡(luò)。

3.1 度量標(biāo)準(zhǔn)

對(duì)HEp-2 細(xì)胞分類模型的性能評(píng)估，通常采用的指標(biāo)為平均分類準(zhǔn)確率（average classification accuracy，ACA）和平均類精度（mean class accuracy，MCA）。給定N個(gè)測(cè)試樣本xi及標(biāo)簽yi，ACA的計(jì)算公式如下：

MCA 主要計(jì)算每個(gè)類的平均精度，公式如下[37]：

其中，CCRj指第j類的正確分類率。

3.2 數(shù)據(jù)集

Fig.2 Model in prediction procedure圖2 模型預(yù)測(cè)結(jié)構(gòu)圖

本文采用ICPR 2014 Task-2數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。該數(shù)據(jù)來源于澳大利亞Sullivan Nicolaides病理實(shí)驗(yàn)室，收集自1 001名抗核抗體陽性患者血清[38-39]。收集過程如下：首先把病人血清稀釋到1∶80，形成一個(gè)樣本；然后，用安裝在顯微鏡上的單色照相機(jī)拍攝標(biāo)本。每個(gè)樣本在4 個(gè)不同的位置拍攝，即每個(gè)樣本呈現(xiàn)4個(gè)樣本圖像。樣本圖像的染色核型分為6 類：14 367個(gè)均勻型、14 655 個(gè)斑點(diǎn)型、13 257 個(gè)核仁型、13 737個(gè)著絲粒型、5 086 個(gè)高爾基型和2 343 個(gè)核膜型。

所有樣本圖像均為單色未壓縮格式，分辨率為1 388×1 040 像素，并帶有自動(dòng)獲取的相應(yīng)細(xì)胞掩模。Qi 等人[40]利用ICPR 2014 Task-2 數(shù)據(jù)集的分割掩模，設(shè)計(jì)了一種自動(dòng)提取細(xì)胞圖像的方法，從ICPR 2014 Task-2 數(shù)據(jù)集中共裁剪出6 個(gè)模式63 445個(gè)細(xì)胞圖像。裁剪后的HEp-2 圖像大小在70×70 左右浮動(dòng)。為了不丟失信息和統(tǒng)一起見，本文將裁剪的HEp-2 圖像的大小調(diào)整為78×78。圖3 顯示了數(shù)據(jù)集中的一些圖像樣本。

3.3 實(shí)驗(yàn)和結(jié)果

公平起見，所有的實(shí)驗(yàn)都是在相同的環(huán)境下進(jìn)行的，所有方法采用相同的激活函數(shù)，并在同一訓(xùn)練和測(cè)試集上進(jìn)行。

在經(jīng)過粗粒度網(wǎng)絡(luò)前，通過對(duì)驗(yàn)證集聚類獲得粗分集合。本次實(shí)驗(yàn)中選取k′=3，聚類過程中，隨機(jī)多次從驗(yàn)證集中抽取不同規(guī)模（600，1 200，3 000）的數(shù)據(jù)，進(jìn)行多次聚類，均獲得相同的聚類結(jié)果。聚類結(jié)果為C1={1,2,4}，C2={3}，C3={5,6}。隨后，本文使用粗粒度訓(xùn)練集來訓(xùn)練粗粒度網(wǎng)絡(luò)，進(jìn)行了12 000次迭代，并進(jìn)行測(cè)試。粗粒度網(wǎng)絡(luò)的測(cè)試結(jié)果如表2所示。為顯示細(xì)粒度網(wǎng)絡(luò)對(duì)網(wǎng)絡(luò)性能提升的幫助，將粗分類網(wǎng)絡(luò)的具體分類性能顯示在表3 中，其中粗體表示該類的準(zhǔn)確性。

Table 2 Classification performance of coarse-grained network on test set表2 粗粒度網(wǎng)絡(luò)在測(cè)試集上的分類性能 %

Table 3 Classification performance of coarse-grained network on test set(specific)表3 粗粒度網(wǎng)絡(luò)在測(cè)試集上的分類性能（具體）%

本文模型在測(cè)試集上得到的最終分類結(jié)果，顯示在表4 中。比較表3 和表4，可以看出均勻型、斑點(diǎn)型和著絲粒型的分類精度在經(jīng)過細(xì)粒度網(wǎng)絡(luò)后性能是增加的，分別增加了11.1 個(gè)百分點(diǎn)、9.1 個(gè)百分點(diǎn)和1.8 個(gè)百分點(diǎn)。同時(shí)通過細(xì)粒度網(wǎng)絡(luò)后，也降低了它們的混淆率。此外，還可以看到，屬于C3粗類的圖像，通過對(duì)應(yīng)的細(xì)粒度網(wǎng)絡(luò)，高爾基型和核膜型的分類準(zhǔn)確率分別提高了1.7 個(gè)百分點(diǎn)和3.1 個(gè)百分點(diǎn)。

Table 4 Classification performance of CTFTCNN on test set表4 CTFTCNN 在測(cè)試集上的分類性能 %

Fig.3 Examples of 6 classes of HEp-2 cell patterns圖3 6 類HEp-2 細(xì)胞染色模式示例

這些現(xiàn)象表明，為了進(jìn)一步區(qū)分類，有必要為C1和C3構(gòu)建細(xì)粒度網(wǎng)絡(luò)。在細(xì)粒度網(wǎng)絡(luò)的幫助下，5 個(gè)類的分類性能都得到了提高。因此，CTFTCNN 的分類性能在總體上優(yōu)于粗粒度網(wǎng)絡(luò)，即MSCNN。

此外，本文結(jié)果與Gao 等人[11]提出的5 層CNN、Shen 等人[28]提出的DCRN 以及Tian 等人[14]提出的細(xì)胞分類模型進(jìn)行對(duì)比。由于上述方法的源碼無法獲得，且模型結(jié)構(gòu)簡(jiǎn)明詳盡，對(duì)比方法的實(shí)驗(yàn)結(jié)果是復(fù)現(xiàn)所得。如第2 章所述，粗粒度網(wǎng)絡(luò)和細(xì)粒度網(wǎng)絡(luò)，分別是MSCNN 和經(jīng)過預(yù)訓(xùn)練的VGG16 網(wǎng)絡(luò)，也可以直接將兩者單獨(dú)用作分類器進(jìn)行對(duì)比。

在表5 中列出了本文模型與其他方法的性能比較。從表5 中可以看到，所提出的模型在比較方法中具有最高的ACA 和MCA，其次是DCRN。在ACA和MCA 指標(biāo)上，本文模型分別高于DCRN4.5 個(gè)百分點(diǎn)和3.06 個(gè)百分點(diǎn)。因此，CTFTCNN 與最先進(jìn)的方法相比具有更好的性能。

Table 5 Comparison of 6 methods on test set表5 6 種方法在測(cè)試集上的比較

對(duì)于任意圖像，如果粗粒度網(wǎng)絡(luò)為其分配C2類的粗標(biāo)簽，那么可以直接得到它的細(xì)類標(biāo)簽為3，即為核仁型；否則將其放入相應(yīng)的細(xì)粒度網(wǎng)絡(luò)。然后根據(jù)式（4）確定其標(biāo)簽，其中根據(jù)經(jīng)驗(yàn)設(shè)置α=0.2。

4 總結(jié)

本文針對(duì)HEp-2 細(xì)胞圖像分類，提出了一種具有CTF 策略的CNN 模型。該模型將粗粒度網(wǎng)絡(luò)和細(xì)粒度網(wǎng)絡(luò)結(jié)合，用以代替更深層次的CNN。因此該模型可以解決較深CNN 帶來的一些問題。對(duì)于粗粒度網(wǎng)絡(luò)，利用MSCNN 的結(jié)構(gòu)，保持層間信息的有效連接融合。在設(shè)置細(xì)粒度網(wǎng)絡(luò)時(shí)，應(yīng)用了遷移學(xué)習(xí)思想，有利于減少計(jì)算資源消耗。該模型結(jié)合HEp-2 細(xì)胞圖像的特征，可以有效地對(duì)HEp-2 細(xì)胞圖像進(jìn)行分類。本文在ICPR 2014 Task-2 數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)。與MSCNN 相比，CTFTCNN 在一定程度上提高了其分類精度，充分說明了CTF 策略的必要性和集成學(xué)習(xí)的有效性。與目前最先進(jìn)的方法相比，CTFTCNN 也具有優(yōu)越性。因此，本文提出的模型對(duì)于臨床診斷具有很大的潛力。