歐莉莉，邵峰晶*，孫仁誠(chéng)，2，隋 毅

（1.青島大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院，山東青島 266071；2.青島大學(xué)附屬醫(yī)院，山東青島 266071）

0 引言

近年來(lái)，隨著醫(yī)學(xué)成像技術(shù)不斷提高，各種醫(yī)學(xué)設(shè)備產(chǎn)生的大量醫(yī)學(xué)圖像，為醫(yī)學(xué)圖像識(shí)別研究提供了充分的數(shù)據(jù)來(lái)源。然而，由于醫(yī)學(xué)圖像數(shù)據(jù)具有多模態(tài)性、多維性和不確定性等特點(diǎn)［1］，給醫(yī)學(xué)圖像識(shí)別帶來(lái)了很大挑戰(zhàn)。傳統(tǒng)的醫(yī)學(xué)圖像識(shí)別是由醫(yī)生對(duì)患者的超聲影像進(jìn)行肉眼觀察診斷，其識(shí)別率低、耗時(shí)比較長(zhǎng)，診斷結(jié)果也往往具有主觀性和低可靠性，難以滿足當(dāng)下的醫(yī)學(xué)需求，而深度學(xué)習(xí)（Deep Learning）的出現(xiàn)促進(jìn)了醫(yī)學(xué)圖像識(shí)別的進(jìn)一步發(fā)展。深度學(xué)習(xí)作為機(jī)器學(xué)習(xí)的一個(gè)重要分支，其原理是模仿人腦的機(jī)制，自動(dòng)學(xué)習(xí)數(shù)據(jù)的內(nèi)在規(guī)律，利用分層網(wǎng)絡(luò)模型逐層地提取特征，這些特征能準(zhǔn)確地反映數(shù)據(jù)信息，從而提高圖像識(shí)別的準(zhǔn)確性。

生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）是由Goodfellow 等［2］在2014 年提出的，并且在深度學(xué)習(xí)領(lǐng)域引起廣泛的研究熱潮。由于GAN 的生成能力比較強(qiáng)，人們逐漸將其應(yīng)用于圖像領(lǐng)域，例如圖像合成［3］、圖像修復(fù)［4］、圖像識(shí)別、視頻檢索［5］、根據(jù)文字生成圖片［6］、圖像超分辨率［7］、灰度圖像上色［8］及X光圖像的生成［9］等方面。在圖像識(shí)別領(lǐng)域中，雖然基于GAN 的方法［10］具有很高的識(shí)別率，但是與監(jiān)督學(xué)習(xí)方法一樣，在訓(xùn)練時(shí)需要大量的標(biāo)簽數(shù)據(jù)。當(dāng)標(biāo)簽數(shù)據(jù)不足時(shí)，會(huì)影響一些特定問(wèn)題的識(shí)別效果。如：在對(duì)醫(yī)學(xué)圖像分析時(shí)，采集到的樣本需要先由經(jīng)驗(yàn)豐富的醫(yī)生進(jìn)行標(biāo)注，然后才能進(jìn)行分析，但是這個(gè)過(guò)程要耗費(fèi)大量的時(shí)間和人力，還會(huì)浪費(fèi)無(wú)標(biāo)簽樣本中的一些重要信息［11］。

本文針對(duì)這個(gè)問(wèn)題，將半監(jiān)督生成對(duì)抗網(wǎng)絡(luò)（Semi-Supervised GAN，SSGAN）［12］與深度卷積生成對(duì)抗網(wǎng)絡(luò)（Deep Convolutional GAN，DCGAN）［13］的特點(diǎn)相結(jié)合，構(gòu)建半監(jiān)督深度卷積生成對(duì)抗網(wǎng)絡(luò)（Semi-Supervised DCGAN，SS-DCGAN）模型，在該模型中將具有特征提取功能的卷積神經(jīng)網(wǎng)絡(luò)加入到生成器與判別器中，用來(lái)提取圖片的特征信息。本文實(shí)驗(yàn)中選用的是腦部磁共振（Magnetic Resonance，MR）圖像數(shù)據(jù)，其中只有少量的標(biāo)簽數(shù)據(jù)，通過(guò)對(duì)比不同模型在該數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果，證明半監(jiān)督深度卷積生成對(duì)抗網(wǎng)絡(luò)具有一定的魯棒性。

1 生成對(duì)抗網(wǎng)絡(luò)

GAN 是一種深度學(xué)習(xí)模型，主要由生成器和判別器組成，生成器G與判別器D是一種博弈對(duì)抗關(guān)系。GAN 網(wǎng)絡(luò)中生成器與判別器是一種對(duì)抗關(guān)系，在模型訓(xùn)練時(shí)需要對(duì)兩個(gè)網(wǎng)絡(luò)同時(shí)進(jìn)行訓(xùn)練［14］，生成對(duì)抗網(wǎng)絡(luò)的基本框架如圖1所示。

圖1 GAN基本框架Fig.1 Base framework of GAN

生成器負(fù)責(zé)最大化地?cái)M合服從某種簡(jiǎn)單分布的隨機(jī)噪聲，使其盡可能地服從真實(shí)數(shù)據(jù)的分布，并生成偽樣本；判別器負(fù)責(zé)判斷輸入的數(shù)據(jù)是否為真實(shí)數(shù)據(jù)，若為真則輸出為1，否則為0。訓(xùn)練時(shí)，生成器與判別器相互博弈，前者生成的偽樣本慢慢接近真實(shí)數(shù)據(jù)，后者的判斷能力慢慢增強(qiáng)。當(dāng)判別器無(wú)法確定數(shù)據(jù)是真實(shí)數(shù)據(jù)還是生成數(shù)據(jù)時(shí)，生成器已經(jīng)很好地學(xué)習(xí)到了真實(shí)數(shù)據(jù)的分布規(guī)律，即D(G(z))=0.5。式（1）為GAN模型的優(yōu)化函數(shù)［2］，由前后兩部分組成：

其中：x為真實(shí)數(shù)據(jù)，服從真實(shí)數(shù)據(jù)分布Pdata(x)；z為隨機(jī)噪聲，服從先驗(yàn)分布Pz(z)；G（z）是將隨機(jī)噪聲z輸入到生成器所產(chǎn)生的偽樣本；D（x）和D（G（z））分別為判別器判斷x和G（z）為“真”的概率。

在判別器中，要提高判斷是真實(shí)數(shù)據(jù)還是生成數(shù)據(jù)的能力，需要對(duì)判別器的參數(shù)進(jìn)行更新。對(duì)于真實(shí)數(shù)據(jù)就是要最大化D（x），即最大化log(D(x))；對(duì)于生成數(shù)據(jù)G（z），要最小化D（G（x）），即最大化log(1-D(G(z)))。由此可以得出判別器的目標(biāo)函數(shù)，如式（2）所示：

在生成器中，通過(guò)欺騙判別器來(lái)提高自身生成偽樣本的能力，就要對(duì)生成器的參數(shù)進(jìn)行更新。要想使判別器判斷不出輸入的數(shù)據(jù)是否是偽樣本，就要使D（G（z））最大，即最小化log(1-D(G(z)))。因此，生成器的目標(biāo)函數(shù)如式（3）所示：

2 半監(jiān)督生成對(duì)抗網(wǎng)絡(luò)

2016 年OpenAI 提出了GAN 的改進(jìn)模型——半監(jiān)督生成對(duì)抗網(wǎng)絡(luò)（Semi-Supervised GAN，SSGAN）［10］。本文將該網(wǎng)絡(luò)模型應(yīng)用到腦部MR 圖像的識(shí)別上。相較于GAN 模型，SSGAN 使用標(biāo)簽數(shù)據(jù)和無(wú)標(biāo)簽數(shù)據(jù)共同訓(xùn)練有類(lèi)別信息的樣本。

SSGAN 模型的基本框架如圖2 所示。將隨機(jī)噪聲z輸入到生成器，并輸出生成樣本G（z）；G（z）與有標(biāo)簽、無(wú)標(biāo)簽的腦部MR數(shù)據(jù)一同輸入到判別器中。假定對(duì)于一個(gè)K分類(lèi)問(wèn)題，將生成器生成的偽樣本記為y=K+1類(lèi)，判別器最后將輸出K+1 維的分類(lèi)結(jié)果。在SSGAN 訓(xùn)練過(guò)程中，其損失函數(shù)采用監(jiān)督學(xué)習(xí)與無(wú)監(jiān)督學(xué)習(xí)相結(jié)合的方式，這種做法有助于提高半監(jiān)督分類(lèi)的準(zhǔn)確率［15］。

圖2 SSGAN基本框架Fig.2 Base framework of SSGAN

為了能夠更好地獲取腦部MR 圖像的特征信息，本文還采用了將傳統(tǒng)的監(jiān)督學(xué)習(xí)方法卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）與無(wú)監(jiān)督的GAN 相結(jié)合的深度卷積生成對(duì)抗網(wǎng)絡(luò)（Deep Convolutional GAN，DCGAN）［11］。該模型是由Alec Radford 于2015 年提出的，并首次將卷積神經(jīng)網(wǎng)絡(luò)與生成對(duì)抗網(wǎng)絡(luò)結(jié)合在一起，利用卷積神經(jīng)網(wǎng)絡(luò)的特征提取功能［16］，來(lái)提高GAN模型訓(xùn)練過(guò)程的穩(wěn)定性。

DCGAN的主要貢獻(xiàn)表現(xiàn)在下列三個(gè)主要方面：

1）改變了普通卷積神經(jīng)網(wǎng)絡(luò)在卷積之后接一層池化的結(jié)構(gòu)，去掉池化層。判別器中池化層換成步長(zhǎng)為1 的卷積層，而生成器中的池化層換為反卷積層。

2）刪除網(wǎng)絡(luò)中的全連接層，將卷積神經(jīng)網(wǎng)絡(luò)連接到生成器判別器的輸入輸出層。

3）在生成器和判別器輸入層、中間層都使用批量歸一化（Batch Normalization，BN）。

除此之外，因?yàn)镚AN 中使用的是不適合高分辨率生成的maxout［17］激活函數(shù)，而DCGAN 在生成器的輸出層使用Tanh激活函數(shù)，其他層均使用ReLU（Rectified Linear Unit）［18］激活函數(shù)；在判別器的每層都使用LeakyReLU［19］激活函數(shù)。

3 半監(jiān)督深度卷積生成對(duì)抗網(wǎng)絡(luò)

半監(jiān)督深度卷積生成對(duì)抗網(wǎng)絡(luò)（SS-DCGAN）的主要思想是：結(jié)合了SSGAN 和DCGAN 的特點(diǎn)，建立圖像識(shí)別模型SSDCGAN。在模型中將深度卷積神經(jīng)網(wǎng)絡(luò)引入到生成器與判別器中。在訓(xùn)練時(shí)，判別器作為分類(lèi)器進(jìn)行訓(xùn)練。在該模型中不僅使用了標(biāo)簽數(shù)據(jù)，還使用了大量的無(wú)標(biāo)簽數(shù)據(jù)，主要是為了利用無(wú)標(biāo)簽數(shù)據(jù)來(lái)提高標(biāo)簽數(shù)據(jù)的分類(lèi)精度。在訓(xùn)練時(shí)，雖然無(wú)標(biāo)簽數(shù)據(jù)不帶有類(lèi)別信息，但卻有助于學(xué)習(xí)數(shù)據(jù)的整體分布，同時(shí)能夠提高模型的分類(lèi)準(zhǔn)確率。

在生成器中，首先，將服從某種特定分布的100 維隨機(jī)噪聲輸入到生成器中，經(jīng)過(guò)Reshape 操作，得到一個(gè)三維張量，大小為4×4×1 024；然后將該三維張量經(jīng)過(guò)6 次反卷積和上采樣，生成與真實(shí)數(shù)據(jù)大小及分布一致的樣本圖像。最后在輸出層輸出大小為128×128×3 的偽樣本圖像，其中128×128 代表圖像的分辨率，3 代表圖像通道數(shù)。在反卷積過(guò)程中，卷積核ω的大小為5×5，步長(zhǎng)stride 為2，完成一次反卷積操作，都要進(jìn)行批量歸一化處理。網(wǎng)絡(luò)的輸出層采用的是Tanh 激活函數(shù)，其余層采用的是ReLU激活函數(shù)。其結(jié)構(gòu)如圖3所示。

在判別器中，采用的了17 層卷積神經(jīng)網(wǎng)絡(luò)和3 個(gè)全連接層。首先，通過(guò)17 層卷積層對(duì)128×128×3 的圖像進(jìn)行特征提取，再利用全連接層對(duì)特征信息進(jìn)行整合，最后輸出分類(lèi)結(jié)果。每完成一次卷積操作就要進(jìn)行批量歸一化，在卷積過(guò)程中采用的是LeakyReLU 激活函數(shù)。它與ReLU 函數(shù)的不同之處在于，LeakyReLU 函數(shù)在負(fù)半軸保留了數(shù)值為0.2 的斜率，作用是：在訓(xùn)練過(guò)程中，避免因出現(xiàn)梯度消失，模型無(wú)法收斂的情況。網(wǎng)絡(luò)的輸出層是全連接層，并通過(guò)Softmax 輸出歸一化類(lèi)別概率。其結(jié)構(gòu)如圖4所示。

圖3 SS-DCGAN生成器結(jié)構(gòu)Fig.3 Generator structure of SS-DCGAN

圖4 SS-DCGAN的判別網(wǎng)絡(luò)Fig.4 Discriminator network of SS-DCGAN

4 基于SS-DCGAN的腦部MR圖像識(shí)別

基于上述模型結(jié)構(gòu)，針對(duì)腦部MR 圖像識(shí)別中有標(biāo)簽數(shù)據(jù)稀缺的問(wèn)題，采用了一種基于GAN 模型的半監(jiān)督方法來(lái)實(shí)現(xiàn)腦部MR 圖像的識(shí)別。該方法對(duì)網(wǎng)絡(luò)參數(shù)的更新是通過(guò)監(jiān)督損失和無(wú)監(jiān)督損失共同訓(xùn)練，在生成器中，利用特征匹配來(lái)提高GAN 的學(xué)習(xí)能力，通過(guò)對(duì)抗訓(xùn)練來(lái)提高圖像識(shí)別的準(zhǔn)確率。

4.1 數(shù)據(jù)及預(yù)處理

本文所用數(shù)據(jù)來(lái)自青島大學(xué)附屬醫(yī)院神經(jīng)科，是在有經(jīng)驗(yàn)臨床醫(yī)生的指導(dǎo)下選取的腦部MR 圖像，并將其分為正常（不患腦梗）和異常（患腦梗）兩種類(lèi)別的圖像，在異常圖像中又根據(jù)其患腦梗病變的面積將其分為：腔隙性腦梗死（病變面積＜1.5 cm）、小梗死（病變面積1.5～3 cm）、大梗死（病變面積＞3 cm）。正常圖像的腦組織區(qū)域呈灰黑色，而異常圖像的腦組織會(huì)有部分灰白色區(qū)域，如圖5所示，圖5（b）中框中部分即為病灶區(qū)域。

為了使輸入圖像尺寸與模型相匹配，在輸入模型之前需要將裁剪后大小不一的圖像設(shè)置成相同的大小?？紤]到模型訓(xùn)練速度以及計(jì)算機(jī)性能等原因，選擇128×128 像素作為輸入圖像的尺寸大小。通過(guò)對(duì)初始樣本中的少量圖片進(jìn)行數(shù)據(jù)增強(qiáng)，將它們以不同的角度逆時(shí)針?lè)D(zhuǎn)（如10°、15°、20°、25°），從而使數(shù)據(jù)擴(kuò)充到6 744 張，并將數(shù)據(jù)集的80%作為訓(xùn)練集，20%作為測(cè)試集，即訓(xùn)練集5 396 張，測(cè)試集1 348 張。其中訓(xùn)練集分為標(biāo)簽數(shù)據(jù)與無(wú)標(biāo)簽數(shù)據(jù)，并且無(wú)標(biāo)簽數(shù)據(jù)要遠(yuǎn)多于標(biāo)簽數(shù)據(jù)。

圖5 腦部MR圖像Fig.5 MR images of brain

4.2 SS-DCGAN模型訓(xùn)練

在SS-DCGAN 中，對(duì)于一個(gè)K分類(lèi)問(wèn)題，將生成器生成的偽樣本添加到真實(shí)數(shù)據(jù)中，并記為第K+1 類(lèi)，將數(shù)據(jù)x作為判別器的輸入，并輸出一個(gè)K+1 維的邏輯向量(l1，l2，…，lK+1)，再通過(guò)softmax函數(shù)得出歸一化類(lèi)別概率：

其中：Pmodel的最大值對(duì)應(yīng)類(lèi)別的預(yù)測(cè)標(biāo)簽。

SS-DCGAN 模型的訓(xùn)練過(guò)程就是損失函數(shù)的優(yōu)化過(guò)程。在判別器中，要輸入三種類(lèi)別的數(shù)據(jù)（有標(biāo)簽數(shù)據(jù)、無(wú)標(biāo)簽數(shù)據(jù)、生成數(shù)據(jù)），且都有其相應(yīng)的損失函數(shù)，即有標(biāo)簽數(shù)據(jù)損失Llabel、無(wú)標(biāo)簽數(shù)據(jù)損失Lunlabel、生成樣本損失Lgen。

有標(biāo)簽數(shù)據(jù)損失，即真實(shí)類(lèi)標(biāo)簽分布和預(yù)測(cè)類(lèi)標(biāo)簽的交叉熵?fù)p失，此表達(dá)式為：

無(wú)標(biāo)簽數(shù)據(jù)損失，即無(wú)標(biāo)簽數(shù)據(jù)來(lái)自真實(shí)數(shù)據(jù)，此時(shí)y≠K+1，該表達(dá)式為：

生成樣本的損失，即生成器生成的偽樣本被判別器判斷為假樣本的損失，此時(shí)y=K+1，該表達(dá)式為：

其中：x為數(shù)據(jù)圖像；y為有標(biāo)簽數(shù)據(jù)的標(biāo)簽，即y∈{1，2，…，K，K+1}；x，y～Pdata表示輸入帶有標(biāo)簽y的真實(shí)數(shù)據(jù)圖像x；x～Pdata表示x是真實(shí)數(shù)據(jù)分布中的無(wú)標(biāo)簽數(shù)據(jù)；x～G表示x來(lái)自生成器生成的偽樣本；Pmodel(·|·)表示預(yù)測(cè)類(lèi)概率。

在判別器的損失函數(shù)中：

1）有標(biāo)簽樣本的損失Llabel，相當(dāng)于一個(gè)標(biāo)準(zhǔn)的監(jiān)督分類(lèi)任務(wù)的訓(xùn)練過(guò)程，對(duì)于一個(gè)K分類(lèi)，優(yōu)化網(wǎng)絡(luò)參數(shù)需要通過(guò)最小化標(biāo)簽數(shù)據(jù)樣本和模型預(yù)測(cè)分布Pmodel(y|x)之間的交叉熵。

2）無(wú)標(biāo)簽樣本損失Lunlabel，在訓(xùn)練時(shí)就是要盡可能最大化無(wú)標(biāo)簽數(shù)據(jù)來(lái)自真實(shí)數(shù)據(jù)的概率。

3）生成樣本損失Lgen，在訓(xùn)練時(shí)就是要盡可能地最大化樣本來(lái)自生成樣本的概率。

判別器的訓(xùn)練過(guò)程就是優(yōu)化損失函數(shù)的過(guò)程。其中，對(duì)有標(biāo)簽數(shù)據(jù)進(jìn)行監(jiān)督學(xué)習(xí)，對(duì)無(wú)標(biāo)簽數(shù)據(jù)和生成樣本進(jìn)行無(wú)監(jiān)督學(xué)習(xí)。即，判別器的總損失函數(shù)LD是由監(jiān)督損失函數(shù)Lsupervised和無(wú)監(jiān)督損失函數(shù)Lunsupervised組成，公式如下：

判別器會(huì)將生成樣本判別為假樣本，為了欺騙判別器，達(dá)到擴(kuò)充樣本的目的，就需要生成器生成的偽樣本近似擬合真實(shí)數(shù)據(jù)。在本文并沒(méi)有采用原始GAN 中的方法來(lái)定義生成器的損失函數(shù)LG，而是采用特征匹配的方法［10］，即：訓(xùn)練過(guò)程中，G的損失函數(shù)為生成樣本與真實(shí)樣本特征匹配的結(jié)果，通過(guò)最小化損失函數(shù)，生成器實(shí)現(xiàn)最大化擬合真實(shí)數(shù)據(jù)的分布。其定義為：

其中：f(·)表示判別器中間層的特征值；||·||2表示2-范數(shù)。

本文為了提高模型的學(xué)習(xí)能力，將監(jiān)督和無(wú)監(jiān)督損失相結(jié)合，共同來(lái)對(duì)判別器的參數(shù)進(jìn)行調(diào)整，過(guò)程為：訓(xùn)練時(shí)，判別器與生成器交替訓(xùn)練，如果要更新一方的參數(shù)，就要固定另一方的參數(shù)。對(duì)判別器訓(xùn)練時(shí)，參數(shù)的更新通過(guò)最小化標(biāo)簽數(shù)據(jù)和模型預(yù)測(cè)分布之間的交叉熵，無(wú)標(biāo)簽的真實(shí)數(shù)據(jù)和偽樣本需要通過(guò)GAN 的對(duì)抗訓(xùn)練原理來(lái)進(jìn)行參數(shù)的更新。訓(xùn)練生成器時(shí)，采用的是特征匹配方法來(lái)擬合真實(shí)數(shù)據(jù)的分布。SS-DCGAN 模型是通過(guò)監(jiān)督與無(wú)監(jiān)督的聯(lián)合訓(xùn)練來(lái)實(shí)現(xiàn)半監(jiān)督分類(lèi)功能。

SS-DCGAN模型的訓(xùn)練過(guò)程如下：

1）將服從某種簡(jiǎn)單分布的隨機(jī)噪聲z輸入到生成器，得到偽樣本G（z）。

2）判別器中輸入真實(shí)樣本x（有標(biāo)簽、無(wú)標(biāo)簽）和偽樣本G（z），并通過(guò)softmax輸出歸一化概率值D（x）和D（G（z））。

3）使生成器的參數(shù)不變，如果圖像為有標(biāo)簽的真實(shí)數(shù)據(jù)圖像，則將Llabel作為損失函數(shù)；若真實(shí)圖像為無(wú)標(biāo)簽數(shù)據(jù)圖像，則Lunlabel作為損失函數(shù)；若輸入圖像為生成器生成的偽樣本圖像，則Lgen作為損失函數(shù)。判別器的參數(shù)調(diào)整采用Adam梯度下降法。

4）保持判別器的參數(shù)不變，全連接層的輸出為中間層特征，生成器參數(shù)的調(diào)整是通過(guò)真實(shí)圖像與偽樣本的特征匹配。

5）以上4個(gè)步驟重復(fù)執(zhí)行，當(dāng)達(dá)到設(shè)定的epoch結(jié)束。

6）模型訓(xùn)練完成后，將測(cè)試集輸入到判別器中，輸出圖像類(lèi)別。

5 實(shí)驗(yàn)與結(jié)果分析

本文實(shí)驗(yàn)環(huán)境為Windows 10 系統(tǒng)，CPU 3.60 GHz，RAM 32.0 GB，Python版本為3.7。

實(shí)驗(yàn)中數(shù)據(jù)加載方式為批處理，大小為16，epoch 為1 500。采用全局學(xué)習(xí)率為0.000 3、動(dòng)量大小為0.5 的Adam優(yōu)化器來(lái)優(yōu)化損失函數(shù)［14］。為了充分驗(yàn)證SS-DCGAN 模型圖像識(shí)別的有效性，在腦部MR 圖像上進(jìn)行實(shí)驗(yàn)。模型沒(méi)有對(duì)輸入的圖像進(jìn)行預(yù)處理，只是將圖像做歸一化處理，再映射到［-1，1］的范圍上［14］。

將腦部MR 圖像在SS-DCGAN 模型上訓(xùn)練1 500輪后判別器與生成器損失函數(shù)（D_loss 和G_loss）的變化曲線圖如圖6所示。

圖6 模型損失變化趨勢(shì)Fig.6 Loss trend of model

從圖6 可看出，隨著訓(xùn)練次數(shù)的增加，判別器與生成器的損失都呈下降趨勢(shì)。在D_loss 損失圖中，在訓(xùn)練初期出現(xiàn)急劇下降的趨勢(shì)，后期部分損失函數(shù)出現(xiàn)震蕩現(xiàn)象。而在G_loss 損失圖中，訓(xùn)練時(shí)會(huì)出現(xiàn)大幅震蕩現(xiàn)象。原因是：兩個(gè)網(wǎng)絡(luò)訓(xùn)練時(shí)進(jìn)行博弈對(duì)抗，并不斷學(xué)習(xí)圖像的特征，后期兩個(gè)網(wǎng)絡(luò)的學(xué)習(xí)能力都逐漸增強(qiáng)，就會(huì)出現(xiàn)圖中所顯示的此消彼長(zhǎng)的震蕩現(xiàn)象［9］。

圖7 為訓(xùn)練情況下模型的分類(lèi)準(zhǔn)確率結(jié)果，其訓(xùn)練情況下的平均準(zhǔn)確率達(dá)到95.05%。

圖7 腦部MR圖像上訓(xùn)練準(zhǔn)確率變化趨勢(shì)Fig.7 Change trend of train_acc on MR images of brain

訓(xùn)練結(jié)果表明，腦部MR圖像在SS-DCGAN模型上進(jìn)行訓(xùn)練時(shí)得到了較高的訓(xùn)練準(zhǔn)確率。為了測(cè)試SS-DCGAN 在標(biāo)簽數(shù)據(jù)較少時(shí)的分類(lèi)性能，將本文模型與監(jiān)督學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)（CNN）［20］、半監(jiān)督梯度網(wǎng)絡(luò)（Ladder Network）［21］以及ResNet32（Residual Network 32）進(jìn)行對(duì)比實(shí)驗(yàn)。將有標(biāo)簽數(shù)據(jù)的數(shù)量依次分為25、50、100、250、600、1 200，在這6 種不同標(biāo)注數(shù)量的樣本中采用的數(shù)據(jù)集都是來(lái)自訓(xùn)練集。表1 為上述4 種方法在這6 種不同標(biāo)注數(shù)量樣本下的平均準(zhǔn)確率，表2為不同標(biāo)注數(shù)量樣本的測(cè)試時(shí)間，圖8 為平均準(zhǔn)確率的變化趨勢(shì)圖。

表1 不同標(biāo)注數(shù)量樣本的平均準(zhǔn)確率Tab.1 Average classification accuracy of samples with different numbers of labeled data

表2 不同標(biāo)注數(shù)量樣本的測(cè)試時(shí)間Tab.2 Test time of samples with different number of labeled data

表1 中的數(shù)據(jù)是每個(gè)模型在相同數(shù)據(jù)集、epoch 為1 500的情況下經(jīng)過(guò)6 次實(shí)驗(yàn)得出的平均準(zhǔn)確率，從中可以看出，SS-DCGAN 在有標(biāo)簽數(shù)據(jù)較少時(shí)就能達(dá)到相較于其他方法不錯(cuò)的準(zhǔn)確率。例如：SS-DCGAN 在只有50 個(gè)標(biāo)注樣本時(shí)就可以達(dá)到60.97%的平均準(zhǔn)確率，但CNN想要達(dá)到與SS-DCGAN相當(dāng)?shù)臏?zhǔn)確率就需要50～100個(gè)標(biāo)注樣本。SS-DCGAN相較于其他兩種模型，即半監(jiān)督梯度網(wǎng)絡(luò)和ResNet32，都表現(xiàn)出優(yōu)越的性能。但是盡管在相同數(shù)據(jù)集下，經(jīng)過(guò)多次實(shí)驗(yàn)，SSDCGAN 比ResNet32 的準(zhǔn)確率高得并不是很多。所以為了排除實(shí)驗(yàn)結(jié)果具有偶然性，同時(shí)也為了驗(yàn)證SS-DCGAN 在同等條件下是否一直比ResNet32 優(yōu)越，對(duì)Mnist、Cifar10、SVHN（Street View House Number）三個(gè)公開(kāi)的數(shù)據(jù)集在SS-DCGAN和ResNet32 上都進(jìn)行epoch 為1 000 的實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表3所示。通過(guò)對(duì)這三次實(shí)驗(yàn)的結(jié)果分析可得：在不同的數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，SS-DCGAN 對(duì)圖片的識(shí)別準(zhǔn)確率要優(yōu)于ResNet32，并且獲得更少的時(shí)間損耗。

圖8 不同標(biāo)注數(shù)量樣本分類(lèi)結(jié)果Fig.8 Classification result of samples with different numbers of labeled data

表3 不同數(shù)據(jù)的準(zhǔn)確率與訓(xùn)練時(shí)間Tab.3 Accuracy and training time of different data

為了驗(yàn)證本文所提模型的優(yōu)越性，使用腦梗死數(shù)據(jù)集在多個(gè)改進(jìn)的GAN 網(wǎng)絡(luò)模型上進(jìn)行實(shí)驗(yàn)，并且對(duì)每個(gè)模型分別進(jìn)行了5 次實(shí)驗(yàn)，對(duì)實(shí)驗(yàn)結(jié)果求得平均值。實(shí)驗(yàn)的最終結(jié)果如表4所示。

表4 不同模型的實(shí)驗(yàn)結(jié)果對(duì)比Tab.4 Comparison of experimental results of different models

分析表4 可以得出，SS-DCGAN 模型的運(yùn)行時(shí)間與GAN、CatGAN（Categorical GAN）、DCGAN 模型相差無(wú)幾，但準(zhǔn)確率要高很多。

通過(guò)分析上述的實(shí)驗(yàn)結(jié)果：SS-DCGAN 模型可以在腦部MR 圖像上獲得較好的識(shí)別效果；同時(shí)，在其他數(shù)據(jù)集上也驗(yàn)證了該方法的有效性且準(zhǔn)確率更高，表明本文所提模型具有一定的魯棒性與有效性。

6 結(jié)語(yǔ)

為了解決醫(yī)學(xué)圖像識(shí)別中有標(biāo)簽數(shù)據(jù)不足的問(wèn)題，結(jié)合了SSGAN 和DCGAN 的優(yōu)點(diǎn)，建立半監(jiān)督深度卷積生成對(duì)抗網(wǎng)絡(luò)模型。通過(guò)定義半監(jiān)督損失函數(shù)，以及監(jiān)督與無(wú)監(jiān)督學(xué)習(xí)的聯(lián)合訓(xùn)練，利用模型的判別器來(lái)識(shí)別腦部MR 圖像。在腦部MR 圖像數(shù)據(jù)集下，實(shí)驗(yàn)結(jié)果表明，SS-DCGAN 在標(biāo)簽數(shù)據(jù)不足時(shí)，能表現(xiàn)出比其他監(jiān)督、無(wú)監(jiān)督模型更好的性能，且比其他改進(jìn)的GAN 模型實(shí)現(xiàn)效果要好。未來(lái)，我們將進(jìn)一步優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，使模型的運(yùn)算更加高效，識(shí)別效果更加精準(zhǔn)，并將其應(yīng)用于其他醫(yī)學(xué)圖像識(shí)別中。