楊一風(fēng)，祁章璇，聶生東

上海理工大學(xué) 醫(yī)學(xué)影像工程研究所，上海 200093

引 言

近年來(lái)，乳腺癌因高發(fā)病率和死亡率而成為危害女性身心健康的首要問(wèn)題[1]．臨床上乳腺癌往往是由早期的乳腺病變逐漸惡化發(fā)展而來(lái)．但因其發(fā)病機(jī)理的不確定性和早期病情較為隱匿，往往會(huì)出現(xiàn)臨床漏診和誤診，從而導(dǎo)致良性病變沒(méi)有得到及時(shí)治療而逐漸發(fā)展為惡性癌變．因此，對(duì)早期乳腺病變的良惡性精確診斷及篩查，并對(duì)患者進(jìn)行有針對(duì)性的防控和治療，對(duì)降低乳腺癌的死亡率具有重要意義[2]．

醫(yī)學(xué)影像檢查為乳腺病變?cè)\斷提供了有效工具[3]．然而，近年來(lái)隨著乳腺影像檢查數(shù)量不斷攀升，臨床醫(yī)師的閱片壓力激增，極易造成誤診、漏診．乳腺癌計(jì)算機(jī)輔助診斷（computer aided diagnosis，CAD）技術(shù)應(yīng)運(yùn)而生．現(xiàn)有的乳腺癌CAD 技術(shù)主要包括傳統(tǒng)機(jī)器學(xué)習(xí)和深度學(xué)習(xí)兩種方法．基于傳統(tǒng)機(jī)器學(xué)習(xí)的方法依賴于精細(xì)地靶區(qū)人工勾畫(huà)，以便于提取用于模型訓(xùn)練的特征[4,5]．而基于深度學(xué)習(xí)的方法能夠?qū)崿F(xiàn)高通量、自動(dòng)化地感興趣區(qū)域（region of interest，ROI）特征提取，并且對(duì)ROI精細(xì)勾畫(huà)的依賴性較弱，在乳腺病變分類任務(wù)中得到了廣泛應(yīng)用[6-11]．例如Samala 團(tuán)隊(duì)[8]基于數(shù)字乳腺斷層成像（digital breast tomosynthesis，DBT）和乳腺鉬靶X 射線成像，設(shè)計(jì)了一種多階段遷移學(xué)習(xí)模型進(jìn)行乳腺良惡性腫塊的自動(dòng)分類．他們利用了非醫(yī)學(xué)圖像（ImageNet）數(shù)據(jù)上訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）模型的知識(shí)，首先用具有相對(duì)大樣本量的乳腺X射線數(shù)據(jù)進(jìn)行微調(diào)，然后再遷移到基于小型DBT 數(shù)據(jù)的目標(biāo)任務(wù)中，以提高模型在小樣本DBT 影像數(shù)據(jù)上的學(xué)習(xí)效率和診斷準(zhǔn)確率．該模型得到了平均0.93 的受試者工作特征曲線下方面積（area under the curve，AUC）值，證明了當(dāng)來(lái)自目標(biāo)域的訓(xùn)練樣本有限時(shí)，使用來(lái)自相似輔助域的數(shù)據(jù)進(jìn)行額外的遷移學(xué)習(xí)是有利的．Dalmis 等[9]通過(guò)訓(xùn)練DenseNet 網(wǎng)絡(luò)模型提取基于多參數(shù)的超快動(dòng)態(tài)增強(qiáng)磁共振成像（dynamic contrast enhanced magnetic resonance imaging，DCE-MRI）的影像特征，實(shí)現(xiàn)了AUC 為0.811 的乳腺良惡性病灶分類準(zhǔn)確率，表明超快DCE-MRI 可對(duì)乳腺良惡性病變進(jìn)行有效鑒別診斷．該團(tuán)隊(duì)進(jìn)一步采用隨機(jī)森林分類器對(duì)臨床信息（患者信息、乳腺癌易感基因和表觀彌散系數(shù)）進(jìn)行特征提取，并將影像特征與臨床特征相融合，顯著提高了模型的分類性能（AUC 提高至0.852）．Saritas 等[10]從鉬靶X 射線影像中提取影像特征，包括腫塊形狀、腫塊邊緣和腫塊密度，并與乳腺影像數(shù)據(jù)報(bào)告和數(shù)據(jù)系統(tǒng)（breast imaging reporting and data system，BI-RADS）分級(jí)和年齡進(jìn)行特征融合，而后輸入人工神經(jīng)網(wǎng)絡(luò)（artificial neural network，ANN）進(jìn)行乳腺病變良惡性的預(yù)測(cè)，從而輔助臨床醫(yī)生判斷病人是否需要進(jìn)行活檢．

CAD 模型效果不僅與模型本身結(jié)構(gòu)有關(guān)，還取決于模型的輸入[12,13]．目前大多數(shù)研究是基于鉬靶X 射線或乳腺超聲圖像進(jìn)行模型搭建，并且取得了較高的精度．相比于低分辨率的，對(duì)深位、高位病變低敏感性的鉬靶X 射線掃描，DCE-MRI 具有高分辨率、無(wú)創(chuàng)性、對(duì)乳腺病灶軟組織具有高靈敏度等優(yōu)點(diǎn)，對(duì)提高臨床早期乳腺疾病的檢出率具有重要價(jià)值[14]．然而，臨床MRI 目前通常作為乳腺診斷的一種補(bǔ)充掃描，因此可用于實(shí)驗(yàn)研究的MRI 數(shù)據(jù)相比鉬靶和超聲數(shù)據(jù)較少．受限于有限數(shù)據(jù)量，基于DCE-MRI 影像構(gòu)建高精度的乳腺病變良惡性自動(dòng)檢測(cè)模型仍具有一定挑戰(zhàn)性．

本研究提出了一種聯(lián)合非對(duì)稱卷積（asymmetric convolution，AC）和超輕子空間注意模塊（ultra-lightweight subspace attention module，Ulsam）的AC_Ulsam_CNN 網(wǎng)絡(luò)模型進(jìn)行乳腺病變良惡性的自動(dòng)鑒別診斷．首先，該模型通過(guò)增加網(wǎng)絡(luò)寬度和深度，并引入子空間注意力機(jī)制，從而能夠增強(qiáng)網(wǎng)絡(luò)的特征表達(dá)能力，提高模型的檢測(cè)性能．其后，將DCE-MRI 影像特征與其他臨床指標(biāo)進(jìn)行特征融合，通過(guò)增加特征的多樣性，以彌補(bǔ)因樣本量少導(dǎo)致的分類精度低的缺陷，進(jìn)而獲得更準(zhǔn)確可靠的分類結(jié)果．

1 實(shí)驗(yàn)部分

1.1 實(shí)驗(yàn)數(shù)據(jù)

本研究中的乳腺數(shù)據(jù)來(lái)自上海交通大學(xué)醫(yī)學(xué)院附屬新華醫(yī)院．具體入組標(biāo)準(zhǔn)為：（1）根據(jù)BI-RADS[15]，放射醫(yī)師擬診為患良性或惡性乳腺病變的患者（BI-RADS 評(píng)估為0～V 級(jí)）；（2）病灶最大截面直徑≥5 mm；（3）于同一醫(yī)院檢查并進(jìn)行手術(shù)或活檢穿刺后取得病理結(jié)果；（4）術(shù)前影像檢查包括DCE-MRI 掃描，包括動(dòng)態(tài)增強(qiáng)T1高分辨率各向同性容積采集序列（dyn-eTHRIVE，Dyn）掃描、動(dòng)態(tài)增強(qiáng)T1高分辨率各向同性體積采集的減影序列（sdyn-eTHRIVE SENSE，Sdyn）掃描和擴(kuò)散加權(quán)成像（diffusion-weighted imaging，DWI）掃描．自2014年1月至2019年12月間，符合數(shù)據(jù)入組條件的病例累計(jì)有277 例女性患者，包括良性乳腺病變119 例、惡性病變158 例（表1）．惡性病變中浸潤(rùn)性癌占比最高，良性病變主要表現(xiàn)為纖維腺瘤和乳腺?。狙芯吭O(shè)計(jì)和實(shí)施方案已獲得由倫理委員會(huì)和合作醫(yī)院機(jī)構(gòu)審查簽署的知情協(xié)議．所有參與者均簽訂書(shū)面知情同意書(shū)．

表1 乳腺病變良惡性數(shù)據(jù)分布Table 1 Data distribution of benign and malignant breast lesions

MRI 掃描均采用飛利浦Ingenia 3.0T 超導(dǎo)型磁共振設(shè)備．在注射釓噴替酸葡甲胺（Gd-DTPA）對(duì)比劑前，進(jìn)行一次平掃采集；注射對(duì)比劑后，再進(jìn)行數(shù)次連續(xù)且不間斷的重復(fù)性MRI 掃描．對(duì)比劑經(jīng)病患手背由高壓注射器進(jìn)行靜脈團(tuán)注，劑量為0.2 mmol/kg、流速為2.0 mL/s，之后使用相同方法注射15 mL 濃度為0.9%的氯化鈉水溶液，記錄磁共振動(dòng)態(tài)增強(qiáng)曲線（time intensity curve，TIC）類型．

Dyn 掃描設(shè)有5 個(gè)時(shí)序，分別記為S0～S4（如圖1所示）．Sdyn 掃描設(shè)有4 個(gè)時(shí)序，分別記為S0～S3．掃描層數(shù)均為150 層，層厚為1.2 mm，掃描時(shí)間均為58 s，影像分辨率為512 mm×512 mm，通道數(shù)為3．DWI 掃描設(shè)定擴(kuò)散敏感系數(shù)b值為0.80 s/mm2，記錄各被試的表現(xiàn)擴(kuò)散系數(shù)（apparent diffusion coefficient，ADC）．

圖1 設(shè)有5 個(gè)時(shí)序（S0～S4）的Dyn 掃描影像Fig.1 The images acquired using Dyn with 5 time phase scans (S0～S4)

1.2 實(shí)驗(yàn)方法

本文提出的基于多模態(tài)MRI 數(shù)據(jù)和深度學(xué)習(xí)的乳腺病變良惡性鑒別方法流程主要包括：（1）數(shù)據(jù)預(yù)處理；（2）基于DCE-MRI 影像數(shù)據(jù)，采用遷移學(xué)習(xí)方法預(yù)訓(xùn)練模型，以從不同的時(shí)序中篩選出對(duì)乳腺病變良惡性鑒別最為有效的掃描時(shí)序．（3）基于最優(yōu)掃描時(shí)序，構(gòu)建針對(duì)乳腺病變良惡性鑒別任務(wù)的AC_Ulsam_CNN 網(wǎng)絡(luò)模型．（4）將影像特征與臨床BI-RADS 分級(jí)指標(biāo)、ADC 值和TIC類型進(jìn)行特征融合，重新訓(xùn)練混合AC_Ulsam_CNN 網(wǎng)絡(luò)，從而進(jìn)一步提高乳腺病變良惡性鑒別的準(zhǔn)確率．

1.2.1 數(shù)據(jù)預(yù)處理

本文使用的數(shù)據(jù)模態(tài)包括DCE-MRI 不同時(shí)序的掃描圖像和其他衍生指標(biāo)，如：BI-RADS 分級(jí)指標(biāo)、ADC 值和TIC 類型．

首先，對(duì)DCE-MRI 影像數(shù)據(jù)進(jìn)行預(yù)處理．根據(jù)臨床醫(yī)師勾畫(huà)的金標(biāo)準(zhǔn)定位病灶位置，以病變區(qū)域?yàn)橹行模O(shè)置大小為64*64 的像素窗口，分割出包含病灶區(qū)域且占比適中的ROI 圖像，并保存為灰度圖片，記為基于單一信源的ROI 數(shù)據(jù)．為豐富ROI 信息，分別選取時(shí)序相位掃描中的任意三個(gè)掃描進(jìn)行通道融合．將融合后的圖像保存為具有三通道的彩色圖片，并記為基于多信源的ROI數(shù)據(jù)（如圖2所示）．

圖2 DCE-MRI 不同時(shí)序掃描的多信源組合ROI 影像示意圖Fig.2 The multi-source combined ROI images scanned by different time phase scans of DCE-MRI

其次，對(duì)衍生指標(biāo)中的臨床BI-RADS 分級(jí)和TIC 評(píng)估數(shù)據(jù)分別進(jìn)行量化處理．其中，根據(jù)臨床BI-RADS 分級(jí)結(jié)果，將對(duì)應(yīng)分級(jí)（0 級(jí)、I 級(jí)、II 級(jí)、III 級(jí)、IVa 級(jí)、IVb 級(jí)、IVc 級(jí)和V 級(jí)）量化為0 到7，代表臨床對(duì)病灶性質(zhì)的初步篩查評(píng)估；將TIC 評(píng)估中上升型、平臺(tái)型和流出型分別量化為數(shù)值0、1 和2；定量ADC 值則進(jìn)行線性歸一化處理．

其中，X表示每個(gè)病例的ADC 特征值，Xmin表示所有病例ADC 特征值中的最小值，Xmax表示所有病例ADC 特征值中的最大值，Xnorm表示每個(gè)病例歸一化后的ADC 特征值．

最后，根據(jù)DCE-MRI 中不同時(shí)序掃描及其隨機(jī)排列組合，本實(shí)驗(yàn)共獲得9 組基于單一時(shí)序掃描的單信源影像數(shù)據(jù)和13 組基于不同時(shí)序組合的多信源影像數(shù)據(jù)，如表2所示．其中，每組均包含95 106 張含乳腺病灶的ROI 圖像，包括良性病變31 722 張、惡性病變63 384 張．每張影像均有其對(duì)應(yīng)的衍生指標(biāo)，并且將臨床病理檢驗(yàn)得到的良惡性診斷結(jié)果作為其真實(shí)標(biāo)簽．

表2 DCE-MRI 中不同時(shí)序掃描及其組合Table 2 The different time phase scans and their combinations

1.2.2 基于不同時(shí)序的DCE-MRI 對(duì)乳腺病變良惡性的分類

DCE-MRI 掃描中包含多個(gè)不同時(shí)序的掃描序列，而不同時(shí)序掃描的影像對(duì)良惡性病灶的組織對(duì)比度強(qiáng)度具有不同的敏感性．因此，為篩選出對(duì)病灶良惡性鑒別最為有效的掃描序列，本文首先進(jìn)行了初步的預(yù)實(shí)驗(yàn)．然而，考慮到本實(shí)驗(yàn)中樣本量不足，若直接從頭訓(xùn)練模型，容易造成模型欠擬合或過(guò)擬合問(wèn)題，難以進(jìn)行最優(yōu)時(shí)序的篩選．遷移學(xué)習(xí)為解決小樣本量醫(yī)學(xué)影像數(shù)據(jù)提供了有效方法[16]．其中，InceptionV3 模型因具有較強(qiáng)的特征表達(dá)能力被廣泛應(yīng)用于各項(xiàng)分類任務(wù)[17]，并且已在乳房腫塊檢測(cè)研究[18-20]中取得了優(yōu)異的成果．與其他CNN 相比，InceptionV3 計(jì)算成本和內(nèi)存需求低，對(duì)有限數(shù)據(jù)集進(jìn)行遷移學(xué)習(xí)的可行性高，因此本研究中采用經(jīng)典的InceptionV3 作為預(yù)訓(xùn)練模型．通過(guò)去除頂層分類器，并添加兩個(gè)輸出尺寸分別為128 和16 的Dense 層進(jìn)行模型微調(diào)，最后采用Sigmoid 層作為模型的輸出層，以評(píng)估基于不同時(shí)序的DCE-MRI 對(duì)乳腺病變良惡性的分類性能．

1.2.3 基于AC_Ulsam_CNN 網(wǎng)絡(luò)的乳腺病變良惡性鑒別模型

基于遷移學(xué)習(xí)的方法往往依賴于目標(biāo)數(shù)據(jù)與原始數(shù)據(jù)之間的相似性，而針對(duì)高維復(fù)雜的MRI數(shù)據(jù)，該方法在模型精度提升方面仍具有一定局限性．因此，為進(jìn)一步提高DCE-MRI 影像數(shù)據(jù)對(duì)乳腺病變良惡性鑒別性能，基于篩選出的最優(yōu)時(shí)序作為輸入圖像，本文構(gòu)建了基于AC_Ulsam_CNN網(wǎng)絡(luò)的模型．如圖3所示，AC_Ulsam_CNN 網(wǎng)絡(luò)主要由兩個(gè)非對(duì)稱卷積模塊（AC Block）、兩個(gè)超輕子空間注意模塊（Ulsam Block）、兩個(gè)最大池化層（MaxPooling）和四個(gè)殘差式學(xué)習(xí)跳躍連接結(jié)構(gòu)（分別為：(2)→(5)→(6)，(8)→(11)→(12)，(12)→(17)→(20)，(14)→(18)→(19)）組成，而后經(jīng)過(guò)全局平均池化層（global average polling，GAP）、密集全連接層（Dense）和分類器層（Sigmoid）得到輸出結(jié)果．網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)設(shè)置如表3所示．

表3 AC_Ulsam_CNN 網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)設(shè)置Table 3 The parameter setting of the proposed AC_Ulsam_CNN structure

圖3 AC_Ulsam_CNN 的網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.3 The network structure diagram of AC_Ulsam_CNN

此外，為解決隨網(wǎng)絡(luò)結(jié)構(gòu)的加深、梯度優(yōu)化速度減緩、模型收斂慢等問(wèn)題，模型中引入了批歸一化層（batch normalization，BN）和LeakyReLU 激活函數(shù)，并采用Sigmoid 函數(shù)進(jìn)行激活輸出，以加快網(wǎng)絡(luò)優(yōu)化速度，并提高模型的魯棒性．

非對(duì)稱卷積模塊（AC Block）是一種采用多個(gè)非對(duì)稱卷積核組合形式替換標(biāo)準(zhǔn)卷積核的特殊卷積結(jié)構(gòu)，通過(guò)增加模型不同尺度方向的特征提取通路，從而提升模型的魯棒性[21]．非對(duì)稱卷積參數(shù)訓(xùn)練后，與標(biāo)準(zhǔn)卷積參數(shù)的有效融合，也使得模型在訓(xùn)練階段能夠更專注于特征提取的強(qiáng)化，得到高表征能力、強(qiáng)相關(guān)的特征．雖然訓(xùn)練時(shí)間成本有提升，但卷積核參數(shù)的等效融合不會(huì)出現(xiàn)多余的計(jì)算量．因此，模型的性能提升無(wú)需多余的計(jì)算開(kāi)支，該機(jī)制對(duì)解決因小樣本量數(shù)據(jù)而導(dǎo)致的模型過(guò)擬合問(wèn)題具有充分的應(yīng)用價(jià)值．本文設(shè)計(jì)的非對(duì)稱卷積模塊結(jié)構(gòu)如圖4所示．首先，將上一層得到的特征圖分別輸入到尺寸為1×3、3×1 和3×3 的卷積核（c@1×3、c@3×1 和c@3×3，其中c 為卷積通道數(shù)）中進(jìn)行訓(xùn)練，并采用逐點(diǎn)求和方式進(jìn)行融合，以提升局部顯著性特征的影響因子．而后采用殘差學(xué)習(xí)方式，將融合后的特征圖與原特征圖進(jìn)行按通道拼接，從而避免圖像信息丟失，增強(qiáng)網(wǎng)絡(luò)的特征表達(dá)能力．

圖4 非對(duì)稱卷積模塊（AC Block）結(jié)構(gòu)示意圖Fig.4 The structure diagram of asymmetric convolution module (AC Block)

為提高小容量、低空間復(fù)雜網(wǎng)絡(luò)的學(xué)習(xí)效率，超輕子空間注意模塊（Ulsam Block）[22]引入了子空間注意力機(jī)制．通過(guò)將輸入特征分組為g個(gè)特征子空間（本實(shí)驗(yàn)中設(shè)置g=2），依次采用1×1 depth-wise 卷積學(xué)習(xí)新特征，經(jīng)最大池化層降維后，再采用1×1 point-wise 卷積，從而可得到每個(gè)特征子空間的個(gè)體注意力圖．softmax 激活函數(shù)保證了g個(gè)特征子空間中的注意力圖的權(quán)重和為1．因此，Ulsam 模塊有助于網(wǎng)絡(luò)提取到多尺度和多頻率特征，同時(shí)也使模型能夠高效地利用跨通道信息．Ulsam Block 結(jié)構(gòu)如圖5所示．

圖5 超輕子空間注意模塊（Ulsam Block）結(jié)構(gòu)示意圖Fig.5 The structure diagram of ultra-lightweight subspace attention module (Ulsam Block)

1.2.4 融合多模態(tài)數(shù)據(jù)的乳腺病變良惡性鑒別

DCE-MRI 掃描能夠生成TIC，為鑒別病變性質(zhì)提供了血流動(dòng)力學(xué)參數(shù)[23]．ADC 作為DWI 成像中的一種衍生指標(biāo)，能夠反應(yīng)軟組織內(nèi)水分子擴(kuò)散情況，從而有效降低乳腺M(fèi)RI 的假陽(yáng)性，并被證明與乳腺良惡性程度具有強(qiáng)相關(guān)性[24]．因此，為進(jìn)一步探索多模態(tài)數(shù)據(jù)融合在乳腺病變良惡性鑒別中的價(jià)值，本文設(shè)計(jì)了一種混合式AC_Ulsam_CNN 卷積神經(jīng)網(wǎng)絡(luò)模型，通過(guò)將DCE-MRI 影像特征分別與其他衍生指標(biāo)（臨床BI-RADS 分級(jí)、ADC 值和TIC 類型）進(jìn)行特征級(jí)別的融合，即在圖3網(wǎng)絡(luò)全連接層部分，引入相應(yīng)衍生指標(biāo)特征，繼而將融合后的新特征輸入到Sigmoid 分類器中進(jìn)行良惡性分類（圖6）．在此基礎(chǔ)上，我們還將文獻(xiàn)[6]和文獻(xiàn)[8]中所設(shè)計(jì)的經(jīng)典模型應(yīng)用于本研究數(shù)據(jù)中，以進(jìn)行橫向?qū)Ρ葘?shí)驗(yàn)，進(jìn)一步驗(yàn)證所提模型的有效性．其中，文獻(xiàn)[6]所提模型為一種簡(jiǎn)單線性堆疊卷積神經(jīng)網(wǎng)絡(luò)，由三種尺寸大小為11×11、5×5 和3×3 的卷積核和尺寸分別為2 048、1 024的全連接層組成，通道數(shù)從初始的64 增加到512．文獻(xiàn)[8]在網(wǎng)絡(luò)層方面相較文獻(xiàn)[6]多引入了批量歸一化層，設(shè)計(jì)了一個(gè)10 層CNN，包含尺寸大小為3×3 的卷積核和大小分別為4 096、1 000、100個(gè)神經(jīng)元的全連接層，通道數(shù)從初始的64 增加到384 又縮小至256．研究表明這兩種網(wǎng)絡(luò)結(jié)構(gòu)在乳腺腫瘤良惡性分類任務(wù)中均表現(xiàn)出優(yōu)異性能．

圖6 基于多模態(tài)數(shù)據(jù)融合的混合神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.6 The structure diagram of hybrid neural network based on multimodal data fusion

1.3 模型評(píng)估

受數(shù)據(jù)集樣本量大小限制，本實(shí)驗(yàn)采用五折交叉驗(yàn)證方法對(duì)各模型性能進(jìn)行綜合評(píng)估，并對(duì)每折中的訓(xùn)練集進(jìn)行平移、旋轉(zhuǎn)和鏡像翻轉(zhuǎn)的數(shù)據(jù)擴(kuò)增處理，以減小模型過(guò)擬合．此外，考慮到本實(shí)驗(yàn)數(shù)據(jù)中良惡性病變具有類間不平衡問(wèn)題，在網(wǎng)絡(luò)損失函數(shù)計(jì)算部分，我們根據(jù)正負(fù)樣本比例賦予類別權(quán)重因子，從而使模型結(jié)果不會(huì)偏向多數(shù)類別．采用準(zhǔn)確率（accuracy，ACC）、靈敏度（sensitivity，Sens）、特異性（specificity，Spec），AUC 指標(biāo)進(jìn)行模型性能評(píng)估．計(jì)算公式如下：

其中，TP 表示惡性乳腺病變被正確分類的樣本數(shù)；FP 表示良性乳腺病變被錯(cuò)誤分類的樣本數(shù)；TN表示良性乳腺病變被正確分類的樣本數(shù)；FN 表示惡性乳腺病變被錯(cuò)誤分類的樣本數(shù).

最后，采用IBM SPSS（v25.0）進(jìn)行統(tǒng)計(jì)學(xué)分析，對(duì)不同模型的AUC 和ACC 進(jìn)行比較．雙尾t檢驗(yàn)p< 0.05 表示統(tǒng)計(jì)學(xué)意義．

1.4 實(shí)驗(yàn)設(shè)置

在硬件配置為計(jì)算機(jī)芯片Intel Core（TMi7-8700），其內(nèi)存為32 GB，NVIDIA 顯卡GeForce GTX 1080ti，軟件環(huán)境為Windows10 系統(tǒng)，Nvidia 顯卡驅(qū)動(dòng)CUDA9.0，以及用于深度神經(jīng)網(wǎng)絡(luò)的GPU加速庫(kù)CUDNN7.0 的實(shí)驗(yàn)配置下，本文基于Python 和Keras 框架進(jìn)行網(wǎng)絡(luò)模型開(kāi)發(fā)．采用Adam 優(yōu)化器進(jìn)行超參數(shù)優(yōu)化，設(shè)置各卷積層初始化方式為Xavier，網(wǎng)絡(luò)學(xué)習(xí)率為0.002，批處理大小為32，總訓(xùn)練次數(shù)至少200 個(gè)epochs．

2 結(jié)果與討論

2.1 基于不同時(shí)序的DCE-MRI 對(duì)乳腺病變良惡性分類結(jié)果

本研究分別對(duì)9 個(gè)基于單一時(shí)序和13 個(gè)基于不同時(shí)序掃描的多信源組合構(gòu)建遷移學(xué)習(xí)模型，進(jìn)行乳腺良惡性分類預(yù)實(shí)驗(yàn)．控制每次實(shí)驗(yàn)均是在相同的數(shù)據(jù)劃分下基于相同InceptionV3 網(wǎng)絡(luò)結(jié)構(gòu)完成訓(xùn)練．基于不同時(shí)序的五折交叉驗(yàn)證后的平均分類性能如圖7和圖8所示．其中，在基于各單一時(shí)序掃描中，基于DynS4 時(shí)序掃描具有最好的良惡性鑒別能力，AUC 為0.730，準(zhǔn)確率ACC為0.725．而在組合序列中，基于DynS024 的組合序列對(duì)乳腺良惡性鑒別的AUC 和準(zhǔn)確率ACC 可達(dá)到0.775 和0.749，高于基于單一時(shí)序的分類結(jié)果，這可能與單一時(shí)序中DynS2 和DynS4 具有較好的分類表現(xiàn)有關(guān)．因此，基于DynS4 時(shí)序掃描和DynS024 組合掃描序列對(duì)解決乳腺病變良惡性鑒別問(wèn)題可能最具代表性，能夠更好地反映惡性病灶與良性病灶的紋理、形態(tài)等特征的差異性．

圖7 基于單一時(shí)序掃描的乳腺病變良惡性分類結(jié)果Fig.7 Differentiation results of benign and malignant breast lesions based on single-time phase scans

圖8 基于不同時(shí)序掃描的多信源組合的乳腺病變良惡性分類結(jié)果Fig.8 Differentiation results of benign and malignant breast lesions based on multi-source combination of different time phase scans

2.2 基于AC_Ulsam_CNN 網(wǎng)絡(luò)模型的乳腺病變良惡性分類結(jié)果

如表4所示，本實(shí)驗(yàn)所設(shè)計(jì)AC_Ulsam_CNN 網(wǎng)絡(luò)模型在基于最優(yōu)DCE-MRI 掃描序列下的乳腺良惡性鑒別性能有了進(jìn)一步提升．其中，在DynS024 組合序列下，模型的平均AUC 可達(dá)0.826，比基于InceptionV3 模型提高了0.051（p= 0.027），準(zhǔn)確率提升了0.013（p= 0.047），特異性提升了0.094．雖然在靈敏度指標(biāo)上，所提模型略低于InceptionV3 模型，但其整體上對(duì)良性病變的鑒別能力與對(duì)惡性病變的鑒別能力相當(dāng)，不存在偏倚，表明本文所提模型的有效性及可行性．

表4 基于InceptionV3 網(wǎng)絡(luò)與AC_Ulsam_CNN 網(wǎng)絡(luò)模型的分類結(jié)果對(duì)比Table 4 Comparison of differentiation results based on InceptionV3 and AC_Ulsam_CNN network models

2.3 基于多模態(tài)融合的乳腺病變良惡性分類

多模態(tài)數(shù)據(jù)融合能夠?yàn)槿橄俨∽冊(cè)\斷提供多維度、綜合性的病理信息，從而進(jìn)一步提高其鑒別準(zhǔn)確性．如表5所示，在基于不同模態(tài)特征融合的消融實(shí)驗(yàn)中，我們發(fā)現(xiàn)各特征融合隊(duì)列均可獲得比單一DCE-MRI 模型具有更高的分類性能．其中，基于四種特征的整體融合模型進(jìn)行良惡性病灶鑒別的平均ACC 達(dá)到了0.826，相比基于單一DynS024 特征的模型分類準(zhǔn)確率提升了0.064（p= 0.009），AUC 值提升了0.051（p= 0.021），突出了多模態(tài)數(shù)據(jù)融合的優(yōu)越性．

表5 基于多模態(tài)特征融合的消融實(shí)驗(yàn)結(jié)果Table 5 Experimental results of ablation based on multimodal feature fusion

如表6所示，相比于文獻(xiàn)[6]和文獻(xiàn)[8]中的較為淺層的網(wǎng)絡(luò)模型，本文所提算法模型具有更好的乳腺病變良惡性鑒別性能，在各判別指標(biāo)上均有提升．AC_Ulsam_CNN 網(wǎng)絡(luò)結(jié)構(gòu)中采用非對(duì)稱卷積模塊，能夠增加模型的寬度，豐富特征圖信息的多樣性，而基于殘差式學(xué)習(xí)的跳躍連接結(jié)構(gòu)進(jìn)一步增加了網(wǎng)絡(luò)深度，彌補(bǔ)了隨網(wǎng)絡(luò)結(jié)構(gòu)的加深而損失特征信息的不足．此外，超輕子空間注意模塊的引入進(jìn)一步提高了模型對(duì)局部強(qiáng)相關(guān)性特征的注意力，使得本網(wǎng)絡(luò)模型能夠提取到更豐富的特征信息并得到了更好的良惡性鑒別結(jié)果．

表6 本文方法與其他方法的分類結(jié)果對(duì)比Table 6 Comparison of differentiation results between the methods from the literatures and the proposed method

3 結(jié)論

本研究構(gòu)建了一種針對(duì)乳腺病變良惡性鑒別診斷的AC_Ulsam_CNN 網(wǎng)絡(luò)模型，通過(guò)多尺度特征提取并引入子空間注意力機(jī)制，增強(qiáng)了網(wǎng)絡(luò)的特征表達(dá)能力及其魯棒性．實(shí)驗(yàn)表明，在基于DynS024 組合的DCE-MRI 影像上，所提模型能夠?qū)崿F(xiàn)乳腺良惡性病變分類準(zhǔn)確率為0.762．當(dāng)模型進(jìn)一步納入臨床BI-RADS 分級(jí)、ADC 值以及TIC 類型等特征指標(biāo)后，基于多模態(tài)特征融合后的模型分類準(zhǔn)確率可達(dá)0.826，顯著高于基于單獨(dú)的DCE-MRI 影像特征模型．因此，臨床BI-RADS 分級(jí)、ADC 值和TIC 類型對(duì)基于DCE-MRI 進(jìn)行乳腺診斷的性能提升具有顯著貢獻(xiàn)，而多模態(tài)特征的融合也為CAD 提供了多維度、綜合性的信息，從而進(jìn)一步提高病灶的檢測(cè)精度，有效輔助臨床醫(yī)生對(duì)乳腺病變的診斷．未來(lái)研究應(yīng)進(jìn)一步擴(kuò)充乳腺病變數(shù)據(jù)量及模態(tài)的多樣性，提高模型泛化能力．

致謝

感謝參與本研究的上海交通大學(xué)醫(yī)學(xué)院附屬新華醫(yī)院的所有患者和研究人員．

利益沖突

無(wú)