尹家瑜 蘇丹柯

作者單位：530022 南寧1南寧市第一人民醫(yī)院放射影像科；530021 南寧2廣西醫(yī)科大學(xué)附屬腫瘤醫(yī)院影像中心

據(jù)報道，2022年新發(fā)乳腺癌占全球新發(fā)癌癥病例的15.3%，占女性癌癥的31%，其中死亡率達(dá)20%，但若早期發(fā)現(xiàn)并治療，5年生存率可達(dá)99%，反之則降至27%［1］。目前，乳腺癌常用的檢查方法有超聲（ultrasound，US）、數(shù)字化乳腺X 線攝影（digital mammography，DM）、數(shù)字化乳腺X 線斷層攝影（digital breast tomosynthesis，DBT）、磁共振成像技術(shù)（magnetic resonance imaging，MRI）等。既往研究表明影像技術(shù)在乳腺癌早期診斷及預(yù)測淋巴結(jié)轉(zhuǎn)移中的重要性已被證實(shí)［2-3］。近年來，計(jì)算機(jī)輔助技術(shù)在醫(yī)學(xué)領(lǐng)域的研究得到廣泛應(yīng)用［4］，深度學(xué)習(xí)（deep learning，DL）作為計(jì)算機(jī)研究領(lǐng)域的翹楚，其對乳腺及乳腺癌病灶的分割算法也是乳腺深度學(xué)習(xí)模型中至關(guān)重要的步驟，對提高腫塊分割精準(zhǔn)率具有重要意義。本文就乳腺及乳腺癌病灶分割的常用影像數(shù)據(jù)集以及深度學(xué)習(xí)技術(shù)在乳腺及乳腺癌影像分割中的應(yīng)用作一綜述。

1 乳腺及乳腺癌病灶分割的常用影像數(shù)據(jù)集

目前，常用于乳腺分割及乳腺癌篩查的影像公開數(shù)據(jù)集包括DDSM（digital database for screening mammography）數(shù)據(jù)庫；MIAS（mammographic image analysis society）數(shù)據(jù)庫；BCDR（breast cancer digital radiography）數(shù)據(jù)集；INbreast數(shù)據(jù)庫等［5-8］，詳見表1。其中，DDSM為目前最大的乳房X 射線篩查數(shù)據(jù)庫。近年來，有學(xué)者提出了醫(yī)學(xué)影像多模態(tài)乳腺癌診斷（medical imaging multimodality breast cancer diagnosis user interface，MIMBCD-UI）數(shù)據(jù)庫，該數(shù)據(jù)庫由3 個來自葡萄牙的機(jī)構(gòu)（ISR-Lisboa、ITI、INESC-ID）合作開發(fā)，有566 張主要包含乳腺M(fèi)RI、US、X 射線的圖像，專門供深度學(xué)習(xí)模型的構(gòu)建使用。

表1 常用的乳腺影像圖像公開數(shù)據(jù)集

2 DL技術(shù)在乳腺及乳腺癌影像實(shí)例分割中的應(yīng)用

DL 是機(jī)器學(xué)習(xí)的一個分支，但在結(jié)構(gòu)上較有監(jiān)督的機(jī)器學(xué)習(xí)模型更復(fù)雜。此模型是將原始數(shù)據(jù)通過多步特征轉(zhuǎn)換后，得到一種好的特征表示（從底層特征，到中層特征，再到高層特征），最終提高整個機(jī)器學(xué)習(xí)系統(tǒng)的準(zhǔn)確性和效率?！吧疃取笔侵笇υ紨?shù)據(jù)進(jìn)行非線性特征轉(zhuǎn)換的次數(shù)，如用于特征提取的多層神經(jīng)網(wǎng)絡(luò)，故深度學(xué)習(xí)概念源于神經(jīng)網(wǎng)絡(luò)研究［9］。圖像分割是指將圖像輸入分割成多個片段，以簡化圖像分析。片段表示目標(biāo)或目標(biāo)的一部分，并由像素集或“超像素”組成。圖像分割將像素組織成更大的部分，消除了將單個像素作為觀察單位的需要。引入DL的圖像分割技術(shù)較傳統(tǒng)的圖像分割方法在算法上有更大的包容性，并具有較強(qiáng)的自主學(xué)習(xí)能力，因此準(zhǔn)確率得到了極大的提高［10-14］。目前在乳腺圖像分割領(lǐng)域，常用的DL技術(shù)主要包括卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks，CNN）、U-Net、生成對抗網(wǎng)絡(luò)（generative adversarial network，GAN）、Transformer 模型、遷移學(xué)習(xí)等。

2.1 CNN

CNN 是最早用于乳腺影像分割的一種前饋神經(jīng)網(wǎng)絡(luò)，具有卷積計(jì)算及深度結(jié)構(gòu)。CNN基本架構(gòu)包含5個部分：⑴輸入層；⑵卷積層；⑶池化層；⑷激活函數(shù)層；⑸全連接層。CNN是深度學(xué)習(xí)中最常用于圖像分割方面研究的算法之一。KOOI 等［15］首次將DL 用于DM 檢測乳腺癌任務(wù)中，使用CNN 模型從44 090 張乳腺DM 圖像中學(xué)習(xí)特征并對其進(jìn)行分割，結(jié)果該算法在病灶分類任務(wù)中的AUC 為0.875，其對病灶分類的能力優(yōu)于傳統(tǒng)CAD，且與放射科醫(yī)師診斷能力無顯著差異。此后，更多學(xué)者也開始將CNN 算法應(yīng)用于乳腺癌診斷［16-19］。CHIAO 等［20］構(gòu)建了一個基于提取區(qū)域信息的CNN 模型（Mask R-CNN 模型），優(yōu)點(diǎn)為自動分割圖像，即先定義病灶邊界框，再繪制其輪廓，然后對其進(jìn)行分類，結(jié)果顯示該模型在分割乳腺圖像的任務(wù)中準(zhǔn)確度達(dá)0.75。然而，CNN 也存在不足，其致命缺點(diǎn)是池化層會丟失部分有價值的信息，病灶整體與局部信息之間的關(guān)聯(lián)性極易被忽略。因此，有研究者［21］提出了一種新的池化層設(shè)計(jì)，向量池化塊（vector pooling block，VPB）以及在此基礎(chǔ)上新的池化模塊（AVG-MAX VPB），這些改變可使CNN 網(wǎng)絡(luò)同時收集全局和局部特征，較好地解決了部分信息丟失的問題。將VPB 及AVG-MAX VPB 插入至U-Net、AlexNet、ResNet18 級GoogleNet 等網(wǎng)絡(luò)模型中也均得到較好結(jié)果。

2.2 U-Net

U-Net 是一種基于CNN 端到端的深度學(xué)習(xí)模型，包括對稱的編碼器-解碼器結(jié)構(gòu)以及跳躍連接。編碼器結(jié)構(gòu)用于提取圖像特征，解碼器結(jié)構(gòu)用于重建并生成分割后的圖像，而跳躍連接通過捕捉更多的多尺度信息，使圖像分割精度得到大幅度提升。與CNN 的圖像級分割不同，U-Net分割為像素級，直接輸出每個像素點(diǎn)的類別，已成為近年來學(xué)者關(guān)注的研究熱點(diǎn)之一［22-25］。2020年，BYRA等［26］開發(fā)了一種選擇性內(nèi)核U-Net（selective kernel U-Net，SK U-Net），并用于乳腺圖像分割，目的是為了解決乳腺腫物大小及圖像特征變化后，DL難以完成自動分割任務(wù)的問題。SK U-Net具有可調(diào)整神經(jīng)網(wǎng)絡(luò)接受域，并融合擴(kuò)展卷積和常規(guī)卷積提取的特征。該模型在882 個乳腺US 圖像分割任務(wù)中的表現(xiàn)優(yōu)于常規(guī)U-Net（Dice：0.826vs0.778），在不同中心收集的數(shù)據(jù)中也表現(xiàn)優(yōu)異。近年來，較多學(xué)者對U-Net模型進(jìn)行不同程度改良也均獲得不錯效果［27-30］。例如，NING 等［31］提出了一種顯著性引導(dǎo)的形態(tài)學(xué)感知U-Net（saliency-guided morphology-aware U-Net，SMU-Net），主要用于乳腺US圖像的病灶分割，SMU-Net 較目前常用的DeepLab V3、FCN+均有更好的表現(xiàn)（Dice：0.883vs0.741；0.883vs0.752），這可能與U-Net變體中使用跳躍連接操作將編碼流中的低級上下文特征傳輸?shù)浇獯a流中，以補(bǔ)充模式細(xì)節(jié)，有助于提高分割性能。LIU 等［27］提出一種不需要像素級分割的模型（Res-Net 模型），在對438 例患者的278 685 張圖像切片分析中，該模型在乳腺良惡性腫塊分類上表現(xiàn)優(yōu)異，AUC 為0.92，準(zhǔn)確度為0.942。還有研究評估了5 種網(wǎng)絡(luò)架構(gòu)，包括U-Net、密集U-Net、Res-Net、循環(huán)殘差U-Net（R2U-Net）和密集R2U-Net（D-R2U-Net）在93 例三陰性乳腺癌人源性腫瘤異種移植模型的T1WI、T2WI圖像上對腫瘤進(jìn)行精確定位及分割的性能，各模型均表現(xiàn)優(yōu)異，其中D-R2U-Net 表現(xiàn)最佳，F(xiàn)1-score 達(dá)0.948［29］，表明U-Net 模型在乳腺影像圖像分割中的應(yīng)用具有較好前景。

2.3 GAN

GAN 是近年來備受關(guān)注的一類無監(jiān)督深度學(xué)習(xí)模型，包含2 個神經(jīng)網(wǎng)絡(luò)（生成器和鑒別器）。生成器的作用是把一個隨機(jī)噪聲輸入通過多次迭代后生成逼真的圖像，而鑒別器的作用是在每一次迭代過程中，對生成器生成的圖像和真實(shí)世界的圖像進(jìn)行判別，兩者相互博弈對抗學(xué)習(xí)以獲得更優(yōu)秀的結(jié)果。已有研究表明GAN 在減少金屬偽影、降噪以及提升圖像質(zhì)量方面特別有效［32-34］。近年來，學(xué)者們開始將GAN 應(yīng)用于乳腺圖像分割的研究［35-37］。例如，HAN等［38］提出一種基于GAN 的半監(jiān)督分割網(wǎng)絡(luò)（breast ultrasound generative adversarial network，BUS-GAN），該模型由分割網(wǎng)絡(luò)（breast ultrasound segmentation，BUS-S）及評估網(wǎng)絡(luò)（breast ultrasound evaluation，BUS-E）組成。BUS-S 增強(qiáng)分割的穩(wěn)健性，BUS-E 通過增加病灶區(qū)域與背景間的差異，從而提高其辨別能力。BUS-E 網(wǎng)絡(luò)引導(dǎo)BUS-S網(wǎng)絡(luò)生成更精確的分割圖，使BUS-GAN 獲得更高的分割質(zhì)量。該方法用于無標(biāo)注的乳腺病變超聲圖像分割，分割精度DSC 達(dá)0.83。另一項(xiàng)研究則提出一個新的框架——條件生成對抗網(wǎng)絡(luò)（conditional generative adversarial network，cGAN），該模型的優(yōu)點(diǎn)是可以通過學(xué)習(xí)真實(shí)病灶的分布及圖像與相應(yīng)分割掩碼之間的映射（即掩模），從而生成許多病變圖像用于自我訓(xùn)練，達(dá)到提高乳房X 線腫塊分割性能的目的。該方法在INbreast公開數(shù)據(jù)集和南方醫(yī)科大學(xué)南方醫(yī)院的乳腺影像數(shù)據(jù)集上均表現(xiàn)優(yōu)秀，與基礎(chǔ)模型相比，Jaccard指數(shù)提高了7%［39］。另外，MA等［40］提出一種基于GAN 的自動深度學(xué)習(xí)方法，該方法中GAN的生成器為改進(jìn)的U-Net，鑒別器為補(bǔ)丁深度卷積神經(jīng)網(wǎng)絡(luò)（deep convolutional neural network，DCNN），該方法用于乳腺纖維腺體組織MRI的分割，分割DSC達(dá)到0.87。有研究證實(shí)，在公開數(shù)據(jù)集DDSM 及INbreast 上，超像素平均池化條件生成對抗網(wǎng)絡(luò)（superpixel average pooling-conditional generative adversarial network，SAP-cGAN）是基于GAN 的乳腺腫塊分割效能最佳的方法，分割Dice 分別為93.37%和91.54%，該方法較常規(guī)的GAN 表現(xiàn)更優(yōu)秀的原因在于該模型引入了一個超像素平均池化層的解碼器用于改善邊界分割性能，并且采用一種多尺度輸入策略，以增強(qiáng)該網(wǎng)絡(luò)的穩(wěn)健性［41］。此外，KIM 等［42］還提出了一種新的方法——腫瘤灌注分割引導(dǎo)生成對抗網(wǎng)絡(luò)（tumor-attentive segmentation-guided generative adversarial network，TSGAN），在GAN 網(wǎng)絡(luò)中加入輔助的分割網(wǎng)絡(luò)，使其在分割腫瘤時產(chǎn)生一個更真實(shí)的腫瘤區(qū)域，然后以端到端方式將增強(qiáng)前T1WI 圖像合成乳腺增強(qiáng)T1WI 圖像，以減少/消除造影劑對受檢者產(chǎn)生的傷害，其NRMSE 為25.65，PSNR 為54.8，SSIM 為0.91，CC為0.88。

2.4 Transformer模型

Transformer 模型是一種基于注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)架構(gòu)，其基本架構(gòu)包含Encoder 模塊（編碼器）和Decoder 模塊（解碼器），這兩個模塊都包含多個代碼塊（block）。Transformer 模型比CNN 等傳統(tǒng)神經(jīng)網(wǎng)絡(luò)在捕捉影像間依賴關(guān)系、計(jì)算效率上更具優(yōu)勢，同時該模型對輸入圖像的干擾具有更強(qiáng)的穩(wěn)健性。例如，一種可用于乳腺DM 腫塊檢測及分割的Transformer模型（you only look once-local global，YOLO-LOGO 模型），利用LOGO模型直接對YOLO所檢測出的高分辨乳腺腫塊圖像進(jìn)行分割，其真陽性率最高可達(dá)0.957，使原始像素級的分割分辨率得到大幅度提升［43］，但最高的F1-score僅為0.745。HE等［44］提出了一種混合CNN-Transformer 網(wǎng)絡(luò)模型（hybrid CNN-transformer network，HCTNet），通過變換器編碼器塊（transformer encoder blocks，TEBlocks）學(xué)習(xí)不同解剖層面的信息，并將其與CNN 結(jié)合提取特征。此外，在解碼器之間使用殘差鏈接，通過聚合不同語義尺度的不同解剖層特征圖，以提高乳腺腫塊超聲圖像的分割精度，其Dice 系數(shù)最高可達(dá)0.97。由于傳統(tǒng)的CNN 在乳腺較大病灶分割中表現(xiàn)較差，MA 等［45］則提出一種基于軸向轉(zhuǎn)換（axial transformer，Axial-Trans）及特征增強(qiáng)（feature enhancement，Trans-FE）的CNN（ATFE-Net），并對兩個公開乳腺超聲數(shù)據(jù)集（BUSI 數(shù)據(jù)庫；UDIAT數(shù)據(jù)庫）進(jìn)行圖像分割，Dice 系數(shù)分別為0.825 和0.868，提示ATFE-Net模型表現(xiàn)優(yōu)異。盡管Transformer分割模型是近幾年的研究熱點(diǎn)，但目前的研究大多集中在乳腺病變2D 圖像分割領(lǐng)域，尚未用于乳腺病變3D 圖像分割任務(wù)中，且分割效能較傳統(tǒng)的乳腺影像分割方法相對偏弱，可供參考的相關(guān)乳腺影像圖像分割研究仍較少。

2.5 遷移學(xué)習(xí)

遷移學(xué)習(xí)利用數(shù)據(jù)、任務(wù)或模型之間的相似性，將在舊領(lǐng)域?qū)W習(xí)的模型應(yīng)用于新領(lǐng)域，以數(shù)據(jù)要求量小，訓(xùn)練速度快為特點(diǎn)，彌補(bǔ)了數(shù)據(jù)量不足的缺陷，在醫(yī)學(xué)圖像DL 研究領(lǐng)域受到廣泛關(guān)注［46-47］。ZHANG等［48］提出一種利用遷移學(xué)習(xí)從T1WI 非壓脂圖像中訓(xùn)練出的U-Net 模型，利用該方法對不同場強(qiáng)的MR設(shè)備間的T1WI壓脂圖像上的乳腺腫塊及纖維腺體進(jìn)行分割，乳腺腫塊分割DSC 為0.97，乳腺纖維腺體分割DSC 為0.86。另外，HAM 等［49］采用遷移學(xué)習(xí)的方法訓(xùn)練2D/3D U-Net、2D/3D no-new-U-Net（nnU-Net）網(wǎng)絡(luò)，提高上述模型對俯臥位、仰臥位乳腺纖維腺體組織分割質(zhì)量，經(jīng)過Transformer訓(xùn)練后的2D U-Net在瘤體分割任務(wù)中表現(xiàn)最好，DSC 為0.87。在一項(xiàng)對441例患者，471 個腫塊的927 幅FFDM 和DBT 圖像進(jìn)行分割并分類的研究中，通過對比雙遷移學(xué)習(xí)（double transfer learning，DTL）、DBT 和FFDM 混合（mixture of DBT and FFDM，MIX）和單遷移學(xué)習(xí)（single transfer learning，STL）三種遷移模型，結(jié)果發(fā)現(xiàn)MIX 模型應(yīng)用于DBT 圖像分類的AUC 表現(xiàn)最佳（惡性AUC=0.917，良性AUC=0.951，正常AUC=0.990）［50］。在三個不同的乳腺數(shù)據(jù)集（BUSI、BreaKHis、來自Kaggle 的Breast cancer 數(shù)據(jù)集）中，采用隨機(jī)動量梯度下降（stochastic gradient descent with momentum，SGDM）優(yōu)化技術(shù)制定AlexNet 預(yù)訓(xùn)練模型，在分割及分類任務(wù)中可獲得最佳的遷移學(xué)習(xí)效果，其中在BUSI 數(shù)據(jù)集中，該模型對惡性腫瘤分類任務(wù)表現(xiàn)最佳，準(zhǔn)確率高達(dá)100%［51］?？梢?，遷移學(xué)習(xí)模型善于將來自不同解剖層面的信息合并后重新構(gòu)建圖像的特征信息。不僅如此，遷移學(xué)習(xí)模型還可以合并到基于跳躍連接的網(wǎng)絡(luò)模型中，用于分析其他層面圖像的遠(yuǎn)程特征信息。盡管目前應(yīng)用遷移學(xué)習(xí)模型進(jìn)行乳腺腫塊分割的研究較少，但未來如何利用有限的數(shù)據(jù)集提升DL 模型分割的準(zhǔn)確度是研究的熱門方向。

3 小結(jié)與展望

綜上所述，在乳腺圖像分割網(wǎng)絡(luò)架構(gòu)中結(jié)合CNN、U-Net、GAN、Transformer 及遷移學(xué)習(xí)等DL 技術(shù)，可以不同程度地提升分割效能?；贕AN 和UNet、Transformer 與CNN 結(jié)合的網(wǎng)絡(luò)架構(gòu)將是未來乳腺影像分割的重點(diǎn)研究領(lǐng)域，這也為之后DL 模型對乳腺腫物的分類奠定基礎(chǔ)。但由于乳腺影像圖像的標(biāo)注主要依賴于放射科醫(yī)師手工標(biāo)注，耗時耗力，而且具有精準(zhǔn)標(biāo)注的乳腺公開數(shù)據(jù)集尤其是公開乳腺M(fèi)RI數(shù)據(jù)集仍然較少，所以建立更多精準(zhǔn)標(biāo)注的乳腺影像公開數(shù)據(jù)集是當(dāng)務(wù)之急。此外，精準(zhǔn)標(biāo)注的實(shí)現(xiàn)仍需要相關(guān)共識或指南進(jìn)行規(guī)范，而且數(shù)據(jù)的廣泛共享與保護(hù)患者隱私信息，也需要構(gòu)建更多高性能、泛化能力強(qiáng)的乳腺AI 模型，才能使精準(zhǔn)的乳腺圖像分割真正用于乳腺疾病的精準(zhǔn)分類、分期、療效評價，以及促進(jìn)乳腺影像人工智能的研究。