袁曼莉 左曉文 趙 月 吳雪松 張番棟 王思雯 賈化平

二維超聲是乳腺超聲檢查的主要模式，目前已有的超聲影像人工智能（artificial intelligence，AI）輔助診斷模型也是基于對靜態(tài)二維超聲圖像，Zhang等［1］研究證實(shí)基于乳腺腫塊DICOM 格式靜態(tài)圖像建立的深度學(xué)習(xí)模型顯示出較好的分類性能。乳腺腫塊是三維立體結(jié)構(gòu)，基于靜態(tài)二維圖像的深度學(xué)習(xí)模型難以反映結(jié)節(jié)空間構(gòu)型中包含的有效信息。本研究將乳腺超聲動態(tài)掃查圖像和深度學(xué)習(xí)技術(shù)相結(jié)合，旨在建立基于乳腺超聲動態(tài)影像的深度學(xué)習(xí)模型，并對其效能進(jìn)行初步驗(yàn)證。

資料與方法

一、研究對象

選取2019年11月至2020年8月在我院經(jīng)病理確診的506 例乳腺腫塊患者，均為女性，年齡24～75 歲，平均（45.6±10.2）歲。其中219 例患者為多發(fā)病灶，共1511 個腫塊，獲得乳腺超聲動態(tài)圖像156 826 張，均以DICOM 格式存儲。將整理好的影像數(shù)據(jù)隨機(jī)分為訓(xùn)練集、驗(yàn)證集和測試集，各個集合的患者無交集；訓(xùn)練集包括411 例患者1127 個腫塊的116 972 張圖像，驗(yàn)證集包括51 例患者213 個腫塊的21 126 張圖像，測試集包括44 例患者171 個腫塊的18 728 張圖像。所有患者連續(xù)動態(tài)圖像采集清晰，且取圖標(biāo)準(zhǔn)；排除已行放化療者及圖像采集不標(biāo)準(zhǔn)、不清晰者。本研究經(jīng)我院醫(yī)學(xué)倫理委員會批準(zhǔn)，所有患者均簽署知情同意書。

二、儀器與方法

1.乳腺超聲動態(tài)圖像采集：使用西門子S 2000、Oxona 3 彩色多普勒超聲診斷儀，線陣探頭，頻率8～10 MHz；動態(tài)圖像幀頻范圍18～47 幀/s。如掃查中未發(fā)現(xiàn)病灶，留取乳腺外上象限由外到內(nèi)及由上到下的動態(tài)圖像；如掃查中發(fā)現(xiàn)病灶，則從鄰近病灶邊緣開啟動態(tài)采集，均勻緩慢掃查病灶區(qū)，直至病灶另一側(cè)邊緣完全顯示，結(jié)束存儲；探頭旋轉(zhuǎn)90°，重復(fù)上述過程。如一側(cè)乳腺有多處腫塊，則按照上述方法分別進(jìn)行動態(tài)采集。常規(guī)掃描雙側(cè)乳頭及腋下，發(fā)現(xiàn)淋巴結(jié)和可疑病灶按上述方法存儲圖像。將收集到的超聲圖像進(jìn)行整理、匿名化處理。

2.數(shù)據(jù)標(biāo)記及特征提取：動態(tài)圖像解幀后，導(dǎo)入多功能影像標(biāo)注平臺（深睿博聯(lián)科技有限責(zé)任公司開發(fā)），該平臺可支持DICOM、JPG 等多種圖像格式。所有圖像均由高年資主治醫(yī)師以上乳腺超聲專業(yè)人員按照系統(tǒng)設(shè)置參數(shù)進(jìn)行標(biāo)注，意見不一時由2 名副主任醫(yī)師復(fù)核確定。利用矩形區(qū)域半自動裁剪每個病變，見圖1，提取乳腺聲像圖中腫塊的形狀、邊緣、生長方向（平行/不平行）、內(nèi)部回聲、后方聲影（無改變、增強(qiáng)、衰減、混合性改變）；相關(guān)征象提取包括有無結(jié)構(gòu)扭曲、導(dǎo)管擴(kuò)張、皮膚回縮、皮膚及皮下組織水腫、Cooper 韌帶改變，腫塊內(nèi)鈣化的形態(tài)（粗大、點(diǎn)狀、弧形）及分布（單發(fā)、簇狀、散在）情況，乳頭及腋窩淋巴結(jié)情況。見圖2。

3.基于深度學(xué)習(xí)的乳腺超聲影像腫塊檢出算法模型（以下簡稱算法模型）的構(gòu)建：采用基于深度學(xué)習(xí)的端到端的腫塊檢出網(wǎng)絡(luò)，以一個50層的殘差神經(jīng)網(wǎng)絡(luò)ResNet50 作為骨干網(wǎng)絡(luò)，通過特征金字塔進(jìn)行特征的多尺度變化增強(qiáng)，融合低分辨率語義信息充分的特征和高分辨率空間信息豐富的特征，得到增強(qiáng)后的特征圖?；诠歉删W(wǎng)絡(luò)提取到的特征，自動得到候選的腫塊區(qū)域，每個候選腫塊區(qū)域有對應(yīng)的類別標(biāo)簽（u）和回歸標(biāo)簽（v），再結(jié)合分類損失函數(shù)（Lcls）和回歸損失函數(shù)（Lreg）得到總體損失函數(shù)（L），通過誤差梯度的反向傳播，深度神經(jīng)網(wǎng)絡(luò)自動地學(xué)習(xí)到候選的腫塊區(qū)域?qū)嶋H為腫塊的概率（p）及腫塊的尺寸（t），公式如下。

訓(xùn)練完成后，深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)可以直接檢測出乳腺超聲影像中的腫塊，網(wǎng)絡(luò)的總體架構(gòu)見圖3。

4.單幀圖像與多幀圖像在算法模型中的分析方法：①對于單幀超聲圖像，從每個超聲動態(tài)掃查序列隨機(jī)選取一幀，輸入基于深度學(xué)習(xí)的乳腺超聲影像腫塊檢出網(wǎng)絡(luò)中，該幀的若干個檢出目標(biāo)框代表該序列的若干個檢出，其中每個檢出目標(biāo)框代表該序列的1 個檢出；②對于多幀超聲圖像，采用一種基于決策層的融合算法，首先將一個序列內(nèi)每一幀輸入基于深度學(xué)習(xí)的乳腺超聲影像腫塊檢出網(wǎng)絡(luò)中，得到每一幀的檢出目標(biāo)框；對于每個序列，將該序列全部幀的檢出目標(biāo)框彼此交并比大于預(yù)設(shè)閾值的進(jìn)行合并，從而將該序列的檢出目標(biāo)框分為若干組，即得到序列的若干個檢出，其中每組包含若干個檢出目標(biāo)框，即該序列的1個檢出。

三、統(tǒng)計(jì)學(xué)處理

應(yīng)用SPSS 17.0及Python 3.6 統(tǒng)計(jì)軟件，通過比較算法結(jié)果與超聲專家的標(biāo)注，計(jì)算不同標(biāo)注與檢出目標(biāo)框的交并比（交集和并集的比值）閾值下的真陽性（超聲醫(yī)師標(biāo)注且算法模型檢出的）、假陽性（超聲醫(yī)師未標(biāo)注但算法模型檢出的）、假陰性（超聲醫(yī)師標(biāo)注但算法模型未檢出的），算法模型檢出的敏感性=真陽性/（真陽性+假陰性），平均每序列的假陽性個數(shù)=假陽性個數(shù)/序列數(shù)?？刂萍訇栃詡€數(shù)為評價每序列0.1、0.2、0.5，采用交并比0.2和0.5兩種閾值。計(jì)數(shù)資料比較行χ2檢驗(yàn)。P＜0.05為差異有統(tǒng)計(jì)學(xué)意義。

結(jié) 果

一、算法模型識別中的“假陽性”與“假陰性”

圖4 中紅色矩形框是算法模型檢出的“假陽性”，根據(jù)解剖學(xué)知識可知該位置為肋骨回聲，而本研究中的AI 算法未利用解剖學(xué)知識，根據(jù)該區(qū)域的圖像特征將其誤判為腫塊。圖5中藍(lán)色矩形框是算法模型檢出的“假陰性”，該腫塊尺寸較小，影像中包含的腫塊信息較少，且與周圍組織比較回聲差異較小，因此算法模型易漏檢。

二、算法模型識別結(jié)果

算法模型對單幀與序列乳腺超聲影像的腫塊檢出結(jié)果見表1，2。平均每序列的假陽性個數(shù)0.1，交并比為0.2 和0.5 時，單幀與多幀乳腺超聲影像的腫塊檢出敏感性比較差異均無統(tǒng)計(jì)學(xué)意義；平均每序列假陽性個數(shù)0.2，交并比為0.2 和0.5 時，單幀與多幀乳腺超聲影像的腫塊檢出敏感性比較差異均有統(tǒng)計(jì)學(xué)意義（均P＜0.05）；平均每序列的假陽性個數(shù)0.5，交并比為0.2 和0.5 時，單幀與多幀乳腺超聲影像的腫塊檢出敏感性比較差異均有統(tǒng)計(jì)學(xué)意義（均P＜0.05）。

表1 交并比為0.2時算法模型的腫塊檢出結(jié)果

表2 交并比為0.5時算法模型的腫塊檢出結(jié)果

討 論

AI 在醫(yī)學(xué)圖像處理和輔助診斷領(lǐng)域的應(yīng)用是當(dāng)前研究的熱點(diǎn)，其可以識別超聲圖像中乳腺病變的形態(tài)和紋理特征，發(fā)現(xiàn)人眼所不能識別的特征，是對人工檢查的有益補(bǔ)充，且處理速度快，能夠減輕超聲醫(yī)師的工作負(fù)荷，減少超聲醫(yī)師尋找乳腺腫塊的時間，在提高乳腺超聲診斷的準(zhǔn)確性、一致性和效率方面的潛力較大。然而，目前國內(nèi)外研究［1-3］僅是基于超聲靜態(tài)（單幀）圖像的分析，并非（動態(tài)）序列連續(xù)圖像的采集，可能遺失許多細(xì)微或重要的病灶特征，甚至遺漏部分小的病灶，還可能將增生的腺體組織或肋骨誤認(rèn)為腫塊，從而誤導(dǎo)深度學(xué)習(xí)模型判斷錯誤。準(zhǔn)確識別病灶是乳腺超聲AI評估的基礎(chǔ)，本研究旨在建立深度學(xué)習(xí)模型，并對其自動檢測腫塊的效能進(jìn)行初步驗(yàn)證。

本研究基于深度學(xué)習(xí)端到端的腫塊檢出網(wǎng)絡(luò)AI技術(shù)，采用了骨干網(wǎng)絡(luò)對乳腺超聲影像的大數(shù)據(jù)分析，其實(shí)深度學(xué)習(xí)算法的復(fù)雜度并非取決于算法本身，而取決于用于訓(xùn)練算法的數(shù)據(jù)。在本數(shù)據(jù)集中，同一患者可能有多個腫塊，每個腫塊可能有多個圖像，因此從同一患者獲得的圖像可能已有一些相關(guān)性和變化，這個數(shù)據(jù)獲取的過程類似于數(shù)據(jù)擴(kuò)充。在本次深度學(xué)習(xí)模型中，通過動態(tài)二維超聲序列掃查也可以獲得三維信息，針對病灶的空間結(jié)構(gòu)，由資深專家按照系統(tǒng)設(shè)置參數(shù)對每個腫塊逐一解幀之后進(jìn)行標(biāo)注，并提取其特征，完全能夠避免誤標(biāo)。另外，惡性腫塊往往邊界模糊、形態(tài)復(fù)雜，具有邊緣呈毛刺或針尖樣改變，導(dǎo)致觀察者間對病變邊緣的界定不一，為避免這種差異，本研究利用矩形感興趣區(qū)半自動裁剪每個腫塊，避免了病灶邊緣勾畫的不一致性。

本研究結(jié)果顯示，平均每序列的假陽性個數(shù)0.1、0.2、0.5，交并比為0.2，隨意單幀乳腺超聲影像的腫塊檢出敏感性為76.6%、84.2%、86.0%，序列多幀乳腺超聲影像的腫塊檢出敏感性為77.2%、91.8%、95.3%；當(dāng)平均每序列的假陽性個數(shù)0.1、0.2、0.5，交并比為0.5，隨意單幀乳腺超聲影像的腫塊檢出敏感性為71.3%、76.0%、80.1%，序列多幀乳腺超聲影像的腫塊檢出敏感性為76.0%、91.2%、93.6%，在交并比為0.2 或0.5，平均每個序列的假陽性個數(shù)0.2、0.5 時，序列多幀乳腺超聲影像的腫塊檢出敏感性明顯高于隨意單幀乳腺超聲影像腫塊檢出敏感性，差異均有統(tǒng)計(jì)學(xué)意義（均P＜0.05）。Uniyal 等［4］在乳腺病變分類的超聲射頻時間序列研究中僅選擇0.5 的閾值來指定一個樣本為惡性腫瘤或良性腫瘤。Liu 等［5］研究采用交并比閾值0.2，提出采用一種圖卷積網(wǎng)絡(luò)來模擬雙側(cè)視野的結(jié)構(gòu)相似性。Ren等［6］研究也僅采用交并比閾值0.2。所謂交并比函數(shù)是計(jì)算兩個邊界框交集和并集之比，其反映了檢出框的準(zhǔn)確度。為了更全面、公平地比較算法模型檢出性能，本研究則采用0.2 和0.5 兩個閾值，較以往單一指標(biāo)能更加全面地評價檢出算法模型的效能。本研究選取動態(tài)超聲影像，解幀為多幀序列，采用基于決策層的融合算法，不僅可以消除隨意單幀圖像下對類腫塊的假陽性，還可以結(jié)合多幀圖像關(guān)聯(lián)分析，提升病灶檢出敏感性。

綜上所述，基于乳腺超聲動態(tài)影像的深度學(xué)習(xí)模型能提高乳腺超聲影像的腫塊檢出敏感性，證實(shí)了AI深度學(xué)習(xí)用于乳腺超聲動態(tài)圖像病灶識別的可行性和效能。但本研究僅對乳腺腫塊進(jìn)行識別，未將解剖學(xué)知識融合進(jìn)AI 算法中，也未與病理結(jié)果對照研究，后期將進(jìn)一步深入探討。