劉錦輝，冷曉玲

新疆醫(yī)科大學(xué)附屬腫瘤醫(yī)院超聲診斷科，新疆 烏魯木齊830000

女性乳腺癌是2020年全球癌癥發(fā)病的主要原因，首次超過肺癌，成為“全球第一大癌癥”。盡管該病的治療已取得進(jìn)展，但其死亡率依舊很高，為全球癌癥死亡的第五大原因［1］。其中，高侵襲性乳腺癌具有高度侵襲性，其治療難度大，復(fù)發(fā)率高，預(yù)后差［2］。新輔助化療（NAC）已經(jīng)成為中晚期乳腺癌患者的標(biāo)準(zhǔn)治療方案，不僅能有效縮小腫瘤減少手術(shù)范圍，降低腫瘤的臨床分期達(dá)到手術(shù)根治的目的，而且還是體內(nèi)最好的藥物敏感試驗(yàn)，準(zhǔn)確獲取患者對(duì)化療藥物敏感性的信息，從而實(shí)現(xiàn)患者的個(gè)體化治療，改善患者的預(yù)后［3-4］。但是，NAC并非對(duì)所有乳腺癌患者都有效，僅有約30%的患者實(shí)現(xiàn)了病理完全緩解（pCR），還有約5%的患者出現(xiàn)疾病進(jìn)展的情況［5］。目前，多模態(tài)超聲在乳腺癌診斷中的優(yōu)勢越發(fā)凸顯，在此基礎(chǔ)上聯(lián)合深度學(xué)習(xí)可以準(zhǔn)確評(píng)估乳腺癌NAC的療效，如腫瘤體積的大小、血流灌注情況、腫瘤硬度等［6］。筆者就多模態(tài)超聲技術(shù)聯(lián)合深度學(xué)習(xí)在乳腺癌患者NAC療效及侵襲性評(píng)價(jià)的應(yīng)用及研究進(jìn)展進(jìn)行綜述。

1 乳腺癌NAC療效的評(píng)價(jià)方法及侵襲性的評(píng)價(jià)指標(biāo)

1.1 NAC療效的評(píng)價(jià)方法

乳腺癌NAC療效的評(píng)價(jià)方法主要包括病理評(píng)價(jià)與臨床評(píng)價(jià)，病理評(píng)價(jià)是乳腺癌NAC療效評(píng)價(jià)的金標(biāo)準(zhǔn)，可直接對(duì)腫瘤體積大小、組織浸潤情況及腫瘤細(xì)胞對(duì)化療藥物的反應(yīng)性進(jìn)行觀察，但缺點(diǎn)是評(píng)價(jià)存在滯后性［7］，無法對(duì)臨床治療實(shí)現(xiàn)有效指導(dǎo)并及時(shí)地作出調(diào)整，影響患者預(yù)后。臨床評(píng)價(jià)主要包括體格檢查和影像學(xué)檢查。臨床觸診可以發(fā)現(xiàn)接受NAC治療的乳腺癌患者的殘余病灶和轉(zhuǎn)移的淋巴結(jié)病變，有研究發(fā)現(xiàn)，臨床觸診總體準(zhǔn)確率為57%，陽性預(yù)測值為91%，陰性預(yù)測值為31%［8］。這可能是NAC后病灶纖維化的形成，導(dǎo)致漏診率提高，而且臨床觸診對(duì)操作者依賴性強(qiáng)，不同操作者觸診診斷的結(jié)果也會(huì)有所不同，因此，無法實(shí)現(xiàn)對(duì)NAC療效高準(zhǔn)確度的評(píng)價(jià)。因此，采取必要的影像學(xué)檢查方法對(duì)乳腺癌NAC療效進(jìn)行評(píng)估是十分重要的。目前，常用的影像學(xué)檢查方法主要包括MRI、乳腺鉬靶檢查、超聲檢查等。研究發(fā)現(xiàn)MRI測量乳腺癌患者NAC后殘余病灶大小與病理腫瘤大小的相關(guān)性最好，但由于MRI費(fèi)用高、耗時(shí)長、需要靜脈注射造影劑及存在禁忌證等缺點(diǎn)而難以開展［9］。乳腺鉬靶檢查是乳腺疾病篩查中最常用的影像學(xué)檢查方式之一，但其預(yù)測乳腺癌NAC后腫瘤殘留大小估計(jì)值與殘留病理腫瘤大小的相關(guān)性較差［10］。乳腺超聲檢查是可以用于診斷、篩查乳腺疾病，監(jiān)測乳腺癌NAC后腫瘤變化，是一種重要影像學(xué)檢查方法，它操作簡單、價(jià)格便宜，且無放射性損害，基本沒有檢查風(fēng)險(xiǎn)，能利用回聲信清晰顯示乳房結(jié)構(gòu)，對(duì)乳腺腫塊性質(zhì)作出準(zhǔn)確判斷，但難以區(qū)分NAC后腫瘤液化壞死、病灶纖維化等［11］。

1.2 侵襲性的評(píng)價(jià)指標(biāo)

乳腺癌主要分為三大類：非浸潤性癌、早期浸潤性癌及浸潤性癌。其中浸潤性癌分為非特殊類型癌及特殊類型癌。高侵襲性乳腺癌具有高度侵襲性及轉(zhuǎn)移性，治療難度大，預(yù)后差，在腫瘤微環(huán)境中，腫瘤的惡性基質(zhì)化及腫瘤的血管異質(zhì)性對(duì)乳腺癌細(xì)胞的轉(zhuǎn)移和侵襲性具有重要促進(jìn)作用［12］。乳腺癌分子生物學(xué)的研究進(jìn)展顯示，越來越多的生物學(xué)指標(biāo)被納入了臨床研究，并且證實(shí)了與乳腺癌發(fā)展、預(yù)后及侵襲性有著緊密關(guān)系。目前研究最為廣泛的是雌激素受體、孕激素收聽受體、HER-2、Ki-67等，其中根據(jù)激素受體雌激素受體、孕激素收聽受體及HER-2表達(dá)含量的多少，乳腺癌的分子分型主要有：LuminalA型乳腺癌、Luminal B型乳腺癌、三陰性乳腺癌、HER-2陽性乳腺癌［13-15］。乳腺癌中客觀準(zhǔn)確的生物學(xué)指標(biāo)之一—易感基因（BRCA），是乳腺癌中重要的抑癌基因，BRCA1/2基因的突變會(huì)導(dǎo)致其抑制腫瘤發(fā)生的功能受到影響。研究發(fā)現(xiàn)，5%～10%的乳腺癌患者為遺傳性乳腺癌，其中15%突變?yōu)锽RCA1/2基因突變，有超過75%的BRCA2基因突變?yōu)長uminal型，而60%～80%的BRCA1基因突變?yōu)槿幮匀橄侔?6］。但目前，上述生物學(xué)指標(biāo)大都依靠免疫組化檢測獲得，限制了對(duì)術(shù)前乳腺癌治療的指導(dǎo)意義。因此，應(yīng)用影像學(xué)檢查方法預(yù)測乳腺癌分子分型，評(píng)估乳腺癌的侵襲性，對(duì)乳腺癌患者治療具有重要價(jià)值。隨著超聲成像技術(shù)的發(fā)展，越來越多的超聲技術(shù)被應(yīng)用于乳腺癌的診療中，研究發(fā)現(xiàn)乳腺癌超聲造影（CEUS）后出現(xiàn)增強(qiáng)擴(kuò)大及灌注缺損，時(shí)間-強(qiáng)度曲線呈快進(jìn)高增強(qiáng)、高灌注與腫瘤干細(xì)胞、上皮-間充質(zhì)轉(zhuǎn)化高表達(dá)有關(guān)，且乳腺癌患者NAC后病灶增強(qiáng)的范圍變化和病理反應(yīng)MP評(píng)分呈正相關(guān)，而非Luminal型乳腺癌NAC前CEUS呈低灌注與腫瘤干細(xì)胞、上皮-間充質(zhì)轉(zhuǎn)化高表達(dá)有關(guān)，通過CEUS對(duì)NAC后呈非向心性回縮的非Luminal型乳腺癌的療效評(píng)價(jià)效果要優(yōu)于常規(guī)超聲；另一臨床試驗(yàn)研究證實(shí)，乳腺癌的剪切波彈性成像（SWE）存在各向異性，且SWE各向異性越大，乳腺癌的硬度越高，腫瘤干細(xì)胞、上皮-間充質(zhì)轉(zhuǎn)化的表達(dá)越高，提示預(yù)后較差［17-19］。

2 多模態(tài)超聲聯(lián)合深度學(xué)習(xí)對(duì)乳腺癌新輔助化療療效評(píng)價(jià)

2.1 常規(guī)超聲

常規(guī)超聲是超聲科醫(yī)師最常用的檢查方法，其檢查無痛苦，可在短時(shí)間多次反復(fù)進(jìn)行，適用于任何年齡段的女性，在多模態(tài)超聲中起基礎(chǔ)性的作用。有研究發(fā)現(xiàn)，常規(guī)超聲可以測量乳腺癌腫塊的大小，但是難以準(zhǔn)確評(píng)估乳腺癌NAC的療效［20］。有學(xué)者對(duì)93例已接受NAC的乳腺癌患者進(jìn)行了回顧性分析，研究發(fā)現(xiàn)常規(guī)超聲對(duì)乳腺癌腫塊有著很好的預(yù)測能力，準(zhǔn)確率為98%，然而它卻錯(cuò)誤地預(yù)測了2例pCR，表明僅使用超聲評(píng)估乳腺癌NAC療效效果較低［21］，原因可能如下：乳腺癌NAC后病灶改變呈蜂窩狀，邊界難以確定，從而提高了腫塊實(shí)際大小的測量難度；在常規(guī)超聲上難以區(qū)分NAC后纖維灶的形成和殘留乳腺癌病灶；容易受到操作者主觀性的影響等。常規(guī)超聲在評(píng)估NAC療效效果中具有一定的價(jià)值，但與之相比，多模態(tài)超聲在乳腺癌診斷及NAC療效評(píng)價(jià)上均表現(xiàn)出更高的準(zhǔn)確率和診斷效能，比常規(guī)超聲具有更加顯著的臨床價(jià)值［22-23］。因此，單純應(yīng)用常規(guī)超聲不能很好地評(píng)價(jià)乳腺癌NAC后的治療效果，應(yīng)與其他超聲檢查方法結(jié)合，以達(dá)到準(zhǔn)確預(yù)測乳腺癌NAC療效的目的。

2.2 CEUS

CEUS是一種基于微循環(huán)血流灌注的超聲成像技術(shù)，在清晰顯示腫瘤血管的基礎(chǔ)上，還提供了微循環(huán)血流動(dòng)力學(xué)的相關(guān)信息。CEUS的聲像圖特征與乳腺癌的生物學(xué)行為有關(guān)，腫瘤宏觀上形態(tài)的變化比微觀結(jié)構(gòu)的改變晚，因此，腫瘤形態(tài)學(xué)的改變不能作為乳腺癌NAC療效的評(píng)價(jià)指標(biāo)［24］。有學(xué)者對(duì)21例乳腺癌患者NAC治療前后42個(gè)CEUS圖像進(jìn)行分析研究，發(fā)現(xiàn)乳腺癌NAC后，腫瘤的新生血管呈減少趨勢，而且變得更加不均勻，表明CEUS的聲像圖特征在評(píng)估NAC療效上具有良好的精準(zhǔn)度［25］。一項(xiàng)研究對(duì)80例非Luminal型乳腺癌患者進(jìn)行實(shí)驗(yàn)研究，發(fā)現(xiàn)非Luminal型乳腺癌NAC前CEUS的顯示范圍大于常規(guī)超聲的顯示范圍，NAC后小于常規(guī)超聲的顯示范圍，并且更接近術(shù)后的病理結(jié)果，NAC 后病灶擴(kuò)大和灌注缺損的程度也較NAC 前明顯減少，這表明對(duì)于非Luminal 型乳腺癌，CEUS比常規(guī)超聲可以更真實(shí)客觀地反映乳腺癌實(shí)際腫瘤的大小，NAC后CEUS能顯著降低病灶纖維化灌注的程度，避免了對(duì)NAC療效的低估［19］。而另一研究證實(shí)CEUS定量參數(shù)和分子亞型的組合在預(yù)測乳腺癌NAC療效上有良好地表現(xiàn)，在腫瘤直徑改變的情況下，使用峰值強(qiáng)度和達(dá)峰時(shí)間的CEUS模型能有效地預(yù)測乳腺癌NAC的療效［26］。乳腺癌作為一種血管依賴性病變，其微循環(huán)是預(yù)測NAC 療效最常用的評(píng)價(jià)方法。CEUS是一種純血池超聲顯像技術(shù)，通過靜脈注射造影劑，使病灶血管內(nèi)的分布及走行情況得到清晰地顯示，實(shí)時(shí)觀察病灶的整個(gè)血流灌注過程，評(píng)估腫瘤微循環(huán)的灌注的情況，從而提高對(duì)乳腺癌NAC療效評(píng)價(jià)的準(zhǔn)確性［27］，但同時(shí)也存有局限性：樣本量過小會(huì)限制我們對(duì)實(shí)驗(yàn)的深入研究；感興趣區(qū)的選擇具有主觀性，會(huì)對(duì)腫瘤血流量的測量產(chǎn)生偏差；CEUS對(duì)腫瘤血管的依賴性高，對(duì)于血管較少的腫瘤，CEUS并不能有效地顯示其血管分布情況及微循環(huán)的特征［28］。

2.3 超聲彈性成像（UE）

UE是一種定量估計(jì)組織彈性模量的分布，并將其轉(zhuǎn)化為可視聲像圖的超聲成像技術(shù)。它已成為醫(yī)學(xué)超聲成像中迅速發(fā)展的一項(xiàng)新技術(shù)。目前，UE主要包括以下兩種：應(yīng)變式彈性成像（SE）和SWE。

SE通過向檢查組織表面施加動(dòng)態(tài)或靜態(tài)/準(zhǔn)靜態(tài)激勵(lì)，跟蹤組織運(yùn)動(dòng)來估計(jì)彈性模量的分布［29］。有學(xué)者采用SE對(duì)92例乳腺癌患者的NAC療效進(jìn)行臨床觀察，研究發(fā)現(xiàn)預(yù)測乳腺癌NAC后pCR的敏感度為84%，特異性為85%，曲線下面積為81%，表明SE能以高敏感度和高特異性的優(yōu)勢，準(zhǔn)確評(píng)估乳腺癌患者在進(jìn)行NAC治療2周期后的療效［30］，為乳腺癌患者選擇NAC治療以達(dá)到最佳獲益。

而SWE則是另一種基于超聲成像測量組織硬度的技術(shù)，不同的是，它使用了聲輻射引入干擾，而不是操作者手動(dòng)激發(fā)，并且測量的是橫波的傳播速度而非組織的變形程度［31］。有研究對(duì)60例乳腺癌患者的臨床資料進(jìn)行分析，發(fā)現(xiàn)隨著NAC治療的進(jìn)展，腫塊的硬度值也隨之發(fā)生明顯變化，表明在NAC治療2周期后，病灶的最大直徑與應(yīng)變率之比有助于評(píng)估乳腺癌NAC的療效［32］。有前瞻性實(shí)驗(yàn)研究發(fā)現(xiàn)，在乳腺癌NAC治療的前、中、后期，pCR和非pCR的SWE定量參數(shù)均有顯著性差異，且在第三次研究訪問期間，pCR的質(zhì)量特征頻率明顯增高，可以作為預(yù)測pCR的NAC終點(diǎn)標(biāo)記物［33］，表明SWE可以作為乳腺癌NAC療效評(píng)價(jià)的方法之一，能準(zhǔn)確評(píng)估其療效并指導(dǎo)患者的個(gè)體化治療，具有重要價(jià)值。

一項(xiàng)聯(lián)合CEUS和UE的雙模態(tài)超聲評(píng)估乳腺癌患者NAC療效的研究發(fā)現(xiàn)，在準(zhǔn)確性、特異性、敏感度、陽性預(yù)測值及陰性預(yù)測值上，CEUS和UE的聯(lián)合應(yīng)用要高于單獨(dú)使用CEUS或UE，證實(shí)兩者的聯(lián)合應(yīng)用在評(píng)估乳腺癌NAC療效上有著較高的準(zhǔn)確性［34］。目前，臨床實(shí)驗(yàn)入選的患者樣本量相對(duì)較小，NAC對(duì)乳腺癌不同表型療效評(píng)價(jià)還沒有統(tǒng)一的標(biāo)準(zhǔn)，需要進(jìn)一步增加乳腺癌患者樣本量來提供足夠的統(tǒng)計(jì)能力來解決乳腺癌不同表型NAC后對(duì)CEUS和UE定性及定量參數(shù)的影響［26,35-37］。

2.4 三維超聲

三維超聲通過特殊超聲探頭采集圖像，然后利用計(jì)算機(jī)圖像處理技術(shù)，在二維超聲上進(jìn)行三維重建，使器官和血管各種結(jié)構(gòu)的立體形態(tài)、組織厚度、空間關(guān)系，特別是活動(dòng)狀況的顯示成為可能。研究表明，三維超聲中診斷乳腺癌最具價(jià)值的聲像圖特征是：匯聚征、腫瘤邊緣和腫瘤邊界回聲紋理［38-39］。近十年來，三維超聲越來多地被應(yīng)用于診斷乳腺小腫瘤上，尤其在冠狀面的檢查優(yōu)勢，三維超聲在顯示乳腺小腫瘤的腫塊形態(tài)、邊界、內(nèi)部回聲、縱橫比的準(zhǔn)確率均高于二維超聲［39］。有研究將221例乳腺癌患者的三維超聲結(jié)果和病理預(yù)后因素進(jìn)行對(duì)比，發(fā)現(xiàn)通過三維超聲檢查方法預(yù)測乳腺癌治療的預(yù)后可以提供更精準(zhǔn)的治療決策［40］。

自動(dòng)乳腺全容積成像是一種以三維超聲為基礎(chǔ)的、標(biāo)準(zhǔn)化的、自動(dòng)化的超聲成像技術(shù)，它不依賴于操作者，能在任何時(shí)間點(diǎn)獲取超聲圖像［41］。研究發(fā)現(xiàn)，自動(dòng)乳腺全容積成像在評(píng)估乳腺癌NAC療效的表現(xiàn)中與乳腺M(fèi)RI相當(dāng)，均顯示出較高的特異性、敏感度及診斷準(zhǔn)確率［42］。自動(dòng)乳腺全容積成像作為一種多平面成像，通過三維重建可形成冠狀面，獲取更多有利于診斷乳腺癌的精確信息，還可以提供乳腺腫塊在二維超聲圖像上無法顯示的三維結(jié)構(gòu)上的更多信息，如腫塊的表面積、腫塊體積、各組織結(jié)構(gòu)的空間位置及毗鄰關(guān)系等，這極大提高了我們對(duì)乳腺癌的診斷準(zhǔn)確率及評(píng)估乳腺癌NAC療效的準(zhǔn)確性［43］。目前，三維超聲成像在技術(shù)上已逐步趨向于臨床實(shí)用，相信隨著醫(yī)療科技技術(shù)的不斷發(fā)展，三維超聲技術(shù)會(huì)成為乳腺癌臨床相關(guān)工作中最為有效的診斷工具之一。

2.5 多模態(tài)超聲對(duì)乳腺癌NAC評(píng)價(jià)指標(biāo)的優(yōu)選

現(xiàn)如今，以多種超聲成像為基礎(chǔ)的多模態(tài)超聲技術(shù)，在臨床乳腺癌診治中的應(yīng)用越來越廣泛。有學(xué)者在多模態(tài)超聲基礎(chǔ)上建立Logistic回歸模型，分析發(fā)現(xiàn)以下是乳腺惡性病變的危險(xiǎn)因素：乳腺腫瘤邊緣不清、向心性強(qiáng)化、速升速降的強(qiáng)化模式、乳腺腫瘤不完整、4分的彈力造影評(píng)分、速升緩降的強(qiáng)化模式［44］。一項(xiàng)研究發(fā)現(xiàn)NAC后乳腺癌最長直徑縮小程度、阻力指數(shù)、收縮期峰值血流流速、應(yīng)變率比值、彈性評(píng)分、峰值強(qiáng)度和曲線下面積是影響新輔助化療療效的因素，并且通過建立多因素Logistic回歸模型證實(shí)，腫瘤最長直徑縮小程度、峰值強(qiáng)度及應(yīng)變率比值是乳腺癌NAC的危險(xiǎn)因素［45］。彭娟等通過對(duì)超聲定量參數(shù)的分析，發(fā)現(xiàn)峰值強(qiáng)度變化率＞16.37%和剪切波速度最大值變化率＞28.52%提示pCR，證實(shí)兩者是評(píng)估NAC療效的預(yù)測因子［46］。不過，有國外學(xué)者通過對(duì)比MRI與超聲檢查預(yù)測乳腺癌NAC后pCR情況，研究發(fā)現(xiàn)MRI比超聲有著更高的特異性（56.8%vs33.3%），但是敏感度不及超聲檢查（87.7%vs91.4%）［47］。超聲作為一種常規(guī)的影像學(xué)方法，有望在未來為評(píng)估乳腺癌患者NAC療效中提供重要診斷價(jià)值。

3 多模態(tài)超聲聯(lián)合深度學(xué)習(xí)

3.1 深度學(xué)習(xí)的發(fā)展歷程

深度學(xué)習(xí)是人工智能的分支，它是一種以人工神經(jīng)網(wǎng)絡(luò)為架構(gòu)，對(duì)數(shù)據(jù)資料進(jìn)行學(xué)習(xí)的算法。20世紀(jì)60年代，有科學(xué)家提出了計(jì)算機(jī)輔助診斷［48］，但受到當(dāng)時(shí)技術(shù)水平的發(fā)展限制，直至20世紀(jì)90年代，隨著機(jī)器學(xué)習(xí)的發(fā)展，尤其是深度學(xué)習(xí)算法的完善，計(jì)算機(jī)輔助診斷才在醫(yī)學(xué)影像的診斷上的應(yīng)用越來越廣泛［49］。深度學(xué)習(xí)是由多個(gè)神經(jīng)層組成的模型，將輸入的數(shù)據(jù)（如圖像）轉(zhuǎn)換為輸出的數(shù)據(jù)（如疾病存在/不存在），同時(shí)學(xué)習(xí)高級(jí)別的特征。目前，最成功的圖像分析模型是卷積神經(jīng)網(wǎng)絡(luò)（CNNs），CNNs 的研究開始于上世紀(jì)70 年代末［50］，1998年有學(xué)者將2層神經(jīng)網(wǎng)絡(luò)的LeNet神經(jīng)網(wǎng)絡(luò)模型應(yīng)用于手寫數(shù)字識(shí)別應(yīng)用程序，并成功運(yùn)行［51］；2012年一項(xiàng)研究用5層卷積網(wǎng)絡(luò)的AlexNet神經(jīng)網(wǎng)絡(luò)模型以極大的優(yōu)勢取得了ImageNet挑戰(zhàn)賽的勝利［52］。此后，有學(xué)者用VGG19神經(jīng)網(wǎng)絡(luò)模型和ResNet神經(jīng)網(wǎng)絡(luò)架構(gòu)分別贏得了2014及2015年的ImageNet挑戰(zhàn)賽［53-54］。此外，還有其他神經(jīng)網(wǎng)絡(luò)模型被提出，如一種名為GoogLeNet的22層神經(jīng)網(wǎng)絡(luò)［55］，以及基于完全神經(jīng)網(wǎng)絡(luò)提出的U-Net架構(gòu)［56］。從此，迎來了深度學(xué)習(xí)的大發(fā)展時(shí)代。

3.2 基于神經(jīng)網(wǎng)絡(luò)模型的超聲檢查方法的應(yīng)用

目前，CNNs——深度學(xué)習(xí)的典型代表，在醫(yī)學(xué)影像圖像分析中的應(yīng)用最為廣泛。作為近年來新興的一項(xiàng)計(jì)算機(jī)技術(shù)，它能對(duì)輸入的圖像數(shù)據(jù)進(jìn)行學(xué)習(xí)，并從中提取輸入樣本的高層次特征結(jié)構(gòu)數(shù)據(jù)，從而獲取更能代表圖像屬性的相關(guān)特征［57］。如今，基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法在醫(yī)學(xué)影像中的應(yīng)用受到越來越多的關(guān)注，尤其是在超聲檢查上［58-59］，在對(duì)傳統(tǒng)的診斷任務(wù)中，包括分類、分割、檢測、配準(zhǔn)、生物特征測量和療效質(zhì)量評(píng)估，以及對(duì)圖像引導(dǎo)的干預(yù)和治療等，都表現(xiàn)出良好的效果［60］。有學(xué)者應(yīng)用GoogLeNet和AlexNet神經(jīng)網(wǎng)絡(luò)模型鑒別乳腺癌的良、惡性，并且取得良好的結(jié)果［61］；有學(xué)者在U-Net 架構(gòu)基礎(chǔ)上結(jié)合了ResNet 神經(jīng)網(wǎng)絡(luò)模型，提出了ResU-Net神經(jīng)網(wǎng)絡(luò)模型，實(shí)現(xiàn)了在乳腺超聲圖像上對(duì)乳腺癌腫瘤區(qū)域的精準(zhǔn)分割，其中測試集腫瘤分割的相似度系數(shù)為0.9568，交并比為0.9173［62］；國外有研究采用3種不同的方法（基于補(bǔ)丁的LeNet、U-Net和經(jīng)過預(yù)訓(xùn)練的FCN-AlexNet遷移學(xué)習(xí)方法）對(duì)2個(gè)乳腺超聲圖像數(shù)據(jù)集（數(shù)據(jù)集A在2001年收集于一位乳腺影像學(xué)專家使用的教學(xué)媒體文件中，數(shù)據(jù)集B在2012年收集于西班牙的UDIAT診斷中心）進(jìn)行檢測分析，發(fā)現(xiàn)經(jīng)過預(yù)訓(xùn)練的FCN-AlexNet 遷移學(xué)習(xí)方法優(yōu)于其他檢測方法，數(shù)據(jù)集A的真陽性分?jǐn)?shù)為0.98，每幅圖像的FPs/image為0.16，F(xiàn)-measure為0.91，數(shù)據(jù)集B的真陽性分?jǐn)?shù)為0.92，F(xiàn)Ps/image為0.17，F(xiàn)-measure為0.89，并且U-Net的檢測性能要低于基于補(bǔ)丁的LENet［63］。有學(xué)者提出采用3種神經(jīng)網(wǎng)絡(luò)模型（VGGNet、ResNet和DenseNet）集成到乳腺超聲圖像上，在作者的私人數(shù)據(jù)集中，其準(zhǔn)確性、敏感度、特異性、精密度、F1 分?jǐn)?shù)和AUC 值分別為91.10%、85.14%、95.77%、94.03%、89.36%和0.9697，在公開數(shù)據(jù)集中，其準(zhǔn)確性、敏感度、特異性、精確度、F1 分?jǐn)?shù)和AUC 值分別為94.62%、92.31%、95.60%、90%、91.14%和0.9711，兩者均呈現(xiàn)良好的表現(xiàn)［64］，但是該研究并沒有對(duì)3種神經(jīng)網(wǎng)絡(luò)模型的優(yōu)劣性進(jìn)行總結(jié)。另有學(xué)者對(duì)4種基于CNNs的神經(jīng)網(wǎng)絡(luò)模型（FCN-AlexNet，U-Net，基于VGG16和VGG19的SegNet 以及使用ResNet18、ResNet50、MobileNet-V2和Xception網(wǎng)絡(luò)的DeepLabV3+）在超聲圖像中乳腺腫瘤的自動(dòng)分割進(jìn)行評(píng)估，研究發(fā)現(xiàn)基于SegNet和DeepLabV3+的神經(jīng)網(wǎng)絡(luò)模型獲得較好的分割效果，F(xiàn)1分?jǐn)?shù)＞0.90，交并比＞0.81。U-Net的分割性能表現(xiàn)為F1分?jǐn)?shù)=0.89，交并比=0.80，而FCN-AlexNet的分割效果最低，F(xiàn)1分?jǐn)?shù)=0.84，交并比=0.73，證實(shí)了神經(jīng)網(wǎng)絡(luò)越深，分割的質(zhì)量越好，而當(dāng)F1 分?jǐn)?shù)達(dá)到其上界（即0.905），其分割性能沒有明顯的提升；對(duì)各個(gè)神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練時(shí)間進(jìn)行評(píng)估發(fā)現(xiàn)，ResNet18的訓(xùn)練時(shí)間大約是ResNet50的一半，即150 min［65］。綜合分析各模型分割效果及訓(xùn)練時(shí)間，ResNet18可以在使用更少訓(xùn)練時(shí)間的情況下，達(dá)到其評(píng)分的標(biāo)準(zhǔn)要求（F1 分?jǐn)?shù)=0.905，交并比=0.827），有望成為全自動(dòng)化端到端計(jì)算機(jī)輔助診斷系統(tǒng)的候選者。

3.3 多模態(tài)超聲聯(lián)合深度學(xué)習(xí)對(duì)乳腺癌的評(píng)價(jià)應(yīng)用

隨著超聲新技術(shù)的出現(xiàn)，多模態(tài)超聲聯(lián)合深度學(xué)習(xí)在臨床上的應(yīng)用越發(fā)廣泛。有研究在單模態(tài)超聲基礎(chǔ)上通過構(gòu)建神經(jīng)網(wǎng)絡(luò)模型ResNet50-N及ResNet50-L，分別對(duì)乳腺結(jié)節(jié)良惡性進(jìn)行診斷和預(yù)測腋窩淋巴結(jié)侵犯情況，發(fā)現(xiàn)無論是對(duì)乳腺結(jié)節(jié)良惡性鑒別，還是預(yù)測腋窩淋巴結(jié)的侵犯情況，兩種神經(jīng)網(wǎng)絡(luò)模型均有良好的性能表現(xiàn)［66］。有學(xué)者通過多種神經(jīng)網(wǎng)絡(luò)模型（Xception、InceptionV3、InceptionResNetV2、DenseNet121、DenseNet169和NASNetMobile)對(duì)乳腺癌常規(guī)超聲聯(lián)合SWE的雙模態(tài)超聲成像進(jìn)行檢測，發(fā)現(xiàn)DenseNet169模型表現(xiàn)出良好的性能參數(shù)，其AUC、敏感度、特異性分別為0.857、0.789、0.898，與超聲科醫(yī)師的檢查結(jié)果相比，CNNs能顯示出相同甚至更好的診斷能力［67］。有研究分別在常規(guī)超聲、雙模態(tài)超聲融合及多模態(tài)超聲融合模式下，采用DenseNet50模型對(duì)乳腺癌圖像進(jìn)行分割和分類，結(jié)果顯示DenseNet50神經(jīng)網(wǎng)絡(luò)模型有著良好的性能表現(xiàn)，在常規(guī)超聲下，準(zhǔn)確度等其余6項(xiàng)指標(biāo)平均提升7.45%，而在雙線性融合的多模態(tài)超聲模式中，其準(zhǔn)確度更是達(dá)94.59%［68］。有學(xué)者通過利用4種神經(jīng)網(wǎng)絡(luò)模型（DenseNet121，VGG16，InceptionV3及ResNet50）融合常規(guī)超聲及SWE來判斷乳腺腫塊的良、惡性，發(fā)現(xiàn)在單模態(tài)超聲中，DenseNet121神經(jīng)網(wǎng)絡(luò)模型分類效果最好，在多模態(tài)超聲中，DenseNet121的性能表現(xiàn)要比單模態(tài)超聲好，對(duì)于鑒別乳腺腫瘤良、惡性的準(zhǔn)確度、敏感度、特異性、AUC、F1 分?jǐn)?shù)分別為93.51%、94.88%、92.25%、0.975、0.931［69］。但目前深度學(xué)習(xí)實(shí)現(xiàn)主要性能的改進(jìn)在很大程度上依賴于大樣本訓(xùn)練數(shù)據(jù)集，而醫(yī)學(xué)超聲領(lǐng)域中公開可用的數(shù)據(jù)集是很有限的，這成為深度學(xué)習(xí)在醫(yī)學(xué)超聲圖像分析中進(jìn)一步應(yīng)用的瓶頸。目前最常用的方法之一是進(jìn)行跨數(shù)據(jù)集學(xué)習(xí)，即遷移學(xué)習(xí)，其主要分為兩種類型：跨模態(tài)遷移學(xué)習(xí)和跨域遷移學(xué)習(xí)［70］。已有實(shí)驗(yàn)證明，在小樣本訓(xùn)練數(shù)據(jù)集的情況下，跨模式遷移學(xué)習(xí)可能會(huì)優(yōu)于跨域遷移學(xué)習(xí)［71］；此外，模型的訓(xùn)練也是一個(gè)非常耗時(shí)間的過程，其可靠性需大量樣本進(jìn)行驗(yàn)證［72］。

關(guān)于多模態(tài)超聲聯(lián)合深度學(xué)習(xí)對(duì)乳腺癌NAC療效進(jìn)行評(píng)價(jià)的研究暫鮮有相關(guān)文獻(xiàn)報(bào)道。一項(xiàng)關(guān)于乳腺PET/MRI圖像深度學(xué)習(xí)模型的研究表明，AlexNet神經(jīng)網(wǎng)絡(luò)模型可以有效預(yù)測晚期乳腺癌患者NAC的療效，還能提高各種實(shí)時(shí)臨床應(yīng)用的診斷準(zhǔn)確率［73］。有學(xué)者在多模態(tài)超聲基礎(chǔ)上建立了L1正則化Logistic回歸預(yù)測模型及Siamese CNNs神經(jīng)網(wǎng)絡(luò)模型，實(shí)現(xiàn)了早期預(yù)測乳腺癌NAC療效，兩種模型的AUC值分別為0.797和0.847［74］。近年來，深度學(xué)習(xí)放射組學(xué)列線圖被證實(shí)能準(zhǔn)確預(yù)測乳腺癌患者NAC的pCR情況［75］，國內(nèi)有研究在超聲基礎(chǔ)上建立兩種DLR模型（DLR-2、DLR-4），通過前瞻性研究發(fā)現(xiàn)，兩個(gè)模型都有良好的性能表現(xiàn)，其AUC值分別是0.812、0.937［76］。由此可見，深度學(xué)習(xí)具有巨大的潛能，結(jié)合多模態(tài)超聲的優(yōu)勢，可系統(tǒng)性地對(duì)超聲科醫(yī)師的診斷結(jié)果進(jìn)行優(yōu)化，提高了診斷結(jié)果的臨床應(yīng)用性，為臨床研究的進(jìn)一步開展提供了新的思路。在臨床工作中，其作為超聲科醫(yī)師的“第二雙眼睛”，極大的提高了醫(yī)師的工作效率。但是，現(xiàn)在還沒有充足的證據(jù)表明深度學(xué)習(xí)技術(shù)能取代超聲科醫(yī)師，而且該項(xiàng)技術(shù)在臨床的應(yīng)用中仍存在風(fēng)險(xiǎn)，因此還需要加強(qiáng)對(duì)深度學(xué)習(xí)的深入研究及進(jìn)行更多的實(shí)驗(yàn)探索，以提高該技術(shù)在臨床診療上的實(shí)用性。

4 小結(jié)和展望

近年來，隨著超聲成像技術(shù)的不斷進(jìn)步，不同超聲技術(shù)在臨床的應(yīng)用逐漸增多，尤其是在乳腺癌的診斷、治療及監(jiān)測中，還能為乳腺癌NAC療效提供精確的信息。絕大多數(shù)研究結(jié)果顯示，多模態(tài)超聲已然成為超聲發(fā)展的必然趨勢，在未來將會(huì)有更廣闊的發(fā)展前景。在當(dāng)今這個(gè)大數(shù)據(jù)時(shí)代，基于深度學(xué)習(xí)的CNNs計(jì)算機(jī)技術(shù)迅速發(fā)展，在醫(yī)學(xué)影像診斷方面取得重大的進(jìn)展。無論是在乳腺癌的診斷還是對(duì)NAC的評(píng)價(jià)，多模態(tài)超聲聯(lián)合深度學(xué)習(xí)都展現(xiàn)巨大潛能，在提高診斷準(zhǔn)確率的同時(shí)，極大提高超聲科醫(yī)師工作效率。

綜上所述，多模態(tài)超聲聯(lián)合深度學(xué)習(xí)，融合不同學(xué)科的新技術(shù)，實(shí)現(xiàn)對(duì)乳腺癌患者NAC全方位、多參數(shù)的綜合評(píng)價(jià)，為患者制定個(gè)體化治療方案，改善患者生存質(zhì)量，這將具有重大的臨床意義和社會(huì)意義。