曾嘉濤，張賀曄*，劉華鋒

1.中山大學(xué)生物醫(yī)學(xué)工程學(xué)院，深圳 518111；2.浙江大學(xué)光電科學(xué)與工程學(xué)院，杭州 310058

0 引言

心臟作為人體重要組成部分，負(fù)責(zé)為人體血液流動(dòng)提供動(dòng)力。心血管疾病指一系列影響心臟和血液動(dòng)脈的疾病。冠狀動(dòng)脈疾病（coronary artery disease，CAD）和急性冠狀動(dòng)脈綜合征（acute coronary syndrome，ACS）都屬于心血管疾病。心血管疾病與心臟脂肪組織（包括心外膜脂肪組織和心包脂肪組織）有強(qiáng)相關(guān)性。

根據(jù)世界衛(wèi)生組織的統(tǒng)計(jì)，高發(fā)病率并且有嚴(yán)重的后遺癥的心血管疾病是當(dāng)今社會(huì)死亡率最高的疾病。2021年，估計(jì)有3.3億萬(wàn)人罹患心血管疾病。據(jù)中國(guó)心血管健康與疾病報(bào)告（2021），我國(guó)每5 例因病死亡病例中有2 例死于心血管疾病。心血管疾病大致可分為兩類(lèi)，一是較為常見(jiàn)的急性心血管疾病，如心絞痛、心肌梗塞等；二是由于人口老齡化和工作人群不規(guī)律的作息而導(dǎo)致的以動(dòng)脈硬化為特征的慢性心血管疾病。

隨著現(xiàn)代人越來(lái)越重視健康，每年的體檢結(jié)果成為人們?cè)u(píng)估自己身體狀況的重要途徑。體檢普遍已經(jīng)能夠提供CMR（cardiovascular magnetic resonance）、CT（computed tomography）等格式的醫(yī)學(xué)圖像，醫(yī)生需要根據(jù)這些圖像進(jìn)行有效的診斷。

想要有效檢測(cè)心血管疾病、建立適用于計(jì)劃手術(shù)的心臟模型需要在心臟掃描圖像上精確分割心室、心房、心外膜和心包組織。因此精確分割心臟圖像有著重大意義。即使訓(xùn)練有素的專(zhuān)家手動(dòng)描繪一個(gè)人的心臟解剖結(jié)構(gòu)也需要約20 min，這對(duì)于每日需要處理4 萬(wàn)幅影像（《中國(guó)人工智能醫(yī)療白皮書(shū)》）的放射科醫(yī)生來(lái)說(shuō)，無(wú)疑是不可能的任務(wù)。由此看來(lái)，醫(yī)學(xué)影像想要進(jìn)一步發(fā)展，就要引入自動(dòng)化分割技術(shù)。

在深度學(xué)習(xí)出現(xiàn)之前，心血管分割的圖像處理方式包括閾值處理（thresholding）、基于邊緣和區(qū)域的處理（edge-based and region-based approaches）和模型法（model-based）等方法。這些方法需要依靠大量的專(zhuān)業(yè)知識(shí)以及細(xì)致的判斷標(biāo)準(zhǔn)才能達(dá)到良好的準(zhǔn)確性。

得益于計(jì)算機(jī)硬件的發(fā)展和公共數(shù)據(jù)集的建立，深度學(xué)習(xí)逐漸成為心血管分割的重要方法。深度學(xué)習(xí)融合各種新技術(shù)，不但能夠通過(guò)學(xué)習(xí)有限的數(shù)據(jù)集得到較高的Dice 系數(shù)，而且能夠完全實(shí)現(xiàn)自動(dòng)化和批量化處理圖像，極大地緩解了醫(yī)學(xué)影像解讀速度上的壓力。因此，目前基于深度學(xué)習(xí)的醫(yī)學(xué)圖像處理研究仍然是重點(diǎn)方向。

本文主要結(jié)合2012—2022 年發(fā)表的相關(guān)文獻(xiàn)進(jìn)行討論，旨在總結(jié)、比較有關(guān)心血管分割的相關(guān)圖像處理技術(shù)的國(guó)內(nèi)外發(fā)展現(xiàn)狀，闡述目前該領(lǐng)域的挑戰(zhàn)和不足。

1 國(guó)際研究現(xiàn)狀

按照心室、心外膜、心包脂肪的順序依次介紹各部分的研究現(xiàn)狀。

1.1 心室

1.1.1 切割依據(jù)

心臟四腔分別是右心室血腔、左心室血腔、左心房血腔和右心房血腔，以下分別簡(jiǎn)稱(chēng)為右心室、左心室、左心房和右心房。

全心分割的目標(biāo)是提取心臟所有亞結(jié)構(gòu)的體積和形狀，通常包括4 個(gè)腔室和重要血管。右心室位于心臟下端的第2 大腔。右心室在肺循環(huán)中起著至關(guān)重要的作用，因此對(duì)右心室的研究對(duì)了解部分心血管疾病如心室衰竭、肺動(dòng)脈高壓和先天性心臟病的病理起到重要作用。

全心分割結(jié)果對(duì)臨床研究和應(yīng)用很重要，包括以下幾方面：1）提取心室容積、射血分?jǐn)?shù)（ejection fraction，EF）、心肌質(zhì)量和心肌厚度/增厚/運(yùn)動(dòng)等功能指標(biāo)。這些指標(biāo)是臨床應(yīng)用中的重要指標(biāo)。例如，EF 決定了心臟抽血的情況，在診斷和跟蹤心力衰竭方面很重要；心肌運(yùn)動(dòng)與心臟的收縮力有關(guān)，并被證明與心臟再同步化治療（cardiac resynchronization therapy，CRT）的重塑密切相關(guān)；在臨床上通過(guò)相關(guān)功能指標(biāo)預(yù)估整個(gè)心臟的功能，分析檢測(cè)到的心臟功能異?；蚋淖?。2）渲染結(jié)果有廣泛的應(yīng)用，如在形態(tài)學(xué)中研究先天性心臟畸形。3）整個(gè)心臟的分割結(jié)果可以從短軸（short axis，SAX）和長(zhǎng)軸（long axis，LAX）顯示任何想要的2維（2D）視圖，如四腔視圖和SAX 視圖。在臨床上，醫(yī)生可以通過(guò)結(jié)合整個(gè)心臟的分割結(jié)果與實(shí)時(shí)觀察（如微創(chuàng)手術(shù)）獲得更好的醫(yī)療器械介入位置。

1.1.2 評(píng)估指標(biāo)

目前在全心分割中常采用的指標(biāo)為Dice 系數(shù)。Dice 系數(shù)是一種集合相似度度量函數(shù)，通常用于計(jì)算兩個(gè)樣本的相似度，取值范圍為［0，1］，計(jì)算為

式中，X，Y為預(yù)測(cè)結(jié)果圖和真實(shí)標(biāo)簽圖。

豪斯多夫距離（Hausdorff distance，HD）也是廣泛用于評(píng)估的指標(biāo)之一。

式中，A和B表示兩個(gè)不相交的集合。HD 根據(jù)式（2）測(cè)量?jī)蓚€(gè)等值線之間的距離。

1.1.3 主要技術(shù)

1）圖切割方法。圖切割方法將分割作為一個(gè)像素標(biāo)記問(wèn)題。將圖中的像素轉(zhuǎn)化為一個(gè)頂點(diǎn)，像素之間的相鄰關(guān)系轉(zhuǎn)化為連接這兩個(gè)頂點(diǎn)的邊，通過(guò)對(duì)轉(zhuǎn)化后的圖片按照最小化圖割的原則消除連接頂點(diǎn)的邊，圖可以分為兩個(gè)相關(guān)的元素C和D。具體為

為了充分使用4D MRI（4-dimension magnetic resonance imaging）圖像中的信息對(duì)右心室進(jìn)行分割，Maier等人（2012）提出了一種半自動(dòng)區(qū)域合并圖形切割（semi-automatic region-merging graph-cuts，rmGC）方法。該方法包括3 個(gè)階段，首先根據(jù)用戶(hù)的輸入生成前景和背景標(biāo)記；然后應(yīng)用一個(gè)分水嶺變換；最后利用基于強(qiáng)度的邊界約束對(duì)得到的過(guò)分割區(qū)域進(jìn)行合并。獲得的模型在MICCAI 2012 RVSC（Medical Image Computing and Computer Assisted Intervention Society 2012 Right Ventricular Stroke Count）提供的數(shù)據(jù)集上進(jìn)行訓(xùn)練和測(cè)試，并使用Dice 系數(shù)和HD 進(jìn)行評(píng)估。該方法在大部分的圖中都提供了較高準(zhǔn)確性的結(jié)果。然而，這種方法對(duì)于來(lái)自底部和頂端的圖存在欠擬合問(wèn)題。

Mahapatra（2013）提出了一種結(jié)合形狀先驗(yàn)信息的圖切割方法（graph-cuts shape prior，GCSP）。該方法包括兩個(gè)步驟：第1 步，只使用強(qiáng)度信息進(jìn)行心室分割；第2 步，結(jié)合形狀和強(qiáng)度信息，以上一步得到的主要分割作為起點(diǎn)，得到最終分割結(jié)果。Mahapatra（2013）使用STACOM（statistical atlases and computational modeling of the heart）2011 4D LV分割挑戰(zhàn)（4D LV segmentation challenge，4D-LVSC）提供的包含30 名受試者數(shù)據(jù)的數(shù)據(jù)集對(duì)該方法進(jìn)行訓(xùn)練和測(cè)試，使用Dice 系數(shù)和HD 作為評(píng)價(jià)指標(biāo)。當(dāng)形狀信息與物體和背景的強(qiáng)度分布相結(jié)合時(shí)，該方法可以準(zhǔn)確分割左心室和右心室。在心室形狀發(fā)生輕微變化的患者數(shù)據(jù)上的實(shí)驗(yàn)結(jié)果也顯示了使用形狀先驗(yàn)的優(yōu)勢(shì)。然而，該方法沒(méi)有討論心臟周期中形狀變化的影響，這可能會(huì)影響使用單幀提取形狀信息的性能。

考慮到重要器官的相對(duì)排列位置，Mahapatra（2013）還提出了一種基于圖空間關(guān)系的方法（graphcuts contextualbased method，GCCont）來(lái)分割雙心室的心內(nèi)膜。首先，必須在右心室和左心室上手動(dòng)選擇種子點(diǎn)，才能使用圖形切割方法進(jìn)行初始分割。然后，根據(jù)左心室固定分割得到的空間信息，對(duì)右心室分割進(jìn)行細(xì)化，再反過(guò)來(lái)利用分割后的右心室空間信息細(xì)化左心室分割。Mahapatra（2013）使用來(lái)自STACOM 2011 4D-LVSC 的30 個(gè)數(shù)據(jù)集，分為15 個(gè)數(shù)據(jù)集用來(lái)訓(xùn)練和15 個(gè)數(shù)據(jù)集用來(lái)測(cè)試。Mahapatra（2013）同樣使用了Dice 系數(shù)和HD。所呈現(xiàn)的結(jié)果為15 例測(cè)試集中僅3 例分割較為成功，但在這3例患者數(shù)據(jù)之間無(wú)顯著差異。這種分割方法過(guò)于依賴(lài)心臟的空間信息，右心室的不規(guī)則性不能在有限的訓(xùn)練數(shù)據(jù)集完全體現(xiàn)出來(lái)，特別是對(duì)于心室之間的空間信息發(fā)生改變的病理病例。

2）基于模型的分割方法?；谀Ｐ偷姆指罘椒ɡ眯螤钕嚓P(guān)的先驗(yàn)信息來(lái)進(jìn)行目標(biāo)的提取。在心室劃分的任務(wù)下，由于3 維搜索空間的龐大規(guī)模，基于局部搜索算法的方法大多用定位統(tǒng)計(jì)形狀模型（statistical shape models，SSM）。該方法需要一個(gè)初始模型來(lái)進(jìn)行定位。最簡(jiǎn)單的初始化過(guò)程是基于用戶(hù)交互，這通常足以對(duì)齊形狀信息。為了構(gòu)造一個(gè)SSM，通常利用訓(xùn)練集來(lái)提取平均形狀和幾種變化模式。這些模型的泛化性能依賴(lài)于訓(xùn)練集數(shù)據(jù)對(duì)整體數(shù)據(jù)的代表性。

ASM（active shape models）和 AAM（active appearance models）是最常用的醫(yī)學(xué)圖像分割模型方法。ASM 是一種基于點(diǎn)分布模型的局部搜索算法，而AAM 屬于生成模型類(lèi)，它可以生成被建模數(shù)據(jù)的預(yù)測(cè)圖像。在醫(yī)學(xué)成像領(lǐng)域，具有挑戰(zhàn)性的問(wèn)題在于研究個(gè)性化模型。因此，El-Rewaidy 和Fahmy（2015）提出了雙ASM 分割方法，利用ASM 來(lái)捕捉右心室形狀的變異性，對(duì)基本ASM 技術(shù)進(jìn)行了兩個(gè)主要修改。首先，將右心室輪廓分成兩個(gè)簡(jiǎn)單的節(jié)段，即室間隔和自由壁；然后，對(duì)每個(gè)部分構(gòu)建一個(gè)特定的ASM 模型；最終，為了非線性地對(duì)齊各種邊界，通過(guò)在坐標(biāo)空間內(nèi)演化所提出的ASM 模型將右心室插入點(diǎn)固定為特征點(diǎn)。El-Rewaidy 和Fahmy（2015）通過(guò)York 短軸心臟MRI 數(shù)據(jù)集構(gòu)建了一個(gè)包含182 例數(shù)據(jù)的數(shù)據(jù)集，其中隨機(jī)選擇56 例數(shù)據(jù)作為訓(xùn)練集，其余數(shù)據(jù)作為測(cè)試集。在雙ASM 中為每個(gè)情況使用兩個(gè)插入點(diǎn)，利用ASM 模型從外觀模型中迭代估計(jì)右心室形狀位移。與傳統(tǒng)的ASM 相比，該方法的評(píng)價(jià)是通過(guò)計(jì)算Dice 系數(shù)來(lái)完成的。這種方法的問(wèn)題在于強(qiáng)烈地依賴(lài)于插入點(diǎn)的初始化。

此外，Punithakumar 等人（2015）研究了一種基于2 維移動(dòng)網(wǎng)格半自動(dòng)分割方法，通過(guò)點(diǎn)對(duì)點(diǎn)對(duì)應(yīng)檢測(cè)心內(nèi)膜和心外膜，并使用MICCAI 2012 RVSC（RV segmentation challenge）提供的48名受試者的數(shù)據(jù)集和一個(gè)包括23 名HLHS（hypoplastic left-hearted syndrome）患者的數(shù)據(jù)集。為了統(tǒng)計(jì)性能評(píng)估，作者使用了Dice 系數(shù)和HD 來(lái)評(píng)價(jià)該方法。但右心室獲得的心內(nèi)膜邊界在收縮期出現(xiàn)顯著差異。

3）基于圖譜的方法。當(dāng)有圖譜或標(biāo)準(zhǔn)模型可用時(shí)，可采用基于圖譜的方法進(jìn)行分割?；趫D譜的方法使用強(qiáng)度和圖譜標(biāo)記的圖像來(lái)描述圖像中出現(xiàn)的不同結(jié)構(gòu)。這些圖譜是通過(guò)編譯目標(biāo)的解剖學(xué)知識(shí)生成的，被用做分割新圖像的參考框架。理論上，圖譜引導(dǎo)的方法類(lèi)似于分類(lèi)器。圖譜分割的方法實(shí)質(zhì)上并非是在圖像的空間域中實(shí)現(xiàn)的，而是在特征空間中實(shí)現(xiàn)的。標(biāo)準(zhǔn)的圖譜圖集將分割視為一個(gè)記錄問(wèn)題，首先找到一個(gè)一對(duì)一的轉(zhuǎn)換，將預(yù)先分割的圖譜映射到需要分割的目標(biāo)圖像，這種映射可以通過(guò)線性變換來(lái)執(zhí)行，但由于解剖結(jié)構(gòu)形狀的多樣性，經(jīng)常將線性和非線性變換結(jié)合使用。

Ou等人（2012）提出了一種基于3維多圖譜的全自動(dòng)迭代右心室分割框架。該方法旨在克服右心室形狀變化導(dǎo)致的配準(zhǔn)任務(wù)困難。Ou 等人（2012）利用MICCAI 2012 RVSC 提供的數(shù)據(jù)集，將15 名心臟MRI 受試者作為訓(xùn)練數(shù)據(jù)，20 名受試者進(jìn)行測(cè)試。為了評(píng)估技術(shù)性能，該方法通過(guò)測(cè)量Dice 和HD 指標(biāo)進(jìn)行定量評(píng)估。但是，該方法對(duì)應(yīng)于測(cè)試數(shù)據(jù)的單個(gè)主題，顯示出顯著的低有效性。因此，這種方法對(duì)其使用的訓(xùn)練數(shù)據(jù)很敏感，這使得它對(duì)右心室不規(guī)則變化的擬合性很差。

Bai 等人（2012）在數(shù)據(jù)集中進(jìn)一步利用基于多圖譜的分割來(lái)分割右心室的內(nèi)部和外部邊界。該方法采用圖譜選擇和局部加權(quán)標(biāo)簽融合來(lái)降低計(jì)算成本，提高分割精度。由于表皮切片的分割不令人滿意，需要一個(gè)后處理步驟，并通過(guò)將分割擬合到一個(gè)解剖模型來(lái)恢復(fù)解剖拓?fù)?。為了評(píng)估所提方法的有效性，Bai 等人（2012）在MICCAI 2012 RVSC 發(fā)布的一個(gè)公共數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)。Bai 等人（2012）使用了一個(gè)由16 例MR 圖像組成的測(cè)試集，獲得的舒張末期和收縮末期的邊界分割圖像，使用Dice 和HD指標(biāo)進(jìn)行評(píng)估。

4）機(jī)器學(xué)習(xí)和深度學(xué)習(xí)。機(jī)器學(xué)習(xí)方法可以分兩類(lèi)：傳統(tǒng)算法和深度學(xué)習(xí)。傳統(tǒng)的機(jī)器學(xué)習(xí)算法包括支持向量機(jī)（support vector machine，SVM）、決策樹(shù)、隨機(jī)森林（random forest，RF）和線性回歸，都涉及提取特征來(lái)訓(xùn)練模型。深度學(xué)習(xí)模型由一個(gè)輸入層、一個(gè)輸出層和多個(gè)隱藏層組成。

Mahapatra（2014）用機(jī)器學(xué)習(xí)方法進(jìn)行右心室分割。首先，將圖像過(guò)度分割成超像素，利用隨機(jī)森林分類(lèi)器對(duì)每幅圖像進(jìn)行分類(lèi)，提取右心室邊界。然后利用二階馬爾可夫隨機(jī)場(chǎng)（Markov random field，MRF）函數(shù)對(duì)概率映射進(jìn)行積分。最后，使用圖切割方法優(yōu)化，得到最終的分割結(jié)果。RF 是一組使用訓(xùn)練數(shù)據(jù)的不同部分分別進(jìn)行訓(xùn)練的決策樹(shù)。利用32 個(gè)受試者的數(shù)據(jù)集進(jìn)行測(cè)試。結(jié)果表明，樹(shù)的數(shù)量的增加對(duì)分割的精度有積極的影響。然而，面對(duì)右心室病理性的形狀變化，這種方法不能維持有效性。

Tran（2017）應(yīng)用深度全卷積神經(jīng)網(wǎng)絡(luò)（fully convolutional neural network，F(xiàn)CNN）架構(gòu)進(jìn)行右心室分割。所提出的架構(gòu)使用一個(gè)單一的學(xué)習(xí)模式進(jìn)行訓(xùn)練，逐個(gè)像素進(jìn)行分類(lèi)。使用包含45 個(gè)患者的MICCAI 2009 LVSC 和MICCAI 2012 RVSC 提供的48個(gè)受試者的數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，并將LVSC分為3個(gè)子集，每個(gè)子集包括15名受試者，將RVSC分為訓(xùn)練集和兩個(gè)測(cè)試集，每個(gè)測(cè)試集包括16 名受試者。同時(shí)，進(jìn)行了多尺度裁剪和仿射變換，實(shí)現(xiàn)數(shù)據(jù)增強(qiáng)，并且進(jìn)行了預(yù)處理和圖像歸一化。結(jié)果為Dice 系數(shù)為0.85，HD 為9.09。但由于模糊性和空腔尺寸較小，該方法未能在最頂端的切片上正確分割目標(biāo)區(qū)域。與左心室相比，右心室病例的分割有效性較低。

Luo 等人（2016）提出了一種5 層深度卷積神經(jīng)網(wǎng)絡(luò)（CNN）方法。首先執(zhí)行一個(gè)感興趣區(qū)域（region of interest，ROI）定位任務(wù)以實(shí)現(xiàn)最終的分割；然后，應(yīng)用所提出的分割方法，得到最終的像素級(jí)掩膜。該模型使用MICCAI 2012 RVSC 提供的16例訓(xùn)練集數(shù)據(jù)進(jìn)行訓(xùn)練，使用32例測(cè)試集數(shù)據(jù)來(lái)評(píng)估分割效率。結(jié)果顯示，Dice 系數(shù)為0.85，HD 為7.90。根據(jù)相關(guān)系數(shù)，收縮壓容積與舒張壓容積相比的相關(guān)性較低。該方法強(qiáng)調(diào)了使用初步的ROI定位來(lái)改進(jìn)分割方法的功能的影響，但沒(méi)有討論對(duì)心臟周期階段、基底和根尖切片或病理問(wèn)題的有效性。

Avendi 等人（2017）設(shè)計(jì)了一個(gè)基于CNN 和自動(dòng)編碼器（autoencoders，AEs）的右心室分割框架。首先使用提出的CNN 架構(gòu)檢測(cè)腔體位置。然后通過(guò)AEs 對(duì)初始輪廓進(jìn)行分割。最終，通過(guò)可變形模型技術(shù)和曲率得到最終的分割結(jié)果。與Luo 等人（2016）用同樣的方法使用MICCAI 2012 RVSC 數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。結(jié)果顯示切片的輪廓嚴(yán)重錯(cuò)位。該方法分割過(guò)程高度依賴(lài)數(shù)據(jù)，即抗噪音能力不強(qiáng)。因此，沒(méi)有討論病理病例，對(duì)于多個(gè)測(cè)試集，得到了不同的結(jié)果。

Zotti 等人（2018）提出一種多層CNN，作為一種U-Net的泛化方法，該方法實(shí)現(xiàn)了網(wǎng)格體系結(jié)構(gòu)。使用MICCAI 2017 自動(dòng)心臟診斷挑戰(zhàn)（automated cardiac diagnosis challenge，ACDC）提供的100 名受試者的數(shù)據(jù)集進(jìn)行訓(xùn)練和測(cè)試。結(jié)果顯示，Dice 系數(shù)為0.90，HD 為15.1。在最基礎(chǔ)的切片情況下，該方法不能準(zhǔn)確地接近右心室邊界。盡管在所考慮的數(shù)據(jù)集中存在幾種病理機(jī)制，但Zotti 等人（2018）沒(méi)有單獨(dú)討論其對(duì)分割過(guò)程的影響。

Zhang 等人（2018）嘗試改進(jìn)現(xiàn)有的FCNN 性能以處理右心室的各種分割問(wèn)題，提出了多任務(wù)深度神經(jīng)網(wǎng)絡(luò)M-DNN（multi-task deep neural network）架構(gòu)。該架構(gòu)是一個(gè)多任務(wù)U-Net 體系結(jié)構(gòu)，允許在任務(wù)之間利用特征。使用MICCAI 2012 RVSC 提供的數(shù)據(jù)集進(jìn)行訓(xùn)練和測(cè)試，使用Dice 系數(shù)度量進(jìn)行評(píng)估。結(jié)果顯示Dice系數(shù)為0.80。

Chen 等人（2022）提出一種用于跨域半監(jiān)督左心房分割的自適應(yīng)層次對(duì)偶一致性方法。自適應(yīng)層次對(duì)偶一致性首先通過(guò)雙向?qū)箍朔瞬煌瑓^(qū)域的分布差異和樣本不匹配問(wèn)題。然后，探討了基于層次對(duì)偶一致性的半監(jiān)督左心房分割的區(qū)域內(nèi)和區(qū)域間的互補(bǔ)建模。在4 個(gè)3 維LGE CMR（late gadolinium enhancement cardiac magnetic resonance）數(shù)據(jù)集和1 個(gè)CT 數(shù)據(jù)集上進(jìn)行綜合實(shí)驗(yàn)，證明了該方法在跨域半監(jiān)督左心房分割中的可行性和優(yōu)越性。Dice系數(shù)在左心房為0.913。

林天予等人（2022）評(píng)估了密集金字塔和深度監(jiān)督神經(jīng)網(wǎng)絡(luò)（dense pyramid and deep supervision network，DPS-Net）在小規(guī)模的心臟超聲數(shù)據(jù)集上的性能。DPS-Net 的主要結(jié)構(gòu)分為金字塔池化、特征提取和深度監(jiān)督三部分。首先從圖像中獲取多尺度的特征向量，然后通過(guò)金字塔池化模塊提取多尺度特征圖，最后深度監(jiān)督通過(guò)對(duì)多尺度的特征圖進(jìn)行預(yù)測(cè)并進(jìn)行監(jiān)督學(xué)習(xí)，避免了梯度消失問(wèn)題。在小規(guī)模的數(shù)據(jù)集中訓(xùn)練和測(cè)試，使用Dice 系數(shù)和豪爾斯多夫距離為評(píng)價(jià)指標(biāo)，該模型在極少量樣本數(shù)據(jù)（實(shí)驗(yàn)中最低數(shù)據(jù)量為10 個(gè)患者數(shù)據(jù)）情況下即可獲得Dice系數(shù)為0.96的成果。

Li等人（2022）針對(duì)左心房的瘢痕提出一個(gè)結(jié)合空間和形狀信息的新框架，即通過(guò)一種注意機(jī)制SA（shuffle attention）來(lái)利用左心房腔和疤痕之間的內(nèi)在相關(guān)性。具體來(lái)說(shuō)，將SA方案嵌入到多任務(wù)架構(gòu)中，進(jìn)行聯(lián)合左心房腔分割和疤痕量化。此外，引入了空間編碼損失，以納入目標(biāo)的連續(xù)空間信息，減少預(yù)測(cè)分割中的噪聲斑塊。Li 等人（2022）在40 個(gè)LGE（late gadolinium enhancement）磁共振成像（ISBI 2012 左心房纖維化和疤痕分割挑戰(zhàn)）中檢驗(yàn)了該方法的泛化能力。當(dāng)訓(xùn)練樣本量為40，測(cè)試樣本量為20 時(shí)，左心房腔的分割樣本Dice 系數(shù)為0.913，HD為20.0，并且Dice 系數(shù)將隨著訓(xùn)練樣本的減少而銳減，HD將上升。

Wang 等人（2017）提出一種自動(dòng)右心室分割框架，使用簡(jiǎn)化的脈沖耦合神經(jīng)網(wǎng)絡(luò)（simplified pulse coupled neural network，SPCNN）分割技術(shù)和形態(tài)學(xué)預(yù)處理技術(shù)來(lái)提取右心室輪廓。首先，為了降低干擾噪聲，對(duì)心臟核磁共振圖像進(jìn)行濾波；然后，利用SPCNN 模型，用自動(dòng)確定的參數(shù)勾畫(huà)出右心室的內(nèi)部邊界；最終，將右心室邊界向先前實(shí)現(xiàn)的心內(nèi)膜分割擴(kuò)張。該方法使用MICCAI 2012 RVSC 提供的數(shù)據(jù)集進(jìn)行訓(xùn)練和驗(yàn)證，并基于Dice 系數(shù)和HD 進(jìn)行評(píng)估。

劉從軍等人（2022）提出一種基于深度學(xué)習(xí)的U 型全卷積神經(jīng)網(wǎng)絡(luò)MFF U-Net（multiscale feature fusion U-Net）。將3 維數(shù)據(jù)沿z軸進(jìn)行切分形成的2 維圖像輸入到一個(gè)密集殘差網(wǎng)絡(luò)（dense convolutional network，Dense-Net）中訓(xùn)練。通過(guò)在網(wǎng)絡(luò)中加入殘差模塊，利用殘差模塊中的恒等映射實(shí)現(xiàn)特征復(fù)用，在一定程度上解決了網(wǎng)絡(luò)退化問(wèn)題。在卷積過(guò)程中，通過(guò)將多個(gè)小卷積核代替大卷積核來(lái)增大感受野，從而在不大幅增大計(jì)算量的情況下提高網(wǎng)絡(luò)計(jì)算效率。為了減少上采樣過(guò)程中全局信息的損失，在第2 個(gè)卷積后添加長(zhǎng)距離依賴(lài)模塊，通過(guò)一個(gè)全局的注意力矩陣來(lái)擴(kuò)大卷積的感受野。該算法的評(píng)價(jià)指標(biāo)為Dice 系數(shù)和豪斯多夫距離HD。左心室、右心室和心肌的Dice 系數(shù)分別為0.92，0.90，0.89；HD分別為10.07，14.47，10.89。

徐佳陳等人（2022）通過(guò)將當(dāng)前需要進(jìn)行分割的目標(biāo)幀和一段包含該目標(biāo)幀的連續(xù)時(shí)間片段輸入網(wǎng)絡(luò)，獲得了包含心臟動(dòng)態(tài)MRI 圖像中豐富的時(shí)間信息和目標(biāo)器官的精準(zhǔn)邊緣信息的結(jié)果。該方法通過(guò)添加可變形編碼路徑增強(qiáng)連續(xù)時(shí)間片段中目標(biāo)器官的邊緣信息，通過(guò)邊緣信息的卷積得到連續(xù)時(shí)間片段的特征；再由連續(xù)時(shí)間片段生成的特征與目標(biāo)幀生成的特征進(jìn)行融合，生成當(dāng)前層的特征圖；最后將融合后的特征圖作為下一層連續(xù)時(shí)間片段的輸入。為了進(jìn)一步增強(qiáng)網(wǎng)絡(luò)預(yù)測(cè)的結(jié)果，在進(jìn)行上述特征的迭代的同時(shí)，網(wǎng)絡(luò)根據(jù)真實(shí)標(biāo)簽圖生成空間方向場(chǎng)。該空間方向場(chǎng)通過(guò)將目標(biāo)器官的邊界到每一個(gè)前景像素點(diǎn)的距離歸一化，揭示了目標(biāo)器官上像素與像素的方向關(guān)系。該方法在ACDC（automated cardiac diagnosis challenge）自動(dòng)心臟分割挑戰(zhàn)數(shù)據(jù)集上進(jìn)行訓(xùn)練和測(cè)試（100 個(gè)圖像劃分為訓(xùn)練集，50 個(gè)圖像劃分為測(cè)試集），在左心室、右心室的Dice 系數(shù)為0.97、0.94。

李擎等人（2022）提出一種心臟分割模型，將CNN 網(wǎng)絡(luò)與Transformer 網(wǎng)絡(luò)結(jié)構(gòu)相結(jié)合，即通過(guò)設(shè)計(jì)一個(gè)多階段的編碼器來(lái)提取深層的上下文信息和淺層的空間信息，CNN 分支為T(mén)ransfromer 分支提供局部特征和位置，Transformer 分支為CNN 分支提取局部特征和建模全局上下文信息，通過(guò)4 個(gè)階段的解碼與每次解碼間的跳躍連接，最終在信息融合模塊通過(guò)卷積將信息融合。該模型在MICCAI 2017 ACDC 數(shù)據(jù)集上進(jìn)行驗(yàn)證，在模型參數(shù)量和計(jì)算量?jī)H為U-Net的10%和8%的情況下，平均Dice 系數(shù)比U-Net 提高了1.13%。右心室、心肌和左心室的Dice系數(shù)分別為0.92，0.92，0.95。

各類(lèi)右心室圖像處理方法的優(yōu)點(diǎn)和限制及不同方法的右心室分割結(jié)果分別如表1和表2所示。

表1 各類(lèi)右心室圖像處理方法的優(yōu)點(diǎn)和限制Table 1 Advantages and limitations of various right ventricular image processing methods

表2 右心室分割結(jié)果Table 2 Results of right ventricular segmentation

1.2 心外膜（EAT）

1.2.1 切割依據(jù)與評(píng)估指標(biāo)

心外膜（epicardial adipose tissue，EAT）的代謝極其活躍，同時(shí)與心肌共享相同的微循環(huán)，它們之間存在潛在的相互作用。有證據(jù)表明（胡成平和趙迎新，2017），EAT在引起冠狀動(dòng)脈粥樣硬化和心肌病中起直接作用。EAT厚度已被證明與代謝綜合征和冠狀動(dòng)脈疾病相關(guān)，一般也與冠狀動(dòng)脈鈣化的進(jìn)展有關(guān)。此外，EAT 的體積和密度與無(wú)癥狀受試者的主要不良心臟事件有關(guān)。EAT體積也被認(rèn)為是心血管疾病的重要影響因素。此外，EAT 在內(nèi)臟脂肪、心臟形態(tài)、肝酶、胰島素抵抗和空腹血糖等方面發(fā)揮作用，是一種準(zhǔn)確的治療靶點(diǎn)。通常使用Dice 系數(shù)和HD作為EAT的評(píng)估指標(biāo)。

1.2.2 主要方法

根據(jù)方法的不同，勾畫(huà)心包的輪廓比直接分割EAT 更容易。心外膜在心臟周?chē)姆植疾痪鶆?，?dǎo)致在CT和MRI圖像上不同的切片之間的差異很大。心外膜形狀也不均勻，在算法中難以輕易描述。然而在CT和MRI圖像上，心包呈光滑、薄，幾乎是橢圓形的輪廓。主動(dòng)輪廓或橢圓擬合等方法自然適合于分割這種形狀。在心包被分割的基礎(chǔ)上，EAT 就容易被分割出來(lái)了。

1）閾值處理。CT 掃描中可能含有心外膜的脂肪部分。丟棄圖像中已知的無(wú)關(guān)部分不僅加快了分割過(guò)程，而且可以降低分割誤差，因?yàn)閳D像的其他部分不會(huì)干擾分割過(guò)程。一旦確定了心包線，即可通過(guò)閾值分割出輪廓內(nèi)的脂肪組織，從而更加方便地對(duì)EAT 進(jìn)行分割和量化。這種方法的一個(gè)例子是Coppini 等人（2010）創(chuàng)立的半自動(dòng)的定量方法。該方法首先丟棄肺，然后由專(zhuān)家手動(dòng)在每個(gè)相關(guān)切片上選擇心包上的控制點(diǎn)，用來(lái)定義感興趣區(qū)域（ROI）。最后將ROI 閾值化到脂肪組織對(duì)應(yīng)的亨斯菲爾德尺度區(qū)間。為了進(jìn)一步細(xì)化形狀，該方法通過(guò)活動(dòng)測(cè)量線在CT 圖像的每個(gè)切片上找到稀疏閾值形狀的平滑輪廓。

這種方法可以實(shí)現(xiàn)全自動(dòng)分割圖片，如Ding 等人（2014）提出的方法（如圖1 所示）。Coppini 等人（2010）的方法需要專(zhuān)家手動(dòng)標(biāo)記心包輪廓，而Ding等人（2014）的方法首先使用基于圖譜的心包檢測(cè)方法自動(dòng)初始化心包輪廓，然后通過(guò)活動(dòng)測(cè)量線對(duì)這個(gè)初始化的輪廓進(jìn)行細(xì)化，以更準(zhǔn)確地檢測(cè)心包。Coppini等人（2010）的結(jié)果中，15例患者的Dice系數(shù)在0.88～0.95 之間，進(jìn)行分割的時(shí)間為60 s。Ding等人（2014）對(duì)50 例患者進(jìn)一步驗(yàn)證了該方法，結(jié)果顯示Dice系數(shù)為0.92。

圖1 Ding等人（2014）提出的方法Fig.1 The method proposed by Ding et al.（2014）

此外，也存在使用傳統(tǒng)的圖像處理方法直接自動(dòng)分割 EAT 。Militello 等人（2019）提出了一種節(jié)省時(shí)間的GUI（graphical user interface）工具，使專(zhuān)家能夠快速分割 EAT，同時(shí)減少專(zhuān)家劃分時(shí)的差異性。專(zhuān)家手動(dòng)確定心臟區(qū)域的第1個(gè)和最后1個(gè)切片，然后在每 10 個(gè)或每20 個(gè)切片上手動(dòng)分割一個(gè)感興趣區(qū)域。后續(xù)對(duì)剩余切片的ROI進(jìn)行插值，如果需要，可以進(jìn)行手動(dòng)細(xì)化。該方法60 次切片掃描的處理時(shí)間約為3.5 min，235 次切片掃描約為7.4 min，這兩種情況下的處理速度都比手動(dòng)分割快4～8 倍。該方法得到的Dice 系數(shù)約為0.93?？紤]到所使用的數(shù)據(jù)集的數(shù)量，該方法對(duì)不同專(zhuān)家劃分的差異的擾動(dòng)不敏感，但比全自動(dòng)方法需要更多的時(shí)間。該方法的一個(gè)潛在改進(jìn)方向是使用一種全自動(dòng)的方法來(lái)執(zhí)行初始分割，允許專(zhuān)家手動(dòng)細(xì)化分割，從而在保證高準(zhǔn)確性的同時(shí)盡可能節(jié)省時(shí)間。

2）基于圖譜的方法。主動(dòng)輪廓依賴(lài)于幾何約束來(lái)分割形狀，而基于圖譜的分割方法則考慮了幾種結(jié)構(gòu)之間的空間關(guān)系。這是通過(guò)形成一個(gè)圖譜圖集來(lái)完成的，圖譜圖集通常是指一個(gè)在圖像中發(fā)現(xiàn)的結(jié)構(gòu)的總集合。圖譜圖集通常由專(zhuān)家在圖像上標(biāo)記的不同結(jié)構(gòu)組成。在醫(yī)學(xué)成像中，解剖結(jié)構(gòu)的具體位置和形狀因患者而異，因此通常會(huì)收集多個(gè)圖譜圖像并融合成一個(gè)圖譜圖集。一旦獲得了一個(gè)圖譜圖集，就可以用來(lái)分割沒(méi)有標(biāo)記的新輸入圖像。這是通過(guò)一種配準(zhǔn)算法來(lái)實(shí)現(xiàn)的。一般來(lái)說(shuō)，配準(zhǔn)會(huì)使圖像發(fā)生變形和變換，從而使圖集中的結(jié)構(gòu)映射到不同圖像上的相同結(jié)構(gòu)上?；趫D譜圖集的配準(zhǔn)將圖譜圖集視為一個(gè)圖譜，并將尚未分割的圖像映射到圖集上。配準(zhǔn)通常以非剛性的方式進(jìn)行，能夠使圖像變形，以考慮不同輸入圖像中的形狀不規(guī)則性。一旦一個(gè)圖像被映射到圖譜圖集上，通過(guò)讀取相應(yīng)的映射圖像像素值，就可以很容易地從圖像中分割出結(jié)構(gòu)。圖2顯示了一個(gè)使用配準(zhǔn)算法對(duì)圖像進(jìn)行變形的示例。

圖2 配準(zhǔn)算法進(jìn)行變形匹配的過(guò)程Fig.2 A diagram of the registration process

基于圖譜的方法具有良好的魯棒性，并考慮了不同結(jié)構(gòu)的空間關(guān)系，可以很好地處理醫(yī)學(xué)成像。在醫(yī)學(xué)圖像上，相同的組織通常具有相同的灰色水平。然而，相同組織可以位于不同的身體部位，因此一種對(duì)位置和灰度水平敏感的分割方法可以提供良好的結(jié)果。

基于圖譜的方法的缺點(diǎn)是需要通過(guò)人工圖像分割來(lái)選擇和獲取準(zhǔn)確的圖像。收集的圖譜圖集不能充分表示真實(shí)世界的數(shù)據(jù)，因?yàn)閳D像可能因患者的個(gè)體性差異和使用的不同設(shè)備而不同。此外，配準(zhǔn)過(guò)程可能會(huì)由于噪聲或輸入圖像和圖譜的顯著差異而失敗，從而阻止進(jìn)一步的分割。

基于圖譜的方法有利于完成心包勾畫(huà)的任務(wù)，因?yàn)樾陌€是稀疏和模糊的，基于圖譜的分割更具有良好的表現(xiàn)，因?yàn)樗鼈円蕾?lài)于比輪廓更復(fù)雜的特征。Shahzad 等人（2013）提出了一種具有代表性的全自動(dòng)EAT 自動(dòng)分類(lèi)方法，采用多圖譜分割對(duì)比CT圖像上的心包。在CT對(duì)比圖像上更容易看到心包，因此通過(guò)手工分割8 例患者的CT 對(duì)比掃描來(lái)收集圖譜。然后將這些圖譜圖集配準(zhǔn)到非對(duì)比度輸入圖像上，并將配準(zhǔn)進(jìn)行融合，產(chǎn)生最終的心包分割。在心包被分割后，通過(guò)對(duì)圖像的分割部分進(jìn)行閾值處理，然后進(jìn)行連接成分分析步驟，從EAT 體積中去除噪聲，從而完成整個(gè)EAT 分割和量化。結(jié)果的Dice系數(shù)為0.89。

3）機(jī)器學(xué)習(xí)。一些圖像分類(lèi)的方法依賴(lài)于從圖像中提取預(yù)先確定的特征。這個(gè)圖像特征的向量被輸入到一個(gè)機(jī)器學(xué)習(xí)模型中。機(jī)器學(xué)習(xí)是一個(gè)將輸入特征映射到輸出類(lèi)中的統(tǒng)計(jì)模型，分類(lèi)器的參數(shù)是通過(guò)訓(xùn)練過(guò)程來(lái)確定的。該模型通過(guò)學(xué)習(xí)輸入中的固有統(tǒng)計(jì)關(guān)系（無(wú)監(jiān)督學(xué)習(xí)）或通過(guò)學(xué)習(xí)人工確定的標(biāo)簽并基于已知標(biāo)簽進(jìn)行推斷（監(jiān)督學(xué)習(xí)）來(lái)學(xué)習(xí)如何正確地分類(lèi)輸入。

在監(jiān)督學(xué)習(xí)的流程中，模型通過(guò)學(xué)習(xí)圖像的特征向量確定該模型的參數(shù)。將測(cè)試集中的特征向量輸入模型，把模型的輸出與對(duì)應(yīng)的真值進(jìn)行比較，通過(guò)反向傳播調(diào)整模型參數(shù)，最后輸出未知輸入的預(yù)測(cè)值。

作為機(jī)器學(xué)習(xí)模型輸入的特定特征是由模型設(shè)計(jì)者根據(jù)它們對(duì)分割結(jié)構(gòu)的不同方面的描述程度來(lái)選擇的。在通常的情況下，這些特征通常是像素值、幾何矩和其他更高層次的圖像特征描述。然后，通過(guò)模型判定可以確定該像素的位置，例如，在圖像中心周?chē)腃T 值為-150 HU（Hounsfiled unit）的像素是EAT 的可能性很高，而在掃描邊緣為30 HU 的像素不太可能是EAT。通過(guò)機(jī)器學(xué)習(xí)也有不同的參數(shù)優(yōu)化方法。其中一種用于EAT 勾畫(huà)的方法是遺傳算法。一般來(lái)說(shuō)，遺傳算法是一種模擬進(jìn)化過(guò)程的參數(shù)優(yōu)化方法。最初，參數(shù)是隨機(jī)確定的。然后，參數(shù)被隨機(jī)改變（即突變），并使用適應(yīng)度函數(shù)進(jìn)行評(píng)估，該函數(shù)評(píng)估參數(shù)在某些任務(wù)上的表現(xiàn)。當(dāng)參數(shù)再次發(fā)生突變時(shí)，導(dǎo)致適應(yīng)度增加的突變會(huì)轉(zhuǎn)移到下一次迭代中。重復(fù)這個(gè)過(guò)程，直到適應(yīng)度函數(shù)達(dá)到最優(yōu)值。

機(jī)器學(xué)習(xí)會(huì)增加數(shù)據(jù)需求，但在處理時(shí)間方面可以獲得更好和更快的結(jié)果。然而，這些結(jié)果是以必須設(shè)計(jì)和選擇適當(dāng)?shù)奶卣髦祦?lái)訓(xùn)練一個(gè)模型為前提條件。例如，Norlén 等人（2016）使用體素周?chē)鷧^(qū)域的像素強(qiáng)度的平均值、方差和導(dǎo)數(shù)作為特征來(lái)訓(xùn)練隨機(jī)森林分類(lèi)器。該分類(lèi)器將圖像像素分為3類(lèi)：心包內(nèi)、心包外和背景。

機(jī)器學(xué)習(xí)的一個(gè)缺點(diǎn)是，它需要對(duì)輸入的圖像進(jìn)行大量的預(yù)處理。Norlén 等人（2016）在使用機(jī)器學(xué)習(xí)模型處理圖像之前，使用基于特征的多圖譜配準(zhǔn)來(lái)初始化心包定位。

類(lèi)似地，Rodrigues 等人（2016）使用不同的機(jī)器學(xué)習(xí)算法作為預(yù)處理步驟，分割心包旁脂肪組織和心包脂肪組織。然后，為了分割橢圓形心包，使用遺傳算法將一個(gè)橢圓擬合到心外膜旁組織和心外膜組織之間的邊緣。該算法可以成功地找到一個(gè)橢圓，描繪EAT 和心包旁脂肪組織，并接近心包輪廓。需要注意的是，該方法需要一個(gè)已經(jīng)分割好的圖像，主要目的是用于其他描述心包的EAT 分割方法的性能優(yōu)化。通過(guò)在少量的CT掃描切片上擬合心包，可以在其余的切片上解釋心包輪廓，從而節(jié)省了處理時(shí)間。

自動(dòng)分割 EAT 有一個(gè)主流方法是對(duì)圖像進(jìn)行大量預(yù)處理，然后提取各種特征以輸入隨機(jī)森林分類(lèi)器或神經(jīng)網(wǎng)絡(luò)。Rodrigues 等人（2017）提出了一個(gè)模型。輸入圖像被閾值化為脂肪組織范圍，然后通過(guò)基于圖譜的胸骨后區(qū)域分割轉(zhuǎn)換為標(biāo)準(zhǔn)化位置。再?gòu)膱D像中提取特征選擇。這些特征包括圖像的重心、x和y位置、像素的灰度，以及來(lái)自每個(gè)像素周?chē)徲虻母郊犹卣?。使用這些特征作為輸入，Rodrigues 等人（2017）訓(xùn)練了一個(gè)基于隨機(jī)森林分類(lèi)器的機(jī)器學(xué)習(xí)模型，將每個(gè)像素分割成3 個(gè)類(lèi)別（EAT、心旁脂肪或心包）之一。對(duì)于 EAT 分割，該方法在Weka數(shù)據(jù)集上Dice系數(shù)為0.979 。

Kazemi 等人（2020）除了閾值處理外，還使用限制對(duì)比度自適應(yīng)直方圖均衡化來(lái)預(yù)處理圖像。這些特征用來(lái)訓(xùn)練不同分類(lèi)器的集合，而不是僅僅依賴(lài)于隨機(jī)森林分類(lèi)器。其他模型使用不同類(lèi)型的優(yōu)化算法來(lái)分割圖像。例如，在 Priya 和 Sudha（2019）的工作中，EAT 和心旁脂肪組織使用區(qū)域生長(zhǎng)進(jìn)行分割，然后基于果蠅優(yōu)化算法合并區(qū)域，該工作中的EAT 分割的 Dice 系數(shù)為0.987，略大于Rodrigues 等人（2017）的方法。在同一數(shù)據(jù)集上，Vladimir 等人（2017）提出了這種方法的另一個(gè)例子，模糊C 均值聚類(lèi)從CT 圖像中分割 EAT。該方法首先使用形態(tài)學(xué)運(yùn)算符和閾值分割每個(gè) CT 切片上的心臟 ROI 。然后，每個(gè)切片都經(jīng)過(guò)一個(gè)具有預(yù)定義數(shù)量的聚類(lèi)步驟，其中用于確定聚類(lèi)的特征是單個(gè)像素的平均亮度和亮度方差。聚類(lèi)從放置在患者 CT 掃描的單個(gè)切片上的用戶(hù)指定的種子點(diǎn)開(kāi)始，然后通過(guò)在集群上擬合橢圓并丟棄橢圓外的像素來(lái)對(duì)生成的EAT 集群進(jìn)行后處理。結(jié)果顯示，8 名患者的 Dice系數(shù)分布在0.6～0.82。

4）深度學(xué)習(xí)。在機(jī)器學(xué)習(xí)中，有一個(gè)已知的統(tǒng)計(jì)模型從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)其參數(shù)。在深度學(xué)習(xí)中，模型本身就是從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)出來(lái)的。為了實(shí)現(xiàn)這一點(diǎn)，深度學(xué)習(xí)方法使用人工神經(jīng)網(wǎng)絡(luò)來(lái)執(zhí)行任務(wù)。人工神經(jīng)網(wǎng)絡(luò)是一種由多個(gè)連接的人工神經(jīng)元組成的計(jì)算系統(tǒng)。每個(gè)神經(jīng)元都是一個(gè)數(shù)學(xué)函數(shù)，通過(guò)將所有輸入矩陣加和，乘以它們各自的權(quán)重，然后輸入一個(gè)激活函數(shù)，將一個(gè)或多個(gè)輸入矩陣轉(zhuǎn)換為一個(gè)輸出矩陣，激活函數(shù)的工作通常是添加一個(gè)非線性元素。深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)具有分層結(jié)構(gòu)，從輸入層開(kāi)始，接收輸入數(shù)據(jù)，來(lái)自輸入層神經(jīng)元的結(jié)果然后通過(guò)一個(gè)或多個(gè)隱藏層，最后，將結(jié)果傳遞到一個(gè)輸出層，該輸出層為當(dāng)前任務(wù)提供了預(yù)測(cè)。輸出的準(zhǔn)確性取決于網(wǎng)絡(luò)架構(gòu)，即神經(jīng)元的數(shù)量、連接方式，以及使用了哪些激活函數(shù)。

用于醫(yī)學(xué)圖像處理的最常用的人工神經(jīng)網(wǎng)絡(luò)類(lèi)型是卷積神經(jīng)網(wǎng)絡(luò)（CNN）。CNN是指在一個(gè)或多個(gè)神經(jīng)元中使用卷積的數(shù)學(xué)運(yùn)算而不是求和運(yùn)算的人工神經(jīng)網(wǎng)絡(luò)。通常，包含這種卷積計(jì)算的計(jì)算過(guò)程稱(chēng)為卷積層。CNN 特別擅長(zhǎng)處理圖像數(shù)據(jù)。在多層神經(jīng)網(wǎng)絡(luò)中，底層特征被組合起來(lái)形成更復(fù)雜的高層特征。通過(guò)高層特征，網(wǎng)絡(luò)的分辨能力更強(qiáng)，比如識(shí)別汽車(chē)的車(chē)輪或臉上的眼睛。

在分割時(shí)間方面，神經(jīng)網(wǎng)絡(luò)通常比傳統(tǒng)的圖像處理方法快一個(gè)數(shù)量級(jí)，有時(shí)可以獲得更好的圖像精度。然而，深度神經(jīng)網(wǎng)絡(luò)需要大量的訓(xùn)練數(shù)據(jù)，這可能是目前影像學(xué)發(fā)展的共同痛點(diǎn)，特別是在醫(yī)學(xué)成像任務(wù)中。此外，神經(jīng)網(wǎng)絡(luò)很難被解釋。由于它們的模型參數(shù)是從數(shù)據(jù)中學(xué)習(xí)的，而不是編程中確定的，它們的工作方式和具體的局限性并不能通過(guò)數(shù)學(xué)推導(dǎo)提前解釋清楚。

深度學(xué)習(xí)消除了選擇合適的特征進(jìn)行訓(xùn)練的需要，通過(guò)基于CNN 的架構(gòu)，網(wǎng)絡(luò)可以利用非常復(fù)雜的高級(jí)和低級(jí)特征來(lái)分割心包。

Commandeur 等人（2018）首次提出了CNN 在EAT 分割中的應(yīng)用，如圖3 所示。該方法是一個(gè)由兩個(gè)卷積神經(jīng)網(wǎng)絡(luò)組成的多任務(wù)框架。第1個(gè)CNN執(zhí)行3 個(gè)獨(dú)立的任務(wù)。第1 個(gè)任務(wù)是對(duì)給定的切片是否包含心臟進(jìn)行分類(lèi)，以便盡早停止進(jìn)程并節(jié)省性能成本；第2 個(gè)任務(wù)分割心外膜和心外膜旁結(jié)構(gòu)的結(jié)合；第3 個(gè)任務(wù)分別分割心外膜和心外膜旁區(qū)域。來(lái)自第1 層網(wǎng)絡(luò)的心外膜掩膜用于對(duì)輸入CT掃描進(jìn)行重新采樣，然后將其輸入第2 層CNN，第2 層CNN 在徑向坐標(biāo)中描繪給定CT 掃描的心包線?？侲AT 體積是通過(guò)分割心外膜面積到脂肪組織范圍獲得的。該方法的EAT 分割的Dice 系數(shù)為0.81，處理一次CT 掃描的時(shí)間小于20 s。該方法在由30名隨機(jī)選擇的患者構(gòu)成的測(cè)試集中Dice 系數(shù)為0.89。

圖3 Commandeur等人（2018）提出的方法Fig.3 The method proposed by Commandeur et al.（2018）

最近的方法依賴(lài)于相對(duì)更簡(jiǎn)單的架構(gòu)。這些方法通常不使用多任務(wù)學(xué)習(xí)，而是通過(guò)訓(xùn)練一個(gè)基于U-Net 的模型從一個(gè)經(jīng)過(guò)預(yù)處理的輸入圖像中分割心包。例如，Zhang 等人（2020）通過(guò)連接兩個(gè)級(jí)聯(lián)U-Net 來(lái)形成整體結(jié)構(gòu)。第1 個(gè)網(wǎng)絡(luò)從輸入的CT 切片中檢測(cè)到心包，輸出的心包分割粗糙且有噪聲，因此利用形態(tài)重建，對(duì)形態(tài)處理層進(jìn)行處理。然后，這個(gè)分割的形狀被用做執(zhí)行EAT 分割的第2 個(gè)U-Net網(wǎng)絡(luò)的輸入。結(jié)果顯示，10 例患者的平均Dice 系數(shù)為0.91。

此外，最終的EAT 分割可以通過(guò)閾值化心包區(qū)域獲得，而不是使用深度學(xué)習(xí)模型。如Ben?evi? 等人（2021）的工作，其網(wǎng)絡(luò)的輸入有兩個(gè)通道，原始CT 切片和該切片的切片深度值。這使得卷積神經(jīng)網(wǎng)絡(luò)可以訪問(wèn)每個(gè)切片的一些深度信息，從而提高在不需要完全3 維神經(jīng)網(wǎng)絡(luò)的情況下實(shí)現(xiàn)的性能。結(jié)果顯示，平均Dice系數(shù)為0.86。

與機(jī)器學(xué)習(xí)類(lèi)似，深度學(xué)習(xí)適合直接的EAT 分割，因?yàn)樗梢栽趫D像中找到非常復(fù)雜的形狀。然而，深度學(xué)習(xí)不需要特征選擇，并減少了對(duì)大量圖像預(yù)處理的需要。直接EAT 分割的深度學(xué)習(xí)模型通?；赨-Net。例如，Li等人（2019）使用了一個(gè)基于U-Net 的網(wǎng)絡(luò)來(lái)分割EAT 和心旁脂肪。U-Net 中增加了一個(gè)額外的金字塔池化層。該方法使用了與Rodrigues（2016）使用的相同的數(shù)據(jù)集，但應(yīng)用數(shù)據(jù)增強(qiáng)來(lái)人為地增加數(shù)據(jù)量。由于EAT 和背景是不平衡的，EAT 像素的數(shù)量比背景像素的數(shù)量要少。這種不平衡可能會(huì)在訓(xùn)練CNN 時(shí)造成問(wèn)題。為了解決這個(gè)問(wèn)題，該方法使用了焦點(diǎn)損失，這增加了數(shù)量較少的類(lèi)（EAT）分類(lèi)錯(cuò)誤時(shí)的損失權(quán)重。該方法EAT 的ROC（receiver operating characteristic）曲線下面積（area under curve，AUC）為0.87，但沒(méi)有提供Dice系數(shù)，所以很難確定該方法的準(zhǔn)確性，特別是因?yàn)锳UC 可能會(huì)歪曲其有效性。與AUC 相反，Dice 系數(shù)不考慮真陰性（背景類(lèi)），在這種情況下，Dice系數(shù)是比AUC 更準(zhǔn)確的測(cè)量指標(biāo)。Ben?evi? 等人（2021）也提出了類(lèi)似的方法，使用極坐標(biāo)變換對(duì)輸入的CT掃描進(jìn)行預(yù)處理。首先訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)來(lái)預(yù)測(cè)極性變換的最優(yōu)原點(diǎn)，然后使用該網(wǎng)絡(luò)對(duì)每幅輸入圖像進(jìn)行變換，最后在極性變換的圖像上訓(xùn)練第2 個(gè)基于U-Net 的分割網(wǎng)絡(luò)。該方法的Dice 系數(shù)為0.78，相對(duì)較低。在同一數(shù)據(jù)集上的結(jié)果優(yōu)于UNet，但比其他神經(jīng)網(wǎng)絡(luò)的方法差。大多數(shù)直接EAT的分割方法適用于2 維圖像。He 等人（2020）在3D CT 圖像上使用U-Net 架構(gòu)，該模型稱(chēng)為深層注意力U-Net 網(wǎng)絡(luò)。由于U-Net 可以獲得粗粒度和細(xì)粒度的特征，He 等人（2020）將其修改為包含使用粗粒度特征抑制網(wǎng)絡(luò)中非顯著連接的注意力機(jī)制，從而從訓(xùn)練過(guò)程中去除噪聲數(shù)據(jù)。結(jié)果顯示，該方法的Dice 系數(shù)為0.85，并對(duì)40 例患者進(jìn)行了交叉驗(yàn)證。與Zhang 等人（2020）使用簡(jiǎn)單U-Net 直接2 維分割的結(jié)果進(jìn)行比較，He 等人（2020）的研究結(jié)果獲得了更好的Dice 系數(shù)，說(shuō)明對(duì)3 維數(shù)據(jù)進(jìn)行訓(xùn)練是有益的。EAT 是一個(gè)3 維結(jié)構(gòu)，所以在兩個(gè)連續(xù)的切片之間可以有很多信息。

毋曉萌等人（2021）提出一種基于無(wú)監(jiān)督深度學(xué)習(xí)的圖像配準(zhǔn)模型，分為預(yù)處理、全局配準(zhǔn)、局部配準(zhǔn)3 步。首先，對(duì)圖像進(jìn)行預(yù)處理，采用開(kāi)運(yùn)算的形態(tài)學(xué)方法去除噪聲，同時(shí)對(duì)圖像的尺寸、分辨率進(jìn)行統(tǒng)一，將所有圖像灰度化；然后，對(duì)圖像進(jìn)行全局配準(zhǔn)，通過(guò)MRI 圖像和CT 圖像實(shí)現(xiàn)不同圖像的配準(zhǔn)；最后，通過(guò)無(wú)監(jiān)督深度學(xué)習(xí)計(jì)算圖像間的形變場(chǎng)，實(shí)現(xiàn)配準(zhǔn)。在左心室外膜、右心室外膜、全心的DSC（dynamic susceptibility contrast）和MHD（medical head data）格式的圖像中，采用深度學(xué)習(xí)網(wǎng)絡(luò)的配準(zhǔn)均優(yōu)于基于Elastix 的局部配準(zhǔn)，在左心室內(nèi)膜兩者差異無(wú)統(tǒng)計(jì)學(xué)意義。融合CT和PET圖像進(jìn)行配準(zhǔn)，在左心室外膜DSC 和MHD、右心室外膜DSC 及全心DSC 和MHD 上均優(yōu)于PET 單模態(tài)圖像配準(zhǔn)結(jié)果，在左心室外膜和全心的Dice 系數(shù)優(yōu)于CT 單模態(tài)圖像配準(zhǔn)結(jié)果。

不同方法的心外膜分割結(jié)果如表3所示。

表3 心外膜分割結(jié)果表Table 3 Results of epicardial segmentation

1.3 心包脂肪組織（PAT）

1.3.1 切割依據(jù)

心包脂肪組織（pericardial adipose tissue，PAT）在心血管疾病的發(fā)病機(jī)制中起著關(guān)鍵作用。在血管病理學(xué)中，心包脂肪組織體積增加，將導(dǎo)致心臟功能失調(diào)和細(xì)胞組成、分子特征改變。PAT 功能障礙的特征是其炎性特征、氧化應(yīng)激、血管保護(hù)性脂肪細(xì)胞衍生的松弛因子的產(chǎn)生減少以及旁分泌因子和趨化因子的產(chǎn)生增加。其中，旁分泌因子包括抵抗素、瘦素、細(xì)胞因子IL-6（interleukin 6）和TNF-α（tumor necrosis factor α）等；趨化因子指RANTES（reduced upon activation，nornal T cell expressed andsecreted，CCL5）和MCP-1（monocyte chemoattractant protein-1，CCL2）。這些脂肪細(xì)胞衍生因子啟動(dòng)并協(xié)調(diào)炎性細(xì)胞浸潤(rùn)，主要包括T（Thymus）細(xì)胞、巨噬細(xì)胞、樹(shù)突狀細(xì)胞、B（bone marrow）細(xì)胞和NK（natural killer）細(xì)胞。脂聯(lián)素等保護(hù)因子可減少血管壁中NADPH（nicotinamide adenine dinucleotide phosphate）氧化酶超氧化物的產(chǎn)生并增加一氧化氮的生物利用度，而炎癥（如IFN-γ 或IL-17）可誘導(dǎo)內(nèi)皮、血管平滑肌細(xì)胞和外膜成纖維細(xì)胞中的血管氧化酶和ENOS（endothelial nitric oxide synthase）功能障礙。所有這些事件都將功能失調(diào)的PAT與血管功能障礙聯(lián)系起來(lái)。這些機(jī)制在許多心血管疾病（包括動(dòng)脈粥樣硬化、高血壓、糖尿病和肥胖）的發(fā)病過(guò)程中發(fā)揮重要作用。因此，有必要開(kāi)發(fā)監(jiān)測(cè)PAT 特征和評(píng)估其炎癥的技術(shù)。這將有助于更好地開(kāi)展針對(duì)疾病發(fā)展早期階段的病理研究，開(kāi)發(fā)新治療策略。

1.3.2 主要方法

1）閾值處理。Dey 等人（2008）提出了一種方法，首先將Vol（volume of interest）標(biāo)注在心臟的切片。然后使用自適應(yīng)閾值和區(qū)域增長(zhǎng)來(lái)分割肺和其他無(wú)關(guān)的結(jié)構(gòu)，并確定心臟區(qū)域，從該心臟區(qū)域通過(guò)閾值計(jì)算。一旦手動(dòng)選擇了限制切片，該算法可以在20 s 內(nèi)進(jìn)行分割，而手動(dòng)分割的時(shí)間為9～15 min。在105 例患者中進(jìn)行驗(yàn)證，準(zhǔn)確性為94%，但有8%的情況未能分割PAT。

2）基于圖的分割?；趫D的分割概述如圖4 所示。根據(jù)Ding 等人（2016）的方法，可以通過(guò)使用基于圖的分割來(lái)代替手動(dòng)初始化，從而實(shí)現(xiàn)全自動(dòng)初始化。一旦心臟被分割，就通過(guò)圖形分割算法對(duì)輸入圖像中的脂肪組織進(jìn)行閾值化處理。首先，從圖像中分割出一個(gè)圖，使其頂點(diǎn)是圖像上各點(diǎn)的采樣，并根據(jù)它們所連接的兩點(diǎn)的相似性對(duì)邊緣進(jìn)行加權(quán)。在圖中，較暗的邊緣的權(quán)重更重。然后，丟棄一些低權(quán)重邊，將圖劃分為連接分量。最后，利用分割圖對(duì)原始圖像進(jìn)行分割。利用分割的心臟區(qū)域，確定圖像上的PAT。該方法在6 例患者上的Dice 系數(shù)為 0.82。雖然由于僅評(píng)估了6 例患者，該結(jié)果并不能表明面對(duì)大量數(shù)據(jù)的表現(xiàn)，但表明在MRI 圖像上自動(dòng)分割PAT是可能的。

圖4 基于圖的分割概述Fig.4 An overview of graph-based segmentation

3）機(jī)器學(xué)習(xí)。第1 種分割PAT 的方法是基于模糊連通性，由Bandekar 等人（2006）提出。該方法使用了一系列閾值化和采樣來(lái)在CT 掃描上分割心臟和其余部分；然后使用模糊連接（fuzzy connectedness，F(xiàn)C）分割對(duì)PAT 進(jìn)行分割。FC 從指定的種子點(diǎn)開(kāi)始查找圖像中的幾個(gè)對(duì)象，并使用模糊親和函數(shù)為每個(gè)像素分配一個(gè)范圍在［0，1］的數(shù)值。再將這些信息用于FC分割，利用馬氏相似度度量作為親和函數(shù)來(lái)分割新的圖像。該方法在23 例患者上進(jìn)行評(píng)估，平均準(zhǔn)確率為 99.13%，但平均真陽(yáng)性率為85.63%，說(shuō)明PAT 分割的準(zhǔn)確率低于總體準(zhǔn)確率。此外，該方法分割單個(gè)CT切片花費(fèi)時(shí)長(zhǎng)小于1 min。

4）深度學(xué)習(xí)。PAT分割的深度學(xué)習(xí)方法與直接對(duì)EAT 分割的方法類(lèi)似。He 等人（2020）提出一個(gè)基于3D 的深度注意力U-Net 模型，用來(lái)自6 個(gè)不同中心的422 例標(biāo)記有PAT 和心肌區(qū)域的CT 圖像進(jìn)行訓(xùn)練和評(píng)估。結(jié)果顯示，PAT 分割的Dice 系數(shù)高于0.88，相關(guān)性為0.99。將該模型與3 維U-Net 模型進(jìn)行比較，對(duì)于PAT 分割，該模型的Dice 系數(shù)超過(guò)3維U-Net 0.02。

2 臨床應(yīng)用

2.1 心肌梗死

準(zhǔn)確及時(shí)地識(shí)別心肌梗死有助于指導(dǎo)治療策略并減少進(jìn)一步檢查所需的時(shí)間。心臟 MRI 在識(shí)別MI（myocardial infarction）方面具有特殊價(jià)值。自2017 年以來(lái)，有多項(xiàng)研究整合了來(lái)自這種成像模式的輸入變量。Baessler 等人（2018）使用釓增強(qiáng)MRI來(lái)判斷慢性和亞急性心肌梗死，對(duì)180 名患者進(jìn)行檢測(cè)，AUC 為 0.92。AUC 為ROC 曲線下與坐標(biāo)軸圍成的面積，測(cè)試時(shí)進(jìn)行歸一化處理。然而，這些結(jié)果應(yīng)該通過(guò)大量的患者來(lái)驗(yàn)證。Zhang 等人（2019）從非增強(qiáng)MRI 圖像中檢測(cè)心肌梗死，對(duì)212 名慢性MI患者和87名健康對(duì)照志愿者進(jìn)行檢測(cè)，檢測(cè)結(jié)果AUC 為0.94。Mannil 等人（2018）在心臟CT 中結(jié)合深度學(xué)習(xí)進(jìn)行了研究，基于肉眼不可見(jiàn)的特征在非對(duì)比低輻射劑量CT圖像上進(jìn)行處理，檢測(cè)結(jié)果AUC為0.78 。

2.2 動(dòng)脈粥樣硬化

對(duì)比度的存在增加了錯(cuò)誤分類(lèi)的數(shù)量，動(dòng)脈粥樣硬化的斑塊通常由專(zhuān)家手動(dòng)評(píng)分，這導(dǎo)致工作量增加，容易出現(xiàn)誤報(bào)，并且在專(zhuān)家手動(dòng)評(píng)分方面存在觀察者間的差異。I?gum 等人（2004）設(shè)計(jì)了一種基于形狀和強(qiáng)度特征的自動(dòng)檢測(cè)主動(dòng)脈鈣化的方法。主動(dòng)脈鈣化是已確定的動(dòng)脈粥樣硬化疾病的指標(biāo)。該方法以平均每次掃描1.0 個(gè)假陽(yáng)性對(duì)象為代價(jià)，檢測(cè)到209 個(gè)冠狀動(dòng)脈粥樣硬化斑塊，但其準(zhǔn)確性受圖片的對(duì)比度影響。I?gum 等人（2007）對(duì)上述方法進(jìn)行了完善，用更復(fù)雜的特征集分析心臟CT，得到的冠狀動(dòng)脈粥樣硬化斑塊檢測(cè)精度為0.74。

Kolossváry 等人（2017）從一組60 名具有餐巾環(huán)征（napkin-ring sign，NRS）和非NRS 斑塊且手動(dòng)分割CAC（coronary artery calcification）程度相似的受試者中提取了一個(gè)包含4 440個(gè)特征的大型放射組學(xué)庫(kù)，其中幾乎一半的AUC 達(dá)到0.8。這項(xiàng)研究揭示了放射組學(xué)在尋找判別特征方面的價(jià)值。Zreik 等人（2019）在先前由專(zhuān)家注釋的多平面重構(gòu)冠狀動(dòng)脈CTA（CT angiograph）圖像中使用循環(huán)CNN，斑塊和狹窄特征的準(zhǔn)確度分別達(dá)到0.77和0.8。

3 心臟圖像處理產(chǎn)業(yè)化現(xiàn)狀

按照國(guó)家衛(wèi)生健康委員會(huì)能力建設(shè)和繼續(xù)教育中心發(fā)布的關(guān)于放射影像數(shù)據(jù)庫(kù)建設(shè)項(xiàng)目課題立項(xiàng)評(píng)審結(jié)果公示的通知（2022年7月），第1批放射影像數(shù)據(jù)庫(kù)建設(shè)共13項(xiàng)，包括心腦血管影像數(shù)據(jù)庫(kù)，項(xiàng)目建設(shè)期5年，分為標(biāo)準(zhǔn)建立期（至2022年底）、數(shù)據(jù)平臺(tái)建設(shè)期（2023—2025 年）和開(kāi)發(fā)應(yīng)用期（2025—2027 年）3 個(gè)階段。也就是說(shuō)，最晚至2027 年，我國(guó)可建成一個(gè)有標(biāo)準(zhǔn)的基于器官的醫(yī)學(xué)影像數(shù)據(jù)庫(kù)。這對(duì)于人工智能（artificial intelligence，AI）輔助影像診療來(lái)說(shuō)，將是一個(gè)快速市場(chǎng)化的階段。數(shù)據(jù)是AI的基礎(chǔ)，目前的人工智能輔助診斷、輔助檢測(cè)大多采用監(jiān)督學(xué)習(xí)，產(chǎn)品的研發(fā)、測(cè)試和質(zhì)控均需要依托大量的標(biāo)準(zhǔn)檢查病例，經(jīng)監(jiān)管機(jī)構(gòu)、醫(yī)院、企業(yè)和教育科研機(jī)構(gòu)等認(rèn)可共建的影像數(shù)據(jù)集，可以對(duì)人工智能產(chǎn)品研發(fā)上下游需求形成支撐，促進(jìn)更多AI 新研產(chǎn)品的臨床落地和使用。

2021 年，國(guó)家通過(guò)政策強(qiáng)化服務(wù)體系，提出到2025 年基本實(shí)現(xiàn)醫(yī)療裝備產(chǎn)業(yè)鏈現(xiàn)代化。2022 年國(guó)家通過(guò)政策鼓勵(lì)發(fā)展專(zhuān)業(yè)性醫(yī)院管理集團(tuán)與醫(yī)學(xué)檢驗(yàn)等醫(yī)療服務(wù)，實(shí)現(xiàn)醫(yī)療數(shù)字化，通過(guò)人工智能輔助檢驗(yàn)、治療技術(shù)，要求醫(yī)院優(yōu)先購(gòu)買(mǎi)國(guó)產(chǎn)設(shè)備，提高國(guó)產(chǎn)儀器和進(jìn)口儀器的采購(gòu)比，對(duì)高技術(shù)器械優(yōu)先審評(píng)，發(fā)展高端醫(yī)療器械及設(shè)備。通過(guò)國(guó)家政策刺激，AI輔助影像系統(tǒng)以及輔助診斷在2022年上半年醫(yī)療健康行業(yè)交易量中占到18%，同時(shí)這一領(lǐng)域的擬上市公司占醫(yī)療服務(wù)行業(yè)總擬上市公司的11%；以人工智能為基礎(chǔ)的數(shù)字醫(yī)療總體投資金額有79 億元，2022 年上半年的平均單筆交易金額為0.9 億元。2022 年上半年，業(yè)務(wù)范圍包括AI 醫(yī)療影像及病理的杏脈科技、深圳硅基仿生共接受投資8.4 億。與2019 年至2021 年比較，2022 年上半年雖然在交易數(shù)量上由平均11 筆下降至8 筆，但平均交易額度由1.4 億元上升至2.6 億元（普羅永道《2022年上半年醫(yī)療健康行業(yè)并購(gòu)交易趨勢(shì)》、德勤《2021中國(guó)生命科學(xué)與醫(yī)療行業(yè)并購(gòu)市場(chǎng)白皮書(shū)》）。同時(shí)，有高等院校響應(yīng)國(guó)家提倡的產(chǎn)學(xué)研結(jié)合，充分利用學(xué)校、企業(yè)與科研單位等多種不同的環(huán)境資源，將科研成果市場(chǎng)化，進(jìn)一步推動(dòng)建設(shè)民生福利。如上海交通大學(xué)聯(lián)合博動(dòng)醫(yī)學(xué)影像科技（上海）有限公司成立了上海交通大學(xué)—博動(dòng)醫(yī)學(xué)影像科技公司影像技術(shù)聯(lián)合實(shí)驗(yàn)室。公司與高等院校通過(guò)上下游互動(dòng)，完成多個(gè)心血管產(chǎn)品的開(kāi)發(fā)和完善，結(jié)合醫(yī)學(xué)影像和人工智能解決重大臨床問(wèn)題，將高等院校探索的前沿研究落地為實(shí)在的儀器成果。

目前，人工智能在醫(yī)學(xué)影像領(lǐng)域依然是輔助作用。人工智能在醫(yī)學(xué)影像領(lǐng)域的應(yīng)用絕大多數(shù)應(yīng)用以單一疾病為主，如肺癌早篩。在功能層面，主要有疾病診斷支持和治療決策支持。疾病診斷支持的發(fā)展明顯多于治療決策支持；在圖像類(lèi)型方面，各類(lèi)影像均有涉及，包括X 線影像、CT 影像、病理圖像和超聲影像等，但總體以靜態(tài)圖像分析為主，對(duì)于動(dòng)態(tài)影像的處理較少；在圖像處理方式上，有影像分類(lèi)、目標(biāo)檢測(cè)、圖像分割和圖像檢索；在疾病應(yīng)用方面，主要集中于肺癌篩查、糖網(wǎng)篩查、病理細(xì)胞篩查、病灶勾畫(huà)和臟器3維成像。

4 國(guó)內(nèi)外相關(guān)產(chǎn)業(yè)進(jìn)展比較

4.1 高速運(yùn)算硬件的迭代

圖形處理器（graphics processing unit，GPU）是進(jìn)行圖形和圖像相關(guān)運(yùn)算工作的微處理器。能夠在短時(shí)間內(nèi)進(jìn)行大量計(jì)算的GPU 是實(shí)現(xiàn)深度學(xué)習(xí)的重要前提條件。深度學(xué)習(xí)的發(fā)展離不開(kāi)GPU 運(yùn)算速度的提升。2010 年美國(guó)英偉達(dá)公司發(fā)布了GPU 架構(gòu)Fermi，這是支持CUDA（compute unified device architecture）的第3 代 GPU 架構(gòu)（第1、2 代分別是G80 與GT200 架構(gòu)），隨后在2012 年和2014 年發(fā)布了Kepler和Maxwell架構(gòu)，盡管英偉達(dá)未在硬件層面對(duì)AI 計(jì)算做特定優(yōu)化，但在軟件層面卻引入了深度神經(jīng)網(wǎng)絡(luò)加速庫(kù)cuDNN v1.0，使英偉達(dá)GPU 的AI計(jì)算性能與易用性得到提升。2016 年英偉達(dá)推出Pascal 架構(gòu)，這是面向AI 計(jì)算場(chǎng)景發(fā)布的第一版架構(gòu)，在硬件結(jié)構(gòu)中加入了諸如 FP16（半精度浮點(diǎn)數(shù)計(jì)算）、NVLink（總線通信協(xié)議，可用于單CPU 配置多GPU）、HBM（提升訪存帶寬）、INT8 格式支持（支持推理場(chǎng)景）等技術(shù)，軟件層面也發(fā)布了面向推理加速場(chǎng)景的TensorRT 與開(kāi)源通信函數(shù)庫(kù)NCCL（NVIDIA collective communication library）。

隨著人工智能領(lǐng)域的蓬勃發(fā)展，GPU 和CUDA成為深度學(xué)習(xí)等研究的重要工具，使用GPU 進(jìn)行深度學(xué)習(xí)研究已成為行業(yè)主流。

盡管?chē)?guó)內(nèi)在GPU 研發(fā)的核心技術(shù)和材料上與國(guó)際領(lǐng)先團(tuán)隊(duì)相比存在一定的距離，但近年來(lái)有了長(zhǎng)足的發(fā)展，已經(jīng)成為世界上不可小覷的研發(fā)力量。部分優(yōu)質(zhì)國(guó)產(chǎn)GPU 企業(yè)已逐步展現(xiàn)出發(fā)展?jié)摿?，如景嘉微在?jīng)過(guò)JM5 和JM7 系列應(yīng)用升級(jí)后，當(dāng)前JM9 系列已完成流片、封裝階段工作及初步測(cè)試工作。海光信息自2018年布局GPU 行業(yè)以來(lái)，產(chǎn)品迭代進(jìn)展迅速，2021 年首款DCU 產(chǎn)品深算一號(hào)已實(shí)現(xiàn)規(guī)?；鲐?，同時(shí)深算二號(hào)的研發(fā)也保持順利。2022 年8 月，壁仞科技發(fā)布的首款通用GPU 芯片BR100 打破英偉達(dá)保持的算力記錄，單芯片峰值算力達(dá)到PFLOPS 級(jí)，8 位定點(diǎn)算力達(dá)到2 000 T 以上，但該芯片未有商業(yè)版。

4.2 數(shù)據(jù)庫(kù)的建立

除了計(jì)算機(jī)算力和人工智能技術(shù)的發(fā)展，深度學(xué)習(xí)的發(fā)展離不開(kāi)數(shù)據(jù)庫(kù)的建立和公開(kāi)。國(guó)外的會(huì)議如MICCA、刊物以及一些醫(yī)學(xué)影像比賽都會(huì)公布一些公開(kāi)的數(shù)據(jù)集。除了這些組織和機(jī)構(gòu)，國(guó)際上的部分大學(xué)也會(huì)構(gòu)建數(shù)據(jù)集，如美國(guó)斯坦福大學(xué)醫(yī)學(xué)院構(gòu)建了EchoNet-Dynamic Dataset，美國(guó)加利福尼亞大學(xué)構(gòu)建了Alzheimer’s Disease Neuroimaging Initiative 數(shù)據(jù)庫(kù)。國(guó)內(nèi)雖有海量數(shù)據(jù)，卻尚未合理利用，這方面的工作有待加強(qiáng)。

隨著臨床檢驗(yàn)進(jìn)入智能化時(shí)代，國(guó)家于2020 年開(kāi)始頒發(fā)一系列政策，著手建立各個(gè)專(zhuān)科的放射影像數(shù)據(jù)庫(kù)。而這些數(shù)據(jù)庫(kù)將從全國(guó)各地接受各種樣本，建立起多樣性、標(biāo)準(zhǔn)化和高標(biāo)注的數(shù)據(jù)庫(kù)。同時(shí)，該數(shù)據(jù)完全是國(guó)家所有，在安全性和倫理性也能夠得到相當(dāng)?shù)谋ＷC。截至2021年10月，國(guó)家衛(wèi)生健康委員會(huì)能力建設(shè)和繼續(xù)教育中心利用基于醫(yī)療大數(shù)據(jù)和AI 技術(shù)開(kāi)發(fā)的數(shù)據(jù)平臺(tái)，完成數(shù)據(jù)抽取、處理和轉(zhuǎn)化，最終形成了一個(gè)高質(zhì)量的肺結(jié)節(jié)影像專(zhuān)病數(shù)據(jù)庫(kù)。目前該數(shù)據(jù)的價(jià)值及其建造流程已經(jīng)獲得醫(yī)學(xué)界認(rèn)可。

4.3 影像技術(shù)發(fā)展

圖像的精度離不開(kāi)檢驗(yàn)儀器的穩(wěn)定和發(fā)展。通過(guò)儀器的不斷更新?lián)Q代，假如在儀器上能夠得到更加清晰的醫(yī)學(xué)影像，則圖像處理中無(wú)需過(guò)多考慮噪音的影響。

1972年首臺(tái)CT誕生，標(biāo)志著放射影像進(jìn)入計(jì)算機(jī)斷層成像時(shí)代，在減少組織重疊的同時(shí)，還將X射線的密度分辨力提高了約20 倍，是現(xiàn)代醫(yī)學(xué)發(fā)展的一個(gè)里程碑。我國(guó)于20世紀(jì)70年代末（改革開(kāi)放初期）引進(jìn)了首臺(tái)CT，而目前16排以上的多排螺旋CT已經(jīng)普及到縣級(jí)甚至縣級(jí)以下醫(yī)院。據(jù)不完全統(tǒng)計(jì)，目前我國(guó)CT 的裝機(jī)量已經(jīng)突破3 萬(wàn)臺(tái)（中國(guó)醫(yī)療器械行業(yè)協(xié)會(huì)《中國(guó)CT產(chǎn)業(yè)市場(chǎng)擴(kuò)容加速》）。同時(shí)國(guó)產(chǎn)的CT設(shè)備也在國(guó)內(nèi)占據(jù)越來(lái)越大的份額，呈現(xiàn)出逐漸替代進(jìn)口的趨勢(shì)。

20 世紀(jì)80 年代初期開(kāi)始用于臨床的MRI 也是人類(lèi)醫(yī)學(xué)史上的偉大創(chuàng)舉。40 年來(lái)MRI 發(fā)展迅速，場(chǎng)強(qiáng)也從原來(lái)的0.5 T以下為主發(fā)展為1.5 T～3.0 T為主，7.0 T 設(shè)備也開(kāi)始應(yīng)用于臨床。我國(guó)自從1985 年引進(jìn)第一臺(tái)MRI 以來(lái)，據(jù)不完全統(tǒng)計(jì)，目前國(guó)內(nèi)臨床MRI 裝機(jī)量已經(jīng)突破2 萬(wàn)臺(tái)（觀研報(bào)告網(wǎng)《2021 年中國(guó)MRI 市場(chǎng)分析報(bào)告——行業(yè)競(jìng)爭(zhēng)格局與未來(lái)趨勢(shì)研究》）。國(guó)產(chǎn)MRI的部分產(chǎn)品可與進(jìn)口同類(lèi)產(chǎn)品媲美，市場(chǎng)占有率在中端、底端已達(dá)到42%，但高端市場(chǎng)仍未有國(guó)產(chǎn)的身影（前瞻產(chǎn)業(yè)研究院《我國(guó)超導(dǎo)MRI 市場(chǎng)的“中端”國(guó)產(chǎn)化率提升，“高端”仍被國(guó)外品牌占領(lǐng)》）。

目前，基于人工智能的冠狀動(dòng)脈自動(dòng)重建等系列產(chǎn)品，已經(jīng)初步從實(shí)驗(yàn)室走向臨床，并在多家醫(yī)院進(jìn)行了較為成熟的應(yīng)用，為影像學(xué)診斷工作提供了極大便利。同時(shí)，基于人工智能的圖像學(xué)習(xí)、信息深度挖掘等技術(shù)在影像醫(yī)學(xué)的科研領(lǐng)域中也發(fā)揮著重要的作用，形成了一系列科研成果，為將來(lái)的臨床轉(zhuǎn)化和應(yīng)用奠定了良好的基礎(chǔ)。人工智能新技術(shù)在影像醫(yī)學(xué)的廣泛應(yīng)用，提高了醫(yī)師的工作效率，減輕了醫(yī)師的勞動(dòng)負(fù)荷，開(kāi)啟了當(dāng)代醫(yī)學(xué)發(fā)展的新紀(jì)元。

5 發(fā)展趨勢(shì)與展望

目前的醫(yī)學(xué)圖像處理存在手動(dòng)分割速度慢的問(wèn)題，而傳統(tǒng)的圖像處理方法，如閾值處理等方法得到的圖像質(zhì)量有限。開(kāi)發(fā)快速準(zhǔn)確的量化方法可以改善心血管疾病風(fēng)險(xiǎn)評(píng)估、心血管疾病預(yù)防，進(jìn)一步了解各種心血管疾病和心臟各項(xiàng)指標(biāo)之間的確切關(guān)系。因此，仍然需要更準(zhǔn)確的分割方法來(lái)分割大量更復(fù)雜的圖像。

近年越來(lái)越多的方法利用深度學(xué)習(xí)來(lái)實(shí)現(xiàn)EAT、PAT 和全心的分割。這是該領(lǐng)域的一個(gè)顯著趨勢(shì)，隨著基于深度學(xué)習(xí)方法的發(fā)展和成熟，這一趨勢(shì)可能會(huì)繼續(xù)下去。深度學(xué)習(xí)方法在其他分割任務(wù)中實(shí)現(xiàn)了很好的結(jié)果，這表明在醫(yī)學(xué)圖像應(yīng)用上可以進(jìn)一步改進(jìn)基于深度學(xué)習(xí)方法的結(jié)果。

眾所周知，深度學(xué)習(xí)方法難以解釋?zhuān)瑑H是輕微的噪音或結(jié)構(gòu)的輕微變化可能會(huì)產(chǎn)生截然不同的結(jié)果。即使提前了解所有變量的含義，也無(wú)法進(jìn)行后期修正。研究者一旦訓(xùn)練好模型，就很難確切地確定模型在做什么來(lái)實(shí)現(xiàn)其結(jié)果。非深度學(xué)習(xí)方法，如閾值處理等方法，提供的結(jié)果更符合預(yù)期，它們的局限性通?？梢愿菀椎剡M(jìn)行測(cè)試和解釋。然而，與深度學(xué)習(xí)相比，這些方法在其他分類(lèi)任務(wù)中的性能較低。

已有的全自動(dòng)方法顯示了良好的結(jié)果和很短的分割時(shí)間，利用大數(shù)據(jù)優(yōu)勢(shì)，可應(yīng)用于3 維心臟的重建、醫(yī)學(xué)影像的智能分析，且就本文來(lái)看，優(yōu)秀模型的準(zhǔn)確率已接近人類(lèi)專(zhuān)家。此外，還可以通過(guò)提取心臟邊緣結(jié)構(gòu)和紋理特征評(píng)估腫瘤患者的情況。在多種心血管疾病的診斷中，人工智能技術(shù)也已經(jīng)逐步進(jìn)入臨床應(yīng)用并得到認(rèn)可。但是，在大量樣本上驗(yàn)證時(shí)，這些方法明顯與專(zhuān)家的手繪分割有差距。另一方面，一些半監(jiān)督方法比全監(jiān)督方法的表現(xiàn)更好，并顯示出了臨床應(yīng)用的潛力。

致 謝本文由中國(guó)圖象圖形學(xué)學(xué)會(huì)醫(yī)學(xué)影像專(zhuān)業(yè)委員會(huì)組織撰寫(xiě)，該專(zhuān)委會(huì)鏈接為http：//www.csig.org.cn/detail/2388。