張 萍, 徐巧枝

(內蒙古師范大學 計算機科學技術學院,內蒙古 呼和浩特 010022)

目前PET/CT是醫(yī)學臨床上診斷癌癥的常用技術,對患者疾病的早期診斷及后續(xù)治療具有非常重要的意義。但是在現(xiàn)實中,受醫(yī)療條件的局限,患者往往面臨診斷時間長、診斷結果容易受主觀影響等問題。深度學習技術被廣泛應用于醫(yī)學影像的分析,以輔助醫(yī)生實現(xiàn)患病部位的分割、目標檢測及分類,取得了良好效果。因此,將深度學習技術應用于圖像,以提高診斷的效率和精確度,引起了很多研究者的關注并取得了一定成果。但是目前的研究大多是基于B超、CT等單模態(tài)數(shù)據(jù),針對PET/CT雙模態(tài)數(shù)據(jù)的研究相對較少,但已呈現(xiàn)出逐年上漲的趨勢。因此,對現(xiàn)有研究進行歸納、整理和總結,可以幫助對該領域感興趣的研究者快速了解其研究路線與現(xiàn)狀,促進該領域的發(fā)展。

本對文PET/CT圖像分析和處理中常用的深度學習模型、PET/CT圖像的特點、PET/CT圖像中對病灶分割、檢測和分類的相關研究進行介紹,在對已有研究進行總結的基礎上,展望未來的研究。

1 深度學習模型及PET/CT圖像簡介

1.1 深度學習模型簡介

深度學習通過學習大量樣本數(shù)據(jù)的內在規(guī)律和表示層次,可以獲得對文字,圖像和聲音等數(shù)據(jù)的內在解釋,從而能夠識別文字、圖像和聲音等數(shù)據(jù)[1-2]。為了更好地理解后面提到的研究內容,首先簡單介紹相關領域內常用的網(wǎng)絡模型。

(1) 卷積神經(jīng)網(wǎng)絡(CNN)是一類包含卷積計算且具有深度結構的前饋神經(jīng)網(wǎng)絡,是深度學習的代表算法之一,也是很多深度學習網(wǎng)絡的基礎。例如,LeNet、AlexNet、ZFNet、VGGNet、GoogLeNet和ResNet等都是基于卷積神經(jīng)網(wǎng)絡發(fā)展而來[3-8]。卷積神經(jīng)網(wǎng)絡通常包括輸入層、卷積層、池化層和全連接層,如圖1所示。

基于CNN,Long等[9]提出了全連接網(wǎng)絡FCN,解決了連續(xù)卷積操作和池化層導致的輸入圖像質量下降及低分辨率輸出的問題。受FCN啟發(fā),Ronneberger等[10]提出了U-Net架構,該架構被廣泛用于醫(yī)療圖像領域,后來擴展到三維版本,即3D U-Net、V-Net和W-Net,用于直接處理CT等三維圖像[11-13]。

(2) 自編碼器(auto-encoder,AE)于20世紀80年代后期被提出,目的是在沒有監(jiān)督的情況下從數(shù)據(jù)中學習緊湊的潛在表示。自編碼器是一種利用反向傳播算法使得輸出值等于輸入值的神經(jīng)網(wǎng)絡,它先將輸入壓縮成潛在空間表征,然后通過這種表征來重構輸出。簡單來講,自編碼器的典型結構包括兩個網(wǎng)絡,即重構輸入的編碼器網(wǎng)絡和解碼器網(wǎng)絡,如圖2所示。

圖1 卷積神經(jīng)網(wǎng)絡結構圖Fig.1 The structure of convolutional neural network

圖2 自編碼器網(wǎng)絡結構圖Fig.2 The structure of AE network

1.2 PET/CT圖像

多模態(tài)正電子發(fā)射斷層掃描和計算機斷層掃描成像(PET/CT)技術為現(xiàn)代癌癥診斷和治療提供了關鍵的診斷信息。CT(computed tomography)是一種結構成像技術,具有高分辨率,病變和非軟組織之間的強度一般不同。但是CT成像強度分布相似,區(qū)分病變組織與其周圍的軟組織能力比較有限,如圖3(a)所示[14]。PET(positron emission tomography)是一種核成像技術,其高對比度使得區(qū)分病灶與周圍正常組織的能力較強,但PET成像的空間分辨率較低,導致PET圖像中的病灶邊界模糊且不清楚,如圖3(b)所示[15]。PET/CT將PET和CT集成到同一個設備和程序中,分別從不同方面表征病變,前者提供代謝信息,后者提供詳細的解剖信息,使得PET/CT影像既具有良好的清晰度,又具備較強的病灶組織和正常組織區(qū)分能力,如圖3(c)所示[16]。目前PET/CT已被廣泛應用于臨床醫(yī)學診斷中,與單純使用PET或CT進行病灶分割相比,準確率更高。

2 基于深度學習的PET/CT檢測研究

很多癌癥的前期表現(xiàn)是結節(jié),結節(jié)檢測是確診癌癥的一個重要步驟,相關研究的目標是對PET/CT圖像中的器官、感興趣區(qū)域或病變組織等進行定位,是后續(xù)結節(jié)分類的基礎,決定了最終診斷的準確率。

Teramoto等[17]開發(fā)了一種CNN肺結節(jié)自動檢測的方法,通過使用邏輯OR函數(shù)將候選區(qū)域進行組合。結果表明,CNN對假陽性的減少有一定的參考價值,但由于樣本太小,該方法在部分數(shù)據(jù)上表現(xiàn)一般。王媛媛等[18]分別構建了三個卷積神經(jīng)網(wǎng)絡用于肺部腫瘤的識別,通過“多數(shù)投票決策”集成三個CNN完成肺部腫瘤的識別,保證網(wǎng)絡良好訓練的同時增加了泛化能力,避免了小樣本數(shù)據(jù)過擬合現(xiàn)象的發(fā)生。Zhang等[19]提出了一種多尺度多模態(tài)Mask R-CNN的肺腫瘤檢測方法,在腫瘤識別方面產(chǎn)生良好效果,但是需要大量的圖像數(shù)據(jù)來進行實驗以提高準確性。Kumar等[20]利用CNN推導出一個空間融合地圖,并將其與特定模態(tài)的特征圖相乘,以獲得不同位置上互補的多模態(tài)信息,實驗證明其組件可以對許多不同的醫(yī)學圖像分析任務進行利用和優(yōu)化。

圖3 肺部CT、PET及PET/CT圖像Fig.3 CT、PET and PET/CT images of lungs

為了在3D全身數(shù)據(jù)中檢測多發(fā)性骨髓瘤骨病變,Xu等[21]采用V-Net和W-Net用于病變預測和定位,V-Net并沒有得到更好的靈敏度,而W-Net在多模態(tài)信息的分割和病變檢測中具有很好的效果。Ackerley等[22]研究了卷積神經(jīng)網(wǎng)絡檢測食道癌病變的潛力,通過訓練和測試,生成的ROC曲線平均AUC為95.00%。Wallis等[23]采用雙分支3D CNN與支持向量機來判斷非小細胞肺癌(NSCLC),該方法檢測效果與放射科醫(yī)師相似。

為了治療晚期轉移性前列腺癌,需要對盆腔骨和淋巴結病變進行重點檢測。Shi等[24]提出了一種基于全卷積神經(jīng)網(wǎng)絡的多任務深度學習結構Multi-Net。與W-Net相比,多任務深度學習對骨病變和淋巴結病變的檢測精度均有所提高。Zhao等[25]提出一個三維深監(jiān)督殘余U-Net網(wǎng)絡,該網(wǎng)絡在上采樣路徑進行深度監(jiān)督,以提高預測精度,避免梯度消失。但是由于病灶太小,對比度不足以識別,導致假陰性較高。之后,Zhao等[26]利用三個U-Net分別提取特征,然后使用融合組件綜合所有信息,通過多數(shù)投票策略預測最終的結果,在所有標記的病灶中,證實了該方法比之前的方法效果更好。

表1從研究區(qū)域、數(shù)據(jù)集和最佳性能等方面進行了總結。首先,基于CNN的方法依然是檢測的主要模型,不僅用于檢測一個特定的結構,還可以檢測一個系統(tǒng)中的多個結構,這極大增加了所研究問題的復雜性。CNN的優(yōu)勢在于這種架構可以捕獲相鄰像素之間的關系,從而獲取圖像特征,這是檢測任務的基礎。其次,對PET/CT圖像的檢測任務可以看作是利用二維或三維卷積神經(jīng)網(wǎng)絡進行完整訓練。但是PET/CT屬于三維圖像,需要空間信息得到更準確的結果,未來的研究應該在3D網(wǎng)絡的基礎上設計。最后,這些文獻在各類評價指標下顯示較好的檢測效果,但要獲得足夠穩(wěn)定的自動檢測方法,需要大量的訓練數(shù)據(jù)來提高方法的魯棒性。目前的方法主要是增加訓練數(shù)據(jù)量,并在不同采集條件下獲得患者圖像作為訓練數(shù)據(jù),從而加入異質性。所以,如何有效利用PET和CT信息,提高檢測的準確率和結果的穩(wěn)定性,仍是值得未來繼續(xù)研究的課題。

表1 PET/CT檢測研究的主要特點Tab. 1 Main characteristics of PET/CT detection research

3 基于深度學習的PET/CT分割研究

圖像分割就是對原始圖像進行區(qū)域分割。醫(yī)學圖像分割的目的是獲得特定器官、組織的解剖結構或通過識別輪廓、內部區(qū)域找到感興趣區(qū)域(ROIs/VOIs),如腫瘤或病變區(qū)域等。最近,深度學習技術在分割任務上被證明是有效的,是深度學習應用醫(yī)學影像領域中常見的研究主題之一。

Zhao等[27]提出一種利用帶輔助路徑的FCN實現(xiàn)鼻咽癌(NPC)自動分割,以減輕放射科醫(yī)師的工作量。輔助路徑引入使下層學習到更有代表的特征,提高模型識別能力,但當數(shù)據(jù)集有限時,會出現(xiàn)異常值。Gsaxner等[28]測試VGG-16和ResNet-V2來分割膀胱區(qū)域,通過比較,發(fā)現(xiàn)FCN體系結構在評價指標方面優(yōu)于ResNet,但是小面積病灶自動分割仍然是難點。Guo等[29]設計了基于深度CNN的圖像分割系統(tǒng),對軟組織肉瘤病變進行輪廓勾畫。該研究設計了不同的CNN體系結構來測試不同的融合策略,對于不同融合策略如何影響分割性能的研究提供了寶貴經(jīng)驗。為了對頭頸癌(HNC)的總體腫瘤體積(GTV)和病理淋巴結進行輪廓繪制,Moe等[30]提出一種基于U-Net 結構的雙通道卷積神經(jīng)網(wǎng)絡分割。對比單模態(tài)U-Net,該研究的分割結果更接近腫瘤學家的手動標記。Huang等[31]提出一種自動深度卷積神經(jīng)網(wǎng)絡DCNN并基于HNC患者進行了實驗驗證,該方法有助于臨床醫(yī)師對HNC的管理,但該方法使用二維圖像,忽略了體積信息。

肺部腫瘤分割是醫(yī)學圖像分割中常見的研究。Zhong等[32]結合3D-UNet和基于圖割的共分割模型以分割肺部腫瘤。但由于兩種模態(tài)成像方式不同,對PET圖像的分割性能不如CT圖像。之后,Zhong等[33]又提出一種新方法,利用兩個3D-UNet分別對PET、CT進行腫瘤分割,然后讓兩個U-Net相互通信,以允許兩種方式的互補特征在兩個U-Net網(wǎng)絡之間“流動”,從而產(chǎn)生更一致的腫瘤輪廓。結果證明,該方法能夠勝過現(xiàn)有的基于圖的細分方法,且具有較高的準確率。Zhao等[34]采用兩個獨立的V-Net架構分別提取CT和PET高維特征,利用幾個級聯(lián)卷積層對獲得的特征再提取。結果表明,該網(wǎng)絡分割效果顯著,但使用逐像素相加的融合策略效果一般。Li等[35]提出了一種基于深度學習的變分方法自動融合多模態(tài)信息,使用3D FCN對CT進行學習以獲得概率圖,然后使用模糊變分模型將概率圖和PET的圖像強度信息進行集成,以細化腫瘤的分割結果。該方法對PET圖像和CT圖像都表現(xiàn)出良好的性能,但需要增加訓練樣本精確CT提取的腫瘤概率圖,才能提高腫瘤分割的準確性。

相比于單模態(tài)分割,多模態(tài)分割首先需要將CT和PET獲得的信息進行融合。其次,需要有效利用PET和CT的互補信息,為疾病的特征描述提供強有力的鑒別能力。表2對上述研究進行了總結,從中可以發(fā)現(xiàn),目前研究中所使用的分割方法主要有兩種: (1) PET和CT都采用深度學習網(wǎng)絡進行分割; (2) PET和CT分別使用不同的學習方法。值得一提的是,多模態(tài)融合雖然一直都是一個難題,但已經(jīng)有研究開始致力于設計不同位置融合方案來融合PET和CT的差異特征?？紤]目前PET/CT分割的現(xiàn)狀,未來有必要從以下幾方面繼續(xù)探索:

(1) 研究結果中大多數(shù)自動分割方法沒有顯示出足夠可靠的結果可供臨床使用。這主要是由于數(shù)據(jù)量很小、分割方案不同以及患者之間圖像存在差異造成的,所以增加數(shù)據(jù)量是進一步驗證所得結果的有效方法。

(2) 多模態(tài)圖像的分割是一個要求很高且具有挑戰(zhàn)性的問題,兩種圖像的互補信息如何融合、在什么位置融合是未來的研究重點,需要進一步研究。

(3) 目前研究都是基于特定問題設計特定的網(wǎng)絡架構,所以開發(fā)非特定問題的網(wǎng)絡架構也可能是未來研究的重要方向。

表2 PET/CT分割研究的主要特點Tab.2 Main characteristics of PET/CT segmentation research

4 基于深度學習的PET/CT分類研究

深度學習作為一種新的分類模型,越來越受到研究者的重視。醫(yī)學影像的分類主要分為兩大類,檢測分類和病變分類,其目的是發(fā)現(xiàn)影像模式中可能存在的疾病。下面總結了一些利用深度學習技術對PET/CT 影像進行分類的研究,并分析了它們的主要特征。

為了預測軟組織肉瘤(STS),Peng等[36]將3D CNN與傳統(tǒng)的特征選擇相結合以實現(xiàn)精確的分類。Wang等[37]將CNN與經(jīng)典機器學習方法結合,對非小細胞肺癌(NSCLC) 縱隔淋巴結轉移進行分類。雖然CNN比傳統(tǒng)的方法更方便、更客觀,但對于較小的腫瘤的紋理特征的鑒別能力有待提高。Sibille等[38]對肺癌和淋巴瘤患者的全身PET/CT圖像,攝取增加的區(qū)域進行分類。該方法顯示出對良性和惡性病變的良好區(qū)分能力,但該數(shù)據(jù)集中的CT和PET圖像是單獨獲取的,可能存在空間錯配。

Bi等[39]使用多尺度超像素編碼方法(MSE)和類別驅動的特征選擇與分類模式(CFSC)來自動分類和標記全身PET/CT圖像中淋巴瘤。與傳統(tǒng)方法相比,具有更準確的分類性能。Matsukura等[40]設計了基于CNN的全身PET/CT惡性淋巴瘤自動分類的計算機輔助診斷系統(tǒng),實驗結果驗證了CNN在核醫(yī)學檢查中的作用。趙鑫等[41]提出一種利用深度監(jiān)督AE進行肺結節(jié)診斷的方法SDAE-ELM,該方法最終靈敏度可達到91.75%,與其他深度學習診斷方法相比,有更好的鑒別效果。Kawauchi等[42]開發(fā)了一個基于殘差網(wǎng)絡(ResNet)的CNN系統(tǒng),將頭頸、胸部、腹部和骨盆區(qū)域進行分類,但是該模型只能處理從頭部到膝蓋的圖像,當給出全身圖像時,預測非常困難。Bradshaw等[43]訓練了VGG19用于區(qū)分骨病變的良惡性,實驗結果表明深度卷積神經(jīng)網(wǎng)絡可準確分類骨骼病變,并有助于發(fā)展先進的PET/CT骨骼掃描圖像分析工具。

目前,各種深度學習技術被用來作為分類器、深層特征提取器。針對特征提取的研究主要分為: (1) 利用深度學習技術作為特征學習,提取特征結構,進一步輸入到分類器中; (2) 利用深度網(wǎng)絡結構對訓練實例進行分類。從表3看出,對PET/CT圖像進行分類的研究區(qū)域不僅僅局限于某一病灶,還包括了全身病變,這是由于PET/CT檢查既有局部檢查,也有全身檢查,這為未來深度學習在PET/CT影像的研究提供了更多的研究方向。但是,以下問題需要在未來重點解決:

(1) 有的研究采用二維方法進行特征提取,缺乏基于立體信息的特征,但這些特征對病理分期和治療評估有重要意義。

(2) 深度學習技術在很大程度上受訓練數(shù)據(jù)的質量和數(shù)量的影響,所以缺少訓練數(shù)據(jù)仍然是主要問題。

(3) PET和CT的圖像被混合到網(wǎng)絡中時,融合是在特征或決策級別完成的,還沒有在分類器級別融合信息的研究。

表3 PET/CT分類研究的主要特點Tab.3 Main characteristics of PET/CT classification research

5 總結與展望

利用深度學習技術對PET/CT圖像進行分析,對病變組織進行更準確的檢測和分類,具有重大應用價值和意義。本文調查了應用深度學習技術對PET/CT圖像進行分析的相關研究,并按照應用的主要場景,從病變檢測、組織分割和疾病分類方面進行了歸納和總結。但是,將深度學習技術應用于PET/CT圖像,進行疾病診斷還存在很多待解決的問題:首先,目前的研究大多使用私人數(shù)據(jù)集,可用數(shù)量較少,所以需要嘗試利用或研究其他技術對數(shù)據(jù)集進行擴展; 其次,PET/CT圖像屬于多模態(tài)數(shù)據(jù),當前對于多模態(tài)數(shù)據(jù)融合的研究仍然存在不足,未充分利用不同模態(tài)數(shù)據(jù)的互補信息,未來研究可以嘗試各種不同的融合技術,考慮如何充分利用不同模態(tài)數(shù)據(jù)的互補信息,以提高診斷的精確度; 最后,由于PET圖像的成像原理與CT圖像不同,使得PET圖像的特征提取性能不如CT圖像。另外,兩種模式的圖像被混合到同一個網(wǎng)絡中可能會限制模型的性能。所以,對PET圖像的特征提取方法,并探索更好地利用PET信息的途徑,對于提高疾病診斷的準確率具有積極意義。

綜上所述,利用深度學習技術對PET/CT圖像進行分析,對疾病進行檢測和分類,還是一個新興的領域,還有很多問題需要解決,值得研究者持續(xù)探索。