張靈西

(復(fù)旦大學(xué) 計算機科學(xué)技術(shù)學(xué)院, 上海 200438)

近年來, 人工智能技術(shù)的飛速發(fā)展在醫(yī)療領(lǐng)域受到廣泛關(guān)注. 與此同時, 隨著醫(yī)學(xué)數(shù)據(jù)集的不斷擴增、硬件計算能力的快速提升以及應(yīng)用算法的突破性進展,人工智能在醫(yī)療場景中的技術(shù)積累日漸成熟, 應(yīng)用范圍逐步拓寬. 2019年1月, 由上海交通大學(xué)人工智能研究院領(lǐng)銜發(fā)布的《人工智能醫(yī)療白皮書》[1]中指出,人工智能在醫(yī)療領(lǐng)域應(yīng)用最廣的場景就是醫(yī)學(xué)影像分析, 該領(lǐng)域更是被業(yè)內(nèi)人士認為是最有可能率先實現(xiàn)商業(yè)化的人工智能醫(yī)療領(lǐng)域.

醫(yī)學(xué)影像可以直觀地呈現(xiàn)人體內(nèi)部的解剖結(jié)構(gòu)與病灶信息, 通過醫(yī)學(xué)圖像便可觀察病人身體內(nèi)部器官、組織的變化情況, 是醫(yī)生在臨床診斷和手術(shù)規(guī)劃時的重要輔助手段. 在臨床實踐中, 往往首先需要根據(jù)人體骨骼結(jié)構(gòu)對醫(yī)學(xué)影像中的解剖標志點進行標記,再通過這些標志點和參考線計算相關(guān)的線段長度或測量角度, 進而完成疾病的診斷[2]. 由此可見, 解剖標志點定位的準確性對于臨床影像分析具有重要意義. 深度學(xué)習(xí)為利用人工智能技術(shù)進行醫(yī)學(xué)影像標志點定位開辟了新的視角: 深度神經(jīng)網(wǎng)絡(luò)通過學(xué)習(xí)大規(guī)模的醫(yī)學(xué)影像數(shù)據(jù), 對原始輸入圖片進行多層非線性變換, 進而實現(xiàn)從數(shù)據(jù)中歸納出從低級到高級的特征[3], 摒棄了傳統(tǒng)方法中根據(jù)領(lǐng)域知識手動提取特征的過程, 進而使計算機自動完成解剖標志點定位的影像分析任務(wù).

由此可見, 標準規(guī)范的影像數(shù)據(jù)及數(shù)據(jù)標注是利用人工智能算法進行醫(yī)學(xué)影像分析發(fā)展的基礎(chǔ). 然而,與自然圖像的獲取不同, 醫(yī)學(xué)影像的獲取十分艱難: 一方面, 訓(xùn)練樣本的獲取需要成本高昂的專業(yè)影像采集設(shè)備; 另一方面, 影像數(shù)據(jù)的標注需要受過專門培訓(xùn)的專業(yè)醫(yī)生參與, 而由于臨床、科研任務(wù)重, 醫(yī)療專家往往沒有時間進行大量的數(shù)據(jù)標注工作. 因此, 醫(yī)學(xué)影像領(lǐng)域本身面臨著高質(zhì)量標注數(shù)據(jù)匱乏的現(xiàn)實. 在這種情況下, 如何利用醫(yī)學(xué)影像本身所固有的特點, 進一步提升網(wǎng)絡(luò)的特征提取能力, 更好地挖掘有限數(shù)據(jù)中更多的特征, 進而實現(xiàn)自動化提取、測量和分析影像學(xué)表型, 對于輔助醫(yī)生快速診斷疾病具有重要的理論價值和現(xiàn)實意義, 不僅可以有效提升醫(yī)學(xué)影像自動讀片效率、降低患者就醫(yī)成本, 還可以在一定程度上緩解地區(qū)醫(yī)療水平差距大、醫(yī)療資源分布不均等社會問題.

本文提出了一種基于拓撲結(jié)構(gòu)約束和特征增強的醫(yī)學(xué)影像標志點定位算法, 使用多任務(wù)U-Net網(wǎng)絡(luò)[4]作為骨干網(wǎng)絡(luò), 利用醫(yī)學(xué)影像上各個標志點之間形成的拓撲結(jié)構(gòu)具有變換不變性這一特點, 為網(wǎng)絡(luò)添加額外的約束; 通過為網(wǎng)絡(luò)引入多分辨率注意力模塊[5], 為不同分辨率下的特征圖生成不同分辨率的注意力信息,使網(wǎng)絡(luò)加強對重要特征信息的關(guān)注, 以避免圖像中其他冗余特征的干擾; 此外, 受啟發(fā)于空洞空間金字塔池化結(jié)構(gòu)(atrous spatial pyramid pooling, ASPP)[6], 本文通過使用多分支空洞卷積來實現(xiàn)增大感受野的目的, 多個分支并行操作可以同時捕獲不同尺度的上下文信息,且空洞卷積的使用也避免了參數(shù)量的增加.

本文的貢獻可總結(jié)為以下4個方面:

(1)考慮到各個解剖標志點之間的拓撲關(guān)系存在結(jié)構(gòu)不變性的特點, 本文為深度神經(jīng)網(wǎng)絡(luò)加入拓撲結(jié)構(gòu)約束, 并提出結(jié)構(gòu)不變性損失來增強網(wǎng)絡(luò)的特征提取能力.

(2)通過在網(wǎng)絡(luò)內(nèi)部嵌入多分辨率注意力機制, 為不同分辨率的特征圖生成不同分辨率的注意力系數(shù)圖,幫助網(wǎng)絡(luò)提取與標志點更相關(guān)的特征.

(3)通過在低層特征和高層特征的融合階段引入多分支空洞卷積層, 在不增加網(wǎng)絡(luò)參數(shù)量的情況下實現(xiàn)增大卷積層感受野的作用范圍, 使網(wǎng)絡(luò)更好地感知上下文信息.

(4)本文在公開數(shù)據(jù)集上驗證了提出算法的有效性. 實驗表明, 本文算法在各個指標上超過了當(dāng)前主流的解剖標志點定位算法.

1 相關(guān)工作

醫(yī)學(xué)影像解剖標志點定位是臨床診斷中非常重要的預(yù)處理步驟, 是制定醫(yī)學(xué)治療計劃的基礎(chǔ)環(huán)節(jié). 在實踐中, 往往需要首先對重要的解剖標志點進行準確定位、測量, 進而才能完成如骨齡預(yù)測[7]、膝關(guān)節(jié)手術(shù)[8]、骨盆外傷手術(shù)[9]及頜面部手術(shù)[10]等醫(yī)學(xué)診療任務(wù).

傳統(tǒng)的解剖標志點定位方法大致可分為兩類: 基于模型的方法和基于回歸的方法[11]. 基于模型的方法根據(jù)預(yù)定義的模板迭代地找到最佳的標志點位置, 并通過形狀模型調(diào)節(jié)全局空間形狀[12,13]; 基于回歸的方法則直接從圖像特征回歸標志點坐標[14]. 除此之外, 還有部分學(xué)者提出了基于先驗知識的邊緣檢測方法[15,16],然而此類方法只能成功檢測位于清晰邊緣的標志點,且先驗知識的引入使得算法對解剖結(jié)構(gòu)變化較為敏感,降低了算法的泛化能力.

隨著人工智能技術(shù)的不斷發(fā)展, 學(xué)術(shù)界已經(jīng)提出了一系列基于深度學(xué)習(xí)的醫(yī)學(xué)影像解剖標志點定位方法, 此類方法利用深度神經(jīng)網(wǎng)絡(luò)自動地學(xué)習(xí)圖像特征并進行標志點定位, 避免了傳統(tǒng)方法依賴手工定義特征的弊端, 不僅提升了標志點定位的準確程度, 且減少了定義特征的人力和時間成本.

基于深度學(xué)習(xí)的解剖標志點定位算法的主要思路是輸入圖像和對應(yīng)的標志點坐標, 深度神經(jīng)網(wǎng)絡(luò)自動挖掘圖像特征并選出圖像上概率最大的像素點作為預(yù)測坐標, 通過不斷降低預(yù)測坐標和真實坐標之間的損失以不斷優(yōu)化網(wǎng)絡(luò)參數(shù), 進而實現(xiàn)標志點自動定位.Zhang等人[17]提出了一種兩階段的深度學(xué)習(xí)方法, 在第1階段利用基于回歸模型的卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)局部圖像和目標解剖標志點之間的內(nèi)在關(guān)聯(lián), 在第2階段進一步建模各個局部圖像之間的關(guān)聯(lián), 進而實現(xiàn)在有限的訓(xùn)練數(shù)據(jù)上實時聯(lián)合檢測多個解剖標志點. Oh等人[18]提出了一個新的頭影測量標志點檢測框架, 該框架通過引入局部特征擾動器(local feature perturbator,LFP)和解剖上下文損失(anatomical context loss, AC loss), 使得卷積神經(jīng)網(wǎng)絡(luò)在訓(xùn)練期間可以學(xué)習(xí)更豐富的解剖上下文特征. Chen等人[10]提出了基于自注意力模塊的方法, 該方法可以提取語義增強的多層次融合特征, 以提升標志點定位的精度. Payer等人[19]將空間結(jié)構(gòu)信息引入深度神經(jīng)網(wǎng)絡(luò)來定位標志點, 從而利用標志點之間的結(jié)構(gòu)關(guān)系預(yù)測標志點在圖片各個像素上出現(xiàn)的概率. 此外, 對于3D影像數(shù)據(jù), Yang等人[8]提出可以將3D空間視為2D正交平面的組合, 使用常規(guī)卷積神經(jīng)網(wǎng)絡(luò)處理3組獨立的2D磁共振圖像(magnetic resonance imaging, MRI)切片, 并將3D位置定義為3個2D切片的交點.

然而, 現(xiàn)有方法大多具有以下3個主要問題:

(1)標志點定位過程中未能挖掘醫(yī)學(xué)影像本身固有的特點. 醫(yī)學(xué)影像中的解剖結(jié)構(gòu)往往相對固定, 而標志點位置通常與解剖結(jié)構(gòu)密切相關(guān). 以上方法大多利用深度神經(jīng)網(wǎng)絡(luò)強大的非線性擬合能力, 未能針對醫(yī)學(xué)影像固有的結(jié)構(gòu)特點進行優(yōu)化.

(2)特征提取過程中缺乏對顯著特征的關(guān)注. 深度神經(jīng)網(wǎng)絡(luò)提取的特征圖中不同位置的特征往往對于預(yù)測結(jié)果有著不同的重要程度, 有的特征對于預(yù)測標志點位置至關(guān)重要, 而有的特征對于預(yù)測結(jié)果作用較小,屬于冗余特征. 冗余特征的存在為實現(xiàn)精準的標志點定位帶來額外開銷.

(3)特征融合的過程中缺乏對上下文信息的利用.醫(yī)學(xué)影像中的器官位置及骨骼結(jié)構(gòu)等信息通常有助于判斷解剖標志點的位置, 而這些信息則蘊含在更大的感受野之中. 但傳統(tǒng)的卷積操作只能對局部特征進行處理, 往往忽略了上下文特征所帶來的額外信息.

因此, 本文立足于醫(yī)學(xué)影像本身固有的結(jié)構(gòu)特點,提出基于拓撲結(jié)構(gòu)約束和特征增強的醫(yī)學(xué)影像標志點定位算法, 利用標志點之間拓撲關(guān)系的結(jié)構(gòu)不變性構(gòu)建額外約束, 通過多分辨率注意力機制和多分支空洞卷積結(jié)構(gòu)提升網(wǎng)絡(luò)對精細特征的提取能力以及上下文信息的感知能力, 使得網(wǎng)絡(luò)可以更好地挖掘醫(yī)學(xué)影像的結(jié)構(gòu)和語義, 并提取魯棒性更強的特征, 進而取得更好的標志點定位效果.

2 網(wǎng)絡(luò)結(jié)構(gòu)與算法原理

考慮到醫(yī)學(xué)影像數(shù)據(jù)一般較少, 且圖像中的語義和結(jié)構(gòu)都對預(yù)測標志點坐標具有重要意義, 所以網(wǎng)絡(luò)預(yù)測時不僅需要利用高層語義特征, 還需要同時考慮低層結(jié)構(gòu)特征. 因此, 本文使用可以同時結(jié)合低層特征和高層特征的U-Net[20]作為主干網(wǎng)絡(luò), 提出一種新的解剖標志點定位模型, 模型整體流程如圖1所示.

圖1 標志點定位整體流程

為避免網(wǎng)絡(luò)直接預(yù)測坐標具有較大的偏差, 本文使網(wǎng)絡(luò)同時預(yù)測熱點圖(heatmap)和偏移圖(offset map), 其中熱點圖表示標志點在圖中每個像素位置出現(xiàn)的概率, 偏移圖表示標志點與真實標志點之間的坐標偏移, 分為x軸和y軸兩個方向. 將輸入圖片和經(jīng)仿射變換后的圖片輸入到深度神經(jīng)網(wǎng)絡(luò), 對于原圖使用根據(jù)真實坐標計算的熱點圖和偏移圖構(gòu)建損失函數(shù);對于仿射變換的圖片, 由于標志點之間形成的拓撲結(jié)構(gòu)也將發(fā)生相同的仿射變換, 因此, 此時網(wǎng)絡(luò)預(yù)測的熱點圖和偏移圖, 與輸入原圖時預(yù)測的熱點圖和偏移圖之間, 可構(gòu)成一種額外的結(jié)構(gòu)約束, 使網(wǎng)絡(luò)更好地學(xué)習(xí)圖像結(jié)構(gòu), 并基于此構(gòu)建結(jié)構(gòu)不變性損失, 最后模型將結(jié)合兩部分損失得到標志點坐標的預(yù)測結(jié)果.

用于預(yù)測熱點圖和偏移圖的深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示. 對于輸入的醫(yī)學(xué)影像, 神經(jīng)網(wǎng)絡(luò)提取不同分辨率的特征圖, 同時為不同分辨率的特征圖計算各個像素的重要程度, 以生成不同分辨率的注意力系數(shù)圖,實現(xiàn)加強對重要特征的關(guān)注, 削弱冗余特征的影響. 通過將U-Net網(wǎng)絡(luò)每一層級的普通的上采樣部分改為多分支空洞卷積結(jié)構(gòu), 使得網(wǎng)絡(luò)可以同時感知多尺度的上下文特征, 進而能夠更好地確定標志點位置. 網(wǎng)絡(luò)將經(jīng)注意力加權(quán)后的低層特征與對應(yīng)層級的高層特征進行拼接后得到新特征, 將該特征輸入解碼器經(jīng)過上采樣再得到下一層級的高層特征, 通過上述方式, 網(wǎng)絡(luò)不僅可以加強對重要特征的關(guān)注, 還可以同時考慮不同尺度的上下文信息, 提升了網(wǎng)絡(luò)的特征提取能力.

圖2 模型結(jié)構(gòu)圖

2.1 多任務(wù)U-Net網(wǎng)絡(luò)

U-Net網(wǎng)絡(luò)采用編碼器-解碼器結(jié)構(gòu), 編碼器部分通過下采樣操作得到多個分辨率的低級特征圖, 解碼器部分通過上采樣操作將低級特征圖逐層上升為與編碼器相應(yīng)層級相同的分辨率, 直至恢復(fù)為原圖分辨率.網(wǎng)絡(luò)在每一層級采用跳躍連接(skip connection)來結(jié)合同層級的高級特征圖和低級特征圖, 并使用拼接后的特征圖作為該層級的上采樣層輸入. 這種方式結(jié)合了低層特征所包含的信息, 避免直接使用最后一層特征進行損失計算, 通過利用多尺度特征有效提升網(wǎng)絡(luò)精度.

本文使用多任務(wù)U-Net網(wǎng)絡(luò)[4]同時預(yù)測熱點圖和偏移圖, 對于圖片X中坐標為( xi,yi) 的第i個標志點, 其熱點圖可由高斯函數(shù)計算, 如式(1)所示:

本文中使用二值交叉熵損失函數(shù) Lh來懲罰預(yù)測熱點圖和真實熱點圖之間的差異, 使用L1損失函數(shù) Lo來懲罰坐標偏移. 令 fh(X)表 示網(wǎng)絡(luò)預(yù)測的熱點圖,fo(X)表示網(wǎng)絡(luò)預(yù)測的坐標偏移圖, 為了使熱點圖和偏移圖所包含的信息進行有機的結(jié)合, 損失函數(shù)的構(gòu)建將同時考慮熱點圖和偏移圖對預(yù)測結(jié)果的約束, 這部分的損失函數(shù)Llabel如 式(3)所示, 其中, α 為 權(quán)重系數(shù),I(λ) 為 指示函數(shù), 表示只考慮熱點圖值高于閾值λ 的像素.

網(wǎng)絡(luò)輸出的熱點圖、x軸偏移圖和y軸偏移圖均為19個通道, 每個通道代表對一個標志點的預(yù)測信息.在檢測階段, 根據(jù)網(wǎng)絡(luò)預(yù)測的坐標偏移圖, 對所有熱點圖值高于λ 的像素點進行投票, 將第i個通道中的獲勝位置作為第i個標志點的最終預(yù)測結(jié)果.

2.2 拓撲結(jié)構(gòu)約束

受啟發(fā)于等價標志點變換[21], 本文提出基于仿射變換的拓撲結(jié)構(gòu)約束方法, 根據(jù)標志點之間拓撲結(jié)構(gòu)的整體性質(zhì)構(gòu)建額外的約束, 使網(wǎng)絡(luò)可以學(xué)習(xí)到更魯棒的標志點特征.

給定圖像 X和仿射變換T , X′=T(X,θ)表示圖像X經(jīng)仿射變換T 后的結(jié)果, θ為仿射變換參數(shù), 此時圖像X′上的標志點坐標也將發(fā)生相同的仿射變換. 因此, 將圖像X′輸 入到深度神經(jīng)網(wǎng)絡(luò) f所得到的結(jié)果, 應(yīng)當(dāng)與原圖像X 輸入到神經(jīng)網(wǎng)絡(luò) f所得到的結(jié)果遵循同樣的仿射變換, 即存在 f(T(X,θ))=T(f(X,θ)), 圖3為拓撲結(jié)構(gòu)約束的示意圖, 以旋轉(zhuǎn)變換為例.

圖3 拓撲結(jié)構(gòu)約束(以旋轉(zhuǎn)為例)

基于此, 利用圖像中標志點所形成的拓撲結(jié)構(gòu)經(jīng)過仿射變換后自相似的性質(zhì), 通過分別對比圖像變換前后網(wǎng)絡(luò)輸出的熱點圖以及偏移圖之間的相似程度,可以構(gòu)成一種額外的約束, 使網(wǎng)絡(luò)能夠捕獲標志點之間所蘊含的結(jié)構(gòu)信息, 進而提取魯棒性更強的特征, 本文中使用MSE損失函數(shù)來懲罰圖像變換前后網(wǎng)絡(luò)的預(yù)測差異來構(gòu)建結(jié)構(gòu)不變性損失, 如式(4)所示:

該部分也需同時考慮熱點圖和偏移圖的信息, 因此該部分的損失函數(shù)Lstructure如 式(5)所示, 其中α 為權(quán)重系數(shù),為指示函數(shù).

此時, 模型總的損失函數(shù)如式(6)所示:

2.3 多分辨率注意力機制

U-Net網(wǎng)絡(luò)可以獲取不同分辨率的特征圖, 進而得到不同比例下的標志點信息, 然而原始的U-Net網(wǎng)絡(luò)只是簡單地把低層特征和高層特征進行拼接, 無法實現(xiàn)加強對圖像中重要區(qū)域的關(guān)注. 本文通過引入注意力門控(attention gate, AG)模塊[5], 使編碼器獲取的低層特征在經(jīng)過注意力門控調(diào)整之后, 再與解碼器得到的高層特征進行拼接, 進而加強網(wǎng)絡(luò)對顯著特征的關(guān)注, 并抑制不相關(guān)的冗余特征的影響.

注意力門控模塊搭載于U-Net網(wǎng)絡(luò)的跳躍連接部分, 其結(jié)構(gòu)如圖4所示. g為解碼器部分經(jīng)上采樣得到的特征圖, x為編碼器部分經(jīng)下采樣得到的特征圖. 首先分別將g 和 x 經(jīng) 過1×1卷積Wg和Wx降低通道數(shù), 再將得到的兩部分特征圖相加并通過ReLU函數(shù)進行非線性激活, 然后將激活后的特征圖經(jīng)過1×1卷積ψ 轉(zhuǎn)化為單通道的特征圖, 最后對該特征圖施加Sigmoid函數(shù)得到注意力系數(shù)圖 A tt. 通過這種方式計算得到的注意力系數(shù)圖, 強調(diào)了在低層特征圖和高層特征圖中同時重要的區(qū)域. A tt的計算方式如式(7)所示.

圖4 注意力門控模塊

通過在不同層級的跳躍連接加入注意力模塊, 可以獲得不同分辨率下的注意力系數(shù)圖. 在訓(xùn)練過程中,注意力系數(shù)圖將不斷進行更新, 從而使網(wǎng)絡(luò)可以逐漸修正重要特征的位置信息, 最終實現(xiàn)對不同分辨率特征圖中重要區(qū)域的關(guān)注, 提升模型的特征提取能力.

2.4 多分支空洞卷積結(jié)構(gòu)

在對醫(yī)學(xué)影像進行解剖標志點定位時, 通常需要考慮器官位置及骨骼結(jié)構(gòu)等額外信息, 故而需要增大網(wǎng)絡(luò)的感受野以使模型能夠捕獲更多的上下文特征.網(wǎng)絡(luò)的感受野大小由卷積核的大小所決定, 而更大的卷積核在帶來更大感受野的同時也引入了更多的參數(shù).空洞卷積[6]通過在卷積核中插入權(quán)值為0的空洞實現(xiàn)在不增加模型參數(shù)量的情況下增大網(wǎng)絡(luò)感受野, 卷積核各值之間的間距稱為擴張率, 對于擴張率為r, 卷積核大小為 k ×k的空洞卷積, 其感受野的計算方式如式(8)所示. 圖5為擴張率為2, 卷積核大小為3×3的空洞卷積示意圖.

圖5 空洞卷積示例

本模塊旨在利用多尺度感受野以獲得更豐富的特征信息, 達到提升標志點定位精度的目的. 受啟發(fā)于語義分割任務(wù)中常用的ASPP結(jié)構(gòu)[6], 本文提出一種適用于醫(yī)學(xué)影像標志點定位的多分支空洞卷積結(jié)構(gòu), 并將其應(yīng)用于模型的解碼器部分. 每個分支使用不同擴張率的空洞卷積層, 不同的分支提取不同尺度的上下文信息, 使解碼器在融合低層特征與高層特征的過程中,可以在更大程度上捕獲像素特征之間的相關(guān)性, 進而更好地恢復(fù)圖像的空間位置等信息.

定義多分支空洞卷積結(jié)構(gòu)的參數(shù)為( k,R), 其中k 表示卷積核大小, R表示各個分支擴張率的組合, 即R=(r1,r2,···,rn) , 其中, r1,r2,···,rn分別表示n 個分支上的n種不同的擴張率, 該部分結(jié)構(gòu)如圖6所示.

圖6 多分支空洞卷積

將不同擴張率的空洞卷積提取的不同尺度的特征圖分別經(jīng)過批歸一化和ReLU激活層后進行通道拼接,再使用1×1卷積將拼接后的新特征降低通道數(shù), 輸入接下來的上采樣層. 通過這種方式, 不僅解決了特征融合的過程中缺乏對上下文信息的利用這一問題, 并且在不增加參數(shù)量和計算量的基礎(chǔ)上使網(wǎng)絡(luò)可以更好地關(guān)注多尺度特征, 進而提升網(wǎng)絡(luò)預(yù)測標志點的準確性.

3 實驗及分析

本文基于公開數(shù)據(jù)集進行實驗, 首先探究損失函數(shù)中權(quán)重系數(shù)α 對模型性能的影響; 隨后探究多分支空洞卷積結(jié)構(gòu)的不同擴張率組合對模型性能的影響; 接著將本文算法與目前公開發(fā)表的論文中先進的算法進行對比, 實驗結(jié)果表明本文提出的算法在各個指標上取得了更好的效果; 最后對網(wǎng)絡(luò)的不同模塊進行消融實驗, 以驗證拓撲結(jié)構(gòu)約束、多分辨率注意力機制和多分支空洞卷積結(jié)構(gòu)對于提升模型性能的有效性; 最后對本文算法的定位效果進行結(jié)果展示.

3.1 數(shù)據(jù)集介紹

X光頭影測量分析可用于正頜外科的輔助診斷,以弄清畸形的特征, 并進一步進行治療設(shè)計及療效預(yù)測. 本文使用IEEE ISBI 2015 Challenge提供的頭影測量標志點定位公開數(shù)據(jù)集[22]進行實驗, 該數(shù)據(jù)集收集了400位病人的400幅頭影測量X光圖片, 并分為150張訓(xùn)練集和250張測試集. 數(shù)據(jù)集中每幅圖片的像素大小為1935×2400, 每個像素大小為0.1×0.1 mm2, 包含19個頭顱解剖標志點的標記信息, 每個標志點由兩名醫(yī)生進行手動標記和檢查. 數(shù)據(jù)集中的原始頭影測量X光片及其上標注的19個標志點如圖7所示,19個標志點的詳細信息如表1所示.

圖7 頭影測量X光片及19個標志點

表1 19個解剖標志點詳細信息

3.2 實驗設(shè)置

本文實驗中網(wǎng)絡(luò)的編碼器部分使用ImageNet[23]上預(yù)訓(xùn)練的VGG-19網(wǎng)絡(luò)[24]. 由于本文使用的數(shù)據(jù)集中圖片分辨率較高, 因此將圖片縮放至800×640大小,并歸一化至[-1, 1]區(qū)間. 模型在4個NVIDIA GeForce RTX 2080 Ti GPU上進行訓(xùn)練, 批大小設(shè)置為4, 初始學(xué)習(xí)率設(shè)置為0.001, 每150次迭代乘以0.1減小學(xué)習(xí)率, 權(quán)值衰減系數(shù)設(shè)置為0.000 1, 共迭代300次, 閾值λ參考Yao等人[4]設(shè)置為0.6. 拓撲結(jié)構(gòu)約束部分每張圖片僅發(fā)生一種仿射變換, 每種變換以均等概率發(fā)生,其具體參數(shù)如表2所示, 變換示例如圖8所示, 從左至右分別為旋轉(zhuǎn)變換、放縮變換、平移變換、翻轉(zhuǎn)變換.

表2 仿射變換參數(shù)

圖8 仿射變換示例

3.3 評價指標

本文中采用IEEE ISBI 2015 Challenge提供的平均徑向誤差和成功檢測率作為評價指標, 以評估算法效果.歐氏距離, 計算方式如式(9)所示, 其中表示第i 張圖上第l 個預(yù)測標志點和真實標志點在x軸上的絕對誤差,表示在y軸上的絕對誤差, n 為圖片張數(shù). 該指標

(1)平均徑向誤差(mean radial error, MRE): 用于衡量算法所獲取的標志點位置與真實標志點位置之間的取值越低, 表明算法預(yù)測的標志點位置越準確.

(2)成功檢測率(successful detection rate, SDR): 用于衡量算法檢測標志點的精確度, 計算方式如式(10)所示, 其含義為如果預(yù)測的標志點和真實標志點之間歐氏距離不大于z mm, 則此標志點的檢測將被視為精確檢測, 否則被視為錯誤檢測. 該指標越高表示算法的成功檢測率越高. 為方便同主流方法進行對比, 本實驗中使用與其他主流方法中相同的誤差范圍z, 即2 mm、2.5 mm、3.0 mm、4.0 mm.

3.4 損失函數(shù)權(quán)重系數(shù)實驗

本部分實驗用于探究損失監(jiān)督學(xué)習(xí)與自監(jiān)督學(xué)習(xí)的損失函數(shù)中權(quán)重系數(shù)α 的不同取值對實驗結(jié)果的影響. α代表了熱點圖損失和偏移圖損失之間的權(quán)重比例, 當(dāng)α 取值越高時, 表明熱點圖損失所占權(quán)重越高. 實驗結(jié)果如表3所示, 表中加粗數(shù)字表示最優(yōu)結(jié)果.

表3 損失函數(shù)權(quán)重系數(shù)實驗結(jié)果

實驗結(jié)果表明, α取值為3時模型效果最好. 當(dāng)α＜3時, 模型性能大體上隨著α 的增加而上升, 原因在于代表概率的熱點圖包含了比偏移圖更重要的信息, 因此提升其權(quán)重有助于模型性能的提高; 當(dāng)α ＞3時, 模型性能反而隨著α 的增加而下降, 原因在于熱點圖權(quán)重過高時, 其所包含的誤差信息權(quán)重也隨之增加, 削弱了偏移圖所包含的正確信息的作用.

3.5 多分支空洞卷積參數(shù)實驗

本部分實驗用于探究多分支空洞卷積模塊的不同擴張率組合對實驗結(jié)果的影響, 其中空洞卷積的卷積核大小設(shè)置為3, 即參數(shù) k =3, 參數(shù)R 選取不同的取值組合. 實驗結(jié)果如表4所示, 表中加粗數(shù)字表示最優(yōu)結(jié)果.

表4 多分支空洞卷積參數(shù)實驗結(jié)果

從實驗結(jié)果可以看出, 較大的擴張率對于模型性能有一定的提升作用, 其原因在于較大的擴張率可以更好地擴大模型的感受野, 使模型可以更多地感知上下文特征, 避免了普通卷積核僅使用局部特征帶來的局限性. 當(dāng)參數(shù) R 的取值為R =(r1=1,r2=2,r3=5)時,模型效果最優(yōu), 此時3個分支的感受野大小分別為3×3, 5×5, 11×11.

3.6 對比實驗

在頭影測量標志點定位的公開數(shù)據(jù)集上, 將本文所提出的算法與當(dāng)前主流算法進行對比, 實驗結(jié)果如表5所示, 表中加粗數(shù)字表示最優(yōu)結(jié)果.

表5 不同算法對比實驗結(jié)果

從實驗結(jié)果可以看出, 本文提出的模型效果在各個指標上均超過了當(dāng)前主流算法, 這得益于模型在加入拓撲結(jié)構(gòu)約束后, 能夠更好地學(xué)習(xí)到醫(yī)學(xué)影像中蘊含的解剖結(jié)構(gòu)信息, 且多分辨率注意力機制和多分支空洞卷積的使用也使得模型可以更有效地提取圖像特征, 從而提升標志點定位的準確程度.

3.7 消融實驗

本部分實驗用于探究模型中各個模塊對結(jié)果的作用, 以探究拓撲結(jié)構(gòu)約束、多分辨率注意力機制和多分支空洞卷積對標志點自動定位效果的影響, 實驗結(jié)果如表6所示, 表中加粗數(shù)字表示最優(yōu)結(jié)果.

表6 消融實驗結(jié)果

從實驗結(jié)果可以看出, 加入拓撲結(jié)構(gòu)約束后, 模型效果優(yōu)于未使用拓撲結(jié)構(gòu)約束的效果, 這表明拓撲結(jié)構(gòu)約束對于模型性能有提升作用, 且SDR指標的提高表明拓撲結(jié)構(gòu)約束也提升了模型的魯棒性; 加入多分辨率注意力機制后, 模型在各個指標上的表現(xiàn)均有提高, 這表明該機制有效增強了對圖像中重要特征的關(guān)注, 并提升了模型預(yù)測的準確率; 引入多分支空洞卷積之后, 模型的性能進一步提高, 說明不同尺度的上下文信息有助于模型預(yù)測標志點位置. 消融實驗結(jié)果驗證了拓撲結(jié)構(gòu)約束、多分辨率注意力機制和多分支空洞卷積對提升模型性能的有效性.

3.8 結(jié)果展示

19個解剖標志點各自的MRE如圖9所示, 從圖中可以看出, 所有點的MRE均在2.5 mm以內(nèi), 17個點的MRE達到2.0 mm以內(nèi), 且1、7、8、9、12、15號標志點的MRE可以達到1.0 mm以內(nèi), 由此可見本文算法具有較高的定位精度, 而如4、16號標志點的MRE較高, 這可能是由于不同人的個體差異導(dǎo)致這兩個標志點在不同人的影像上位置有一定偏差, 對這些標志點進行有針對性的優(yōu)化也是未來的改進方向之一.

圖9 19個解剖標志點的MRE

圖10為部分測試集圖片的解剖標志點定位效果展示, 第1排為原始圖像, 第2排為真實標志點與預(yù)測標志點之間的誤差對比圖像, 其中藍色為真實標志點, 綠色為預(yù)測標志點.

圖10 解剖標志點定位效果展示(真實標志點: 藍; 預(yù)測標志點: 綠)

由圖10可見, 雖然不同影像中顱骨的形態(tài)有所不同, 但本文算法依然可以在較低的誤差范圍內(nèi)定位標志點位置, 由此可見本文算法在醫(yī)學(xué)影像解剖標志點定位任務(wù)上的優(yōu)越性能.

4 總結(jié)

醫(yī)學(xué)影像標志點定位的準確性對于臨床診療具有重要意義. 本文針對醫(yī)學(xué)影像標志點定位任務(wù)當(dāng)前所面臨的問題, 提出了一種基于拓撲結(jié)構(gòu)約束和特征增強的標志點定位算法, 根據(jù)標志點所形成的拓撲結(jié)構(gòu)具有結(jié)構(gòu)不變性的特點, 為網(wǎng)絡(luò)添加額外約束, 使網(wǎng)絡(luò)提取更魯棒的特征, 以實現(xiàn)網(wǎng)絡(luò)對解剖結(jié)構(gòu)信息的利用; 多分辨率注意力機制的引入使模型更加關(guān)注重要的圖像區(qū)域, 網(wǎng)絡(luò)自動學(xué)習(xí)注意力系數(shù)圖并為不同的空間特征分配不同的權(quán)重, 以提升模型的特征提取能力; 多分支空洞卷積結(jié)構(gòu)在不增加模型參數(shù)量和計算量的情況下增大網(wǎng)絡(luò)的感受野, 實現(xiàn)對不同尺度上下文信息的融合利用, 進一步提升了模型性能. 基于公開數(shù)據(jù)集的實驗表明, 本文提出的算法獲得了較高的識別精度, 為目前公開發(fā)表的論文中性能較優(yōu)的水平, 具有定位效果好、魯棒性強的特點. 未來在獲得更多類型的醫(yī)學(xué)影像數(shù)據(jù)后, 將在更廣泛的數(shù)據(jù)集上驗證本文算法的有效性.