蘭其斌，黃立勤

(1. 福建師范大學(xué)協(xié)和學(xué)院，福建 福州 350117； 2. 福州大學(xué)物理與信息工程學(xué)院，福建 福州 350108)

0 引言

醫(yī)學(xué)圖像配準(zhǔn)技術(shù)是醫(yī)學(xué)圖像分析中的關(guān)鍵步驟，是實(shí)現(xiàn)醫(yī)學(xué)圖像融合、 分割、 對(duì)比和重建的前提. 應(yīng)用圖像配準(zhǔn)技術(shù)可以監(jiān)測(cè)人體內(nèi)部器官和感興趣區(qū)域的運(yùn)動(dòng)軌跡，通過(guò)配準(zhǔn)心肌組織能夠跟蹤心臟的運(yùn)動(dòng)信息從而監(jiān)測(cè)心臟功能. 超聲心動(dòng)圖配準(zhǔn)的研究工作在近年取得了一定的進(jìn)展，大部分的研究主要基于傳統(tǒng)非剛性醫(yī)學(xué)圖像配準(zhǔn)方法. Zagrodsky等[1-2]提出基于互信息的超聲圖像配準(zhǔn)方法，實(shí)現(xiàn)了同一病人圖進(jìn)行融合. Woo等[4]在變分框架下，利用強(qiáng)度信息和局部相位信息進(jìn)行非剛性超聲圖像配準(zhǔn). Matinfar等[5]提出了基于模型的快速高精度分割，通過(guò)計(jì)算相應(yīng)控制點(diǎn)之間的薄板樣條(TPS)變換實(shí)現(xiàn)超聲圖像配準(zhǔn). Veene等[6]采用一種多分辨率非剛性配準(zhǔn)算法，運(yùn)用三維三階B樣條估計(jì)變形場(chǎng)實(shí)現(xiàn)在三維超聲圖像二尖瓣環(huán)跟蹤. 基于傳統(tǒng)非剛性醫(yī)學(xué)圖像配準(zhǔn)，由于特征點(diǎn)選取過(guò)程繁瑣，往往需要人工操作缺乏自動(dòng)性，對(duì)于每一對(duì)待配準(zhǔn)的圖像，傳統(tǒng)的配準(zhǔn)方法通常從零開(kāi)始迭代優(yōu)化代價(jià)函數(shù)，忽略了同一數(shù)據(jù)集圖像間共享的固有配準(zhǔn)模式，限制了配準(zhǔn)速度，同時(shí)由于參數(shù)的維數(shù)不是很高，參數(shù)化后的近似模型與原問(wèn)題之間差距較大，使配準(zhǔn)精度降低.

隨著深度學(xué)習(xí)的出現(xiàn)，近年來(lái)各種計(jì)算機(jī)視覺(jué)任務(wù)的算法性能有了顯著的進(jìn)步，基于深度學(xué)習(xí)的醫(yī)學(xué)圖像配準(zhǔn)算法也得到了迅猛的發(fā)展，由于其端到端的應(yīng)用方式，高精度的配準(zhǔn)成為目前圖像配準(zhǔn)領(lǐng)域的研究熱點(diǎn). 依據(jù)訓(xùn)練方法的不同，基于深度學(xué)習(xí)的醫(yī)學(xué)圖像配準(zhǔn)方法分為全監(jiān)督、 無(wú)監(jiān)督和弱監(jiān)督等3種模式. 全監(jiān)督配準(zhǔn)模型采用深度神經(jīng)網(wǎng)絡(luò)來(lái)估計(jì)兩幅(或一組)圖像配準(zhǔn)所需的空間變換參數(shù)，需要使用ground truth作為參數(shù)來(lái)指導(dǎo)學(xué)習(xí)過(guò)程，通常采用兩種方法來(lái)獲得，采用傳統(tǒng)的配準(zhǔn)方法進(jìn)行估計(jì)或使用已知真實(shí)變換的模擬圖像. 如Eppenhof等[7]通過(guò)B樣條的方式采樣得到密集形變場(chǎng)，并將該形變場(chǎng)作用于真實(shí)圖像，從而得到變形后的圖像. Cao等[8]通過(guò)醫(yī)學(xué)圖像配準(zhǔn)軟件ANTs對(duì)圖像預(yù)先進(jìn)行配準(zhǔn)，并將得到的形變場(chǎng)作為訓(xùn)練網(wǎng)絡(luò)的ground truth. 由于無(wú)監(jiān)督圖像配準(zhǔn)只需要對(duì)浮動(dòng)圖像和參考圖像進(jìn)行訓(xùn)練，預(yù)測(cè)變形場(chǎng)和變形運(yùn)動(dòng)圖像，因此成為目前醫(yī)學(xué)圖像配準(zhǔn)研究的熱點(diǎn). Balakrishnan等[9]提出VoxelMorph配準(zhǔn)模型，通過(guò)定義均方誤差(MSE)相似性測(cè)度和形變場(chǎng)平滑約束構(gòu)成的損失函數(shù)，優(yōu)化Unet網(wǎng)絡(luò)，實(shí)現(xiàn)核磁共振(MR)腦圖像無(wú)監(jiān)督配準(zhǔn). De-Vos等[10]通過(guò)無(wú)監(jiān)督的訓(xùn)練方式疊加訓(xùn)練幾個(gè)網(wǎng)絡(luò)完成仿射、 可形變的配準(zhǔn). Fu等[11]提出一個(gè)基于兩個(gè)空間變換網(wǎng)絡(luò)(spatial transformer network, STN)的LungRegNet，用于從粗到細(xì)的肺電子計(jì)算機(jī)斷層掃描(CT)圖像配準(zhǔn). 大多數(shù)弱監(jiān)督配準(zhǔn)網(wǎng)絡(luò)類(lèi)似于無(wú)監(jiān)督網(wǎng)絡(luò)，只是在訓(xùn)練過(guò)程中需要使用額外的信息，這些信息包括部分形變場(chǎng)信息，掩膜或標(biāo)簽信息. Chen等[12]提出使用語(yǔ)義信息(通過(guò)預(yù)先訓(xùn)練的分割網(wǎng)絡(luò)獲得的肺小葉和氣道掩膜)來(lái)指導(dǎo)配準(zhǔn)，設(shè)計(jì)一個(gè)兩階段的配準(zhǔn)網(wǎng)絡(luò)，第一階段在分割掩模上預(yù)測(cè)粗變形場(chǎng)，第二階段在血管結(jié)構(gòu)上預(yù)測(cè)細(xì)變形場(chǎng). Mansilla等[13]提出使用自動(dòng)編碼器從參考和扭曲浮動(dòng)掩膜中提取全局解剖特征，通過(guò)計(jì)算其平方歐幾里得距離作為額外的全局損失，以助于預(yù)測(cè)更加真實(shí)和準(zhǔn)確的結(jié)果.

以上基于深度學(xué)習(xí)的醫(yī)學(xué)圖像配準(zhǔn)研究主要集中在磁共振成像(MRI)、 CT單模態(tài)圖像配準(zhǔn)及CT-MRI、 MRI-TRUS、 CT-CBCT及2D-3D等多模態(tài)醫(yī)學(xué)圖像配準(zhǔn). 由于超聲圖像的公開(kāi)數(shù)據(jù)集很少，相應(yīng)的超聲圖像配準(zhǔn)的論文數(shù)量也很有限. 目前僅有兩個(gè)公開(kāi)的超聲圖像大腦數(shù)據(jù)集RESECT和BITE，只有一篇論文采用公開(kāi)可用的數(shù)據(jù)集實(shí)現(xiàn)單模超聲圖像配準(zhǔn)[14], 文獻(xiàn)[15]中在人工標(biāo)注的結(jié)構(gòu)上訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)神經(jīng)外科膠質(zhì)瘤切除中基于分割的超聲容積配準(zhǔn). 本研究在VoxelMorph配準(zhǔn)模型基礎(chǔ)上，將其應(yīng)用于心臟超聲序列圖像無(wú)監(jiān)督配準(zhǔn)，并引入通道注意力機(jī)制模塊對(duì)模型加以改進(jìn)，實(shí)驗(yàn)選取不同的相似性損失函數(shù)和平滑損失函數(shù)，通過(guò)數(shù)據(jù)分析該網(wǎng)絡(luò)有效提升了配準(zhǔn)精度.

1 配準(zhǔn)模型研究

1.1 配準(zhǔn)模型的結(jié)構(gòu)

由于心臟是在活體內(nèi)做非剛體運(yùn)動(dòng)的柔性組織，與腦圖像相比，心臟圖像中精確的標(biāo)記點(diǎn)較少，并且超聲圖像受到噪聲污染，存在斑點(diǎn)噪聲且灰度不均勻，對(duì)比度低等問(wèn)題，因此超聲心動(dòng)圖的配準(zhǔn)較其他器官如肝臟、 腦、 肺部等各臟器的MRI、 CT圖像的配準(zhǔn)要困難. VoxelMorph配準(zhǔn)模型不需要ground truth解剖標(biāo)志等監(jiān)督信息，并且具有較高的配準(zhǔn)精度及計(jì)算速度，故采用VoxelMorph作為配準(zhǔn)模型參考架構(gòu)，引入通道注意模塊負(fù)責(zé)注意力機(jī)制，構(gòu)建配準(zhǔn)模型應(yīng)用于超聲心動(dòng)圖像配準(zhǔn).

所采用的配準(zhǔn)網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，主要由注意力機(jī)制模塊、 Unet卷積神經(jīng)網(wǎng)絡(luò)模塊及空間轉(zhuǎn)換模塊(spatial transformer network, STN)[16]構(gòu)成. 輸入的浮動(dòng)圖像M和固定圖像F在通道的維度進(jìn)行拼接，經(jīng)過(guò)一個(gè)引入注意力機(jī)制模塊的卷積神經(jīng)網(wǎng)絡(luò)(Unet編碼器-解碼器網(wǎng)絡(luò))[17], 預(yù)測(cè)一個(gè)從浮動(dòng)圖像到固定圖像的配準(zhǔn)場(chǎng)(形變場(chǎng))，并使用空間轉(zhuǎn)換網(wǎng)絡(luò)得到配準(zhǔn)后的圖像.

圖1 配準(zhǔn)網(wǎng)絡(luò)結(jié)構(gòu)

1.2 通道注意力機(jī)制模塊

近年來(lái)，將通道注意力并入卷積塊中引起廣泛的關(guān)注[18-20]，具有代表性的是擠壓和激勵(lì)網(wǎng)絡(luò)(SENet)[21]，通過(guò)學(xué)習(xí)每個(gè)卷積塊的通道注意，從而為各種深層CNN架構(gòu)帶來(lái)明顯的性能提升. 如圖1所示, 在構(gòu)建Unet網(wǎng)絡(luò)中添加通道注意機(jī)制模塊，顯式校準(zhǔn)特征通道之間的相互依賴性. 注意機(jī)制模塊具體結(jié)構(gòu)如圖2，給定輸入特征圖X，注意機(jī)制模塊首先為每個(gè)通道獨(dú)立采用全局平均池化(GAP)，然后使用兩個(gè)全連接(FC)層及非線性Sigmoid函數(shù)來(lái)生成通道權(quán)重.

圖2 通道注意機(jī)制模塊

通過(guò)注意機(jī)制模塊獲取通道權(quán)重μ=[μ1,μ2, …,μc]，用于對(duì)輸入特征圖X進(jìn)行重構(gòu)，生成新的校準(zhǔn)特征圖X′，以上過(guò)程可以用公式表述為：

μ=Sigmoid(FC2(ReLU(FC1(GAP(X))))),X′=X·μ

(1)

1.3 構(gòu)造基于注意力機(jī)制的Unet網(wǎng)絡(luò)

Unet整體的流程采用編碼和解碼架構(gòu)，分為下采樣階段和上采樣階段，網(wǎng)絡(luò)結(jié)構(gòu)中包含卷積層和池化層，網(wǎng)絡(luò)中較淺的高分辨率層用來(lái)解決像素定位的問(wèn)題，較深的層用來(lái)解決像素分類(lèi)的問(wèn)題. 構(gòu)建的基于注意力機(jī)制的Unet結(jié)構(gòu)如圖1所示，輸入浮動(dòng)圖像和固定圖像首先通過(guò)左側(cè)編碼器模塊，包含有四個(gè)下采樣子模塊，模塊下方的數(shù)字表示其通道數(shù)，輸入圖像的分辨率是160 px×192 px. 首先將輸入的浮動(dòng)圖像和固定圖像在通道的維度進(jìn)行拼接. 在左側(cè)編碼階段，每個(gè)模塊運(yùn)用32個(gè)3×3的卷積核進(jìn)行特征提取，步長(zhǎng)為2(圖像尺寸減半)，每個(gè)卷積層后接激活函數(shù)LeakyReLU，因此第1～5個(gè)模塊的分辨率分別是160 px×192 px、 80 px×96 px、 40 px×48 px、 20 px×24 px和10 px×12 px. 右側(cè)解碼器包含四個(gè)子模塊，分辨率通過(guò)上采樣操作依次上升，直到與輸入圖像的分辨率一致. 使用跳躍連接，將編碼器中的各子模塊的輸出特征圖經(jīng)過(guò)通道注意力模塊得到的新的校準(zhǔn)特征圖, 并與具有相同分辨率上采樣特征圖結(jié)果進(jìn)行連接，從而將編碼階段學(xué)到的特征經(jīng)注意力機(jī)制模塊校準(zhǔn)后，直接傳播到生成配準(zhǔn)特征的解碼器模塊，作為解碼器中下一個(gè)子模塊的輸入. 解碼器輸出通過(guò)兩個(gè)卷積層輸出，得到浮動(dòng)圖像到固定圖像的形變場(chǎng)φ.

1.4 空間轉(zhuǎn)換網(wǎng)絡(luò)(STN)模塊

空間轉(zhuǎn)換網(wǎng)絡(luò)(STN)模塊可以插入到現(xiàn)有的卷積神經(jīng)架構(gòu)中，使神經(jīng)網(wǎng)絡(luò)能夠主動(dòng)地在空間上轉(zhuǎn)換特征映射，不需要對(duì)優(yōu)化過(guò)程進(jìn)行額外的訓(xùn)練監(jiān)督或修改. 因此，如圖1所示在Unet網(wǎng)絡(luò)中插入空間轉(zhuǎn)換網(wǎng)絡(luò)，將Unet網(wǎng)絡(luò)輸出形變場(chǎng)φ作用在浮動(dòng)圖像M上，以得到配準(zhǔn)輸出圖像M(φ)，并通過(guò)最小化M(φ)與F的差來(lái)學(xué)習(xí)最優(yōu)參數(shù)值.

2 構(gòu)造損失函數(shù)

VoxelMorph網(wǎng)絡(luò)無(wú)監(jiān)督訓(xùn)練策略的損失函數(shù)，主要通過(guò)基于圖像的灰度值來(lái)最大化圖像之間的匹配程度的目標(biāo)函數(shù). 損失函數(shù)包括相似性損失Lsim和平滑損失Lsmooth兩部分. 相似性損失用于衡量圖像之間相似性，而平滑損失作用是使產(chǎn)生的形變具有空間平滑性. 無(wú)監(jiān)督損失函數(shù)(λ為正則化參數(shù))可以表示為：

Lus(F,M,φ)=Lsim(F,M(φ))+λLsmooth(φ)

(2)

2.1 相似性損失函數(shù)Lsim

基于灰度的圖像相似度測(cè)度主要包括均方誤差、 交叉互相關(guān)、 互信息(MI)等. 互信息通常用于多模態(tài)的圖像，因此本研究主要采用均方誤差，交叉互相關(guān). 均方誤差在醫(yī)學(xué)圖像配準(zhǔn)中用于表示固定圖像F與變換后浮動(dòng)圖像M(φ)灰度值的平均方差期望，表示為：

(3)

其中：Ω為圖像的面積；φ為圖像變形場(chǎng).

互相關(guān)及其變體作為醫(yī)學(xué)圖像配準(zhǔn)的相似度測(cè)度假設(shè)待配準(zhǔn)圖像對(duì)應(yīng)結(jié)構(gòu)的灰度具有線性關(guān)系，適用于單模態(tài)醫(yī)學(xué)圖像之間的配準(zhǔn)，全局互相關(guān)對(duì)于細(xì)節(jié)的敏感度不如局部互相關(guān)，因此采用局部交叉互相關(guān)作為圖像配準(zhǔn)的損失函數(shù)，具體表示為：

(4)

由局部交叉互相關(guān)定義相似性損失函數(shù)Lsim為：Lsim=-CC(F,M(φ)).

2.2 平滑損失函數(shù)Lsmooth

在訓(xùn)練網(wǎng)絡(luò)過(guò)程中，由于最大化圖像的相似性測(cè)度往往導(dǎo)致產(chǎn)生不連續(xù)的變形場(chǎng)，因此通常要對(duì)預(yù)測(cè)的變形場(chǎng)施加空間平滑性的約束，采用變形場(chǎng)梯度的L2范數(shù)的平方作為變形場(chǎng)平滑損失函數(shù)，具體如下：

(5)

此外，還采用了一種彎曲能量懲罰[22]的正則化方法，通過(guò)計(jì)算變形場(chǎng)的二階梯度作為平滑約束項(xiàng)，使變形場(chǎng)局部變換的二階導(dǎo)數(shù)最小，從而產(chǎn)生局部仿射變換，進(jìn)而增強(qiáng)全局平滑，其公式如下：

(6)

3 實(shí)驗(yàn)與結(jié)果分析

實(shí)驗(yàn)硬件環(huán)境: Intel i5-8300H CPU，GTX1050Ti 顯卡； 軟件環(huán)境為 Windows10操作系統(tǒng)，Cuda9.0，Cudnn 7.3.1. 配準(zhǔn)模型的訓(xùn)練和驗(yàn)證均在深度學(xué)習(xí)算法框架Tensorflow1.13.0環(huán)境下完成.

3.1 實(shí)驗(yàn)數(shù)據(jù)及預(yù)處理

所采用的心臟B型超聲序列圖像包含55位病人的心臟超聲視頻，每一個(gè)視頻圖像的幀數(shù)近26幀約為一個(gè)心動(dòng)周期的視頻圖像. 由于B型超聲圖像的近區(qū)部分受換能器發(fā)射波形的振鈴影響形成盲區(qū)，遠(yuǎn)區(qū)超聲圖像信噪比較低，圖像質(zhì)量較差，因此實(shí)驗(yàn)中選取中部重要臨床診斷區(qū)域圖像用于配準(zhǔn)，每一幀圖像的大小為160 px×192 px. 并且由于超聲圖像存在斑點(diǎn)噪聲，實(shí)驗(yàn)采用中值濾波進(jìn)行圖像預(yù)處理.

3.2 參數(shù)設(shè)置及評(píng)價(jià)指標(biāo)

實(shí)驗(yàn)配準(zhǔn)模型采用Adam優(yōu)化算法，損失函數(shù)相似性損失Lsim和平滑損失Lsmooth項(xiàng)權(quán)重比為10∶0.1，設(shè)置初始學(xué)習(xí)率為0.003，batch-size設(shè)置為2，訓(xùn)練輪次為1 000次.

采用的配準(zhǔn)性能評(píng)價(jià)指標(biāo)： 戴斯相似系數(shù)(DICE), 用于評(píng)估兩圖像間對(duì)應(yīng)區(qū)域的重疊率； 互信息(MI)基于信息論和聯(lián)合熵度量?jī)蓤D像間統(tǒng)計(jì)相關(guān)性，MI的度量值越大，兩圖像間的灰度分布越相似； 結(jié)構(gòu)相似性(SSIM), 其取值范圍是[0, 1]，值越大表示配準(zhǔn)結(jié)果越準(zhǔn)確； 歸一化均方根誤差(NRMSE)，取值范圍是[0, 1]，用于衡量配準(zhǔn)輸出圖像和固定圖像之間的差異，NRMSE越小表示配準(zhǔn)效果越好. 評(píng)價(jià)指標(biāo)表達(dá)式分別為：

(7)

MI(M(φ),F)=H(M(φ))+H(F)-H(M(φ),F)

(8)

(9)

(10)

式(7)中，對(duì)固定圖像F與配準(zhǔn)輸出圖像M(φ)各自以其圖像灰度均值為閾值進(jìn)行二值化處理后計(jì)算其DICE值; 式(8)中,H(M(φ))及H(F)表示配準(zhǔn)輸出圖像與固定圖像的香農(nóng)熵，H(M(φ),F)表示兩幅圖像的聯(lián)合熵; 式(9)中，μM(φ)及μF分別表示兩幅圖像的均值，σM(φ)、σF分別表示圖像的標(biāo)準(zhǔn)差，σM(φ)F表示兩幅圖像的協(xié)方差; 式(10)中，RMSE為均方根誤差，所采用的NRMSE即是對(duì)RMSE進(jìn)行歸一化處理.

3.3 配準(zhǔn)模型的實(shí)驗(yàn)驗(yàn)證

實(shí)驗(yàn)通過(guò)提取任一超聲視頻的26幀心臟超聲序列圖像，結(jié)合超聲心動(dòng)圖像運(yùn)動(dòng)周期性，對(duì)前20幀進(jìn)行訓(xùn)練，后6幀作為配準(zhǔn)測(cè)試，訓(xùn)練及測(cè)試過(guò)程中選取第N幀作為浮動(dòng)圖像M，第N+1幀作為固定圖像(參考圖像)F, 測(cè)試配準(zhǔn)結(jié)果如圖3所示.

圖3 心臟超聲序列圖像配準(zhǔn)結(jié)果

由上圖所示，第一組圖像中局部變形較大，存在局部配準(zhǔn)損失，其余四組圖像配準(zhǔn)效果較好，在實(shí)際應(yīng)用中可以提高幀率來(lái)減少相鄰幀局部大變形. 采用本研究配準(zhǔn)模型，實(shí)驗(yàn)中訓(xùn)練1 000輪次所耗費(fèi)的時(shí)間約為200 s左右，在配準(zhǔn)測(cè)試中每一幀的平均配準(zhǔn)時(shí)間約為8 ms，據(jù)市場(chǎng)調(diào)查，目前大多數(shù)的中高檔次B型超聲設(shè)備二維成像幀率在50 F·s-1以下，每幀的成像時(shí)間大于20 ms，因此該配準(zhǔn)速度基本能夠滿足超聲序列圖像配準(zhǔn)的實(shí)時(shí)性需求，通過(guò)配準(zhǔn)可以得到相鄰幀心肌組織運(yùn)動(dòng)變形場(chǎng)，從而構(gòu)建運(yùn)動(dòng)模型對(duì)心臟室壁運(yùn)動(dòng)功能分析.

3.4 模型有效性比較實(shí)驗(yàn)

為了驗(yàn)證模型的有效性，實(shí)驗(yàn)分別對(duì)配準(zhǔn)前、 采用最優(yōu)非線性算法SyN運(yùn)用ANTs配準(zhǔn)、 VoxelMorph配準(zhǔn)網(wǎng)絡(luò)和本研究配準(zhǔn)模型的配準(zhǔn)結(jié)果，采用MSE+Grad作為損失函數(shù)，計(jì)算相關(guān)4組圖像的平均配準(zhǔn)性能評(píng)價(jià)指標(biāo)，實(shí)驗(yàn)結(jié)果如圖4所示。從圖中可見(jiàn)，本研究基于注意力機(jī)制的配準(zhǔn)模型的DICE、 MI、 SSIM、 NRMSE等性能指標(biāo)均優(yōu)于其他的配準(zhǔn)方法.

圖4 不同網(wǎng)絡(luò)模型的心臟超聲圖像配準(zhǔn)指標(biāo)

3.5 配準(zhǔn)模型的消融實(shí)驗(yàn)

所采用的配準(zhǔn)模型，主要工作在于VoxelMorph配準(zhǔn)網(wǎng)絡(luò)模型的基礎(chǔ)上引入通道注意力機(jī)制模塊，采用不同的損失函數(shù)實(shí)現(xiàn)超聲心動(dòng)圖像的配準(zhǔn). 為了驗(yàn)證通道注意力機(jī)制模塊的有效性，基于兩種配準(zhǔn)模型，引入通道注意力機(jī)制及未添加注意力機(jī)制模塊的VoxelMorph配準(zhǔn)網(wǎng)絡(luò)模型，選取不同的相似性損失函數(shù)和平滑損失函數(shù)進(jìn)行消融實(shí)驗(yàn). 實(shí)驗(yàn)基于兩種配準(zhǔn)模型，分別選取了均方誤差(MSE)、 局部交叉互相關(guān)(NCC)作為相似性損失函數(shù)Lsim，選取公式(5)的Grad、 公式(6)的Bend，以及二者相加的Bend_Grad作為平滑損失函數(shù)Lsmooth. 比較相關(guān)5組圖像的平均配準(zhǔn)性能評(píng)價(jià)指標(biāo)，結(jié)果如表1所示.

表1 消融實(shí)驗(yàn)結(jié)果

基于表1的數(shù)據(jù)分析，可以看出引入注意力機(jī)制的本研究配準(zhǔn)模型的性能指標(biāo)相對(duì)于VoxelMorph配準(zhǔn)模型均有一定程度的提升，采用相似性損失函數(shù)MSE要優(yōu)于NCC，平滑損失函數(shù)Grad優(yōu)于Bend及Bend_Grad. 采用MSE+Grad作為損失函數(shù)，本研究的配準(zhǔn)模型相比VoxelMorph配準(zhǔn)網(wǎng)絡(luò)模型，DICE指標(biāo)提升了0.42%，MI指標(biāo)提升了2.5%，SSIM提升了3.7%，NRMSE減小了9%，表明了其配準(zhǔn)模型的有效性.

4 結(jié)語(yǔ)

通過(guò)引入通道注意力機(jī)制，構(gòu)建由注意力機(jī)制模塊、 Unet卷積神經(jīng)網(wǎng)絡(luò)模塊及空間轉(zhuǎn)換模塊STN構(gòu)成的配準(zhǔn)模型，將其應(yīng)用于心臟超聲序列圖像配準(zhǔn). 實(shí)驗(yàn)選取不同的相似性損失函數(shù)和平滑損失函數(shù)，對(duì)比VoxelMorph配準(zhǔn)模型與本研究配準(zhǔn)模型，其相關(guān)配準(zhǔn)性能指標(biāo)DICE、 MI、 SSIM、 NRMSE都得到了不同程度的提升. 從配準(zhǔn)效果及配準(zhǔn)時(shí)間分析上看，本研究配準(zhǔn)模型基本可以滿足心臟超聲序列圖像配準(zhǔn)的實(shí)時(shí)性的需求，通過(guò)配準(zhǔn)可以得到相鄰幀心肌組織運(yùn)動(dòng)變形場(chǎng)，從而構(gòu)建心肌組織運(yùn)動(dòng)學(xué)模型. 由于實(shí)驗(yàn)所采用的數(shù)據(jù)集的超聲視頻圖像幀數(shù)及實(shí)驗(yàn)硬件設(shè)備條件有限，改善實(shí)驗(yàn)硬件設(shè)備配準(zhǔn)及增加數(shù)據(jù)集視頻圖像的幀數(shù)及幀率，有利于提升配準(zhǔn)的性能指標(biāo)，減少配準(zhǔn)時(shí)間，提升臨床應(yīng)用價(jià)值.