周濤，劉珊，董雅麗，白靜，陸惠玲

1.北方民族大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，銀川 750021；2.北方民族大學(xué)圖像圖形智能處理國(guó)家民委重點(diǎn)實(shí)驗(yàn)室，銀川 750021；3.寧夏醫(yī)科大學(xué)理學(xué)院，銀川 750004

0 引 言

肺癌是造成全球死亡人數(shù)最多的癌癥(Sung等，2021)。隨著精準(zhǔn)醫(yī)療技術(shù)的發(fā)展，正電子發(fā)射斷層掃描(positron emission tomography，PET)和計(jì)算機(jī)斷層掃描(computed tomography，CT)已成為檢測(cè)肺部腫瘤的主要工具。CT影像有較高的空間分辨率，對(duì)骨組織顯像清晰(Li等，2021)，但對(duì)病變部位顯像效果較差(Khan等，2020)，尤其不能清楚地顯示浸潤(rùn)性腫瘤信息(Zhang等，2020)。PET影像對(duì)軟組織顯像清晰，但對(duì)骨組織顯像較差(Polinati和Dhuli，2020)。CT和PET影像融合技術(shù)能夠綜合病灶和組織器官的解剖學(xué)和功能信息，幫助醫(yī)生對(duì)肺部腫瘤進(jìn)行更準(zhǔn)確的定位和定性診斷。因此，PET/CT圖像融合技術(shù)在臨床上具有重要意義。

周濤等人(2021)對(duì)經(jīng)典像素級(jí)圖像融合算法和框架進(jìn)行綜述。Zhang和Blum(1999)提出經(jīng)典像素級(jí)圖像融合框架。在此基礎(chǔ)上，Piella(2003)對(duì)框架進(jìn)行完善，將融合過(guò)程概括為圖像分解和融合規(guī)則，使融合過(guò)程更加系統(tǒng)和規(guī)范。在圖像分解方面，常用的有雙樹復(fù)小波變換(魏興瑜，2015)和NSCT(non-subsampled contourlet transform)(da Cunha等，2006)等。NSCT將原圖像分解為不同方向的高頻子帶，具有平移不變性和多方向性。Zhu等人(2019)在NSCT變換的基礎(chǔ)上，使用相位一致高頻融合規(guī)則，有效地增強(qiáng)圖像細(xì)節(jié)特征。Li和Wu(2018)采用低秩表示(low-rank representation, LRR)方法，有效地提取原圖像的全局和局部結(jié)構(gòu)，但對(duì)噪聲敏感。對(duì)此，Li和Wu(2022)提出潛在低秩表示(latent low-rank representation，LatLRR)方法，有效地將噪聲部分與顯著部分分離。

Piella(2003)將融合規(guī)則分為匹配測(cè)度、活性測(cè)度、決策模塊和合成模塊。在Piella框架的指導(dǎo)下，Polinati和Dhuli(2020)使用平均融合規(guī)則作為活性測(cè)度，該方法有效地平滑圖像特征，但會(huì)降低圖像對(duì)比度。Liu等人(2018)采用NSML(new sum of modified Laplacian)為活性測(cè)度，實(shí)驗(yàn)表明該方法比絕對(duì)值最大融合規(guī)則保留了更多的細(xì)節(jié)信息。由于圖像信號(hào)是高度結(jié)構(gòu)化的，人眼視覺系統(tǒng)能夠自適應(yīng)地提取圖像背景中的結(jié)構(gòu)信息，為了對(duì)圖像結(jié)構(gòu)失真程度的度量能夠更符合人眼視覺效果，Wang等人(2004)提出結(jié)構(gòu)相似性度量(structural similarity index measure，SSIM)，從亮度、對(duì)比度和結(jié)構(gòu)3個(gè)方面度量圖像相似性。劉卷舒和蔣偉(2018)采用基于SSIM建立的Piella指標(biāo)作為適應(yīng)度函數(shù)，通過(guò)蛙跳算法對(duì)一系列的超參數(shù)進(jìn)行尋優(yōu)，尋優(yōu)得到的超參數(shù)參與融合操作，得到的融合圖像效果較好。

因此，為了改善融合圖像同時(shí)提取圖像的細(xì)節(jié)信息和能量信息不理想問題，本文提出并行分解PET/CT醫(yī)學(xué)圖像融合方法，LatLRR具有提取顯著特征的細(xì)節(jié)信息的能力，NSCT變換具有多方向細(xì)節(jié)信息的能力，所以本文對(duì)肺部腫瘤的跨模態(tài)醫(yī)學(xué)圖像使用NSCT變換分解來(lái)提取疾病的多方向細(xì)節(jié)信息，同時(shí)使用LatLRR變換提取原圖像的顯著特征的細(xì)節(jié)信息，最后將兩個(gè)分支的信息進(jìn)行融合，實(shí)現(xiàn)顯著特征和多方向細(xì)節(jié)信息的互補(bǔ)。在融合規(guī)則上，使用模糊邏輯融合規(guī)則融合低頻子帶，能夠有效解決圖像中存在的模糊問題；采用基于Piella框架的高頻子帶融合規(guī)則，引入用SSIM作為活性測(cè)度，使融合圖像更符合人類視覺系統(tǒng)的感知特性。

1 相關(guān)技術(shù)

1.1 NSCT變換

圖1 NSCT分解示意圖

1.2 LatLRR方法

Liu和Yan(2011)提出LatLRR方法，針對(duì)LRR得到的圖像包含過(guò)多噪聲數(shù)據(jù)，無(wú)法有效提取圖像特征值的問題，LatLRR方法將輸入的圖像分解為低秩部分、顯著部分和噪聲部分。噪聲部分在低秩的約束條件下被去除，其表達(dá)式為

X=ZX+LX+E

(1)

式中，X是輸入圖像，Z是低秩系數(shù)，L是顯著性系數(shù)；ZX和LX分別表示低秩部分和顯著部分；E表示稀疏噪聲。LatLRR問題再次進(jìn)行最優(yōu)化求解，其最終表達(dá)式為

s.t.X=ZX+LX+E

(2)

2 并行分解自適應(yīng)融合模型

Piella框架下的并行分解圖像自適應(yīng)融合模型的主要步驟如下：

1)[La,Ha]=NSCTdec(A)；[Lb,Hb]=NSCTdec(B)。圖像A和B是已配準(zhǔn)的CT和PET圖像，NSCTdec()是NSCT變換。La和Lb分別是圖像A和B經(jīng)過(guò)NSCT變換后得到的低頻子帶，Ha={Hai(x,y)|i=1,2,…,8}和Hb={Hbi(x,y)|i=1,2,…,8}分別是圖像A和B經(jīng)過(guò)NSCT變換后得到的8個(gè)高頻子帶。

2)[Lrra,Sa,Ea]=LatLRR(A)；[Lrrb,Sb,Eb]=LatLRR(B)。LatLRR()是LatLRR分解。Lrra，Sa，Ea和Lrrb，Sb和Eb分別是圖像A和B經(jīng)過(guò)LatLRR分解后得到的低秩部分、顯著部分和噪聲部分。

3)FL=FLA(La,Lb)。FLA()函數(shù)是基于模糊邏輯自適應(yīng)的低頻子帶融合規(guī)則(fuzzy logic adaptive fusion rules，F(xiàn)LA)，F(xiàn)L是低頻子帶融合圖像。

4)FH=Piella(Ha,Hb)；Mab=Match(Ha,Hb)；αa=Active(Ha)；αb=Active(Hb)。

計(jì)算高頻子帶融合圖像

FH=d×Ha+(1-d)×Hb

Piella()函數(shù)是基于Piella框架的高頻子帶融合規(guī)則，Match()函數(shù)是計(jì)算匹配測(cè)度的方法，Mab是兩幅高頻子帶之間的相似值，Active()是計(jì)算活性測(cè)度的函數(shù)，αa和αb是兩幅圖像A和B經(jīng)過(guò)Active函數(shù)計(jì)算得到的圖像相異度，d是決策因子，F(xiàn)H是Piella函數(shù)的返回值，表示高頻子帶的融合圖像。

算法融合框架如圖2所示。

圖2 并行分解圖像自適應(yīng)融合模型

2.1 低頻融合規(guī)則

低頻子帶融合規(guī)則的設(shè)計(jì)從4個(gè)方面考慮。1)在圖像融合過(guò)程中，圖像融合過(guò)程是灰度值多對(duì)一的映射過(guò)程，在映射過(guò)程中存在不確定性；2)在成像過(guò)程中，由于PET和CT影像成像過(guò)程的復(fù)雜性，以及在成像過(guò)程中由于人體呼吸、血液流動(dòng)和器官組織間相互重疊等無(wú)法避免的因素，導(dǎo)致圖像存在混淆輪廓特征的噪聲，使圖像的模糊性被放大；3)在圖像分解方法方面，原圖像經(jīng)過(guò)NSCT分解后，低頻子帶保留原圖像的輪廓、背景等主要能量信息，映射的不確定關(guān)系也被保留，需要設(shè)計(jì)合理的融合規(guī)則對(duì)映射關(guān)系進(jìn)行處理(蔡懷宇 等，2018)；4)基于模糊集理論的融合規(guī)則將整幅圖像用模糊矩陣表示，通過(guò)一定的算法對(duì)模糊矩陣進(jìn)行求解，能夠有效解決圖像融合過(guò)程中的模糊問題。高斯隸屬度函數(shù)能夠有效地描述低頻子帶包含的模糊信息(王艷 等，2019)。因此，使用高斯隸屬度函數(shù)作為低頻子帶的自適應(yīng)加權(quán)系數(shù)，采用基于模糊邏輯的自適應(yīng)加權(quán)融合規(guī)則，計(jì)算式為

FL(i,j)=FLA(La,Lb)=

(3)

式中，F(xiàn)L(i,j)為低頻子帶融合圖像；FLA(La,Lb)為基于模糊邏輯的自適應(yīng)加權(quán)融合規(guī)則；La(i,j)和Lb(i,j)分別為圖像A和B的低頻圖像；ωa(i,j),ωb(i,j)分別為L(zhǎng)a(i,j)和Lb(i,j)在(i,j)的高斯隸屬度，ωb(i,j)的計(jì)算與ωa(i,j)相同，ωa(i,j)的計(jì)算式為

(4)

式中，μa為圖像A的均值，σa為圖像A的方差，k是高斯函數(shù)參數(shù)，參考范圍為[1, 2.5]，一般取值為k=1.2；均值μb與μa的計(jì)算相同，方差σa與σb的計(jì)算相同，μa和σa的計(jì)算式為

(5)

(6)

式中，低頻子帶尺寸經(jīng)過(guò)NSCT分解后和原圖像相同，為M×N。

2.2 高頻融合規(guī)則

高頻子帶的融合規(guī)則從3個(gè)方面考慮。1)考慮到高頻子帶自身的特點(diǎn)，原圖像經(jīng)過(guò)NSCT分解后，得到的8個(gè)高頻子帶包含原圖像的組織器官的輪廓、邊緣細(xì)節(jié)特征，具有多方向性和結(jié)構(gòu)相似性，系數(shù)間存在較強(qiáng)的相關(guān)性；2)SSIM是衡量?jī)煞鶊D像相似性的指標(biāo)，能夠較好地反映高頻子帶系數(shù)之間的相關(guān)性，因此，采用平均結(jié)構(gòu)相似性指標(biāo)衡量?jī)煞哳l子帶之間的系數(shù)相關(guān)性；3)肺部腫瘤的病變區(qū)域范圍一般不超過(guò)100個(gè)像素點(diǎn)，所以采用基于區(qū)域的融合規(guī)則可以使病變區(qū)域的特性表現(xiàn)的更完整，區(qū)域方差能夠表示局部區(qū)域的灰度值變化程度，方差越大，反映圖像的細(xì)節(jié)信息就越豐富。因此，選取區(qū)域方差作為計(jì)算圖像活性測(cè)度的依據(jù)。

高頻子帶融合規(guī)則設(shè)計(jì)具體為

FH=Piella(Ha,Hb)

(7)

式中，Piella()函數(shù)指基于Piella框架的融合規(guī)則。融合過(guò)程包含4個(gè)模塊，分別為：Match模塊(即計(jì)算兩幅圖像匹配測(cè)度的函數(shù))、Active模塊(即計(jì)算圖像活性測(cè)度的函數(shù))、決策模塊和合成模塊。

1)Match模塊。本文使用平均結(jié)構(gòu)相似性指標(biāo)度量圖像A和B高頻系數(shù)之間的相似度Mab。首先利用滑動(dòng)窗口將圖像分塊，考慮到窗口形狀對(duì)分塊的影響，簡(jiǎn)單的加窗會(huì)使映射矩陣出現(xiàn)不良的“分塊”效應(yīng)，因此使用高斯加權(quán)計(jì)算每一個(gè)窗口的均值、方差和協(xié)方差。考慮到PET圖像的病灶約在100個(gè)像素以內(nèi)，將滑動(dòng)窗口大小設(shè)置為11 × 11，并逐像素遍歷整幅圖像，得到由局部SSIM組成的映射矩陣SSIMj(Ia,Ib)，最后對(duì)映射矩陣的所有局部SSIM指數(shù)取平均值。

設(shè)A和B圖像分成M個(gè)圖像塊Ia,Ib，對(duì)M個(gè)圖像塊Ia,Ib的所有SSIMj(Ia,Ib)(j=1,2,…,M)求平均值，記為Mab。計(jì)算式為

(8)

式中，Hai和Hbi分別為圖像A和B的第i個(gè)高頻子帶，Ia和Ib分別為圖像A和B的圖像塊。SSIMj(Ia,Ib)(j=1,2,…,M)是局部SSIM組成的映射矩陣，圖像塊的SSIM值分別從亮度、對(duì)比度和結(jié)構(gòu)相似性3個(gè)部分計(jì)算得到，計(jì)算式為

SSIM(Ia,Ib)=

[l(Ia,Ib)]α×[c(Ia,Ib)]β×[s(Ia,Ib)]γ

(9)

式中，α>0，β>0，γ>0是調(diào)整亮度、對(duì)比度和結(jié)構(gòu)度所占權(quán)重的重要參數(shù)。設(shè)α=β=γ=1，Ia,Ib為Hai和Hbi相同位置提取的窗口大小為11 × 11的圖像塊，l(Ia,Ib)為Ia,Ib圖像塊的亮度相似性函數(shù)，c(Ia,Ib)為對(duì)比度相似性函數(shù)，s(Ia,Ib)為結(jié)構(gòu)相似性函數(shù)，分別定義為

(10)

(11)

(12)

式中，C1，C2，C3為維持公式穩(wěn)定的變量。設(shè)定C1=(K1×L)2，C2=(K2×L)2，C3=C2/2，K1=0.01，K2=0.03，L= 255。μIa，μIb，σIa，σIb，cov(Ia,Ib)分別為圖像塊Ia,Ib的均值、標(biāo)準(zhǔn)差和協(xié)方差。其中，μIa與μIb計(jì)算相同，σIa與σIb計(jì)算相同。μIa，σIa，cov(Ia,Ib)分別定義為

(13)

σIa=

(14)

cov(Ia,Ib)=

(Ib(x,y)-μIb)

(15)

式中，ω(x,y)(x,y=1,2,…,N)為11×11的高斯加權(quán)函數(shù)，標(biāo)準(zhǔn)差為1.5，N=11。

2)Active模塊。圖像相異度計(jì)算式為

αa=Active(Ha)

(16)

αb=Active(Hb)

(17)

經(jīng)過(guò)NSCT分解得到的高頻子帶包含圖像的邊緣等細(xì)節(jié)信息，各個(gè)方向的高頻子帶系數(shù)間具有很強(qiáng)的區(qū)域相關(guān)性。因此，選取區(qū)域方差作為計(jì)算圖像活性測(cè)度的依據(jù)，以更好地保留圖像的清晰度。區(qū)域方差VARai與VARbi計(jì)算相同。VARai計(jì)算式為

(18)

式中，區(qū)域窗口尺寸設(shè)為3×3，μbi和μai為圖像A和B高頻子帶Hai和Hbi的均值，μbi與μai計(jì)算相同。μai的計(jì)算式為

(19)

3)決策模塊。使用匹配測(cè)度和活性測(cè)度共同構(gòu)造決策模塊，通過(guò)計(jì)算得到?jīng)Q策因子d對(duì)高頻子帶進(jìn)行融合。決策因子d的計(jì)算式為

d=

(20)

設(shè)置閾值T= 0.5。當(dāng)Mab

4)合成模塊。

FHi(x,y)=d×Hai(x,y)+

(1-d)×Hbi(x,y)

(21)

式中，d為決策因子，對(duì)各個(gè)高頻子帶按照決策模塊進(jìn)行融合，即合成模塊。

3 實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)硬件環(huán)境為Intel(R)Core(TM)i7-9700CPU@3.00 GHz，64位Windows10操作系統(tǒng)；軟件環(huán)境為MATLAB R2020a。

實(shí)驗(yàn)數(shù)據(jù)為某三甲醫(yī)院的10例已配準(zhǔn)的肺部腫瘤PET和CT影像，圖像大小為365 × 365像素。

為驗(yàn)證本文方法的有效性進(jìn)行了兩組實(shí)驗(yàn)。實(shí)驗(yàn)1為5例CT肺窗和PET影像；實(shí)驗(yàn)2為5例CT縱膈窗和PET影像。對(duì)比實(shí)驗(yàn)選擇4種像素級(jí)圖像融合方法。方法1為NSCT-SSIM，用于證明LatLRR并行分解的有效性，分解方法為NSCT變換，高低頻子帶融合規(guī)則為本文方法一致；方法2為NSCT-CS(王惠群 等，2016)，使用NSCT變換，低頻子帶系數(shù)使用高斯加權(quán)平均融合規(guī)則，高頻子帶系數(shù)使用基于壓縮感知(compression perception，CS)的融合規(guī)則；方法3為NSCT-CS-PCNN(陸惠玲 等，2017)，使用NSCT變換，低頻子帶系數(shù)使用PCNN融合規(guī)則，高頻子帶系數(shù)使用基于CS融合規(guī)則；方法4為L(zhǎng)atLRR(Li和Wu，2022)，使用LatLRR變換，低頻子帶系數(shù)使用平均值融合規(guī)則，高頻子帶系數(shù)使用區(qū)域能量融合規(guī)則。

選用6種客觀評(píng)價(jià)指標(biāo)對(duì)融合圖像質(zhì)量進(jìn)行評(píng)價(jià)，分別是：

1)平均梯度(average gradient，AG)(敬忠良 等，2007)，反映融合圖像細(xì)節(jié)信息變化，平均梯度越大，圖像細(xì)節(jié)越多，圖像清晰度越高；

2)邊緣強(qiáng)度(edge intensity，EI)(Zhu等，2016)，邊緣強(qiáng)度越大，融合圖像質(zhì)量越高；

3)信息熵(information entropy，IE)(敬忠良 等，2007)，反映圖像信息量，信息熵越大，融合圖像的細(xì)節(jié)信息越多；

4)空間頻率(spatial frequency，SF)(敬忠良 等，2007))，反映圖像的整體清晰度；

5)標(biāo)準(zhǔn)差(standard deviation，STD)(敬忠良 等，2007)，衡量信息的豐富程度，標(biāo)準(zhǔn)差越大，圖像的灰度級(jí)分布越分散，圖像的信息量越多；

6種評(píng)價(jià)指標(biāo)均是值越大，融合質(zhì)量越好。

3.1 實(shí)驗(yàn)1：PET/CT肺窗

實(shí)驗(yàn)1為5組PET影像和CT肺窗影像的融合，結(jié)果如圖3所示。

從圖3可以看出，在肺部支氣管清晰度顯示方面，與4組對(duì)比實(shí)驗(yàn)相比，本文算法的融合結(jié)果更清晰地區(qū)分了支氣管與周圍軟組織之間的位置關(guān)系，支氣管區(qū)域的邊緣效果表現(xiàn)更好。在病變區(qū)域顯示方面，方法4的融合圖像中的病變區(qū)域?qū)Ρ榷容^低，邊緣模糊，對(duì)代謝信息顯示效果較差，方法1、方法2、方法3和本文方法生成的融合圖像能更清楚地顯示病變區(qū)域的生理代謝信息，但方法3生成的融合圖像偽影變多，病灶區(qū)域的陰影區(qū)域變大，對(duì)醫(yī)生誤診帶來(lái)一定隱患。實(shí)驗(yàn)結(jié)果表明，本文算法的融合性能較好。實(shí)驗(yàn)1融合圖像指標(biāo)評(píng)價(jià)結(jié)果如表1所示。

表1 PET/CT肺窗融合圖像指標(biāo)評(píng)價(jià)結(jié)果

圖3 PET/CT肺窗融合結(jié)果

圖4是PET/CT肺窗融合圖像評(píng)價(jià)指標(biāo)柱狀圖?？梢钥闯觯贏G、EI、SF、Qabf中，本文方法的融合圖像優(yōu)于其他4組對(duì)比實(shí)驗(yàn)，但在IE和STD數(shù)值中低于方法3，因?yàn)榉椒?提高了融合圖像的對(duì)比度，從而保證IE和STD數(shù)值大，但方法3提高對(duì)比度時(shí)，圖像中偽影變多，帶來(lái)一定的誤診隱患。本文方法在增大對(duì)比度的情況下，有效避免了圖像中偽影變多和病灶區(qū)域的陰影區(qū)域變大問題。雖然本文方法在這兩個(gè)指標(biāo)中的優(yōu)勢(shì)較弱，但在其他4種評(píng)價(jià)指標(biāo)上取得了較好的結(jié)果。

圖4 PET/CT肺窗融合圖像評(píng)價(jià)指標(biāo)柱狀圖

圖5是可視化顯示結(jié)果，是第3組圖像的評(píng)價(jià)指標(biāo)雷達(dá)圖?？梢钥闯?，在AG、EI、SF、Qabf等客觀評(píng)價(jià)指標(biāo)中，本文方法生成的融合圖像明顯好于4組對(duì)比實(shí)驗(yàn)方法。

圖5 第3組圖像評(píng)價(jià)指標(biāo)雷達(dá)圖

3.2 實(shí)驗(yàn)2: PET/CT縱膈窗

實(shí)驗(yàn)2為5組CT縱膈窗和PET影像融合，融合結(jié)果如圖6所示。

從圖6可以看出，在骨骼、器官軟組織清晰度顯示方面，本文方法和方法3生成的融合圖像中的骨骼、器官的輪廓信息的對(duì)比度更高。在病變區(qū)域顯示方面，本文方法、方法1和方法2生成的融合圖像更好地保留了PET影像中腫瘤病變區(qū)域的生理代謝信息。與方法1和方法2相比，本文方法對(duì)病變區(qū)域的定位線的顯示有更好的效果。實(shí)驗(yàn)結(jié)果表明，本文方法能夠較好地融合PET影像中的病灶信息和CT影像中的縱膈等組織、骨骼的輪廓細(xì)節(jié)信息。實(shí)驗(yàn)2融合圖像指標(biāo)評(píng)價(jià)結(jié)果如表2所示。

圖6 PET/CT縱膈窗圖像融合結(jié)果

圖7是 PET/CT縱膈窗融合圖像評(píng)價(jià)指標(biāo)柱狀圖。從表2和圖7可以看出，本文方法與4組對(duì)比實(shí)驗(yàn)生成的融合圖像相比，在平均梯度、邊緣強(qiáng)度、信息熵、空間頻率和邊緣保持度方面均有較大提升。方法3在標(biāo)準(zhǔn)差指標(biāo)上(圖7(e))更占優(yōu)勢(shì)，但在視覺效果上，方法3不能反映病變區(qū)域的位置。實(shí)驗(yàn)結(jié)果表明，本文方法生成的融合圖像具有優(yōu)勢(shì)。

圖7 PET/CT縱膈窗融合圖像評(píng)價(jià)指標(biāo)柱狀圖

表2 PET/CT縱膈窗融合圖像指標(biāo)評(píng)價(jià)結(jié)果

圖8是第1組圖像的評(píng)價(jià)指標(biāo)雷達(dá)圖。可以看出，相比4組對(duì)比實(shí)驗(yàn)，本文方法生成的融合圖像在AG、EI、IE、SF和Qabf等客觀評(píng)價(jià)指標(biāo)中更占優(yōu)勢(shì)。

圖8 第1組圖像評(píng)價(jià)指標(biāo)雷達(dá)圖

4 結(jié) 論

針對(duì)CT圖像對(duì)病灶的成像效果較差，尤其是浸潤(rùn)性腫瘤信息無(wú)法清晰顯示，以及PET的骨組織的成像效果較差，傳統(tǒng)像素級(jí)圖像融合技術(shù)對(duì)PET/CT的融合圖像不能較好地突出病灶區(qū)域信息，存在對(duì)比度低、邊緣細(xì)節(jié)信息不能較好保留等問題，本文在Piella框架基礎(chǔ)上，提出并行分解圖像自適應(yīng)融合模型，用于肺部腫瘤多模態(tài)圖像融合。對(duì)已配準(zhǔn)的CT和PET影像進(jìn)行并行NSCT變換和LatLRR分解，經(jīng)過(guò)NSCT變換后得到低頻和高頻子帶，考慮到不同頻率子帶的特性以及圖像自身的特點(diǎn)，低頻子帶使用自適應(yīng)模糊邏輯融合規(guī)則，突出顯示病灶的代謝信息；高頻子帶使用基于Piella框架的融合規(guī)則，保留原圖像的邊緣細(xì)節(jié)信息；對(duì)經(jīng)過(guò)NSCT逆變換得到的融合圖像與經(jīng)過(guò)LatLRR分解得到的顯著圖相加，同時(shí)保留圖像邊緣細(xì)節(jié)信息和整體對(duì)比度，得到最終的融合圖像。通過(guò)5組CT肺窗/PET和5組CT縱膈窗/PET的融合實(shí)驗(yàn)表明，與對(duì)比實(shí)驗(yàn)相比，本文方法生成的融合圖像細(xì)節(jié)更清晰，視覺效果更好，在客觀評(píng)價(jià)指標(biāo)中取得較好的結(jié)果，有助于醫(yī)生更快速、更精準(zhǔn)地進(jìn)行診療。

影像數(shù)據(jù)獲取較難，本文方法僅在一個(gè)數(shù)據(jù)集上進(jìn)行測(cè)試，未對(duì)其他尺寸的影像進(jìn)行檢測(cè)，因此，本文方法的普適性具有很大的提升潛力。此外，本文方法使用了并行分解方法，雖然提高了圖像融合質(zhì)量，但在運(yùn)行中占用了較多的時(shí)間和內(nèi)存，未來(lái)將研究時(shí)間復(fù)雜度和圖像融合質(zhì)量都更優(yōu)的算法。