賈紫婷

摘要：醫(yī)學(xué)圖像的融合以及圖像融合的關(guān)鍵技術(shù)正成為人們關(guān)注的焦點(diǎn)。文章介紹了醫(yī)學(xué)圖像融合的關(guān)鍵技術(shù)，包括：醫(yī)學(xué)圖像的分類和特點(diǎn)，圖像融合的基本流程，融合對(duì)象的選擇，融合方法的選擇以及融合結(jié)果的評(píng)價(jià)等，并對(duì)其未來(lái)發(fā)展進(jìn)行展望。

關(guān)鍵詞：醫(yī)學(xué);圖像融合;融合方法;結(jié)果評(píng)價(jià)

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1006-8228（2020）07-04-03

0引言

醫(yī)學(xué)圖像按照功能劃分可以分為功能圖像和解剖圖像兩大類。功能圖像主要用來(lái)呈現(xiàn)人體的形態(tài)信息，如MRI、CT圖像等，解剖圖像是描述人體的功能和代謝信息，如PET、SPECT圖像等。這些圖像類型提供了多種模態(tài)的醫(yī)學(xué)圖像，不同模態(tài)的圖像具有不同的特性，功能圖像顯示的分辨率不強(qiáng)，但是它可以提供解剖圖像不能提供的臟器功能的代謝信息;而解剖圖像能夠很好的顯示臟器的解剖信息，并且分辨率較強(qiáng)，這一點(diǎn)又是功能圖像無(wú)法比擬的。

目前，多模態(tài)醫(yī)學(xué)圖像融合需要解決較多的技術(shù)難題，并且面臨著非常大的挑戰(zhàn)。首先，融合方法具有局限性，不能普遍適應(yīng)于多種圖像融合，尚未形式一套完整的融合理論和統(tǒng)一的融合模型;其次，由于不同模態(tài)醫(yī)學(xué)圖像成像機(jī)制不同，導(dǎo)致不同的圖像具有不同的格式、大小、質(zhì)量，所以，醫(yī)學(xué)圖像的預(yù)處理工作嚴(yán)格、繁瑣，非常需要提出性能穩(wěn)定且融合效果較好的融合方法;最后，融合完成后，沒(méi)有統(tǒng)一的醫(yī)學(xué)圖像評(píng)價(jià)指標(biāo)，醫(yī)生只能通過(guò)肉眼和自身的經(jīng)驗(yàn)去選擇不同算法融合后的圖像。在客觀評(píng)價(jià)方面的標(biāo)準(zhǔn)也是采用現(xiàn)成的評(píng)價(jià)指標(biāo)，并沒(méi)有結(jié)合醫(yī)學(xué)圖像自身的特點(diǎn)形成合適的評(píng)價(jià)指標(biāo)。針對(duì)以上醫(yī)學(xué)圖像融合技術(shù)中存在的問(wèn)題，急需要研究出新的有效的融合方法和合適的評(píng)價(jià)指標(biāo)來(lái)解決問(wèn)題。

1醫(yī)學(xué)圖像融合基本流程

多模態(tài)醫(yī)學(xué)圖像融合通常分為四步：分別是圖像預(yù)處理、圖像配準(zhǔn)、圖像融合、融合結(jié)果評(píng)價(jià)。融合流程圖如圖1所示。

圖像預(yù)處理主要是將輸入的源圖像進(jìn)行噪聲濾除和幾何校正等操作。一般來(lái)說(shuō)，功能圖像噪聲較大，只有對(duì)其進(jìn)行濾波和增強(qiáng)操作，才能獲得使用者滿意的圖像。

圖像配準(zhǔn)就是在兩幅圖像間建立一一對(duì)應(yīng)關(guān)系，把實(shí)際物理空間中同一位置的點(diǎn)對(duì)應(yīng)起來(lái)，忽略其在其他方面的差異。圖像配準(zhǔn)包括基于區(qū)域的圖像配準(zhǔn)和基于特征的圖像配準(zhǔn)。

圖像配準(zhǔn)是為圖像融合服務(wù)，最終融合后的圖像不僅能夠保留源圖像的顯著信息，而且可以增加不同源圖像的互補(bǔ)信息，使融合后的圖像能夠提供完整、準(zhǔn)確的信息，從而消除單一源圖像的局限性。

目前融合結(jié)果評(píng)價(jià)主要分為主觀評(píng)價(jià)和客觀評(píng)價(jià)。

2醫(yī)學(xué)圖像融合的關(guān)鍵技術(shù)

多模態(tài)醫(yī)學(xué)圖像融合就是將不同模態(tài)的圖像信息整合匯總到一張圖像中，使融合后的圖像能夠包含更直觀、更綜合、更準(zhǔn)確的信息。下面介紹融合過(guò)程中的三個(gè)關(guān)鍵技術(shù)。

2.1圖像融合對(duì)象的選擇

（1）CT圖像

CT即x線計(jì)算機(jī)斷層攝影，是Computed To-mography的縮寫。CT是Hounsfield1969年設(shè)計(jì)成功，于1972年公諸于世。與x線成像原理不同，CT是通過(guò)x線束對(duì)人體層面掃描，獲得信息，然后使用計(jì)算機(jī)處理，得到重建圖像。得到的重建圖像是斷面解剖圖像，在密度分辨力方面比x線圖像好。CT也大大促進(jìn)了醫(yī)學(xué)影像學(xué)的發(fā)展。

（2）MRI圖像

MRI也就是磁共振成像，英文全稱是：MagneticResonance Imaging。最初這項(xiàng)技術(shù)被稱為核磁共振成像，1980年初NMR（核磁共振成像，NMR Imaging）一詞逐漸被大眾知曉。隨著大磁體的安裝，有人擔(dān)心NMR中的字母“N”代表的單詞“nuclear”容易使人們將核磁共振成像與核醫(yī)學(xué)聯(lián)系起來(lái)。因此，為了告訴大眾這項(xiàng)技術(shù)不會(huì)產(chǎn)生電離輻射，減少人們的擔(dān)心，研究者將“核磁共振成像術(shù)”省略了漢字“核”更名為“磁共振成像”英文縮寫為“MRI”。

（3）PET圖像

PET成像即正電子發(fā)射斷層顯像，是PositronEmission Tomography的縮寫。PET是核醫(yī)學(xué)領(lǐng)域比較先進(jìn)的成像技術(shù)，也是當(dāng)前唯一可以反映活體分子代謝的新型造影技術(shù)。該技術(shù)是某種物質(zhì)用短壽命的放射性元素標(biāo)記后注入人體，通過(guò)對(duì)該物質(zhì)在代謝中的聚焦來(lái)判斷生命代謝活動(dòng)的情況，將這種聚焦特點(diǎn)用圖像來(lái)反映就得到了PET圖像。PET圖像能顯示人體的代謝功能信息，但是分辨率較低，在細(xì)節(jié)信息顯示方面較差。

通常是將CT圖像與MRI圖像進(jìn)行融合，將CT圖像和PET圖像進(jìn)行融合從而揚(yáng)長(zhǎng)避短，分別發(fā)揮兩幅圖像的優(yōu)勢(shì)彌補(bǔ)兩幅圖像的不足。

2.2醫(yī)學(xué)圖像融合方法的選擇

目前，多模態(tài)醫(yī)學(xué)圖像融合算法大致分為兩類，分別是基于變換域的融合算法和基于空間域的融合算法。

2.2.1基于變換域的醫(yī)學(xué)圖像融合算法

在變換域的多模態(tài)醫(yī)學(xué)圖像融合算法中，多尺度的醫(yī)學(xué)圖像融合是比較典型的算法，融合框架見(jiàn)圖2。這類算法主要包括三個(gè)關(guān)鍵技術(shù)：①圖像分解和重構(gòu)方法的選擇;②針對(duì)不同融合需求的最佳圖像分解層數(shù)的選擇;③高、低頻分解系數(shù)融合規(guī)則的選擇。目前，眾多學(xué)者研究的多尺度變化主要有：金字塔變換、小波變換、輪廓波變換、非下采樣輪廓波變換、非下采樣剪切波變換。

2.2.2基于空間域的醫(yī)學(xué)圖像融合算法

空間域圖像融合算法對(duì)源圖像不需要做任何的變換，就能夠直接對(duì)像素進(jìn)行操作。下面列出四種常用的基于空間域的醫(yī)學(xué)圖像融合算法。

（1）加權(quán)平均融合

加權(quán)平均融合分為兩種，直接加權(quán)平均融合和相關(guān)系數(shù)加權(quán)平均融合。直接加權(quán)平均融合法是最初最基礎(chǔ)的融合方法，其實(shí)質(zhì)就是將一個(gè)高分辨的單光譜全色圖與一個(gè)低分辨多光譜圖在三個(gè)光譜帶上的像素疊加。相關(guān)系數(shù)加權(quán)平均融合算法是一種簡(jiǎn)單、基礎(chǔ)、易于實(shí)現(xiàn)的圖像融合算法，算法的步驟是：首先對(duì)全色圖的平均灰度值求和，然后求平均，從而統(tǒng)計(jì)全色圖的平均灰度值，然后分別求全色圖與多光譜在整個(gè)光譜帶R，G，B下的相關(guān)系數(shù)，從而對(duì)像素進(jìn)行加權(quán)平均融合。

（2）基于統(tǒng)計(jì)模型的方法

常見(jiàn)的用于圖像融合的統(tǒng)計(jì)模型有馬爾科夫隨機(jī)場(chǎng)（Markov Random Field，MRF）模型和貝葉斯（Bayes）模型。使用基于統(tǒng)計(jì)模型的方法來(lái)融合圖像時(shí)，融合過(guò)程就變成一個(gè)代價(jià)函數(shù)的求解過(guò)程，然后通過(guò)全局范圍內(nèi)尋優(yōu)來(lái)獲得最終融合圖像。

（3）i成分變換融合方法（PAC）

主成份分析法被廣泛的應(yīng)用于各種圖像處理中，比如，圖像增強(qiáng)和數(shù)據(jù)壓縮和圖像融合等。主成份分析又稱K-L變換，是離散變換的簡(jiǎn)稱。它可以有效地將一組原始的各個(gè)分量數(shù)據(jù)的信息集中在少數(shù)幾個(gè)分量上，主成分變換用于圖像融合，優(yōu)勢(shì)是其不存在多光譜波段數(shù)量的限制，其缺點(diǎn)是變換后的像素改變了原始數(shù)據(jù)的物理特性。

（4）人工神經(jīng)網(wǎng)絡(luò)模型

近期，人工神經(jīng)網(wǎng)絡(luò)用于圖像處理優(yōu)勢(shì)較多，是眾多學(xué)者研究的重點(diǎn)。人工神經(jīng)網(wǎng)絡(luò)模型是模仿生物神經(jīng)系統(tǒng)處理信息的方法被設(shè)計(jì)出來(lái)的，該模型被廣泛應(yīng)用于圖像處理。目前，用于圖像融合的神經(jīng)網(wǎng)絡(luò)有：PCNN、CNN等。

2.3融合結(jié)果評(píng)價(jià)

基于醫(yī)學(xué)圖像融合廣大學(xué)者已經(jīng)提出了大量的融合算法。這些融合算法應(yīng)用于圖像融合會(huì)取得不同的融合效果，這就需要設(shè)置評(píng)價(jià)方法來(lái)對(duì)這些算法進(jìn)行評(píng)估。

目前，醫(yī)學(xué)圖像融合結(jié)果評(píng)價(jià)大致分為兩類，主觀評(píng)價(jià)和客觀評(píng)價(jià)。主觀評(píng)價(jià)是評(píng)判者直接用人眼對(duì)融合結(jié)果進(jìn)行觀察從而得出結(jié)論，這種方法在某些特定的應(yīng)用中是奏效的，而且該方法更簡(jiǎn)單、直觀易于執(zhí)行。主觀評(píng)價(jià)一般可以用來(lái)判斷融合結(jié)果中是否存在一些明顯問(wèn)題，例如是否嚴(yán)格配準(zhǔn)，是否丟失主要信息，是否存在邊緣模糊、馬賽克效應(yīng)等。但主觀視覺(jué)評(píng)價(jià)主要依靠評(píng)判者自身來(lái)判斷，結(jié)果具有較強(qiáng)的主觀性和片面性，對(duì)同一融合結(jié)果，不同的人很可能給出不同的評(píng)價(jià)結(jié)果。因此，這個(gè)時(shí)候就需要客觀評(píng)價(jià)法，但是客觀評(píng)價(jià)標(biāo)準(zhǔn)在評(píng)價(jià)結(jié)果時(shí)也可能會(huì)出現(xiàn)一些偏差。所有，在對(duì)實(shí)際圖像融合結(jié)果的評(píng)價(jià)過(guò)程中，要采取主，客觀相結(jié)合的評(píng)價(jià)方法。

常用的圖像融合客觀評(píng)價(jià)標(biāo)準(zhǔn)包括：信息熵、空間頻率、平均梯度、標(biāo)準(zhǔn)偏差、互信息量等。

（1）信息熵（Entropy，EN）

信息熵能夠反映圖像富含信息量的多少，其定義如下：

（5）互信恩量（Mutual Information，MI）

互信息量可以度量?jī)蓚€(gè)變量的相關(guān)性，它可以反映融合結(jié)果從源圖像中繼承信息的多少，繼承信息越多相關(guān)性越大。假定兩個(gè)隨機(jī)變量x、Y，其邊緣概率分布分別是px（X）、pY（y），聯(lián)合概率密度是pXY（x，y），則這兩個(gè)隨機(jī)變量間的互信息量可以表示為：

3結(jié)束語(yǔ)

本文主要詳細(xì)介紹了多模態(tài)醫(yī)學(xué)圖像融合的流程，分別是圖像預(yù)處理，圖像配準(zhǔn)，圖像融合和融合結(jié)果評(píng)價(jià)。簡(jiǎn)單概述了醫(yī)學(xué)圖像的分類和特點(diǎn)，并介紹了三種醫(yī)學(xué)圖像，CT圖像、MRI圖像、PET圖像?？偨Y(jié)了多模態(tài)醫(yī)學(xué)圖像融合的方法分別是基于變換域和基于空間域融合算法，并且詳細(xì)概括了五種融合結(jié)果評(píng)價(jià)指標(biāo)。接下來(lái)，將深入一種融合算法進(jìn)行研究，從而得到較好的融合算法。