魏麗芳 余 輪

1(福建農(nóng)林大學(xué)計(jì)算機(jī)與信息學(xué)院，福州 350002)2(福州大學(xué)物理與信息工程學(xué)院,福州 350002)

基于層次式優(yōu)化的多幅眼底圖像融合方法

魏麗芳1余 輪2*

1(福建農(nóng)林大學(xué)計(jì)算機(jī)與信息學(xué)院，福州 350002)2(福州大學(xué)物理與信息工程學(xué)院,福州 350002)

針對(duì)眼底圖像配準(zhǔn)后直接疊加產(chǎn)生的接縫及如何保證多幅圖像融合后細(xì)節(jié)信息不丟失的問(wèn)題，提出層次式優(yōu)化的多頻帶眼底圖像融合方法。該方法通過(guò)多閾值分割獲取掩模圖像并計(jì)算其歐式距離得到各層次圖像蒙版；根據(jù)歐氏距離值及拉普拉斯能量和設(shè)計(jì)每層蒙版圖像的改進(jìn)加權(quán)系數(shù)。構(gòu)建基于信息熵、空間頻率和清晰度的圖像融合聯(lián)合客觀評(píng)價(jià)方法進(jìn)行分析。最后，利用配準(zhǔn)誤差及重疊率對(duì)圖像序列進(jìn)行分組融合后進(jìn)入下一層，對(duì)于奇數(shù)幅圖像序列中沒(méi)有組合的圖像直接放入下一層。再根據(jù)分組規(guī)則重新分組進(jìn)行優(yōu)化融合，實(shí)現(xiàn)層次式的多幅眼底圖像優(yōu)化融合。通過(guò)對(duì)75 組取自福建省附屬第一醫(yī)院眼科及眼底相機(jī)實(shí)驗(yàn)系統(tǒng)的圖像序列，涉及4 898 組圖像對(duì)(正常眼底圖像2 952 對(duì)，病變眼底圖像1 946 對(duì))進(jìn)行測(cè)試與驗(yàn)證，結(jié)果表明，提出方法在有效除去拼接縫的同時(shí)，融合圖像在重疊區(qū)域的RMSE值約為(0.1±0.05)像素。提出的融合方法在客觀評(píng)價(jià)和主觀視覺(jué)效果之間取得了較好的平衡。

眼底圖像； 圖像融合； 蒙版圖像； 加權(quán)系數(shù)； 層次式融合

引言

圖像融合是將兩幅圖像中的信息綜合到一幅圖像中并以可視化方法顯示的技術(shù)[1-3]。圖像融合的前提是兩幅圖像已經(jīng)實(shí)現(xiàn)較好的配準(zhǔn)。圖像融合效果的好壞將直接影響拼接圖像的視覺(jué)效果。對(duì)于待融合的兩幅圖像，若在重疊部分，簡(jiǎn)單的取第一幅圖像和第二幅圖像進(jìn)行疊加會(huì)產(chǎn)生圖像模糊和拼接痕跡，無(wú)法滿足人的視覺(jué)要求。圖像融合的主要思想是實(shí)現(xiàn)圖像在銜接處平滑過(guò)渡。

在糖尿病早期診斷和治療過(guò)程中，利用眼底圖像配準(zhǔn)、融合技術(shù)等可從多個(gè)方面輔助眼科醫(yī)生進(jìn)行病變檢測(cè)和治療跟蹤[4-8]。以消除拼接縫為目的的眼底圖像融合，主要考慮在實(shí)現(xiàn)圖像間平滑過(guò)渡的同時(shí)保證圖像信息不損失。而多幅眼底圖像融合，需要考慮目標(biāo)圖像生成過(guò)程中產(chǎn)生的誤差累積及目標(biāo)圖像越來(lái)越大而導(dǎo)致計(jì)算量越來(lái)越大等問(wèn)題。文獻(xiàn)[2]以充分保留原圖像信息考慮，提出基于金字塔分解的多層次局部極值的醫(yī)學(xué)圖像融合方法，該方法在保持原圖細(xì)節(jié)信息同時(shí)有效實(shí)現(xiàn)了多模態(tài)醫(yī)學(xué)圖像融合，但該方法對(duì)噪聲影響嚴(yán)重。Cattin等采用多頻帶方法對(duì)眼底圖像融合，通過(guò)距離值蒙版設(shè)計(jì)權(quán)值函數(shù)，實(shí)現(xiàn)任意重疊圖像之間的多頻帶融合，完成眼底圖像的無(wú)縫拼接，證明了多頻帶融合方法在眼底圖像融合中的適用性[4]；Poletti 等在重疊區(qū)域設(shè)計(jì)基于距離冪次的加權(quán)系數(shù)，實(shí)現(xiàn)多幅眼底圖像的融合，不必進(jìn)行圖像分解而有效去除灰度變化不大圖像之間形成的拼接縫[6]；但該方法中冪次值需依據(jù)經(jīng)驗(yàn)值獲取，且對(duì)于灰度變換較大的眼底圖像邊緣拼接處仍可見(jiàn)接縫。

針對(duì)以上分析和存在的問(wèn)題，提出基于加權(quán)蒙版的層次式優(yōu)化多頻帶眼底圖像融合方法。該方法在所有圖像完成良好全局配準(zhǔn)基礎(chǔ)上[7]，獲取融合蒙版及蒙版加權(quán)系數(shù)，實(shí)現(xiàn)基于配準(zhǔn)誤差和重疊率的層次式多幅眼底圖像的多頻帶融合，在保證圖像質(zhì)量的同時(shí)降低運(yùn)算量。

1 材料與方法

所提出的方法在圖像兩兩配準(zhǔn)的基礎(chǔ)上，通過(guò)距離圖像獲取蒙版圖像，并通過(guò)距離圖像在重疊區(qū)域內(nèi)的距離值及拉普拉斯能量和來(lái)確定蒙版圖像加權(quán)系數(shù)，根據(jù)最小誤差原則設(shè)計(jì)層次式多頻帶融合的多圖像融合方法。實(shí)現(xiàn)流程如圖1所示，首先要實(shí)現(xiàn)兩兩圖像的良好融合，進(jìn)而構(gòu)建層次式的多幅圖像融合方法。

圖1 層次式優(yōu)化融合流程圖Fig.1 The flow chart of hierarchical optimization fusion

1.1掩模圖像與距離圖像

提取掩模圖像實(shí)際上是將圖像分割為背景和前景，為準(zhǔn)確提取掩模圖像，對(duì)眼底圖像的B通道圖像進(jìn)行多閾值分割。設(shè)眼底圖像直方圖的NT個(gè)波峰為Peak(1)，Peak(2)，…,Peak(NT)，其中，

Peak(1)

(1)

由于眼底圖像背景為較暗的灰度區(qū)域，像素值近似為0，因此選擇第一個(gè)波谷作為區(qū)分背景和前景的閾值。設(shè)T_MIN為Peak(1)和Peak(2)峰值間的最小波谷值，Mf為提取的背景掩模圖像，即目標(biāo)區(qū)域，R為原圖像

(2)

對(duì)于掩模圖像Mf目標(biāo)區(qū)域內(nèi)的點(diǎn)(即值為1的點(diǎn))計(jì)算其到目標(biāo)區(qū)域邊界的最短距離(采用歐氏距離)的正值d(i,j)，對(duì)目標(biāo)區(qū)域以外的點(diǎn)及邊界輪廓上的點(diǎn)到邊界輪廓的距離值設(shè)為0[8-10]，表示為

(3)

(4)

式中,D1和D2分別為兩幅原圖像的距離變換矩陣，若(i,j)屬于目標(biāo)區(qū)域，而在重疊區(qū)域內(nèi)

(5)

蒙版圖像獲取過(guò)程見(jiàn)圖2。通過(guò)精確配準(zhǔn)獲得兩幅圖像之間的坐標(biāo)變換關(guān)系，即空間位置關(guān)系；利用圖像分割技術(shù)獲得掩模圖像；計(jì)算掩模的圖像 距離矩陣；由距離矩陣計(jì)算得到蒙版圖像。

圖2 蒙版圖像獲取過(guò)程Fig.2 The process of mask image acquisition

1.2蒙版加權(quán)系數(shù)的設(shè)計(jì)

在各金字塔層的高斯金字塔圖像是原圖分辨率變化，故仍保留著原圖像的結(jié)構(gòu)信息，存在幅值的變化，因此利用EOG(the energy of image gradient)等清晰度指標(biāo)來(lái)選擇圖像的變換域系數(shù)是合理的。而清晰度指標(biāo)中拉普拉斯能量和具有最好的區(qū)分能力[12-15]。而基于距離值和拉普拉斯能量和的加權(quán)系數(shù)可以使圖像之間的灰度平穩(wěn)過(guò)渡。

因此，通過(guò)距離圖像在重疊區(qū)域內(nèi)的距離值和拉普拉斯能量和相結(jié)合來(lái)確定加權(quán)系數(shù)。

在重疊區(qū)域內(nèi)，某個(gè)點(diǎn)(i,j)的基于距離值的權(quán)重w1(i,j)是通過(guò)原圖像的距離圖像中的值來(lái)確定的

(6)

式中，F(xiàn)代表重疊區(qū)域。

高斯金字塔圖像在第l層的拉普拉斯能量ML及拉普拉斯能量和為SML[12-13,15]：

(7)

(8)

式中，取step=1，表示系數(shù)間的可變間距，Mnum和Nnum表示窗口的大小，Mnum=64/2i-1，GI為金字塔圖像,Nnum=64/2i-1。

關(guān)于拉普拉斯能量和的權(quán)重w2(i,j)表示為

(9)

將表示距離值的權(quán)重w1(i,j)和拉普拉斯能量和的權(quán)重w2(i,j)相結(jié)合形成重疊區(qū)域內(nèi)新的權(quán)重系數(shù)，該權(quán)重系數(shù)的設(shè)計(jì)主要是以提高具有高清晰度圖像的權(quán)重值為目的。

(10)

1.3多頻帶眼底圖像融合

以兩幅待融合圖像實(shí)現(xiàn)Ii和Ij融合過(guò)程為例，Mmask為圖像Ii和Ij通過(guò)距離變換和加權(quán)得到的融合蒙版，兩幅圖像多頻帶融合過(guò)程的具體實(shí)現(xiàn)描述如下：

(1)將待拼接圖像Ii和Ij映射到基準(zhǔn)圖像、所在的坐標(biāo)系下。

(2)獲取融合蒙版圖像Mmask，計(jì)算蒙版圖像的加權(quán)系數(shù)。

(4)獲得合成金字塔C，在C的金字塔第l層

LCl(i,j)=GRl(i,j)*LIi,l(i,j)+

GR′*LIj,l(i,j)

(11)

(5)將C從金字塔高層到底層進(jìn)行擴(kuò)張和疊加得到最終的融合圖像。

1.4層次式多幅圖像融合

層次式融合一方面可以減少誤差累積，另一方面層次式方法與依次融合方法相比，兩種方法執(zhí)行相同的融合操作次數(shù)，但每次融合得到融合圖像的尺寸增加速度較慢，從而降低運(yùn)算量[7,13]。層次式融合的基本思想描述如下：

(1)根據(jù)全局配準(zhǔn)變換關(guān)系矩陣，將N幅圖像映射到統(tǒng)一坐標(biāo)系下，同時(shí)記錄兩兩圖像之間的配準(zhǔn)誤差和所有圖像掩模圖像提取的閾值T_MIN(i)，其中，i=1,2,…,N；第一層融合則根據(jù)配準(zhǔn)誤差最小原則對(duì)所有圖像進(jìn)行分組，即具有最小誤差的兩個(gè)圖像歸為一組進(jìn)行融合，而對(duì)于奇數(shù)幅圖像序列，將沒(méi)有組合的一幅圖像放入下一層。

(2)在第二層融合時(shí)，首先將Tf=min(T_MIN)作為閾值對(duì)經(jīng)過(guò)第一層融合獲得圖像進(jìn)行閾值分割獲取任兩幅圖像之間的重疊區(qū)域，對(duì)具有重疊且重疊最小的圖像進(jìn)行重新分組融合，同樣，奇數(shù)幅圖像的處理同第一層融合處理方法相同；然后在下一層重復(fù)這樣的組合進(jìn)行融合，直到生成目標(biāo)圖像。圖3給出了多幅圖像層次方式融合示意圖，假設(shè)圖像序列數(shù)N為偶數(shù)，根據(jù)最小配準(zhǔn)誤差原則組合，如圖像i,j,t∈{1,2,…,N-1}、Ii與Ij、In與Im、It與IN組合，根據(jù)層次融合思想逐層實(shí)現(xiàn)多圖融合。

圖3 層次式融合示意圖 Fig.3 The schemes of hierarchical fusion

1.5融合效果評(píng)價(jià)

源圖像數(shù)據(jù)一部分由福建省附屬第一醫(yī)院眼科提供，另一部分源圖像來(lái)自眼底相機(jī)實(shí)驗(yàn)系統(tǒng)，數(shù)據(jù)分辨率主要有3種，分別為2 048像素×1 360像素、1 920像素×1 296像素和13 072像素×2048 像素，圖像視角包括60°、45°和20°，圖像獲得方式有兩種：散瞳方式和免散瞳方式。圖像數(shù)據(jù)分別來(lái)自400 多位眼底受檢者(包括左、右眼)，其中有358 位受檢者的眼底發(fā)生病變。測(cè)試中，通過(guò)對(duì)其中75 組圖像序列(每組2 到18 幅圖像不等)，涉及4 898 組圖像對(duì)(正常眼底圖像2 952對(duì)，病變眼底圖像1 946對(duì))進(jìn)行實(shí)驗(yàn)。

圖像融合效果的評(píng)價(jià)大體上可分為主觀評(píng)價(jià)方法和客觀評(píng)價(jià)方法兩種。主觀評(píng)價(jià)方法主要是通過(guò)評(píng)價(jià)者的目視效果進(jìn)行判定，即憑借主觀感知進(jìn)行評(píng)價(jià)、判定融合結(jié)果的優(yōu)劣。客觀評(píng)價(jià)方法通常是利用圖像的統(tǒng)計(jì)參數(shù)進(jìn)行判定，即給出量化指標(biāo)，模擬人類視覺(jué)系統(tǒng)感知機(jī)制進(jìn)行衡量圖像融合效果。往往對(duì)融合效果的評(píng)價(jià)需要主觀評(píng)價(jià)與客觀評(píng)價(jià)相結(jié)合進(jìn)行綜合評(píng)價(jià)，即對(duì)融合圖像質(zhì)量在主觀評(píng)價(jià)基礎(chǔ)上，進(jìn)行客觀定量評(píng)價(jià)[14,16-17]。

實(shí)驗(yàn)時(shí)，通過(guò)各種眼底圖像融合結(jié)果示例體現(xiàn)提出方法在主觀評(píng)價(jià)方面的性能，同時(shí)考慮單模態(tài)眼底圖像融合的目的，通過(guò)融合圖像自身性能的評(píng)價(jià)指標(biāo)：熵、空間頻率和清晰度來(lái)進(jìn)行討論和分析，并根據(jù)RMSE值和SNR值的對(duì)比，進(jìn)行重疊區(qū)域圖像融合后信息保持性能的分析。

所進(jìn)行的眼底圖像融合，是以圖像拼合消除拼接接縫為目的的，沒(méi)有涉及參考圖像，故選擇不需要考慮參考圖像的圖像熵(H)、空間頻率(SF)和清晰度(G)進(jìn)行融合性能的客觀評(píng)價(jià)。

圖像的熵是包含平均信息量多少的度量

(12)

式中，p(i)為灰度i的分布概率，L的范圍是0～255。融合后圖像的熵值大小反映了圖像包含信息量的多少，熵值越大說(shuō)明融合的效果相對(duì)越好。

已知融合圖像I大小為M×N，M為圖像行數(shù)，N為圖像列數(shù)。

行頻率為

(13)

列頻率為

(14)

則空間頻率為

(15)

空間頻率反映圖像的全面活躍水平，值越大表示圖像越清晰，清晰度(G)采用梯度法衡量

(16)

為了強(qiáng)調(diào)融合后眼底圖像的清晰度指標(biāo)，設(shè)計(jì)基于熵、空間頻率和清晰度的、用不同權(quán)值的聯(lián)合客觀評(píng)價(jià)指標(biāo)(J)，根據(jù)各指標(biāo)意義可知，該值越大表示性能越好：

J=(2G+2SF+H)/5

(17)

在驗(yàn)證方法保持原圖像信息的性能測(cè)試中，采用均方根誤差 (root mean squared error，RMSE)和信噪比 (signal-to-noise ratio，SNR)進(jìn)行驗(yàn)證[17]

(18)

(19)

式中，In(n=1,2)為建立拼接圖像的原始圖像，Iover為拼接圖像中I1和I2重疊的部分，P為重疊區(qū)域的面積。

2 結(jié)果

為從主觀評(píng)價(jià)角度進(jìn)行分析，首先給出兩組多幅眼底圖像融合結(jié)果示例，如圖4所示。其中，(b)為(a)原圖序列1散瞳正常眼底圖像的融合結(jié)果，(d)為(c)原圖序列2免散瞳正常眼底圖像融合結(jié)果。從融合結(jié)果圖可以看出，融合圖像無(wú)明顯的接縫，保留了圖像細(xì)節(jié)結(jié)構(gòu)信息，實(shí)現(xiàn)了圖像間的平滑過(guò)渡，即在主觀評(píng)價(jià)方面獲得較好結(jié)果。

圖4 眼底圖像融合結(jié)果示例。(a) 原圖序列1；(b) 原圖序列1融合結(jié)果；(c) 原圖序列2；(d) 原圖序列2融合結(jié)果Fig.4 The examples of fundus image fusion.(a) Original image array1；(b) The fusion results original image array1；(c) Original image array2；(d) The fusion results original image array2

為了分析所提出融合方法的性能，對(duì)實(shí)驗(yàn)圖像序列分別采用加權(quán)平均法、文獻(xiàn)[6]距離冪次(冪次經(jīng)驗(yàn)值n=2)變換獲得蒙版、文獻(xiàn)[8]根據(jù)距離值確定蒙版加權(quán)系數(shù)和提出方法進(jìn)行實(shí)驗(yàn)。圖5～圖7為3組示例圖像數(shù)據(jù)的結(jié)果，其中圖5為正常散瞳眼底圖像，圖6為正常免散瞳眼底圖像，圖7為發(fā)生增殖性糖尿病視網(wǎng)膜五期玻璃體病變圖像,圖5～圖7中的(a)和(b)為原圖像對(duì)，(c)為簡(jiǎn)單加權(quán)平均法融合結(jié)果，(d)為文獻(xiàn)[6]方法融合結(jié)果，(e)為文獻(xiàn)[8]方法融合結(jié)果，(f)為本方法的融合結(jié)果。

由融合結(jié)果可看出，在圖5(c)、 圖6(c)和圖7(c)中的加權(quán)平均法的拼接痕跡有所改善，但是拼接痕跡仍可見(jiàn)。在圖5(d)、 圖6(d)和圖7(d)中采用文獻(xiàn)[6]方法的接縫幾乎不可見(jiàn)，但在重疊邊緣與圖像背景交界處仍存在細(xì)微接縫(接縫見(jiàn)箭頭指示位置)。而在圖5(e) (f)、 圖6(e) (f)和圖7(e) (f)中采用文獻(xiàn)[8]方法和本方法的融合結(jié)果中均無(wú)明顯的拼接痕跡，得到了圖像間的平滑過(guò)渡，并保留了圖像的有效結(jié)構(gòu)信息，主觀上觀察差別不大。

表1 融合結(jié)果客觀評(píng)價(jià)性能對(duì)比Tab.1 The performance comparison of objective evaluation

圖5 正常散瞳圖像融合結(jié)果對(duì)比。(a) 原圖1；(b) 原圖2；(c) 加權(quán)平均法；(d)文獻(xiàn)[6]方法；(e)文獻(xiàn)[8]方法；(f)本方法Fig.5 The contrast of normal mydriatic fundus image fusion result.(a) Original image 1； (b) Original image 2；(c) Weighted average method；(d) Literature [6] method；(e) Literature [8] method；(f) The proposed method

圖6 正常免散瞳眼底圖像融合結(jié)果對(duì)比。(a)原圖1； (b)原圖2；(c)加權(quán)平均法；(d)文獻(xiàn)[6]方法；(e)文獻(xiàn)[8]方法；(f)本方法Fig.6 The contrast of normal nonmydriatic fundus image fusion result.(a) Original image 1； (b) Original image 2；(c) Weighted average method；(d) Literature [6] method；(e) Literature [8] method；(f) The proposed method

表1給出了圖5～圖7中三組圖像數(shù)據(jù)應(yīng)用不同方法計(jì)算融合圖像的熵、空間頻率和清晰度及聯(lián)合評(píng)價(jià)指標(biāo)的值。由表1可知，提出方法具有較高的熵值，而對(duì)發(fā)生病變的眼底圖像的空間頻率略小于未進(jìn)行濾波的加權(quán)平均法，這是由于發(fā)生病變的眼底圖像有時(shí)使得圖像混沌模糊，經(jīng)過(guò)多頻帶方法使得圖像經(jīng)過(guò)多次高斯濾波處理，使已經(jīng)混沌的圖像信息減弱，但這對(duì)于高分辨率的眼底圖像來(lái)說(shuō)是可以接受的。通過(guò)突出強(qiáng)調(diào)空間頻率和清晰度的聯(lián)合評(píng)價(jià)指標(biāo)可以看出，提出方法的優(yōu)越性明顯。

表2為不同方法在重疊區(qū)域融合圖像的RMSE和SNR值的對(duì)比。根據(jù)表2各組數(shù)據(jù)的RMSE和SNR值可以看出，提出方法在重疊區(qū)域內(nèi)，對(duì)原圖像信息的保持比文獻(xiàn)[6]和文獻(xiàn)[8]方法具有一定的優(yōu)越性，且RMSE保持在(0.10±0.05)像素，雖與加權(quán)平均方法相比對(duì)原信息的保持上略差一些，但加權(quán)平均法在融合結(jié)果中卻存在明顯接縫。因此，綜合評(píng)價(jià)主觀和客觀評(píng)價(jià)可知，提出方法可以在保證圖像細(xì)節(jié)結(jié)構(gòu)信息良好保持的基礎(chǔ)上，有效消除拼接接縫，符合人的視覺(jué)要求，滿足醫(yī)生臨床診斷要求，在客觀指標(biāo)和主觀視覺(jué)效果之間取得一個(gè)很好的平衡。

圖7 病變散瞳眼底圖像融合結(jié)果對(duì)比1。(a)原圖1； (b)原圖2；(c)加權(quán)平均法；(d)文獻(xiàn)[6]方法；(e)文獻(xiàn)[8]方法；(f)本文方法Fig.7 The contrast of disease mydriatic fundus image fusion result1.(a) Original image 1；(b) Original image 2；(c) Weighted average method；(d) Literature [6] method； (e) Literature [8] method；(f) The proposed method

表2 原圖像信息保持性能測(cè)試Tab.2 The performance of image information maintained

3 討論

針對(duì)亮度不均引起的接縫及如何保證多幅圖像融合后細(xì)節(jié)信息不丟失的問(wèn)題，同時(shí)需要考慮由于眼底圖像的曲面特性，使得配準(zhǔn)變換后的圖像融合要考慮這種空間差異而引起的接縫問(wèn)題，本文提出了加權(quán)蒙版與層次式融合相結(jié)合的多頻帶眼底圖像融合方法。從主觀評(píng)價(jià)實(shí)驗(yàn)結(jié)果的圖4(b)和(d)可知，重疊區(qū)域內(nèi)圖像細(xì)節(jié)信息完整，拼接處過(guò)度自然，多幅圖像變換后無(wú)明顯變形，有效解決了拼接接縫及多圖拼接誤差累積的問(wèn)題，說(shuō)明本文圖像融合框架合理，通過(guò)層次式融合思想減少誤差累積確實(shí)可行。在圖5、圖6和圖7的對(duì)比結(jié)果中可以看出，所提出的方法對(duì)幾種不同類型眼底圖像的融合均是有效的，與文獻(xiàn)[6]距離冪次(冪次經(jīng)驗(yàn)值n=2)變換獲得蒙版相比，可獲得較好的無(wú)縫拼接結(jié)果，和文獻(xiàn)[8]根據(jù)距離值確定蒙版加權(quán)系數(shù)獲得的融合結(jié)果相比，在主觀評(píng)價(jià)中差異不大。

而從表1的客觀評(píng)價(jià)分析可知，采用基于距離圖像在重疊區(qū)域內(nèi)的距離值與拉普拉斯能量和相結(jié)合來(lái)確定加權(quán)系數(shù)的方法有一定優(yōu)越性。在表2原圖像信息保持性能測(cè)試對(duì)比中可以看出，所提出的方法在主觀評(píng)價(jià)和客觀評(píng)價(jià)獲得較好平衡的同時(shí)，可較好地保持原圖的信息，其性能與已有方法相比，有相近或更好的性能。同時(shí)，從理論分析可知，采用層次式多幅圖像融合方法減少運(yùn)算量的方法是有效的。

另外，在考慮如何增強(qiáng)多幅圖像融合體系的性能方面，將進(jìn)一步研究多圖融合時(shí)大范圍重復(fù)區(qū)域多次出現(xiàn)時(shí)，融合圖像的計(jì)算方法包括多次出現(xiàn)區(qū)域的處理和中心定位圖像的選取。

4 結(jié)論

針對(duì)眼底圖像的特點(diǎn)及對(duì)眼底圖像融合的要求，提出基于多頻帶的層次式優(yōu)化多幅眼底圖像融合方法，在保證圖像質(zhì)量的同時(shí)，實(shí)現(xiàn)圖像之間的平滑過(guò)渡。提出方法考慮到眼底圖像之間重疊區(qū)域形狀的多變性，獲取眼底掩模圖像及其距離圖像，通過(guò)比較距離圖像重疊區(qū)域內(nèi)任一點(diǎn)在各自距離圖像中的值而產(chǎn)生蒙版圖像，利用距離值與各層的高斯金字塔圖像的拉普拉斯能量和來(lái)確定蒙版加權(quán)系數(shù)，根據(jù)配準(zhǔn)誤差和重疊率實(shí)現(xiàn)層次式融合，降低多幅圖像融合的計(jì)算量。實(shí)驗(yàn)分析表明，提出方法在實(shí)現(xiàn)任意重疊形狀眼底圖像之間平滑過(guò)渡的同時(shí)，保證了圖像的質(zhì)量。提出方法不僅適用于眼底圖像，對(duì)于其他圖像數(shù)據(jù)的融合也具有一定參考價(jià)值。

[1] James AP,Dasarathy BV.Medical image fusion:a survey of the state of the art [J].Information Fusion,2014,19:4-19.

[2] Xu Zhiping.Medical image fusion using multi-level local extrema [J].Information Fusion,2013,9(2014):38-48.

[3] 張涇周,李婷,吳疆.醫(yī)學(xué)圖像的小波變換融合算法研究 [J].中國(guó)生物醫(yī)學(xué)工程學(xué)報(bào),2008,27(4):521-525.

[4] Cattin P,Bay H,Gool VL,etal．Retina mosaicing using local features [C] // Larsen R,Nielsen M,Sporring J,eds.Medical Image Computing and Computer-Assisted Intervention,Copenhagen:Springer-Verlag,2006,4191:185-192．

[5] Daftari IK,Mishra KK,O’Brien JM,etal．Fundus image fusion in eyeplay software:an evaluation of a novel technique for ocular melanoma radiation treatment planning [J].Medical Physics,2010,37(10):5199-5207

[6] Poletti E,Benedetti G,Ruggeri A.Super-image mosaic of infant retinal fundus:selection and registration of the best-quality frames from videos [C]// Sergio Cerutti,Riccardo Barbieri,eds.Conference Proceedings IEEE EMBS.Osaka:IEEE,2013:5883-5886.

[7] 魏麗芳,潘林,鄭炳錕,等.優(yōu)化的多幅眼底圖像拼接方法 [J].中國(guó)圖象圖形學(xué)報(bào),2011,16(12):2175-2182.

[8] Choe TE,Cohen I,Lee M,etal.Optimal global mosaic generation from retinal images [C] //Rajapakse,eds.The 18th International Conference on Pattern Recognition,HongKong:IEEE Computer Society,2006：6812-6841．

[9] Szeliski R.Computer Vision:Algorithms and Applications [M].New York:Springer,2010:27-59.

[10] Bailey DG．An efficient euclidean distance transform [C] // Reinhard K,Jovisa Z,eds.International Workshop on Combinatorial Image Analysis.Auckland:Springer-Verlag,2004:94-408．

[11] Wang Jun,Tan Ying.Efficient euclidean distance transform algorithm of binary images in arbitrary dimensions [J].Pattern Recognition,2013,46(1):230-242.

[12] 屈小波,閆敬文,楊貴德．改進(jìn)拉普拉斯能量和的尖銳頻率局部化Contourlet域多聚焦圖像融合方法 [J].光學(xué)精密工程,2009，(5)：1023-1033．

[13] Ishita D,Bhabatosh C.Multi-focus image fusion using a morphology-based focus measure in a quad-tree structure [J].Information Fusion,2013,14(2):136-146.

[14] Padma G,Vinod K.CT and MR image fusion scheme in nonsubsampled contourlet transform domain [J].Journal of Digital Imaging,2014,27(3):407-418.

[15] Wang Zhaobin,Ma Yide,Gu J.Multi-focus image fusion using PCNN [J].Pattern Recognition,2010,43(6):2003-2016．

[16] 阿都建華,王邦平,王珂,等.基于剪切波變換的醫(yī)學(xué)圖像融合算法[J].中國(guó)生物醫(yī)學(xué)工程學(xué)報(bào),2013,32(3):284-291.

[17] Piccinini F,Bevilacqua A,Lucarelli E.Automated image mosaics by non-automated light microscopes:the MicroMos software tool [J].J Microsc,2013,252(3):226-250.

HierarchicalOptimizationforMulti-FundusImageFusion

Wei Lifang1Yu Lun2*

1(CollegeofComputerandInformationFujianAgricultureandForestryUniversity，F(xiàn)uzhou350002,China)2(CollegeofPhysicsandInformationEngineeringFuzhouUniversity，F(xiàn)uzhou350002,China)

In order to remove the seams and ensure information details are not missed in the image fusion,the multi-band blending image fusion method for multi-fundus image was proposed in this paper based on hierarchical optimization fusion.The mask image is achieved by multi-threshold segmentation and Euclidean distance transform.And the improved weighted coefficients are designed based on the distance value in the overlap region and the layers of Gaussian image sum of Laplacian energy for the mask image.The combined objective evaluation was proposed that it is based on information entropy,spatial frequency and definition.The registration error and overlap rate are used to realize hierarchical optimization multi-band image fusion method for grouping fusion.And the image alone is put into next level directly.75 group image sequences are applied involving 4 898 set of images (normal fundus image 2 952 pairs and disease fundus image 1 946 pairs) for testing and validation.The results show that the proposed method is effective that removes the seam and obtains the RMSE value of about (0.1±0.05) pixels in overlap region.The proposed method can make equilibrium between objective evaluation and subjective visual effect.

fundus image; image fusion; mask image; weighted coefficient; hierarchical fusion

10.3969/j.issn.0258-8021.2015.02.006

2014-05-28，錄用日期:2014-11-11

國(guó)家自然科學(xué)基金(60827002)

TP391.09

A

0258-8021(2015) 02-0168-08

*通信作者(Corresponding author)，E-mail:yulun@fzu.edu.cn