汪 丹，劉 輝，李 可，周 威

?

一種三角函數(shù)權(quán)重的圖像拼接算法

汪 丹，劉 輝，李 可，周 威

（湖南師范大學(xué) 物理與信息科學(xué)學(xué)院，湖南 長沙 410006）

針對傳統(tǒng)加權(quán)平均融合算法和漸入漸出融合算法仍然存在相對明顯的拼接痕跡，提出一種三角函數(shù)權(quán)重的圖像拼接算法。首先，對參考圖計(jì)算圖像重疊區(qū)域從左邊界開始每一列像素所占重疊區(qū)的比例，將其用相應(yīng)的角度表示；然后計(jì)算角度對應(yīng)余弦值的平方，將此結(jié)果作為參考圖的權(quán)重信息；對于目標(biāo)圖，計(jì)算靠近右邊界的每一列所占重疊區(qū)的比例，并用角度表示，然后計(jì)算該角度對應(yīng)正弦值的平方，將此結(jié)果作為目標(biāo)圖的權(quán)重；最后用計(jì)算得到的2個非線性的權(quán)重對兩幅圖進(jìn)行圖像拼接。實(shí)驗(yàn)結(jié)果表明無論攝像機(jī)是否在曝光差異較大情況下進(jìn)行拍攝，改進(jìn)的圖像融合算法效果更好。

加權(quán)平均融合；漸入漸出融合；三角函數(shù)；權(quán)重；圖像融合；曝光差異

0 引言

圖像融合是指將多張?jiān)谕粫r間（不同時間）獲取的關(guān)于某個場景的圖像序列信息加以綜合，生成一個新的完整的關(guān)于此場景的解釋。圖像融合技術(shù)主要用于虛擬現(xiàn)實(shí)技術(shù)VR（virtual reality）[1]之中，作為靜態(tài)圖像拼接、視頻圖像實(shí)時拼接[2]后至關(guān)重要的一步，融合質(zhì)量的好壞對結(jié)果有很大影響。

目前為止，國內(nèi)外學(xué)者提出了很多圖像融合算法。國外近幾年主要針對多光譜、多視點(diǎn)圖像融合[3]進(jìn)行研究。提出了基于向?qū)V波的方法[4]、從原圖中提取感興趣區(qū)域的方法[5]、基于EOL的加權(quán)平均算法[6]、可見光譜下多分辨率變換算法[7]等融合算法。傳統(tǒng)的加權(quán)平均融合算法[8]，簡單易懂，但因?yàn)闄?quán)重是固定的，拼接縫隙比較明顯，融合效果相對較差；漸入漸出融合算法[9]采用基于距離變換的權(quán)值，使圖像在重疊區(qū)域有一種漸變效果，過渡相對自然，現(xiàn)實(shí)中這種融合算法應(yīng)用比較廣泛，但仍然存在肉眼可見的拼接縫隙；最佳縫合線算法[10]是一種利用動態(tài)規(guī)劃的思想減小融合中“鬼影”以及重影問題的算法，但計(jì)算量相對較大，曝光差異較明顯。多分辨率融合是將待拼接圖像分解成一系列拉普拉斯圖像金字塔，相對麻煩。

本文在漸入漸出融合算法前提下提出一種基于三角函數(shù)權(quán)重的拼接算法，通過計(jì)算每一列與角度的關(guān)系，將每一列用角度表示，計(jì)算其余弦值的平方作為權(quán)重，計(jì)算復(fù)雜度低。

1 圖像拼接

進(jìn)行圖像融合之前需要先進(jìn)行圖像拼接，圖像拼接是將一組相互之間存在重疊區(qū)域的圖像序列進(jìn)行空間匹配，經(jīng)過重采樣融合后形成一幅包含各圖像序列信息的寬視角場景的、完整的、高清晰的新圖像的技術(shù)。

以圖1中2幅圖像A、B的拼接為例，基本步驟如下：①將實(shí)景圖A、B分別投影到柱面，統(tǒng)一坐標(biāo)系；②利用SIFT[11]、SURF[12]等算法（本文選用SIFT算法）進(jìn)行特征點(diǎn)檢測，然后進(jìn)行特征點(diǎn)匹配得到匹配對信息；③由特征點(diǎn)匹配對信息計(jì)算出兩幅圖的變換矩陣，得到兩幅圖的空間變換關(guān)系；④以實(shí)景圖A為參考圖，對實(shí)景圖B進(jìn)行矩陣變換，即完成圖像拼接。

圖1 實(shí)景圖

對實(shí)景圖A、B經(jīng)過柱面投影、SIFT特征點(diǎn)檢測和匹配、計(jì)算矩陣以及進(jìn)行矩陣變換后，拼接結(jié)果如圖2所示，從圖中可以看到明顯的拼接痕跡，需要有效的圖像融合算法來消除。

圖2 圖像拼接結(jié)果

2 漸入漸出融合算法

融合主要是處理圖像拼接所產(chǎn)生的痕跡，使邊界部分過度自然平滑。在重疊區(qū)域，漸入漸出融合算法[13]主要是使權(quán)重按式(1)隨著像素點(diǎn)位置的變化而呈線性變換，以此實(shí)現(xiàn)平滑過渡，提高圖像融合質(zhì)量：

式中：是像素點(diǎn)的列數(shù)；、分別是重疊區(qū)域的左、右邊界。

按照式(1)，實(shí)景圖A、B的權(quán)重變化如圖3所示。

圖3 漸入漸出融合權(quán)重變化圖

按照圖3進(jìn)行融合后，重疊區(qū)域像素點(diǎn)的灰度值可以按式(2)計(jì)算：

(,)＝×(,)＋(1－)×(,) (2)

當(dāng)A、B為真彩圖時，3個顏色通道分別按照式(2)計(jì)算即可。

3 三角函數(shù)權(quán)重融合算法

3.1 理論分析

在漸入漸出融合算法前提下，提出一種三角函數(shù)權(quán)重的融合算法，首先把每列像素點(diǎn)按照式(3)用角度表示：

計(jì)算可知的取值范圍在區(qū)間[0,p/2]。

然后，按照式(4)和式(5)求參考圖和目標(biāo)圖的權(quán)重，兩個權(quán)重滿足式(6)的要求：

＝cos2() (4)

＝sin2() (5)

cos2()＋sin2()＝1 (6)

最后求融合后像素點(diǎn)與實(shí)景圖A、B的關(guān)系，如下式：

(,)＝×(,)＋×(,) (7)

如果是真彩圖像，分別對3個顏色通道運(yùn)用式(7)即可。由式(3)、(4)可以得權(quán)重隨著位置變化的關(guān)系：

兩個權(quán)重隨像素位置變化的關(guān)系如圖4。

對比圖3和圖4，可以直觀地看到，本文算法的權(quán)重從2個邊界向中心逼近時變化非常平緩。而圖像融合算法通常是權(quán)重隨著像素位置變換越緩慢越好，表示圖像過渡得越自然。為了從理論上分析本文算法與漸入漸出融合算法的優(yōu)劣，選用權(quán)重對位置的導(dǎo)數(shù)來衡量。式(9)是基于三角函數(shù)的權(quán)重隨位置變化的快慢關(guān)系式，式(10)是漸入漸出融合算法中權(quán)重隨位置的快慢變化關(guān)系：

比較式(9)、(10)得出的只是兩種方法在任何一個像素點(diǎn)時權(quán)重的瞬時變化率。即當(dāng)像素點(diǎn)靠近邊界，即拼接痕跡時，本文算法得到的權(quán)重比漸入漸出算法變化小很多，即在邊界處，本文算法減少甚至消除痕跡的效果更明顯。為了比較總的變化率，采用下面兩式對兩種瞬時變化率求積分即可：

由上面兩式可以看出，兩種方法在重疊區(qū)域的總變化率是相同的。即本文算法在處理邊界痕跡時效果更好，同時總的變化率又不會比漸入漸出融合算法大。

3.2 實(shí)驗(yàn)結(jié)果

本算法均在Window 7操作系統(tǒng)上利用Visual Studio 2013結(jié)合OpenCV庫函數(shù)實(shí)現(xiàn)。圖5分別是傳統(tǒng)加權(quán)平均融合算法[14]、漸入漸出融合算法和本文算法的融合結(jié)果。

由圖5看出，加權(quán)平均融合算法效果較差，拼接痕跡非常明顯；而漸入漸出融合算法融合效果已經(jīng)比較好，基本能滿足實(shí)驗(yàn)要求，但劃線部分仍存在拼接縫隙；本文算法的融合效果已經(jīng)幾乎看不出拼接痕跡。圖5(b)和(c)的融合效果依靠肉眼可能看不出特別明顯的差別，這就需要統(tǒng)計(jì)圖像評價指標(biāo)的數(shù)據(jù)。

3.3 曝光差異下的圖像融合比較

圖1中的兩幅圖是在正常光線下拍攝的實(shí)景圖，但有時候當(dāng)攝像機(jī)平移或者旋轉(zhuǎn)時，自動或手動選取的曝光系數(shù)可能不同，即兩幅圖的曝光差異可能很大。如圖6中的兩幅圖所示，實(shí)景圖C很亮，而實(shí)景圖D很暗。

圖6 曝光差異下的實(shí)景圖

一般情況下，為了得到較好的視覺效果，當(dāng)待拼接實(shí)景圖出現(xiàn)曝光差異很大時，先要進(jìn)行亮度調(diào)整然后再進(jìn)行拼接、融合。為了比較本文所述算法的有效性和先進(jìn)性，在此不進(jìn)行亮度調(diào)整而是直接進(jìn)行拼接。

圖7給出了加權(quán)平均融合算法、漸入漸出融合算法、三角函數(shù)權(quán)重融合算法處理后的效果圖。

圖7 圖6經(jīng)3種算法融合后的效果圖

從圖7看出，在曝光差異很大的情況下，加權(quán)平均融合算法對拼接產(chǎn)生的痕跡只有輕微的減弱作用；漸入漸出融合算法雖然已經(jīng)減輕了拼接痕跡的影響，但仍然可以看出融合不自然。三角函數(shù)權(quán)重融合算法在很大程度上已經(jīng)消除了拼接痕跡，而且較好地處理了邊界突兀的問題，使圖像過度部分較為平滑，已經(jīng)能滿足實(shí)驗(yàn)要求。

3.4 評價指標(biāo)

為了從數(shù)據(jù)上比較傳統(tǒng)加權(quán)平均算法、漸入漸出算法和三角函數(shù)權(quán)重拼接算法的優(yōu)劣，而一個指標(biāo)通常不能進(jìn)行客觀而全面的評價，故現(xiàn)從信息量、統(tǒng)計(jì)特性和信噪比3個方面來評價圖像融合的效果[15-17]。選用基于信息量的指標(biāo)：信息熵；基于統(tǒng)計(jì)特性的指標(biāo)：均方根誤差（RMSE）；基于信噪比的指標(biāo)：峰值信噪比（PSNR）。結(jié)果如表1所示。

由表1可知，無論有沒有曝光差異，利用本文算法進(jìn)行圖像拼接后的信息熵更大，即圖像信息量更豐富；PSNR較高，即噪聲得到了有效抑制；RMSE較小，也證明圖像誤差較小。綜合各項(xiàng)客觀指標(biāo)，與傳統(tǒng)加權(quán)平均融合算法和漸入漸出融合算法對比下，本文算法確實(shí)是有優(yōu)勢的。后續(xù)如果能將這種算法進(jìn)行優(yōu)化用在多幅復(fù)雜圖像的拼接或者視頻圖像實(shí)時拼接中，累積優(yōu)勢會更明顯。

表1 3種算法融合結(jié)果對比

4 結(jié)論

對于漸入漸出融合算法仍然存在細(xì)微的拼接縫隙問題，提出了一種基于三角函數(shù)權(quán)重的拼接算法，原理相對簡單，計(jì)算量較小，運(yùn)行速度快，有效減少了拼接痕跡，改善了圖像融合的效果。后續(xù)的工作主要是針對重疊區(qū)域融合后出現(xiàn)的重影、“鬼影”問題進(jìn)行研究和改進(jìn)。

[1] 趙書睿. 全景圖像拼接關(guān)鍵技術(shù)研究[D]. 成都: 電子科技大學(xué), 2013.

ZHAO Shurui. The key technology of panorama mosaic[D]. Chengdu: University of Electronic Science and Technology of China, 2013.

[2] 任超鋒. 航空視頻影像的正射影像制作關(guān)鍵技術(shù)研究[D]. 武漢: 武漢大學(xué), 2014.

REN Chaofeng. Research on key technologies of DOM generation by aerial video[D]. Wuhan: Wuhan University, 2014.

[3] Gangapure V N, Banergee S, Chowdhury A S. Steerable local frequency based multispectral multifocus image fusion[J]., 2015, 23: 99-115.

[4] Li S T, Kang X D, Hu J W. Image fusion with guided filtering[J]., 2013, 22(7): 2864-2875.

[5] Li S T, Kang X D, Hu J D, et al. Image matting for fusion of multi-focus images in dynamic scenes[J]., 2011, 14: 147-162.

[6] Benes R, Dvorak P, Faundez-Zanuy M, et al. Multi-focus thermal image fusion[J]., 2012, 34: 536-544.

[7] Li S T, Yang B, Hu J D. Performance comparison of different multi-resolution transforms for image fusion[J]., 2010, 12: 74-84.

[8] 張欣. 全景拼接的關(guān)鍵技術(shù)研究[D]. 哈爾濱: 哈爾濱工程大學(xué), 2009.

ZHANG Xin. Research on the key technology of panorama mosaic[D]. Harbin: Harbin Engineering University, 2009.

[9] 郭晶. 基于特征點(diǎn)的多幅圖像拼接技術(shù)研究[D]. 西安: 西安科技大學(xué), 2012.

GUO Jing. Multiple image stitching technique research based on the feature points[D]. Xi’an: Xi’an University of Science and Technology, 2012.

[10] James Davis. Mosaics of scenes with moving objects[C]//,, 1998: 354-360.

[11] Lowe D G. Distinctive image features from scale-invariant key points[J]., 2004, 60(2): 91-110.

[12] Herbert Bay, Tinne Tuytelaars, Luc Van Gool. Speeded up robust features[J]., 2006, 110(3): 404-417.

[13] 陸園園, 張明. 基于SIFT算法的紅外圖像拼接方法改進(jìn)[J]. 計(jì)算機(jī)系統(tǒng)應(yīng)用, 2015, 24(8): 165-170.

LU Yuanyuan, ZHANG Ming. Improved algorithm based on SIFT infrared image stitching algorithm[J]., 2015, 24(8): 165-170.

[14] 馬杰. 360°全景圖像拼接技術(shù)研究[D]. 成都: 西南財(cái)經(jīng)大學(xué), 2012.

MA Jie. Research on 360 degree panoramic image stitching. Chengdu: Southwestern University of Finance and Economics, 2012.

[15] 田霞. 混合粒子群優(yōu)化算法在圖像融合中的應(yīng)用[D]. 西安: 陜西師范大學(xué), 2009.

TIAN Xia. The application of hybrid particle swarm optimization in image panorama mosaic[D]. Xi’an: Shannxi Normal University, 2009.

[16] 袁金樓, 吳謹(jǐn), 劉勁. 基于NSCT與DWT的壓縮感知圖像融合[J]. 紅外技術(shù), 2015, 37(11): 957-961.

YUAN Jinlou, WU Jin, LIU Jin. Image fusion based on compressed sensing of NSCT and DWT[J]., 2015, 37(11): 957-961.

[17] 王宇慶, 王索建. 紅外與可見光融合圖像的質(zhì)量評價[J]. 中國光學(xué), 2014, 7(3): 396-401.

WANG Yuqing, WANG Suojian. Quality assessment method of IR and visible fusion image[J]., 2014, 7(3): 396-401.

An Image Fusion Algorithm Based on Trigonometric Functions

WANG Dan，LIU Hui，LI Ke，ZHOU Wei

(,,410000,)

Many images stitching algorithms such as the weighted average image fusion and the gradual image fusion, could not make the stitching gap disappear. A new image fusion method based on trigonometric functions was proposed. Firstly, the overlap area ratio was calculated for each column of pixels, and was represented with corresponding angles. Then, the square of the cosine value was calculated, as weighted information of reference map. The square of the sine value was calculated as weighted information of target image. Finally, the two images are fused by using those two nonlinear weights.The experimental results show that the improved image fusion algorithm has better effects, whether or not the camera is operating in large exposure differences.

weighted average image fusion，gradual image fusion，trigonometric functions，weight，images fusion，different exposure index

TP399

A

1001-8891(2017)01-0053-05

2016-05-08；

2016-06-23.

汪丹（1992-），女，湖南常德人，碩士研究生，研究方向：魚眼校正、圖像拼接融合、全景漫游。

劉輝（1964-），女，湖南漢壽人，碩士，副教授，研究方向：圖像處理、信號處理。E-mail：liuhui1366@126.com。