孫艷艷，董峰，龔惠興

（中科院上海技術物理研究所上海200083）

相機移動場景下的多曝光圖像融合系統(tǒng)設計

孫艷艷，董峰，龔惠興

（中科院上海技術物理研究所上海200083）

由于相機和顯示設備的動態(tài)范圍遠小于人眼可識別的動態(tài)范圍，相機獲取到的圖像往往不能兼顧亮部細節(jié)與暗部細節(jié)。多曝光圖像融合可以解決上述問題，但目前該方法大多基于相機與目標場景相對靜止的前提。文中通過結(jié)合圖像配準和圖像融合，實現(xiàn)一個可以處理運動相機拍攝的多曝光圖像的融合系統(tǒng)。首先，配準模塊提取SURF特征點，進行歐式距離粗匹配；其次，配準模塊利用RANSAC算法進行精匹配，提取變換模型參數(shù)并進行投影變換以矯正圖像；最后，融合模塊利用金字塔融合法融合已配準圖像。實驗結(jié)果表明該系統(tǒng)可有效矯正圖像空間位置偏差，擴大圖像的動態(tài)范圍，提高圖像質(zhì)量。

圖像融合；SURF；RANSAC算法；金字塔融合；多曝光圖像

動態(tài)范圍是場景中亮度最大值與最小值之比。從正午的陽光到暗夜的星光，通過瞳孔調(diào)節(jié)，人眼可識別的動態(tài)范圍可達到110 dB。而目前普遍的圖像獲取設備進行A/D轉(zhuǎn)換時，量化位數(shù)僅為8～12 bit，動態(tài)范圍大約為60 dB，遠遠窄于人眼可識別的動態(tài)范圍［1］，因此獲取和顯示圖像時經(jīng)常陷于亮部細節(jié)與暗部細節(jié)不可兼得的困境。

高動態(tài)范圍成像［2-3］（High Dynamic Range Imaging，HDRI）和多曝光圖像融合技術［4-5］（Multi-exposure Image Fusion）可以解決以上問題。研究結(jié)果表明，后者相比于前者，算法簡潔、計算量小、時間和空間復雜度低。但兩者都要基于在整個拍攝過程中相機與拍攝場景相對靜止的前提下，不適用于相機與拍攝目標有相對移動的圖像序列。

為解決以上問題，文中提出一個多曝光圖像融合系統(tǒng)，在圖像融合之前引入圖像配準，矯正拍攝目標的位置偏差，再進行融合處理。

1　多曝光圖像融合系統(tǒng)

文中設計的多曝光圖像融合系統(tǒng)框圖如圖1所示。

處理步驟如下：

輸入：針對同一拍攝目標的多曝光圖像序列，相機與成像目標之間可有相對運動。

輸出：位置已校正并經(jīng)多曝光融合后的圖像。

步驟1：對輸入圖像分別檢測SURF特征點，確定各圖像的特征點集。

步驟2：選取一張圖像作為基準圖像，其他作為浮動圖像。根據(jù)圖像的特征點集，先進行SURF特征點的歐氏距離匹配，得到粗匹配結(jié)果；然后根據(jù)粗匹配結(jié)果，利用RANSAC算法進行精匹配，排除外點，并提取浮動圖像相對于基準圖像的投影變換模型。

圖1　多曝光圖像融合系統(tǒng)框圖

步驟3：依據(jù)變換模型將浮動圖像變換到基準圖像坐標系下，并進行適當?shù)牟眉?，保留圖像序列的公共部分。

步驟4：對校正后的圖像進行金字塔多曝光圖像融合，擴展圖像的動態(tài)范圍。

2　基于SURF特征的圖像配準

SURF算法是在SIFT算法基礎上的優(yōu)化［6］，具有尺度不變性的優(yōu)點。相比于后者，SURF算法由于引入積分圖像計算和Haar特征，效率更高，有更強的魯棒性。SURF算法首先利用Hessian矩陣確定候選點，然后進行非極大值抑制，創(chuàng)建描述子。

匹配時，先利用特征點間的歐式距離作為相似性測度進行粗匹配，然后利用RANSAC算法去除外點，提取變換模型。

2.1提取SURF特征點

2.1.1Hessian矩陣構建

Hessian矩陣的定義如式（1）所示：

其中Lxx（x，σ）、Lxy（x，σ）、Lyy（x，σ）是圖中像素與高斯函數(shù)g的二階偏導分別進行卷積的結(jié)果。

在圖像處理中，分別用箱式濾波模板（如圖2所示）與原始圖像的卷積Dxx，Dxy，Dyy代替Hessian矩陣中的Lxx，Xxy，Xyy。然后按照公式（2）計算Hessian矩陣行列式值，遍歷整幅圖像，計算每個像素對應的Det（Hessian）值。

圖2　箱式濾波模板

2.1.2建立尺度空間

SURF算法通過對圖像建立尺度空間，并在各個尺度的圖像中尋找SURF特征點，以實現(xiàn)配準算法的尺度不變性。在這個過程中引入積分圖像以提高算法效率。圖像從原點到某點的矩形區(qū)域內(nèi)像素值之和記為該點在積分圖像上的值。計算出原始圖像對應的積分圖像之后，原始圖像中的任意矩形子區(qū)域內(nèi)的積分值均可通過對積分圖像值的加減算法來完成，效率大大提高。

區(qū)別于SIFT算法，SURF算法改變?yōu)V波器的尺度而非原始圖像的尺寸，通過對積分圖像進行濾波建立圖像的尺度空間。得到圖像的尺度空間后，在尺度空間的每一層圖像用2.2所述方法，利用快速Hessian矩陣來檢測圖像的候選極值點。

設定閾值，當某點的Det（Hessian）小于該值時，不作處理；否則，取該點所在層及其上下層對應的3×3×3的三維鄰域進行非極大值抑制，僅選響應值大于其三維鄰域內(nèi)其它26個點的響應值的點作為特征點。此處所設閾值越小，得到的特征點越多。最后通過對尺度空間插值計算出特征點的準確位置和尺度值［7］。

2.1.3創(chuàng)建特征描述子

為了保證配準算法的旋轉(zhuǎn)不變性，在SURF算法中，統(tǒng)計特征點鄰域內(nèi)的Haar小波特征，而非統(tǒng)計梯度直方圖［8］。假設特征點所在的尺度值為S，取Haar小波邊長為4 S。以特征點為中心，在半徑為6S的鄰域內(nèi)，統(tǒng)計60°扇形區(qū)域內(nèi)所有的點在水平和垂直方向的Haar小波響應總和。并賦高斯權重系數(shù)給響應值，使靠近特征點的響應權重大，遠離特征點的響應權重小。然后將60°范圍內(nèi)的響應求和形成新的矢量。步長取10°，遍歷所選圓形鄰域，取最長矢量所指方向為該特征點的主方向。對特征點逐個計算，得到所有特征點的主方向。

取特征點主方向為x（水平）軸正方向，以特征點為中心取邊長為20 S的正方形區(qū)域。將該區(qū)域分為16個子區(qū)域，統(tǒng)計每個子區(qū)域中x（水平）方向和y（垂直）方向的Haar小波特征：Σdx，Σ|dx|，Σdy和Σ|dy|。定義四維向量V=（Σdx，Σ|dx|，Σ dy，Σ|dy|）。將16個子區(qū)域的V向量分別加入到特征向量中，形成16×4維的特征向量。

2.2特征匹配

2.2.1歐氏距離粗匹配

將每幅圖中的特征點按照其對應Hessian矩陣的跡的符號，分為兩類：符號為正的表示暗背景上的亮點，反之則為亮背景上的暗點。匹配時僅將同類型的特征點進行比較，以減小計算量。

利用歐氏距離作為相似性測度進行匹配時，在浮動圖像特征點集中任取一點，計算其特征向量V到基準圖像同類型的所有特征點的歐氏距離。如果最小距離dmin與次最小距離dsubmin之比小于指定閾值，則認為兩特征點匹配，否則沒有與之相匹配的點。遍歷浮動圖像的特征點集合，計算出匹配點集。所設閾值越小，則匹配點對越少，同時匹配魯棒性更強。

2.2.2RANSAC精匹配

得到粗匹配點集后，利用RANSAC算法剔除誤匹配點對，并計算變換模型［9］。為使系統(tǒng)適用于平移、旋轉(zhuǎn)、縮放、投影多種變換，本文選用投影變換作為變換模型。RANSAC算法步驟如下：

1）在匹配點集中任取4對任3點不共線的匹配點對，計算變換模型H的參數(shù)；

2）將其他點對適應變換模型H，計算誤差。若誤差小于一個像素，則認為該點為內(nèi)點，否則判定為外點；

3）統(tǒng)計變換模型H下內(nèi)點的數(shù)量；

4）重復步驟1）至3），選擇內(nèi)點數(shù)量最多的變換模型作為最終變換模型。若內(nèi)點數(shù)量總小于總數(shù)的三分之一，則匹配失敗。

2.3浮動圖像矯正和裁剪

得到變換模型后，利用后向映射法，通過雙線性插值，將浮動圖像的成像目標矯正到與基準圖像重合，便于之后進行多曝光圖像融合。

3　多曝光圖像融合

多曝光圖像融合是采用融合的方法，將幾幅圖像中不同曝光時間獲得的細節(jié)集合到一張圖像上［10］，本文采用金字塔融合法［11-12］。根據(jù)對比度、色彩飽和度、曝光良好度對圖像序列中各幅圖像的每個像素計算權重，形成權重圖。將每幅圖像的權重圖和原始圖像分別進行高斯金字塔和拉普拉斯金字塔分解，每層按像素相乘，得到融合金字塔。對融合金字塔反變換，重建出融合后圖像。

3.1權重圖計算

將圖像數(shù)據(jù)歸一化至區(qū)間［0，1］，便于處理。對于灰度圖像，可只采用對比度和曝光良好度兩個測度計算權重。對原始圖像進行拉普拉斯濾波并取絕對值，作為拉普拉斯模板中心對應像素點的對比度值。利用亮度值靠近0.5的程度來判斷該點的曝光良好程度。曝光良好度公式如式（3）所示：

其中E（i，j）和V（i，j）分別為點（i，j）的曝光良好度和亮度值。點（i，j）的權重值計算公式如式（4）：

其中［C（i，j）和E（i，j）分別表示點（i，j）的對比度值和曝光良好度值，WC和WE分別表示對以上兩個度量的權重，一般均取1。

得到每幅圖的權重圖后將其歸一化，使所有權重圖同一點的權重值之和為1。

3.2高斯金字塔和拉普拉斯金字塔

3.2.1高斯金字塔

高斯金字塔的形成過程是對圖像高斯模糊，再進行降2采樣，每一層圖像都是上一層圖像大小的四分之一。若采用5×5高斯模板w（m，n）進行分解，過程如式（5）所示：

其中Lev為高斯金字塔的層數(shù)，Gl為高斯金字塔第l層圖像數(shù)據(jù)，Cl和Rl分別表示第l層圖像數(shù)據(jù)的列數(shù)和行數(shù)，w（m，n）為高斯模板的第m行n列數(shù)值。

在本算法中，基于權重圖建立高斯金字塔。由于權重圖中每個點都是單獨計算權重，對噪聲比較敏感。在高斯模糊的過程中，平滑濾波可以降低噪聲的影響，使得算法更穩(wěn)健。

3.2.2拉普拉斯金字塔

拉普拉斯金字塔又稱為高斯不同金字塔［13］。在高斯模糊的過程中會丟失細節(jié)信息，因此引入拉普拉斯金字塔。對拉普拉斯金字塔第l層圖像Il-1按式（5）高斯模糊并下采樣得到圖像Gl。對進Gl行上采樣，得到高斯近似圖像I*l，過程如式（6）所示：

其中Z為整數(shù)集。

Gl與I*l兩者相減即得到拉普拉斯金字塔第l層圖像。在拉普拉斯最后一層保留上一層圖像的高斯模糊下采樣圖像，便于恢復圖像，如式（7）所示：

3.3融合和重建圖像

假設待融合圖像共有M幅。融合過程如式（8）所示：

Gk，i和Lk，i分別表示第k幅圖像的高斯金字塔和拉普拉斯金字塔的第i層圖像數(shù)據(jù)，運算符?表示兩幅圖像按像素對應位置相乘，相乘結(jié)果Fi為融合金字塔的第i層數(shù)據(jù)。

得到融合金字塔后，依據(jù)式（6），從第Lev-1層圖像數(shù)據(jù)開始進行上采樣，并與下一層圖像數(shù)據(jù)合并，直至重建出融合圖像。合并過程如式（9）所示：

其中upsample（·）表示對自變量按照式（6）上采樣，R為重建的融合圖像。

4　實驗結(jié)果

為驗證系統(tǒng)正確性，在Visual Studio 2013平臺上進行實驗。計算機處理器為Corel i7系列，主頻3.4 GHz，內(nèi)存8 G。實驗所用圖像為1024×1024灰度圖像，如圖3所示，圖中（a）、（b）、（c）曝光時間依次縮短。

圖3　輸入圖像

圖4　實驗結(jié)果

融合結(jié)果如圖4所示，（a）、（b）、（c）分別為3幅輸入圖像經(jīng)配準、映射和裁切后的圖像，圖4（d）為前3幅經(jīng)圖像融合后的輸出圖像。

從主觀視覺上分析，由于3幅圖像配準精確，特征點對應良好，所以融合后圖像細節(jié)清晰，修正了圖4（a）的曝光過度部分和圖4（c）的曝光不足部分，且相比圖4（b）在對比度方面有所提升。

圖5所示為融合步驟中輸入輸出圖像直方圖。由圖可知，輸入圖像1灰度分布大體較為均勻，但在灰度軸最右端有較高凸起，說明圖像有高光溢出，亮部細節(jié)有丟失；輸入圖像2和3的直方圖主峰值偏左，圖像整體偏暗，會導致降低對比度甚至丟失暗部細節(jié)；融合圖像的直方圖顯示灰度分布均勻，主峰靠中，過暗和過亮部分像素數(shù)量極少，達到較好的融合效果。

圖5　輸入輸出圖像直方圖

表1所示為6組實驗的結(jié)果，表中所列為融合前后圖像的信息熵對比。其中第一組實驗與圖4所示為同一組。圖像信息熵是評價圖像質(zhì)量的一個常用指標，反映了圖像中所包含的信息量的多少［14-15］。由對比結(jié)果可知，系統(tǒng)提高了圖像的信息熵，有效改善圖像質(zhì)量。

表1　原始圖像與多曝光融合后圖像的信息熵

5　結(jié)束語

本文將圖像配準和多曝光圖像融合相結(jié)合，實現(xiàn)了一個多曝光圖像融合系統(tǒng)，可用于處理相機與成像目標有相對移動的圖像序列。系統(tǒng)基于SURF特征點和RANSAC算法進行圖像配準，配準精度高，可有效矯正圖像。通過基于金字塔分解的多曝光圖像融合算法，擴大了融合圖像動態(tài)范圍，使融合圖像保留更多細節(jié)，圖像質(zhì)量得到改善。

［1］唐艷秋，張星祥，李新娥，等.基于人眼視覺灰度識別特性的圖像動態(tài)范圍小波變換處理方法［J］.液晶與顯示，2012，27（3）:385-390.

［2］伍世虔，李政國.高動態(tài)范圍成像（英文）［J］.西安郵電大學學報，2013，18（2）:1-13.

［3］張軍，戴霞，孫德權，等.不同曝光值圖像的直接融合方法［J］.軟件學報，2011，22（4）:813-825.

［4］Goshtasby A.Fusion of multi-exposure images［J］.Image and Vision Computing，2005，23（8）:611-618.

［5］LI Xiao-guang，LI Feng-hui，ZHUO Li，et al.Layered-based exposure fusion algorithm［J］.IET Image Processing，2013，7（7）:701-711.

［6］Herbert Bay，Andreas Ess，Tinne Tuytelaars，et al.SURF: Speeded up robust features［J］.Computer Vision and Image Understanding（CVIU），2008，110（3）:346-359.

［7］趙璐璐，耿國華，李康，等.基于SURF和快速近似最近鄰搜索的圖像匹配算法［J］.計算機應用研究，2013，30（3）:921-923.

［8］吳一全，陶飛翔，曹照清.利用雙樹復小波變換和SURF的圖像配準算法［J］.系統(tǒng)工程與電子技術，2014，36（5）:997-1003.

［9］紀利娥，陳磊.結(jié)合SURF特征和RANSAC算法的圖像配準方法［J］.傳感器世界，2013，19（10）:9-12.

［10］胡燕翔，萬莉.大動態(tài)范圍多曝光圖像融合方法［J］.計算機工程與應用，2014，50（1）:153-155.

［11］江鐵，朱桂斌，孫奧.基于金字塔變換的多曝光圖像融合［J］.計算機技術與發(fā)展，2013，23（1）:95-98.

［12］Mertens T，Kautz J，Van Reeth F.Exposure fusion［C］//Proceedings of Pacific Graphics 2007，Hawaii:IEEE Computer Society，2007:382-390.

［13］SHEN Jianbing，ZHAO Ying，YAN Shuicheng，et al.Exposure fusion using boosting Laplacian pyramid［J］.IEEE Trans-action on Cybernetics，2014，44（9）:1579-1590.

［14］黃君.圖像質(zhì)量評價的研究［D］.浙江:浙江理工大學，2012.

［15］高紹姝，金偉其，王嶺雪，等.圖像融合質(zhì)量客觀評價方法［J］.應用光學，2011，32（4）:671-677.

Design of a multi-exposure image fusion system under the moving camera scene

SUN Yan-yan，DONG Feng，GONG Hui-xing
（Shanghai Institute of Technical Physics of the Chinese Academy of Sciences，Shanghai 200083，China）

The dynamic range of cameras or display devices is often lower than that of human eyes，therefore images captured by normal cameras are often lack of details in the dark or highlight areas，which can be addressed by multi-exposure image fusion methods.However，almost all these methods are based on the premise that the camera should be relatively static to the target scene.In this research，a system that can proceed images captured by a moving camera is proposed.Firstly，the registration module extracts SURF features from the images and performs a rough match based on Euclidean distance. Secondly，the registration module matches the feature points precisely by using RANSAC algorithm，computes projective transformation model and implements registration.Finally，the fusion module fuses the registered multi-exposure images by using multi-resolution pyramid fusion method.Experimental results indicate that the proposed system can rectify the spatial deviation，expand the dynamic range of fused image and improve its quality effectively.

image fusion；SURF；RANSAC algorithm；pyramid fusion；multi-exposure image

TN919.82

A

1674－6236（2016）12-0152-04

2016-03-14稿件編號：201603159

863軍口項目（2014AA8111001）

孫艷艷（1989—），女，河南洛陽人，碩士研究生。研究方向：數(shù)字圖像處理。