劉鵬飛 高如新

摘 要：為避免相鄰圖像非重疊區(qū)域特征點被檢測和提取，加速圖像配準，提出一種基于相位相關法與改進SURF算法的快速圖像拼接方法。該方法采用相位相關算法確定待拼接圖像的重疊區(qū)域，限定SURF特征點檢測、提取范圍，用改進的SURF算法進行特征點匹配;然后根據(jù)MSAC算法剔除誤配后的特征點匹配對，求取單應性矩陣，實現(xiàn)圖像之間的快速配準;最后采用多波段融合算法對配準后的圖像進行處理以消除拼接縫。實驗結果表明，與傳統(tǒng)算法相比，該方法可提高特征點匹配正確率，加速圖像配準過程，完成拼接圖像間的平滑過渡。

關鍵詞：圖像配準; 相位相關法; 改進SURF算法; 特征點匹配; 圖像融合; 多波段融合

0 引言

圖像拼接技術是對取自不同時間、不同視角或不同傳感器的有一定重疊區(qū)域的兩幅或多幅圖像進行拼接，從而形成一幅大型、無縫全景圖像的技術。它因成本價格低廉、實現(xiàn)方法簡單、性能質(zhì)量優(yōu)越成為獲取全景圖像的一種常用方法，被廣泛應用于宇宙空間探測、醫(yī)學圖像、視頻檢索、虛擬現(xiàn)實等多個領域[1-2]。

圖像拼接基本流程包括圖像預處理、圖像配準、圖像融合等[3]，其中圖像配準和融合對拼接速度與效果有主要影響作用。圖像配準決定拼接成功與否，比較經(jīng)典的配準方法有：Harris角點檢測算法、SIFT算法、SURF算法。Harris角點檢測算法在實際應用中最廣泛，具有計算相對簡單、穩(wěn)定性較高等特點，但在提取角點時抗噪能力差及存在不必要角點簇等缺點[4];SIFT算法保持了尺度、旋轉(zhuǎn)、亮度等不變性，且在角度變化、仿射變換和噪聲處理方面有一定的穩(wěn)定性，但時間性能較低、匹配精度不高[5];SURF算法優(yōu)勢主要體現(xiàn)在速度上，比SIFT算法快3倍左右，但3種算法均存在特征點匹配效率不高的缺點。本文采用相位相關算法確定待拼接圖像的重疊區(qū)域，限定SURF特征點檢測、提取范圍，并用改進的SURF匹配算法提高特征點匹配效率，為消除拼接縫作準備;同時通過確定待融合圖像重疊區(qū)域內(nèi)每一個像素點的取值，實現(xiàn)圖像平滑過渡。

1 圖像配準

1.1 圖像配準相應算法

圖像配準指將不同時間、不同傳感器（成像設備）或不同條件下（氣候、照度、攝像位置和角度等）獲取的兩幅或多幅圖像進行匹配、疊加，實現(xiàn)待配準圖像幾何意義上的對齊[6]。圖像配準算法分為三大類：一類是基于頻域的（相位相關度方法）Fourier變換位移理論;另一類是基于像素灰度級的算法，操作較簡單的算法包括塊匹配法、模板匹配法;第三類是基于特征點的算法，利用在圖像中檢測到明顯特征點的正確匹配對計算圖像之間的變換。鄭志彬、葉中付[7]提出在給定參考圖像小區(qū)域的情況下尋找待配準圖像中相同大小的區(qū)域，使在對數(shù)極坐標表示下，這兩個小區(qū)域圖像的互功率譜經(jīng)傅里葉反變換后是一個二維脈沖信號。由此得到圖像配準所需的各項參數(shù)，配準效果良好;缺點是參考圖像中心截取的區(qū)域在待配準圖像中必須存在，否則配準失敗;高新杰、李德勝[8]提出一種改進的基于比值法與模板匹配法的灰度圖像拼接算法，通過設置拼接參數(shù)對話框找到待匹配圖像中與參考圖像某像素點對應的最佳匹配點，最后利用平滑因子對兩幅圖像的重疊區(qū)域進行數(shù)據(jù)融合操作，實現(xiàn)了灰度圖像快速圖像拼接，但該方法對圖像重疊區(qū)域要求很高。Herbert Bay[9]提出的經(jīng)典SURF算法是SIFT算法的改進，盒子濾波與積分圖像的運用加速了SURF特征點檢測和提取過程，同時利用Hessian矩陣跡的正負性加速特征點匹配。實驗結果表明：SURF算法可保持旋轉(zhuǎn)、尺度變換、亮度不變性，對視角變換、噪聲也有一定程度的穩(wěn)定性，是一種更高效的特征匹配方法，但在分辨率和流暢度較高的大型應用場合，仍不能滿足實時性需求。本文結合兩種算法的速度優(yōu)勢，在保證SURF算法魯棒性的前提下，進一步提高圖像配準速度。

1.2 相位相關法與改進SURF相結合的配準方法

傳統(tǒng)SURF算法是在整幅圖像而不是重疊區(qū)域提取特征點，不必要的特征檢測和提取會導致配準時耗過大。為解決該問題，本文首先結合相位相關法的平移特性粗略獲得待拼接圖像的重疊區(qū)域，然后根據(jù)SURF特征點魯棒性對具有重疊區(qū)域相鄰兩幅圖像進行特征點提取，同時利用改進SURF匹配算法進行特征點匹配。

1.2.2 改進SURF算法特征點匹配與圖像配準

SURF特征點檢測和提取過程[13-14]主要包括：首先建立積分圖像，并用不同尺寸的框狀濾波器處理原始圖像感興趣區(qū)域，相鄰層相減建立尺度空間;然后依靠近似的Hessian矩陣行列式求出局部最大值像素點，將其作為興趣點，對應的二維數(shù)組下標即為興趣點在圖像中的位置;利用Haar小波確定興趣點主方向后，構建描述子向量（見圖4）。

在特征點匹配階段，本文采用向量空間余弦相似度度量方法改進SURF匹配算法。余弦相似度測度[15]指計算特征點間的相似程度，將向量根據(jù)坐標值繪制到向量空間，計算向量夾角對應的余弦值，該余弦值可表征兩個特征點向量的相似性。余弦值越大，說明兩特征點向量之間的夾角越小，匹配相似度越大。度量標準——閾值K可由實驗獲得，保留大于閾值K的余弦值，反之則刪除，以此作為計算匹配對數(shù)和索引匹配對位置坐標的依據(jù)。對于兩個向量a和b，余弦相似度[S（a，b）]表達式為：

完成圖像坐標變換[19-20]和映射的具體過程如下：使用輸出限制法（Output Limit Method）計算待拼接的每幅圖像變換矩陣最小、最大輸出限制以及拼接后全景尺寸，創(chuàng)建一個初始化、空的全景，將所有圖像映射到全景中。其中，全景尺寸由imref2d創(chuàng)建的二維空間參考對象定義，空的全景初始化依據(jù)水平和垂直方向最小、最大輸出限制由zero函數(shù)完成，使用imwarp函數(shù)把單幅圖像映射到全景當中，利用vision.AlphaBlender函數(shù)實現(xiàn)相鄰兩幅圖像重疊區(qū)域的覆蓋和對齊，效果如圖7所示。

2 圖像融合

圖像融合指用特定算法對待拼接圖像重疊區(qū)域進行融合，拼接重構后得到平滑無縫的全景圖像。本文采用Burt & Adelson[21]的多波段融合算法對配準得到的全景圖像進行融合。該融合算法基本思想是圖像可以分解為不同頻率的圖像疊加，在不同頻率上，應該使用不同的權重進行融合，在低頻部分應該使用波長較寬的加權信號（例如高斯核函數(shù)中sigma比較大），在高頻部分應該使用較窄的加權信號（例如高斯核函數(shù)的sigma比較?。?。基本步驟為：①獲取相鄰兩幅圖像的Gaussian金字塔序列;②獲得每一路圖像的Laplacian金字塔;③Laplacian金字塔序列對應級融合[22]，可以得到融合后的全景圖像（見圖8）。從圖中可以看到融合后的全景圖在重疊位置過渡平滑自然，基本消除了拼接縫。

3 實驗結果與分析

利用Matlab R2015b軟件對采集的校園圖像進行拼接，圖片拍攝過程中相機處于大致同一水平高度，程序中輸入的圖像是降低分辨率的寢室圖像。為驗證本文算法可行性，對另一組圖片進行拼接。原始圖像和實驗結果如圖9-圖11所示。由圖10、11可以看到，拼接后的圖像增大了視場，提高了空間分辨率。

特征點正確匹配率和匹配時間可體現(xiàn)算法效率和速度。本文算法從以上兩個方面與經(jīng)典Harris算法、SIFT算法、SURF算法進行對比，結果如表1所示。

經(jīng)過多組相鄰圖像匹配實驗可知：在經(jīng)典算法中，SURF匹配速度最快，不到SIFT耗時的一半，兩者正確匹配率相當;本文算法與經(jīng)典SURF算法相比，正確匹配率高出了至少10個百分點，耗時約為后者的一半。因此本文算法在匹配效率和速度上均有比較明顯的優(yōu)勢。

4 結語

本文充分利用相位相關算法與改進SURF算法的速度優(yōu)勢，提出了全景圖像拼接的優(yōu)化算法。該算法設計成熟且硬件實現(xiàn)較簡單。由實驗結果可知，該算法在提高拼接速度的基礎上，提高了特征點匹配效率，具有一定的穩(wěn)定性，拼接效果好。但對于圖像特征豐富程度很低的仿真組，如墻壁、天空等圖片，利用本文算法無法采集到有效特征點。此外，MSAC算法剔除誤配過程中參數(shù)設置過于苛刻，導致大部分正確匹配的特征點對被剔除，因此圖像某部分配準精度不高，甚至可能無法得到計算單應性矩陣所需的充分數(shù)據(jù)，最終造成圖像拼接失敗。未來將針對算法缺點作進一步深入研究。

參考文獻：

[1] 葉朝陽. 大視圖圖像拼接：原理和應用[D]. 杭州：浙江大學，2004.

[2] 鄭海珍. 圖像拼接技術的研究與應用[D]. 杭州：杭州電子科技大學，2010.

[3] 羅群明，施霖. 圖像拼接方法綜述[J]. 傳感器與微系統(tǒng)，2017，36（12）：4-6+12.

[4] 趙艷，江澤濤. 一種改進的Harris角點檢測算法[J]. 桂林電子科技大學學報，2017，37（5）：401-405.

[5] 盛明偉，唐松奇，萬磊，等. 二維圖像拼接技術研究綜述[J]. 導航與控制，2019，18（1）：27-34+96.

[6] 謝正. 基于特征點的快速圖像匹配算法研究[D]. 長沙：國防科技大學，2011.

[7] 鄭志彬，葉中付. 基于相位相關的圖像配準方法[J]. 數(shù)據(jù)采集與處理，2006，21（4）：444-449.

[8] 高新杰，李德勝. 基于比值法和模板匹配法的灰度圖像拼接[J]. 微計算機信息，2007，23（36）：277-279.

[9] BAY H，ESS A，TUYTELAARS T，et al. Speeded-up robust features[J]. Computer Vision and Image Understanding，2008，110（3）：346-359.

[10] 陳月，趙巖，王世剛. 基于SIFT特征矢量圖的快速圖像拼接方法[J]. 吉林大學學報：理學版，2017，55（1）：116-122.

[11] 吳憲祥，郭寶龍，王娟. 基于相位相關的柱面全景圖像自動拼接算法[J]. 光學學報，2009，7（29）：1824-1829.

[12] 厲丹，肖理慶，田雋，等.? 基于改進相位相關與特征點配準的多圖拼接算法[J]. 計算機科學，2018，45（1）：313-319.

[13] 符秀輝，周文俊，趙茂鑫. 基于改進surf算法的室內(nèi)環(huán)境圖像快速拼接[J]. 計算機技術與發(fā)展，2015，8（25）：39-42+47.

[14] 趙書睿. 全景圖像拼接關鍵技術研究[D]. 成都：電子科技大學，2013.

[15] 張曉宇，何文思，段紅燕，等. 改進的SURF特征提取與匹配算法[J]. 機械設計與制造工程，2018，11（47）：58-62.

[16] TORR P H S， MURRAY D W. The development and comparison of robust methods for estimating the fundamental matrix[J].? International Journal of Computer Vision， 1997， 24（3）：271-300.

[17] CHOI S，KIM T，YU W. Performance evaluation of RANSAC family[C]. Proceedings of the British Machine Vision Conference，2009： 1-12 .

[18] 卜珂. 基于SURF的圖像配準與拼接技術研究[D]. 大連：大連理工大學，2009.

[19] 潘子陽. 基于360°全景的圖像拼接技術研究[D]. 合肥：合肥工業(yè)大學，2017.

[20] 楊艷偉. 基于SIFT特征點的圖像拼接技術研究[D]. 西安：西安電子科技大學，2009.

[21] BURT P，ADELSON，E A. Multiresolution spline with application to image mosaics[J]. ACM Transactions on Graphics，1983，2（4）：217-236.

[22] 倪國強. 多波段圖像融合算法研究及其新發(fā)展（II）[J]. 光電子技術與信息，2001，14（6）：1-6.

（責任編輯：江 艷）