王 月，李 陽，金映谷，楊亞寧

(大連民族大學 a.信息與通信工程學院；b.機電工程學院，遼寧 大連 116605)

圖像拼接是將多幅有重疊區(qū)域的圖像拼成一幅高分辨率的全景圖像，實際應用中，硬件設備和一些不可控因素使得待拼接圖像存在幾何畸變。畸變不僅影響視覺效果，更決定拼接任務成功與否。圖像拼接應用領域廣泛，待拼接圖像種類繁多、特征多變，目前尚沒有一種方法能夠適用于不同領域多款相機的圖像拼接[1]。

近年來，隨著圖像處理技術的快速發(fā)展，國內(nèi)外已有很多科研工作者對圖像拼接進行研究。Alomran等[2]通過檢測所獲取圖像的重疊區(qū)域，自動對齊和融合圖像的拼縫處從而創(chuàng)建全景圖像，該方法通過廣角鏡，垂直和水平旋轉(zhuǎn)采集圖像，以及在非固定軸上取圖，能夠以最小5%的重疊面積正確拼接。Zhu L等[3]提出一種基于改進加速魯棒特征的快速拼接方法，首先采用機器學習方法構(gòu)建二分類器，對SURF提取的關鍵特征點進行識別，剔除非關鍵特征點，繼而使用RELIEF-F算法對改進的SURF進行降維和簡化，實現(xiàn)圖像配準，提高了配準速度。Zhou A等[4]根據(jù)缺陷鋼制旋轉(zhuǎn)零件圖像特點，提出一種基于傾斜概率測度和RANSAC算法的帶特征點SIFT特征跟蹤圖像拼接方法，該方法利用尺度不變特征變換算法和基于斜率概率測度的偽匹配點對的除去算法以及隨機抽樣一致算法，求解兩個鄰接矩陣的配準參數(shù)，進而完成零件缺陷圖像拼接。Du X等[5]提出一種基于BRISK特征提取的改進ORB圖像拼接方法，該方法使用ORB算法描述特征點，使用KNN算法和PROSAC算法純化匹配點，通過漸進漸出加權平均融合完成拼接。以上研究都取得較好的拼接效果，但尚沒有解決適用于多種類型相機的圖像拼接問題。針對以上問題，本文提出一種在圖像拼接中引入單參數(shù)除法模型的方法，省去繁重的標定過程，能夠矯正多種類型相機取圖產(chǎn)生的徑向畸變，實現(xiàn)圖像不失真拼接且拼接效果較好，對于先進駕駛輔助系統(tǒng)的升級、天眼監(jiān)控系統(tǒng)的完善具有一定的幫助。

1 特征點提取

1.1 圖像采集與預處理

本文不局限于矯正特定相機取圖產(chǎn)生的徑向畸變(單次拼接的圖像均來自同款相機)，采集到的拼接圖像應具有共同區(qū)域，重疊區(qū)域至少有20%～50%。在圖像特征點提取前，為提高實驗的精確性，使用中值濾波消除圖像的椒鹽噪聲，保持圖像邊緣特性。

1.2 特征點檢測

由于Harris算子具有較好的檢測效果和實用性，且穩(wěn)定性強、魯棒性高[6]，本文使用Harris算子進行角點檢測。Harris算子的基本思想[7]是假定在某一點周圍圈出一個很小的窗口，然后沿著任意方向移動這個窗口，比較移動后與移動前，如果窗口包含的所有像素灰度值的累加值發(fā)生明顯變化，則說明這點是角點，本文對提取的特征點進行輪廓顯示如圖1。

圖1 特征點提取效果圖

2 徑向畸變矯正

相機必然存在鏡頭畸變，其中徑向畸變是其主要類型，畸變示意圖如圖2。圖中網(wǎng)格線為畸變趨勢線，本文針對待拼接圖像中的徑向畸變[8]進行研究。在徑向畸變模型中，除法模型相對于多項式模型具有更高的精度，對于大多數(shù)攝像設備而言，單參數(shù)除法模型已具備足夠的精度[9-10]，由此，本文提出一種引入單參數(shù)除法模型的拼接方法，該方法利用單參數(shù)除法模型求解畸變系數(shù)，并利用畸變系數(shù)矯正徑向畸變，使得矯正拼接工作易于部署。

圖2 畸變示意圖

本文所用模型是在立體匹配的約束條件下得到的，該模型使圖像的徑向畸變系數(shù)同普通透視圖像對的對極幾何模型相結(jié)合，求解畸變系數(shù)。設置徑向畸變的中心為圖像中心，同時假設像素縱橫比接近1，偏斜接近0。Xd=(xd,yd,1)表示畸變圖像上的點，Xu=(xu,yu,1)對應未失真的點，則：

(1)

(2)

如果需精確保持此模型，式(1)、(2)會隱式假設像素縱橫比接近1，偏斜接近0。實際上，幾乎大部分工業(yè)相機滿足零偏角方形像素，且精度很高。

(3)

利用Fitzgibbon提出的將畸變系數(shù)與8點算法[12]相結(jié)合的方法進行計算，得到：

(4)

式(4)等效為

Xu=Xd+λZd。

(5)

式(3)、(5)聯(lián)立得：

(6)

(D1+λD2+λ2D3)f=0 ，

(7)

此時畸變系數(shù)求解轉(zhuǎn)換為特征值求解問題。

得到特征值后，為提高其精度，采用RANSAC方法通過距離是否大于設定閾值判斷是否為外點，從而去除外點，閾值一般取0.04～0.05。到此畸變系數(shù)已求出，可以用來矯正徑向畸變。

3 仿真驗證

選用的四款拍攝設備參數(shù)詳情見表1，采集不同場景下的圖像進行實驗。

表1 設備參數(shù)及拍攝場景

為更好顯示實驗效果，通過幾何扭曲增強圖像畸變，并利用上述方法處理，得到矯正效果如圖3。

圖3 局部矯正效果圖

利用歸一化互相關方法進行匹配，采用隨機抽樣一致算法提高匹配準確率并利用內(nèi)點數(shù)據(jù)進行參數(shù)估計，計算變換矩陣。為得到更加理想的效果，使用gold_standard算法進一步優(yōu)化，利用加權融合算法完成圖像拼接。主要參數(shù)設置見表2。

表2 主要參數(shù)設置

選用多款相機拍攝多種場景圖片進行拼接實驗，拼接效果如圖4。

圖4 全局拼接矯正結(jié)果圖

由20名觀察者分別對四組拼接矯正結(jié)果圖像進行主觀評價，5%的觀察者認為拼接矯正效果極佳，85%的觀察者認為效果較好，10%的觀察者考慮到拼接分割線認為效果一般。

4 結(jié) 語

徑向畸變易引發(fā)圖像拼接失真，本文提出一種在圖像拼接過程中引入單參數(shù)除法模型的方法，利用單參數(shù)除法模型快速部署，解決徑向畸變問題，實現(xiàn)圖像不失真拼接。該方法還適用于不同領域的多款攝像機，對于天眼監(jiān)控系統(tǒng)的完善、先進駕駛輔助系統(tǒng)的升級以及機器人視覺領域的研究具有一定的參考價值。