劉絮絮

摘要：為了解決直接用模板匹配直接拼接效果較差并且無法將該方法應用于森林大場景的問題，該文使用了了一種面向森林防火復雜大場景的全景拼接方法，對于輸入當前檢測范圍的圖像序列，通過使用特征點從相鄰多幅圖像中提取sift特征，使用k-d樹算法為每個特征點找到最鄰近的匹配特征點，然后使用RANSAC算法找到幾何一致的特征匹配來得到圖像間的對應矩陣，之后使用捆綁調(diào)整算法來調(diào)整對應矩陣，最后使用多波段融合算法得到最后的拼接全景圖。實驗結(jié)果表明，使用該方法應用到復雜的森林大場景中得到的拼接效果較好。

關鍵詞：全景拼接；sift特征點；RANSAC算法；捆綁調(diào)整算法

中圖分類號：TP391 文獻標識碼：A 文章編號：1009-3044（2018）08-0205-03

由于具有研究較高的研究價值和挑戰(zhàn)性，圖像拼接是圖像處理領域比較重要的課題。雖然圖像拼接技術已經(jīng)有很大的進步，但是現(xiàn)有的方法中應用的場景都比較單一，或者是攝像頭轉(zhuǎn)動的角度范圍比較小。在哥倫比亞大學Matthew Brown和David G.Lowe等人首次利用尺度不變特征提取算法進行自動圖像拼接。該方法假定拼接作為一個多圖像匹配的問題，并且使用不同的局部特征點尋找整個圖像序列中的匹配點。本文將該方法應用到需要實時拼接的森林防火系統(tǒng)中。

本文針對Lowe提出的基于尺度不變的全景拼接方法，提出了面向森林防火的全景拼接方法。在特征點的提取部分，相鄰的兩幅圖像使用sift特征點提取，這種方法對旋轉(zhuǎn)、尺度、光照變化都具有一定的魯棒性。然后使用k-d樹算法為每一個特征點找到最鄰近的匹配點。Ransac算法求相鄰圖像的單應性矩陣。在對一整圈圖像拼接完成后為了消除拼接畸變問題，加入了捆綁調(diào)整算法調(diào)整相鄰的矩陣。最后使用多波段融合的方法消除前面矩陣變換留下的拼接縫隙。

1面向森林防火的全景拼接

1.1圖像獲取

本文中的圖像是?？档倪h紅外攝像頭通過網(wǎng)絡將視頻圖像傳輸?shù)奖鞠到y(tǒng)中的。通過云臺固定攝像頭的轉(zhuǎn)軸，并繞著轉(zhuǎn)軸旋轉(zhuǎn)來拍攝視頻的。其中，攝像頭的垂直和水平的角度、旋轉(zhuǎn)速度可以通過本文中的系統(tǒng)直接進行調(diào)整。

1.2圖像預處理

在圖像拼接之前需要對大量的原始圖像進行預處理。在本文中圖像預處理的方法較為簡單，只是去除原始圖像中的部分噪聲。具體的方法是，首先需要從攝像頭獲取的視頻圖像中每隔50幀取一幀圖像作為需要做預處理的圖像。相鄰兩張拼接圖像存在30%-60%的重疊部分，這是圖像拼接的前提。然后，把篩選出來的圖像進行裁剪，把原始圖像中的四個角上的標記信息去掉。如下圖所示：

接下來就是將裁剪后的圖像（也就是待拼接圖像）存入待拼接緩沖區(qū)中依次進入拼接線程進行相鄰圖像的拼接。

1.3圖像拼接

待所有的圖像裁剪完成后將圖像傳人圖像拼接線程。在圖像拼接過程中主要包括特征點的檢測與提取、特征匹配和圖像融合三部分。其中特征點的檢測與提取是圖像拼接的前提，特征匹配是圖像拼接成功的關鍵，圖像融合是關系到圖像拼接效果的重要環(huán)節(jié)。本系統(tǒng)的圖像拼接過程主要如下圖所示：

1.3.1特征點檢測與提取

對預處理完成的圖像，首先需要進行特征點的提取。Brown和Eowe在2004年提出了尺度不變變換（SIFT）算法，并在2007年應用到了SIFT特征匹配的圖像拼接過程中。SIFT算法檢測特征點的速度較快，并且特征點在整個圖像的平移、旋轉(zhuǎn)、尺度變換后都保持不變，另外在角度變化及噪聲和光照的下魯棒性也較好。只有高斯核才可以作為尺度空間的卷積核，可以將尺度空間建立在對圖像進行高斯卷積的基礎上。為了保證穩(wěn)定性，sift特征點的檢測空間由高斯差值圖像上的峰值點來確定，從而找到被賦予方向的興趣點來作為特征的描述字。

在獲取到sift描述字后，需要對每個特征查找近似最近鄰，本文中采用的是優(yōu)先搜索算法。具體方法是，通過用左圖和右圖的特征初始化k-d樹，然后對左圖中的每個特征執(zhí)行優(yōu)先搜索以查找近似的特征。

1.3.2特征匹配

由于優(yōu)先搜索查找到的每個特征有多個最近鄰，存在大量的冗余，就會降低匹配的效率。本文中使用改進的RANSAC算法來選擇初始的特征匹配對，計算出相對準確地對應矩陣，這一步是圖像拼接過程中的關鍵一步。

2實驗結(jié)果及分析

利用上面的拼接方法應用的森林防火系統(tǒng)的大場景中，拼接效果較好。下面是攝像頭旋轉(zhuǎn)三圈選取的部分圖像拼接而成的圖像：

從上面的拼接效果來看，整體上來說拼接效果較好，沒有明顯的拼接縫隙，拼接這80張圖像時間約為40多秒，拼接速度較快。但是在鏡頭的云臺部分出現(xiàn)了圖像失真現(xiàn)象，后續(xù)還需要繼續(xù)優(yōu)化算法。

3結(jié)束語

本文將全景圖像拼接算法應用到了森林大場景中，從圖像預處理到特征點的提取、特征點匹配并且用到了捆綁調(diào)整算法盡可能消除圖像畸變，最后用多波段圖像融合算法來消除圖像拼接縫隙。實驗結(jié)果總體上來說較好，但是拼接多圈圖像時最后的全景圖就會出現(xiàn)明顯的圖像失真現(xiàn)象，這會影響下一步火災的預警，后續(xù)的研究重點應該放在多圈圖像拼接及其效率的實現(xiàn)上。