包冬梅

(呼倫貝爾學(xué)院)

?

無規(guī)則圖像的拼接算法研究

包冬梅

(呼倫貝爾學(xué)院)

介紹了傳統(tǒng)的圖像拼接算法，總結(jié)其優(yōu)劣，并在其基礎(chǔ)上提出了不規(guī)則圖像的全局拼接算法，避免傳統(tǒng)圖像拼接算法存在的局限性，為實現(xiàn)圖像的高分辨率與全面性提供了一種方案.

圖像拼接；拼接算法；無規(guī)則圖片

0 引言

當(dāng)下無規(guī)則圖像拼接主要作用于軍事偵察和目標跟蹤以及災(zāi)害監(jiān)控等領(lǐng)域，這些領(lǐng)域主要以空中航拍圖像為主要拼接對象.近年來航拍圖像得到了進一步的推廣，人們對航拍圖像的要求隨之增加，在原有的單幀航拍圖像的基礎(chǔ)上逐漸衍生出分辨率較高且視野范圍廣泛的多幀圖像.但多幀圖像同樣需經(jīng)由飛機高空作業(yè)拍攝，利用飛機與地面的遠距離視野將地面的高低起伏從視覺上縮小，獲得接近平面的圖片效果，飛機的遠距離航拍更進一步的使人類獲得更為全面的地面圖像.然如何對航拍圖像進行精準拼接實現(xiàn)地面全景重現(xiàn)仍然是各行業(yè)研究的重點與難題，基于該文對圖像拼接算法進行分析研究，并分析傳統(tǒng)圖像拼接算法的優(yōu)劣從而對其進行優(yōu)化具有現(xiàn)實意義.

1 圖像拼接算法概述

1.1 圖像拼接算法優(yōu)化的意義

傳統(tǒng)圖片拼接算法是對航拍圖像中重疊比例較大的區(qū)域進行顏色相似度匹配拼接，即將圖像至于CMY顏色系統(tǒng)中，對該系統(tǒng)中的圖片重疊區(qū)域的顏色灰度級進行提取，并以此灰度級為基準，尋找圖像灰度級特征相似度高的圖像進行拼接.然而并非所有圖像的重疊比例都高，遇到重疊比例較低時可供提取的灰度級特征不夠且容易受干擾產(chǎn)生偏差，因此以重疊區(qū)域灰度級作為拼接參照的方法準確率較低，難以達到人們對航拍圖高質(zhì)量、高準度的拼接要求.尋求更高效、便捷、準確的圖形拼接計算方法成為當(dāng)務(wù)之急.

1.2 圖像拼接算法的局限性

一般情況下，很難得到分辨率高且范圍全面的圖像，因為拍攝過程中分辨率隨拍攝距離的改變而改變，遠距離拍攝隨刻獲得范圍較廣的圖像效果但其分辨率會明顯降低；近距離拍攝能保證較高的分辨率卻只能局限于較小的拍攝場景，那么該如何實現(xiàn)高分辨率與圖像完整的雙重標準呢？可以應(yīng)用圖像拼接技術(shù)對多張高分辨率的規(guī)則或不規(guī)則的圖像進行無縫拼接來實現(xiàn).通常，一個完整的圖像拼接流程主要包括圖像配準和圖像融合兩大方面，圖像拼接流程如圖1所示.其方式是根據(jù)圖像的幾何運動模型對圖像在同一個坐標系中進行配準，在配準成功后對圖像進行像素結(jié)合即為圖像融合.成功的圖像融合其相鄰圖像像素間的過渡應(yīng)該是自然的，融合成的拼接圖像應(yīng)該是較為逼真的.當(dāng)下圖像融合技術(shù)發(fā)展已趨于成熟，其圖像融合算法也取得較大成功，在圖像拼接活動中性能穩(wěn)定，對圖像拼接的質(zhì)量影響較小.而作為圖像拼接重中之重的圖像配準技術(shù)還處在探索階段，圖像拼接的總體質(zhì)量與拼接效率都受圖像配準技術(shù)的直接影響，因此圖像配準算法是影響圖像拼接整體效果的關(guān)鍵，對圖像拼接質(zhì)量和效率的提高無疑需從圖像配準算法的優(yōu)化入手.對配準算法進行優(yōu)化必須對圖像配準的傳統(tǒng)算法進行分析，在其基礎(chǔ)上進行改進或革新.

圖1 傳統(tǒng)圖像拼接基本流程

2 傳統(tǒng)圖像配準算法分析

傳統(tǒng)圖像配準算法主要是根據(jù)不規(guī)則圖像間重疊區(qū)域的灰度特征進行相似度配準.兩幀圖像重疊區(qū)域灰度特征為：

T(i,j)=

(1)

兩幀不規(guī)則圖像的灰度特征絕對誤差的和為:

(2)

根據(jù)兩幀圖像的絕對誤差之和進行圖像拼接，拼接準則為:

(3)

該式中的x表示圖像水平方向的步長；y表示圖像在垂直方向的步長；λ則表示設(shè)定的閾值.通過式(3)可知傳統(tǒng)的基于圖像重合區(qū)域灰度特征而進行的圖像拼接算法對重合率高的圖像較為適宜，然而重合率低的圖像可供提取的灰度特征有限，運用該算法難以保證圖像拼接質(zhì)量與效率.基于此，提出了以圖像全局為基礎(chǔ)的圖像拼接算法.該算法第一步需要提取圖像的SIFT 點，第二步是對兩幅待拼接圖像的SIFT 特征點進行匹配，第三部根據(jù)整體圖像優(yōu)化方法優(yōu)化不規(guī)則圖像拼接結(jié)果.根據(jù)這一方法能較好的提取全局圖像信息，進一步提高圖像拼接的準確度.

3 改進之不規(guī)則圖像的全局拼接算法

與傳統(tǒng)的圖像拼接算法不同，基于全局圖像拼接算法更適宜于不規(guī)則圖像和重疊率不高圖像之間的拼接，這種基于全局的圖像拼接算法直接提取全局圖像信息，針對兩幅圖像的全局特征點準確進行拼接，在避免傳統(tǒng)圖像拼接算法局限性的同時提高了大圖像與不規(guī)則圖像拼接的質(zhì)量和效率.

3.1 圖像SIFT 特征點的提取

該SIFT特征提取的基本原理如圖2所示.

圖2 SIFT特征提取原理

提取圖像SIFT 特征點并預(yù)處理圖像，得到一組二維高斯函數(shù)，函數(shù)為:

(4)

卷積兩幅圖像的灰度特征函數(shù)為f( x，y)和二維高斯函數(shù)，可知待拼接圖像的特征模型為：

(5)

該式中G( x，y，σ)為模型高斯核，其中σ影響著高斯濾波器的尺度； 兩圖像間尺度比例因子的尺度空間差則用k表示；可知相鄰兩幅圖像間的空間差為：

D(x,y,σ)=G(x,y,kσ)-L(x,y,σ)

(6)

緊接著還需要對圖像的全部特征點優(yōu)化選取，刪除不合格的特征點，留取合格的特征點.根據(jù)式(7)設(shè)某一點為：(x0，y0，σ)可得公式：

(7)

待該步驟完成后即可通過角點的向量主方向確定圖像特征點的方向組成前面所說的圖像ISFT 特征，其公式為：

θ(x,y)=tan-1(f(i+1,j)-f(i-1,j))/(f(i,j+1)-f(i,j-1)).

(8)

由于圖像ISFT 特征在尺度上所處的位置有明顯差異性，對圖像拼接算法的準確性形成了保障.

3.2 圖像配準與對齊

該文圖像配準根據(jù)前面所得的ISFT 特征點進行，在保證圖像拼接的質(zhì)量與準確度的同時還需保證其最低的位置誤差.根據(jù)前面所得的ISFT特征點T( x，y )得出待拼接圖像的誤差計算公式：

(9)

該式中S為總均方誤差；m、n分別為前一幀和后一幀圖像中所提取的ISFT特征點數(shù)目；T( i，j)為ISFT 特征點信息，x為圖像水平方向移動步長；y為圖像豎直方向移動步長.根據(jù)該式中所得的誤差得到的歸一化函數(shù)為：

(10)

對圖像進行最小誤差配準需確保位置誤差的最小化，其計算公式如下：

(11)

該式中X、Y分別表示圖像ISFT 特征的均值和方差.在結(jié)合位置誤差公式可知位置誤差值最小點即為最高質(zhì)量配準點.

3.3 圖像融合與平滑

圖像處理行至圖像配準步驟雖已完成兩幅圖像的基本拼接，但圖像接縫處由于融合性不高尚處于不自然狀態(tài)，要增加圖像接縫處清晰度與自然過渡感還必須對圖像進行最后的融合，其根本為處理圖像接縫處的圓滑感，第一步，要平滑圖像.平滑圖像首先要得出圖像的平滑因子，計算公式為：

f (x,y)=k1×fA(x,y)+k2×fB(x,y)

(12)

該式中( x，y) ∈( FA∩FB) 、FB( x，y) 分別表示圖像配準前幀和后幀像素點信息；k1、k2皆表示圖像平滑因子；設(shè)前一幀圖像與后一幀圖像重疊區(qū)域水平、豎直方向的最大值分別為xmax和ymax，可知平滑因子計算公式：

(13)

在平滑過程中，平滑因子k1，2取值范圍為1至0，平滑因子從1到0逐個取值后，圖像拼接平滑處理即完成，圖像的無縫拼接效果即實現(xiàn).

4 實驗結(jié)果與分析

基于全局拼接的圖像拼接算法的流程圖如圖3所示.

圖3 基于全局圖像拼接流程

為對該文提出的全局圖片拼接計算法的效果進行分析與取證，筆者選取了我國某一南方城市的航拍圖分別采用了傳統(tǒng)局域圖像拼接算法和全局圖像拼接算法進行拼接實驗，對實驗中兩種算法的耗時、準確度進行了記錄與對比.兩種圖片拼接算法的準確度根據(jù)公式 (14)得出，實驗數(shù)據(jù)在表1中可查.

(14)

由實驗數(shù)據(jù)可知傳統(tǒng)的基于局域的圖像拼接算法耗時較多，為0.7 s；而基于全局的圖像拼接法其耗時較于局域拼接算法節(jié)省了一倍多，為0.3 s；從兩者拼接準確度來看，傳統(tǒng)基于局域的拼接算法準確率僅為74%，而基于全局的拼接算法其準確率高達98%.該文圖像拼接實驗進程如圖3所示.圖3較直觀的說明了傳統(tǒng)基于局域的圖像拼接算法在面臨重疊度較低的兩幅圖像時，其提取的灰度特征較少，即使提取到的灰度特征也容易受外界干擾而產(chǎn)生誤差，導(dǎo)致圖像拼接失準.基于全局的圖像拼接算法在提取重疊區(qū)域灰度特征的基礎(chǔ)上對圖像全局信息進行了統(tǒng)籌，當(dāng)一個條件不滿足配準的情況下還可通過其他特征進行配準，大大增加了圖像拼接的準確性和清晰度.通過上述實驗結(jié)果與分析可得出結(jié)論見表1，傳統(tǒng)基于局域的圖像拼接算法耗時多，準確率也相對較低，而基于全局的圖像拼接算法耗時短，準確率高，拼接后的圖像質(zhì)量同樣較高，更貼進人們對于圖像拼接高分辨率、完整度高的需求，值得關(guān)注.

5 結(jié)束語

面對實際應(yīng)用中圖像的無規(guī)則性和拍攝環(huán)境的差異性，文章提出了無規(guī)則圖處理的全局拼接算法，以SIFT算法對待拼接圖像進行SIFT特征點提取，通過整體最優(yōu)化方法最大限度的優(yōu)化圖像拼接結(jié)果，并從圖像配準、圖像融合全方位優(yōu)化圖像拼接效果，提高圖像拼接質(zhì)量的同時實現(xiàn)了圖像的高分辨率與完整性并存的要求，規(guī)避了傳統(tǒng)圖像拼接算法的局限性與失準率，對各領(lǐng)域的圖像拼接事業(yè)產(chǎn)生積極影響，使用價值較高，具有顯著的現(xiàn)實意義.

[1] 蘇昭,王慈,王濤. 一種具視差魯棒性的圖像拼接算法[J]. 電視技術(shù),2014,15:29-32.

[2] 黃薇,許勇,劉淑影. 基于像素點的碎片圖像拼接技術(shù)[J]. 計算機應(yīng)用,2014(S2):269-270，290.

[3] 狄穎辰,陳云坪,陳瑩瑩,等. 無人機圖像拼接算法綜述[J]. 計算機應(yīng)用,2011(1):170-174.

[4] 江鐵,朱桂斌,孫奧. 全景圖像拼接技術(shù)研究現(xiàn)狀綜述[J]. 重慶工商大學(xué)學(xué)報：自然科學(xué)版,2012(12):60-65，71.

(責(zé)任編輯：李家云)

Research on the Stitching Algorithm in Irregular Images

Bao Dongmei

(Hulunbuir University)

In this paper, the traditional image stitching algorithm is introduced, its advantages and disadvantages are summarized, and the global image stitching algorithm in irregular images is proposed, which can avoid the limitations of traditional image stitching algorithm and provide a solution to realize images’ high-resolution and comprehensiveness .

Image stitching; Stitching algorithm; Irregular images

2015-11-11

TP31

A

1000-5617(2016)02-0053-04