韓宣宗

摘要：針對(duì)貴陽(yáng)龍洞堡國(guó)際機(jī)場(chǎng)大場(chǎng)景的高清全景圖生成需求，提出了一種基于SURF特征與動(dòng)態(tài)規(guī)劃拼接縫的全景圖生成方法。首先利用柱面投影來(lái)保持各通道視頻在重疊區(qū)內(nèi)成像的視覺(jué)一致性，設(shè)計(jì)了一種基于RANSAC與特征點(diǎn)的魯棒變換模型估計(jì)算法，可以消除局部配準(zhǔn)誤差導(dǎo)致的累計(jì)誤差;然后使用動(dòng)態(tài)規(guī)劃算法通過(guò)HIS色彩空間和梯度空間求解拼接縫，從而實(shí)現(xiàn)相鄰圖像的縫合;最后在縫合線兩邊采用基于三角函數(shù)的融合算法實(shí)現(xiàn)圖像平滑過(guò)渡，最終生成高清晰度高分辨率的全景圖。實(shí)驗(yàn)結(jié)果表明，提出的方法在滿足圖像無(wú)縫拼接的前提下，可消除重疊區(qū)域內(nèi)的重影問(wèn)題，并大幅度提高拼接速度。

關(guān)鍵詞：SURF特征;圖像拼接;圖像配準(zhǔn);圖像融合

中圖分類號(hào)：TP311 ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2020）25-0197-03

開(kāi)放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

貴陽(yáng)龍洞堡國(guó)際機(jī)場(chǎng)自T2航站樓建成以后，原有塔臺(tái)位置已無(wú)法完整對(duì)全機(jī)場(chǎng)航班?？课恢眠M(jìn)行監(jiān)控，為解決管制員對(duì)停機(jī)位、航空器信息的可視化管理，貴州空管分局構(gòu)建了基于全景圖像拼接的全景監(jiān)控系統(tǒng)，實(shí)現(xiàn)了管制員對(duì)全機(jī)場(chǎng)范圍內(nèi)航空器的監(jiān)視和指揮。在貴陽(yáng)龍洞堡國(guó)際機(jī)場(chǎng)，全景圖像的拼接由B、C子廊間的多個(gè)攝像頭拍攝的有重疊區(qū)域的圖像進(jìn)行拼接，通過(guò)對(duì)圖像內(nèi)部幾何細(xì)節(jié)進(jìn)行比對(duì)，使用標(biāo)準(zhǔn)圖形耦合算法實(shí)現(xiàn)圖像有去重和接合，并最終形成寬視角的場(chǎng)內(nèi)監(jiān)視圖像。目前常用的圖像匹配算法可分為兩類：Domain switch的圖像耦合匹配方式[1]，Timestamp switch的圖像匹配方式[2]。常見(jiàn)的圖形特征包括了SURF特征、FAST特征和Harr特征[3]等。本文中構(gòu)建的貴陽(yáng)機(jī)場(chǎng)全景視頻監(jiān)視系統(tǒng)即采用了SURF特征圖像匹配算法進(jìn)行全景視圖的構(gòu)建，有效地提升了貴陽(yáng)機(jī)場(chǎng)管制運(yùn)營(yíng)效率。

貴陽(yáng)機(jī)場(chǎng)全景視圖由5套攝像機(jī)圖形拼接而成，通過(guò)對(duì)B、C子廊停機(jī)坪、跑道位置的圖形圖像攝影并進(jìn)行光照同步和柱面投影變換，抽取出內(nèi)部的SURF特征點(diǎn)陣，通過(guò)變換后坐標(biāo)系的圖像匹配算法RANSAC[4] 進(jìn)一步進(jìn)行整體優(yōu)化，最終實(shí)現(xiàn)5個(gè)圖像的數(shù)字匹配模型矩陣。通過(guò)對(duì)于該反向映射矩陣進(jìn)行拼接運(yùn)算，可實(shí)時(shí)的實(shí)現(xiàn)圖像有快速擬合與計(jì)算，最終基于拼接縫算法實(shí)現(xiàn)圖像的整體融合，生成龍洞堡機(jī)場(chǎng)全景視頻監(jiān)視圖。

1 轉(zhuǎn)換模型分析

1.1 柱面投影及半徑分析

本文采用攝像機(jī)采用扇形布局形式，多個(gè)采集到的圖像在同一位置點(diǎn)攝取，但其柱面投影平面仍存在著差異性，因此直接對(duì)重合區(qū)域進(jìn)行融合時(shí)，場(chǎng)內(nèi)航班滑行時(shí)仍然會(huì)產(chǎn)生重影和三維位置倒換問(wèn)題?；跈C(jī)場(chǎng)內(nèi)部各子廊的實(shí)際情況，全景拼接圖需要將子廊本身存在的寬度進(jìn)行縮減，減少無(wú)效圖像區(qū)域的面積，但同時(shí)又要保證遠(yuǎn)端圖形的依賴約束關(guān)系，此時(shí)在進(jìn)行拼接時(shí)，應(yīng)通過(guò)柱面坐標(biāo)投景方式，將多個(gè)攝像頭傘形而已獲取到的圖像進(jìn)行重新定位[5]。在進(jìn)行柱面投影時(shí)，當(dāng)新坐標(biāo)不在整數(shù)坐標(biāo)上時(shí)，需要進(jìn)行插值，常用的有最近鄰插值、雙線性插值和三次多項(xiàng)式插值，本文考慮到航班運(yùn)行過(guò)程中速度是動(dòng)態(tài)變化的，對(duì)于實(shí)時(shí)性要求較高，因此擬采用雙線性插值方式進(jìn)行插值計(jì)算，本系統(tǒng)中攝像機(jī)的投影半徑[f]使用迭代法進(jìn)行確認(rèn)，其利用了相位相關(guān)法[6]。算法通過(guò)采集機(jī)場(chǎng)各區(qū)域動(dòng)態(tài)圖像中存在重疊飛行區(qū)圖像的部分像素，采取下列步驟進(jìn)行投影半徑的計(jì)算和評(píng)估：

步驟1：用相位相關(guān)法求得相鄰圖像間水平偏移量[li]（[1≤i≤n]），[n]為采集圖像的數(shù)量;

步驟2：初始化參數(shù)：[L=i=1n2li]，[f0=L2π]，[flow=f02]，[fhigh =f0]，[k=0];

步驟3：計(jì)算[w=i=1n2tan-1lifk];

步驟4：若[|w-2π|≥ε]且[w<2π]：[fhigh =fk]，若[|w-2π|≥ε]且[w≥2π]：[flow=fk];

令[k=k+1]，[fk=（fhigh+flow）/2 ]，回到步驟3繼續(xù)執(zhí)行。

當(dāng)[|w-2π|<ε]時(shí)執(zhí)行步驟5;

步驟5：確認(rèn)圖像半徑[f=fk];

1.2 分析構(gòu)建RANSAC與SURF特征的變換模型

目前龍洞堡機(jī)場(chǎng)每天起降航班量超過(guò)300個(gè)架次，因此航班在滑行和起飛過(guò)程中圖像變化速度較快，為提升圖像變換模型的匹配效率，全景視圖的生成無(wú)須提取圖像的所有SURF特征進(jìn)行匹配，通過(guò)采用方法為根據(jù)最終圖像400萬(wàn)像素的特點(diǎn)，選取適當(dāng)?shù)膮^(qū)域Ri和Ri+1，再提取粗匹配區(qū)域的SURF特征。SURF特征包括仿射和光照雙重不易失性，同時(shí)對(duì)圖像匹配具有很強(qiáng)的適應(yīng)性，具有高效準(zhǔn)確的優(yōu)點(diǎn)。本系統(tǒng)內(nèi)部基于五套攝像頭圖像生成最終全景視圖，其運(yùn)用的參數(shù)投影方式將原有坐標(biāo)點(diǎn)由X=（x，y，1）轉(zhuǎn)換為[X'=（x'，y'，1）]。具體公式為：

在本坐標(biāo)系中，包括：

（1）縮放旋轉(zhuǎn)因子：h11，h12，h21，h22

（2）仿射變換因子：h13

（3）水平方向的平移因子：h23

（4）垂直方向的平移因子：h31，h32

通過(guò)大量的實(shí)驗(yàn)發(fā)現(xiàn)，鄰接點(diǎn)重疊區(qū)域較多的圖像在特征匹配后產(chǎn)生的圖像，會(huì)伴隨著參與融合的攝像機(jī)圖像的增加而產(chǎn)生指數(shù)增長(zhǎng)的誤差，其對(duì)最終的合成圖像質(zhì)量影響較大。同時(shí)，由于圖形融合模型多個(gè)參數(shù)的二階矩陣參數(shù)基于最優(yōu)線性評(píng)估，在有大量誤差匹配區(qū)域時(shí)，可能導(dǎo)致錯(cuò)誤的數(shù)據(jù)匹配模型，因此本處調(diào)序了一套基于RANSAC（Random Sample Consensus）的變換模型參數(shù)估計(jì)的魯棒算法，其步驟闡述如下：

步驟1：對(duì)圖像區(qū)域Pi和Pi+1 的SURF特征進(jìn)行分析，使用FANN[7]算法對(duì)圖形重合像素點(diǎn)進(jìn)行特征向量匹配，此時(shí)可得到n（n>4）個(gè)匹配像素對(duì)。

步驟2：從n對(duì)像素對(duì)應(yīng)點(diǎn)中以m以參數(shù)多重提取像素對(duì)，需要保證其中至少3個(gè)點(diǎn)為不同軸位置，不然重新提取;

步驟3：對(duì)[m（m>4）]對(duì)匹配點(diǎn)進(jìn)行線性建模，可產(chǎn)生一個(gè)基于2m個(gè)像素配對(duì)點(diǎn)的關(guān)系數(shù)據(jù)模型參數(shù)集[{h11，h12，...，h32}]。通過(guò)此參數(shù)集可生成線性方程組[AM=b]，對(duì)模型參數(shù)進(jìn)行最小二乘法計(jì)算變換，可得到：

在每次采樣過(guò)程中，當(dāng)采集到[m]對(duì)匹配點(diǎn)時(shí)，以p表示出現(xiàn)內(nèi)點(diǎn)的概率，以[β]表示[m]對(duì)匹配點(diǎn)中任意一對(duì)匹配點(diǎn)出現(xiàn)內(nèi)點(diǎn)的概率。

步驟6：場(chǎng)內(nèi)攝像機(jī)采集到的圖像基于多個(gè)平面構(gòu)成，需要通過(guò)柱面投影變換模型進(jìn)行柱面坐標(biāo)系下的圖像分析[6]，柱面坐標(biāo)系的半徑應(yīng)采用等距離匹配法[5] 標(biāo)注。然后利用多個(gè)內(nèi)點(diǎn)集合，確立圖像矩陣，采用最小二乘法實(shí)現(xiàn)參數(shù)變換。

步驟7：通過(guò)多維圖像矩陣求得的多重圖像融合參數(shù)后，可利用參數(shù)集對(duì)任兩幅圖像的變換進(jìn)行計(jì)算，設(shè)場(chǎng)內(nèi)多個(gè)攝像頭取得圖像的參數(shù)集為[M21 、M32、M43...Mn（n-1）]，依據(jù)下列公式可進(jìn)行多維圖像的變換參數(shù)累計(jì)重疊內(nèi)點(diǎn)的計(jì)算：

[Mk1=1Mk1（3，3）Mk（k-1）M（k-1）（k-2）...M21M11 （1≤k≤N）] ? （7）

當(dāng)最終結(jié)果顯示為M11（為3×3的單位陣）時(shí)，該圖像不做任何變換，實(shí)際上這種情況是不可能發(fā)生的。Mk1（3，3）求解出的最終結(jié)果不可能為1，因此需要通過(guò)歸并化處理對(duì)故需要對(duì)Mk1（3，3）常數(shù)進(jìn)行整合，即通過(guò)公式右側(cè)數(shù)量與Mk1（3，3）相除，可以實(shí)現(xiàn)最終結(jié)果為1，即最終圖像的整合。

2 基于動(dòng)態(tài)規(guī)劃縫合線與三角函數(shù)融合的全景圖生成

多個(gè)場(chǎng)內(nèi)圖像匹配以后，可以進(jìn)行場(chǎng)內(nèi)全景視圖的拼接融合，為減少航班在拼接區(qū)域的重影和三維倒置情況，系統(tǒng)應(yīng)在保持色度、亮度一致協(xié)調(diào)的基礎(chǔ)上，設(shè)計(jì)一種基于HIS色域的多重分量動(dòng)態(tài)融合拼接線模型實(shí)現(xiàn)多個(gè)圖像的拼接[8-10] 。HIS色彩空間由顏色的亮度、色度、飽和度構(gòu)成，在圖像拼接領(lǐng)域，通過(guò)使用色度H和飽和度S的對(duì)比來(lái)控制實(shí)現(xiàn)區(qū)域內(nèi)色彩的重疊性。機(jī)場(chǎng)全景圖生成后，B、C子廊與跑道間的攝像機(jī)最終成像仍然存在著較大的視覺(jué)區(qū)域，特別是動(dòng)態(tài)航班滑行時(shí)，這主要是由于光線在多重角度照射產(chǎn)生的柱面投影有較大差異導(dǎo)致，本系統(tǒng)針對(duì)此情況進(jìn)行了一系列改進(jìn)，即向[Noverlap]領(lǐng)域擴(kuò)張，進(jìn)行多維三角轉(zhuǎn)換融合，以最終加強(qiáng)圖像整體平滑過(guò)渡效果，相關(guān)函數(shù)如下公式所示：

3 實(shí)驗(yàn)與結(jié)果

實(shí)驗(yàn)平臺(tái)配置如下：CPU：AMD R3500，內(nèi)存：32G DDR4，硬盤(pán)：三星1T M.2 NVME，顯卡：NVIDIA GTX 2060，攝像頭：?？低?00萬(wàn)高清攝像機(jī)（型號(hào)：DS-4CD854F-E）。

在貴陽(yáng)機(jī)場(chǎng)范圍內(nèi)，在C子廊頂部構(gòu)建了一套包括5個(gè)高清攝像機(jī)的攝像頭組合，實(shí)現(xiàn)對(duì)管制盲區(qū)的全覆蓋視頻投影，攝像頭之間保證了大于250個(gè)像素點(diǎn)的重合區(qū)域。

由于我們不知道圖像間的真實(shí)變換參數(shù)，無(wú)法直接定量分析圖像匹配的幾何誤差，最快速有效的方法采用圖像配準(zhǔn)中參與變換模型計(jì)算的匹配點(diǎn)對(duì)間的均方根誤差RMSE（Root Mean Square Error）和平均絕對(duì)誤差MAD（Mean Absolute Error）作為精度評(píng)定指標(biāo)，分析函數(shù)如下：

圖像I1，I2通過(guò)矩陣變換，可得到矩陣M，而圖像I1，I2在兩圖圖形銜接部分通過(guò)坐標(biāo)x1i，x2i進(jìn)行重疊對(duì)應(yīng)，以最終實(shí)現(xiàn)圖像拼接顯示，而銜接部分的合計(jì)重疊坐標(biāo)數(shù)量以m變量代表。在本圖中，可得到MAD=0.372，RMSE=0.264，圖形拼接配對(duì)精度較高，相關(guān)誤差控制在10個(gè)像素點(diǎn)的范圍內(nèi)，可以滿足民航業(yè)機(jī)場(chǎng)視頻監(jiān)控需求。

4 結(jié)論

本文基于SURF特征與拼接縫的全景視圖生成方法的實(shí)驗(yàn)與應(yīng)用，將機(jī)場(chǎng)場(chǎng)內(nèi)多個(gè)攝像頭圖像間的變換模型進(jìn)行了自動(dòng)化的統(tǒng)計(jì)合成，對(duì)于攝像機(jī)不需要太多的技術(shù)參數(shù)要求，僅在攝像機(jī)安裝時(shí)保證多個(gè)攝像頭圖形有一定的圖形重合區(qū)域，本系統(tǒng)應(yīng)用了四路400萬(wàn)像素的廣視角高清攝像機(jī)，并結(jié)合CUDA加速技術(shù)進(jìn)行了整體的圖像融合算法的優(yōu)化和整合，在保證管制員視覺(jué)管制的要求下，保證了實(shí)時(shí)的圖像拼接能力，大幅提升了貴陽(yáng)機(jī)場(chǎng)場(chǎng)面管制效率。

參考文獻(xiàn)：

[1] Reddy B S，Chatterji B N.An FFT-based technique for translation，rotation，and scale-invariant image registration[J].IEEE Transactions on ImageProcessing，1996，5（8）：1266-1271.

[2] Brown M，Lowe D G.Automatic panoramic image stitching using invariant features[J].International Journal of Computer Vision，2007，74（1）：59-73.

[3] Bay H，TuytelaarsT，GoolL.SURF：speeded up robust features[J].Computer Vision - ECCV 2006： 404-417.

[4] ChoiS，KimT，YuW.Performance evaluation of RANSAC family[C]//Procedings of the British Machine Vision Conference，2009.

[5]Jang K H，Jung S K，LeeM.Constructing cylindrical panoramic image using equidistant matching[J].Electronics Letters，1999，35（20）：1715-1716.

[6]Shum H Y， Szeliski R. Construction and refinement of panoramic mosaics with global and local alignment[C]//Computer Vision， 1998. Sixth International Conference on. IEEE， 1998： 953-956.

[7]Muja M， Lowe D G.Fast approximate nearest neighbors with automatic algorithm configuration[C]//International Conference on Computer Vision Theory and Applications （VISSAPP09）. 2009：331-340.

[8] Xing C， Wang J， Xu Y. An optimal seam line based mosaic method for uav sequence images [J].

[9] Duplaquet， Marie-Lise. Building large image mosaics with invisible seam lines [C]//Proc of the SPIE 3387.Aeorsenee.Orlnado，1998： 369- 377.

[10] Efros A A，F(xiàn)reeman W T.Image quilting for texture synthesis and transfer[C]//Proceedings of the 28th annual conference on Computer graphics and interactive techniques - SIGGRAPH '01.Not Known.NewYork：ACMPress，2001：341-346.

【通聯(lián)編輯：光文玲】