河南中光學(xué)集團(tuán)有限公司 秦建峰 侯米娜 劉 洋

多光電跟蹤儀視頻拼接算法設(shè)計(jì)與實(shí)現(xiàn)

河南中光學(xué)集團(tuán)有限公司 秦建峰 侯米娜 劉 洋

視頻圖像拼接是一種低成本獲取寬視角場(chǎng)景的方法，在軍事和民用領(lǐng)域都具有很強(qiáng)的應(yīng)用價(jià)值。以要地防御監(jiān)控為背景，設(shè)計(jì)和實(shí)現(xiàn)了一種基于圖像特征的多光電跟蹤儀視頻拼接算法。該算法對(duì)同步獲取的多路視頻圖像用SIFT算法提取特征點(diǎn)，并采用RANSAC算法進(jìn)行特征點(diǎn)匹配；然后計(jì)算仿射變換矩陣進(jìn)行圖像融合；最后由并行處理得到的多幅融合圖像再次融合得到拼接結(jié)果。實(shí)驗(yàn)結(jié)果表明，視頻拼接速率可達(dá)20fps,具有一定的實(shí)時(shí)性和魯棒性。

視頻拼接；SIFT特征；RANSAC；圖像融合

1.引言

視頻圖像拼接是一種低成本獲取寬視角場(chǎng)景的方法，是視頻圖像處理領(lǐng)域的研究熱點(diǎn)之一，在軍事和民用領(lǐng)域都具有很強(qiáng)的應(yīng)用價(jià)值。

目前視頻拼接是基于圖像拼接實(shí)現(xiàn)的，圖像拼接包括圖像配準(zhǔn)和圖像融合兩個(gè)部分：

（1）圖像配準(zhǔn)：常用的圖像配準(zhǔn)算法有基于特征的圖像配準(zhǔn)算法和基于灰度的圖像配準(zhǔn)算法?；谔卣鞯呐錅?zhǔn)算法包括Harris算法、SIFT算法和SURF算法[1]等。該類算法具有計(jì)算量小，對(duì)圖像的灰度和噪聲的影響不敏感，魯棒性和穩(wěn)健性高的特點(diǎn)?；诨叶鹊膱D像算法有歸一化互相關(guān)法、相位相關(guān)法、以及互信息法[2]等，該類算法計(jì)算量大、復(fù)雜度高，對(duì)目標(biāo)場(chǎng)景要求高；

（2）圖像融合：常用的圖像融合算法有加權(quán)平均法和中值濾波法[3]。加權(quán)平均算法簡(jiǎn)單易實(shí)現(xiàn)，中值濾波法計(jì)算量大。

本文設(shè)計(jì)和實(shí)現(xiàn)了一種多光電跟蹤儀視頻圖像拼接的方法。該方法采用SIFT算法和RANSAC算法進(jìn)行特征提取和匹配，完成圖像配準(zhǔn)過(guò)程；用加權(quán)平均法完成圖像融合過(guò)程，進(jìn)而實(shí)現(xiàn)視頻拼接。為加快拼接速度，本文采用一次配準(zhǔn)（特征提取、特征匹配和仿射變換矩陣計(jì)算等配準(zhǔn)過(guò)程只計(jì)算一次）、多次圖像融合的方法，達(dá)到了較好的加速效果。

2.拼接原理與關(guān)鍵算法

要地防御系統(tǒng)中目標(biāo)多樣且位置不定，如何在全局場(chǎng)景中包含人、車、物是目前的一個(gè)研究熱點(diǎn)和難點(diǎn)。全景拼接無(wú)疑是一種很好的實(shí)現(xiàn)路徑，本文探討了一種全景拼接的方法，在保障實(shí)時(shí)性的前提下，實(shí)現(xiàn)快速的全景拼接，并取得較好的拼接效果。

多光電跟蹤儀視頻拼接基本步驟：1）獲取多光電跟蹤儀的視頻圖像，并進(jìn)行特征點(diǎn)提取及匹配，根據(jù)匹配的特征點(diǎn)計(jì)算仿射變換矩陣；2）利用上一步計(jì)算的矩陣進(jìn)行圖像拼接處理，實(shí)時(shí)顯示拼接圖像。本文假定四個(gè)光電跟蹤儀C1～ C4依次排開(kāi)，同步獲取四幀圖像I1～I(xiàn)4。為保證圖像拼接的實(shí)時(shí)性，實(shí)現(xiàn)圖像快速拼接，本文將多臺(tái)光電跟蹤儀分成若干小組，先進(jìn)行組內(nèi)拼接再進(jìn)行組間拼接，并結(jié)合多線程技術(shù)加快處理速度，圖1給出了多光電跟蹤儀視頻圖像拼接方案。其中對(duì)兩幅圖像進(jìn)行兩幅圖像拼接流程如圖2所示，包括特征提取、特征匹配和仿射變換矩陣計(jì)算、圖像融合等步驟。

圖1 多光電跟蹤儀圖像拼接方案

圖2 兩幅圖像拼接流程

2.1 特征提取

特征提取是進(jìn)行圖像拼接的前提和基礎(chǔ)。如何提取到合適的特征點(diǎn)以保證圖像能夠拼接且拼接正確，是本步驟需要解決的問(wèn)題。本文對(duì)四個(gè)光電跟蹤儀同步采集的圖像I1～ I4采用SIFT算法提取特征點(diǎn)集P1～P4。SIFT算法是由David G.Lowe于1999年提出[4]，由于該算法在特征提取時(shí)，在特征點(diǎn)細(xì)節(jié)上進(jìn)行了特殊處理，使得的提出來(lái)的特征點(diǎn)具有魯棒性高，穩(wěn)定性強(qiáng)的特性。SIFT算法的主要步驟包括：

1）尺度空間極值檢測(cè)；

2）特征點(diǎn)定位；

3）特征點(diǎn)方向確定；

4）特征點(diǎn)描述。最終生成的特征點(diǎn)包含特征的坐標(biāo)、尺度和方向信息[5]。

2.2 特征匹配

對(duì)需要拼接的兩幅圖像I1和I2，對(duì)其SIFT特征點(diǎn)集P1和P2進(jìn)行匹配的過(guò)程如下：

1）粗匹配：對(duì)P1中的的每個(gè)特征點(diǎn)a，在P2中查找a對(duì)應(yīng)的最近鄰特征點(diǎn)b1以及次近鄰特征點(diǎn)b2，如果dist(a,b1)/dist(a,b2)

2）精匹配：經(jīng)粗匹配得到的特征點(diǎn)對(duì)集合S1中包含虛假匹配，為解決該問(wèn)題使用RANSAC方法[7]。根據(jù)對(duì)極幾何約束關(guān)系，任意匹配點(diǎn)對(duì)(a,b)滿足aTFb=0，其中F為基本矩陣，F(xiàn)是一個(gè)3×3的秩2奇異方陣，具有7個(gè)自由度。求解基礎(chǔ)矩陣可采用的是改進(jìn)的8點(diǎn)法[8]。本文采用RANSAC方法來(lái)精確估計(jì)兩幅圖像之間的基本矩陣F[9]，同時(shí)剔除S1中的虛假匹配得到兩幅圖像的匹配點(diǎn)對(duì)S。

2.3 仿射變換

由RANSAC算法得到兩幅圖像I1和I2的匹配點(diǎn)對(duì)集合S后，通過(guò)S可以計(jì)算圖像I1和I2的仿射變換[10]，公式如下：

其矩陣表示為：

其中a，b，c，d表示旋轉(zhuǎn)、縮放系數(shù)。e，f表示平移系數(shù)。(x,y)和(x′,y′)表示S中的一對(duì)匹配點(diǎn)。仿射變換矩陣M包含了6個(gè)參數(shù)，因此至少需要不共線的3對(duì)匹配點(diǎn)才能確定一個(gè)仿射變換M，因此|S|≥3（|S|表示S中點(diǎn)對(duì)的數(shù)目）。當(dāng)|S|>3時(shí)，可以用最小二乘法來(lái)求仿射變換M。

圖3 圖像融合示意圖

2.4 圖像融合

得到兩幅圖像之間的仿射變換后，本文采用加權(quán)平均法進(jìn)行圖像融合[11]。其公式如下：

其中：I1(x,y)、I2(x,y)分別表示經(jīng)過(guò)上步驟仿射變換的第I1幅圖像和第I2幅圖像；I(x,y)表示融合后的圖像；R3=I1∩I2，R1=I1-R2，R2=I2-R3。是加權(quán)系數(shù)，為重疊區(qū)域?qū)挾鹊牡箶?shù)。圖像融合示意圖如3所示。

3.實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文提出的算法的有效性，使用Visual Studio開(kāi)發(fā)平臺(tái)，結(jié)合Opencv開(kāi)源庫(kù)，用C++語(yǔ)言實(shí)現(xiàn)。在白天自然光照下，使用四臺(tái)光電跟蹤儀同步錄制視頻流捕獲四幀圖像I1～I(xiàn)4。如圖4所示。

圖4 光電跟蹤儀同步獲取的4幅視頻幀圖像

圖5 特征提取和特征匹配結(jié)果

圖6 多光電跟蹤儀視頻拼接結(jié)果

圖5給出了經(jīng)SIFT算法提取的特征點(diǎn)和RANSAC方法匹配結(jié)果，其中圖(a)表示圖像I1和I2的特征點(diǎn)提取及匹配，圖(b)表示圖像I2和I3的特征點(diǎn)及匹配結(jié)果，圖(c)表示圖像I3和I4的特征點(diǎn)提取及匹配。圖像I1～I(xiàn)4拼接結(jié)果如圖6所示。

4.結(jié)束語(yǔ)

本文以要地防御監(jiān)控系統(tǒng)場(chǎng)景全景拼接為背景，設(shè)計(jì)并實(shí)現(xiàn)了多光電跟蹤儀的視頻拼接算法。該算法包括特征提取、特征匹配、仿射變換、圖像融合等部分。特征點(diǎn)提取使用SIFT方法，特征匹配采用RANSAC參數(shù)估計(jì)方法，圖像融合采用加權(quán)平均法。實(shí)驗(yàn)結(jié)果表明，視頻拼接速率可達(dá)20fps。為了進(jìn)一步提高拼接的實(shí)時(shí)性，可以通過(guò)NIVIDA公司提供的GPU加速技術(shù)來(lái)進(jìn)行算法優(yōu)化。

[1]邱建國(guó),張建國(guó),李凱.基于Harris與Sift算法的圖像匹配方法[J].測(cè)試技術(shù)學(xué)報(bào),2009,23(03):271-274.

[2]魏曉敏.圖像配準(zhǔn)算法研究與系統(tǒng)設(shè)計(jì)實(shí)現(xiàn)[D].南京航空航天大學(xué),2010.

[3]牛凌宇.多源遙感圖像數(shù)據(jù)融合技術(shù)綜述[J].空間電子技術(shù),2005,(01):1-5+10.

[4]P.Schwind,S.Suri,P.R.A.Siebert.Applicability of the SIFT operator to geometric SAR image registration[J].International Journal of Remote Sensing,2010,31(8):1959-1980.

[5]D.G.Lowe.Distinctive image feature from scaleinvariant keypoints[J].International Journal of Computer Vision,2004,60(2):91-110.

[6]劉相濱,鄒北驥,孫家廣.基于邊界跟蹤的快速歐氏距離變換算法[J].計(jì)算機(jī)學(xué)報(bào),2006,(02):317-323.

[7]苗學(xué)健.全景圖像拼接技術(shù)關(guān)鍵技術(shù)研究[J].通訊世界,2016,(21):227-228.

[8]Richard I.Hartley.In defense of the8-point Algorithm. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1997,19(6):580-593.

[9]崔久林.視頻圖像目標(biāo)提取技術(shù)的研究[D].長(zhǎng)春:長(zhǎng)春理工大學(xué),2006.

[10]R.Lin,H.B.Huang,R.C.Sun,L.N.Sun.An invariant interest point detector under image affine transformation[J].Journal of Central South University,2015,22(03):914-921.

[11]Y.Q.Zhao,Q.Pan,H.C.Zhang.Adaptive polarization image fusion based on regional energy dynamic weighted average[J].Optoelectronics Letters,2005,03:70-73.

秦建峰（1980－），男，大學(xué)本科，現(xiàn)供職于河南中光學(xué)集團(tuán)有限公司，研究領(lǐng)域?yàn)橐曨l監(jiān)控、圖像處理、安防系統(tǒng)集成。