張明義 趙泉樸 吳中華

(1.陸軍軍官學(xué)院無(wú)人機(jī)系 合肥 230031)(2. 71290部隊(duì) 濰坊 261000)

無(wú)人機(jī)機(jī)載光電平臺(tái)偵察圖像拼接技術(shù)*

張明義1趙泉樸1吳中華2

(1.陸軍軍官學(xué)院無(wú)人機(jī)系 合肥 230031)(2. 71290部隊(duì) 濰坊 261000)

針對(duì)無(wú)人機(jī)機(jī)載光電偵察平臺(tái)的技術(shù)特點(diǎn),對(duì)比了多種圖像拼接算法的優(yōu)缺點(diǎn),給出了基于二進(jìn)制圖像配準(zhǔn)算法和空域圖像融合方法的等效大視場(chǎng)、高分辨率圖像拼接處理方法。

無(wú)人機(jī)；偵察；圖像拼接

(1. UAV Department, Army Officer Academy, Hefei 230031)(2. No.71290 Troops of PLA, Weifang 261000)

Class Number E87

1 引言

無(wú)人機(jī)機(jī)載光電偵察平臺(tái)的分辨率和視場(chǎng)角對(duì)于偵察圖像的分辨率和視場(chǎng)起到?jīng)Q定作用。由于視場(chǎng)角與分辨率之間存在相互制約的關(guān)系[1],受材料工藝水平的限制,單片CCD傳感器難以同時(shí)滿足無(wú)人機(jī)偵察圖像高分辨率和大視場(chǎng)的要求,如果將獲取的視頻圖像直接播放,無(wú)法獲得戰(zhàn)場(chǎng)全貌,無(wú)法全面進(jìn)行戰(zhàn)況分析、態(tài)勢(shì)評(píng)估和威脅衡量。為了解決這個(gè)問題,本文研究利用圖像拼接技術(shù),將光電偵察平臺(tái)獲取的圖像序列拼接成一幅等效的大視場(chǎng)、高分辨率圖像,以滿足航空偵察對(duì)大視場(chǎng)和高分辨率的要求。

2 圖像拼接基本流程

圖像拼接是將兩幅或者兩幅以上具有重疊區(qū)域的圖像進(jìn)行圖像配準(zhǔn),以其中一幅為基準(zhǔn)圖像,將其它圖像按配準(zhǔn)得到的仿射矩陣變換到基準(zhǔn)圖像所在坐標(biāo)系下,進(jìn)行圖像融合,得到一幅等效的具有較寬視場(chǎng)角的高分辨率圖像或者360°視角的全景圖像技術(shù)。該技術(shù)為圖像降噪、視場(chǎng)擴(kuò)展、運(yùn)動(dòng)物體去除[2]、模糊消除、空間解析的提高和動(dòng)態(tài)范圍增強(qiáng)提供了可能性。圖像拼接流程大致可分為圖像預(yù)處理、圖像配準(zhǔn)和圖像融合等三個(gè)步驟,如圖1所示。圖像預(yù)處理是對(duì)原始圖像進(jìn)行幾何校正、直方圖匹配、平滑濾波、增強(qiáng)變換等數(shù)字圖像處理的基本操作,為圖像配準(zhǔn)作好準(zhǔn)備；圖像配準(zhǔn)和圖像融合是圖像拼接技術(shù)的核心。

圖1 圖像拼接的基本流程圖

3 圖像配準(zhǔn)算法

圖像配準(zhǔn)是將不同時(shí)間、不同傳感器或不同條件下獲取的兩幅或多幅圖像進(jìn)行匹配、疊加,使得圖像上的同名點(diǎn)精確對(duì)準(zhǔn)的過程,配準(zhǔn)的精度決定了圖像的拼接質(zhì)量。

3.1 圖像配準(zhǔn)的基本方法

根據(jù)圖像源的不同,圖像配準(zhǔn)主要分為三類:一是基于圖像灰度統(tǒng)計(jì)的方法[3]；二是基于變換域的方法[4]；三是基于圖像特征的方法[5]。

基于圖像灰度信息的匹配方法主要有:塊匹配法、比值匹配法、網(wǎng)格匹配法、互信息匹配方法、互相關(guān)匹配方法、投影匹配方法等?；趫D像灰度信息的匹配方法雖然較簡(jiǎn)單,易實(shí)現(xiàn),但是計(jì)算量較大,而且受光照、視角和遮擋的影響較大,圖像的亮度不均勻變化、比例變化、旋轉(zhuǎn)及遮擋都會(huì)造成較大的匹配誤差,常用于對(duì)具有水平或垂直方向位移以及輕微旋轉(zhuǎn)和變形情況的圖像進(jìn)行配準(zhǔn)。

基于變換域的方法主要有:相位相關(guān)法、擴(kuò)展相位相關(guān)法、小波變換等。這些方法對(duì)于頻域出現(xiàn)的噪聲具有較好的魯棒性和較高的匹配精度,但對(duì)圖像間的重疊比例要求較高(大于50%)。

基于圖像特征的方法,按利用圖像的特征不同分為基于特征點(diǎn)、基于邊緣和基于結(jié)構(gòu)信息的圖像配準(zhǔn)方法?；谔卣鼽c(diǎn)的圖像配準(zhǔn)在畸變、噪聲等方面具有一定的魯棒性,配準(zhǔn)精度高、計(jì)算量小、速度快,但是當(dāng)圖像特征較相似,重疊區(qū)域較小時(shí),容易出現(xiàn)誤匹配,影響配準(zhǔn)精度；基于邊緣的圖像配準(zhǔn)在圖像結(jié)構(gòu)特征不變的情況下,可以排除灰度變化的影響,缺點(diǎn)是對(duì)旋轉(zhuǎn)、縮放等幾何畸變的適應(yīng)能力差；基于結(jié)構(gòu)信息的圖像配準(zhǔn)能處理仿射變換和重復(fù)模式的匹配,但是當(dāng)仿射變換比較大和干擾點(diǎn)較多的情況下,匹配效果較差。

3.2 二進(jìn)制圖像配準(zhǔn)算法

二進(jìn)制圖像配準(zhǔn)算法是基于特征點(diǎn)的圖像配準(zhǔn)。該類算法中的特征點(diǎn)檢測(cè)主要基于FAST判據(jù):如圖2所示,對(duì)于某一像素點(diǎn)p,若其離散包圍圓上的16個(gè)點(diǎn)中至少有n個(gè)連續(xù)像素點(diǎn)的亮度值大于p的亮度值Ip加上閾值t,或者小于p的亮度值Ip減去閾值t,則判定p為角點(diǎn),其中9≤n≤12。

圖2 FAST角點(diǎn)檢測(cè)算法

FAST判據(jù)的原理是通過比較像素點(diǎn)對(duì)的亮度來(lái)檢測(cè)角點(diǎn)[6],避免了經(jīng)典算法中矩陣或算子與原圖像的卷積計(jì)算,可大大提高特征點(diǎn)檢測(cè)的速度。對(duì)于768 × 512pixels的PAL制視頻圖像,每幀圖像檢測(cè)500個(gè)特征點(diǎn),FAST角點(diǎn)檢測(cè)算法和各經(jīng)典算法計(jì)算時(shí)間如表1所示。

表1 FAST角點(diǎn)檢測(cè)算法與經(jīng)典算法性能比較

從表1可以看出,FAST算法的檢測(cè)速度遠(yuǎn)大于現(xiàn)有的特征點(diǎn)檢測(cè)算法。并且對(duì)平移、旋轉(zhuǎn)、縮放變化保持高重復(fù)性,但對(duì)強(qiáng)噪聲不具有魯棒性,并且檢測(cè)結(jié)果依賴于閾值t的選取。

二進(jìn)制圖像配準(zhǔn)算法的主要特點(diǎn)在于其使用BRIEF,Oriented Fast and Rotated BRIEF(ORB),BRISK,FREAK等二進(jìn)制特征描述算子。BRIEF算子是在對(duì)原圖像進(jìn)行高斯平滑濾波后,通過比較特征點(diǎn)位置附近服從高斯隨機(jī)分布的512對(duì)像素點(diǎn)亮度值,獲得二進(jìn)制字符串作為特征點(diǎn)描述符。ORB,BRISK和FREAK算子都在BRIEF算子的基礎(chǔ)上進(jìn)行改進(jìn),通過比較不同采樣模式下像素點(diǎn)對(duì)的亮度獲得二進(jìn)制字符串作為特征點(diǎn)描述符,如圖3所示。其中ORB算子對(duì)旋轉(zhuǎn)具有不變性,對(duì)噪聲具有較強(qiáng)的魯棒性；BRISK算子和FREAK算子對(duì)平移、旋轉(zhuǎn)、尺度變化具有不變性,對(duì)噪聲、視角變化具有較強(qiáng)的魯棒性。

圖3 BRISK和FREAK的采樣模式

二進(jìn)制特征描述算子的最大優(yōu)勢(shì)是特征描述符的相似性可以用漢明距離代替歐幾里得距離來(lái)評(píng)估,漢明距離的計(jì)算可以通過逐位異或(XOR)附加一個(gè)位計(jì)數(shù)器來(lái)實(shí)現(xiàn),比歐幾里得距離的計(jì)算效率高很多。對(duì)于800 × 600 pixels的序列圖像,每幅圖像檢測(cè)1500個(gè)特征點(diǎn),使用二進(jìn)制配準(zhǔn)算法和經(jīng)典配準(zhǔn)算法進(jìn)行特征點(diǎn)描述和匹配計(jì)算時(shí)間如表2所示。

表2 二進(jìn)制配準(zhǔn)算法與經(jīng)典算法性能比較

由表2可知,二進(jìn)制配準(zhǔn)算法計(jì)算速度約比經(jīng)典的SURF,SIFT算法快兩個(gè)數(shù)量級(jí),同時(shí)保持對(duì)噪聲、尺度、旋轉(zhuǎn)變化的魯棒性,適用于實(shí)時(shí)性要求高的無(wú)人機(jī)航空?qǐng)D像處理任務(wù)。

4 圖像融合

圖像融合是指在完成圖像匹配以后,對(duì)圖像進(jìn)行縫合,并對(duì)縫合的邊界進(jìn)行平滑處理,讓縫合自然過渡,消除不同時(shí)刻圖像采樣,由于圖像光強(qiáng)或色彩的不連續(xù)性而造成的圖像拼接邊界處的縫隙問題,它的主要思想是讓圖像在拼接處的光強(qiáng)平滑過渡以消除光強(qiáng)的突變。圖像融合方法主要分為兩大類:一類是空域融合方法；另一類是頻域融合方法。

4.1 空域融合方法

空域融合方法有算術(shù)平均法、加權(quán)平均法、中值濾波器法等。算術(shù)平均方法的主要思想是:圖像對(duì)應(yīng)位置上的灰度值算術(shù)相加后取平均,消除拼縫的痕跡,能提高圖像質(zhì)量,由于簡(jiǎn)單的算術(shù)平均,相對(duì)于多分辨率融合,其運(yùn)算速度極快。加權(quán)平均法是將重疊區(qū)域中對(duì)應(yīng)位置上像素點(diǎn)的灰度值按照一定的權(quán)值處理后疊加在一起,形成一種漸變的效果,之后合成新的圖像,權(quán)值的選取主要采取漸入漸出法和帽子函數(shù)加權(quán)平均法,加權(quán)平均需要進(jìn)行加權(quán)計(jì)算,因此該算法的時(shí)間復(fù)雜度比算術(shù)平均法要高,但能夠保留更多的細(xì)節(jié)信息。中值濾波器法采用中值濾波器作用在邊界附近區(qū)域的處理方法,使與周圍灰度值差比較大的像素取與周圍像素接近的值,從而消除光強(qiáng)的不連續(xù)性,該算法適于處理邊界附近的狹長(zhǎng)地帶,速度較快,但質(zhì)量一般。

4.2 頻域融合方法

頻域融合方法有多分辨率金字塔圖像融合算法和基于小波分解算法等。其基本方法都是把圖像分解到不同分辨率下的一系列子圖像,然后在每一級(jí)子圖像上進(jìn)行融合,得到融合后的子圖像序列后再進(jìn)行重構(gòu)。其中,小波變換能夠在不同的空間分辨率上突顯原始圖像的重要特征數(shù)據(jù),并且經(jīng)過小波分解后的細(xì)節(jié)信息損失小,各尺度之間的系數(shù)無(wú)冗余,適用于多分辨率圖像融合。

空域融合方法速度快,適合大多數(shù)插入圖像的場(chǎng)合；頻域融合方法是在頻率域上對(duì)邊界區(qū)域進(jìn)行融合,質(zhì)量更好,但是在選擇系數(shù)上需要有先驗(yàn)知識(shí)的支持,因此更適合專用的特定場(chǎng)合。

5 圖像匹配實(shí)驗(yàn)

論文采用二進(jìn)制圖像配準(zhǔn)算法和空域融合方法速度對(duì)某無(wú)人機(jī)機(jī)載光電平臺(tái)獲取的偵察圖像進(jìn)行了拼接處理,拼接效果如圖4所示。

圖4 拼接效果

通過實(shí)驗(yàn)得出:對(duì)于大小為1k×1k pixels,幀頻為25幀/s的無(wú)人機(jī)視頻圖像,圖像拼接精度可達(dá)到2～3pixels,在CPU主頻為2.6Ghz,內(nèi)存容量為4G的PC機(jī)上,采用隔幀抽取圖像進(jìn)行拼接的方法,可實(shí)現(xiàn)無(wú)人機(jī)偵察視頻圖像的準(zhǔn)實(shí)時(shí)拼接。拼接后的圖像對(duì)于提高戰(zhàn)場(chǎng)全域觀察能力,充分發(fā)揮偵察圖像的使用效益具有重要意義。

[1] 黃波,黃大慶.無(wú)人機(jī)光電平臺(tái)技術(shù)指標(biāo)設(shè)計(jì)方法[J].信息化研究,2010,36(11):26-28.

[2] 楊智堯,宋欣,宋占偉.動(dòng)態(tài)圖像的拼接與運(yùn)動(dòng)目標(biāo)檢測(cè)方法的研究[J].圖學(xué)學(xué)報(bào),2014,35(6):893-898.

[3] 冷曉艷,薛模根,韓裕生,等.基于區(qū)域特征與灰度交叉相關(guān)的序列圖像拼接[J].紅外與激光工程,2005,34(5):602-605.

[4] 周國(guó)庫(kù).基于小波提取邊緣特征點(diǎn)的遙感圖像配準(zhǔn)技術(shù)[D].西安:西北工業(yè)大學(xué),2002.

[5] 張汗靈,郝重陽(yáng).基于特征的自動(dòng)圖像配準(zhǔn)算法[J].電視技術(shù),2003(9):80-83.

[6] Alahi A. FREAK: Fast Retina Keypoint[C]// IEEE Conference on Computer Vision and Pattern Recognition. 2012:510-517.

[7] Mahesh, Subramanyam M V. Automatic image mosaic system using steerable Harris corner detector[C]// International Conference on Machine Vision and Image Processing. 2012:87-91.

[8] Harandi B K G, Shattri Bin Mansor, Helmi Zulhaidi M. Shafri. IMAGE MOSAIC METHODS FOR UAV SEQUENCE IMAGES[C]// Acrs. 2015.

[9] 婁樹理,楊增勝,周曉東.無(wú)人機(jī)光電偵察、監(jiān)視技術(shù)研究[J].紅外與激光工程,2007,23(2):28-30.

[10] 肖詩(shī)勤,楊關(guān)良,范順昌.一種基于特征的全景圖拼接算法研究[J].艦船電子工程,2009,29(11):119-120.

Image Mosaics of UAV Electro-Optical Platform

ZHANG Mingyi1ZHAO Quanpu1WU Zhonghua2

Aiming at the characteristic of UAV electro-optical platform, the paper contrasted advantages and disadvantages of several image mosaics algorithms. Based on binary image registration algorithm and spatial domain images fusion methods, the paper carried out a mosaic processing method on wide-field and high-definition image.

UAV, reconnaissance, image mosaics

2016年6月15日,

2016年7月21日

張明義,男,博士,副教授,研究方向:無(wú)人機(jī)作戰(zhàn)運(yùn)用。

E87

10.3969/j.issn.1672-9730.2016.12.026