羅曉，盧宇，2，吳宏剛

（1.中國(guó)民用航空局第二研究所，成都610041；2.電子科技大學(xué)通信抗干擾國(guó)家重點(diǎn)實(shí)驗(yàn)室，成都611731）

采用多視頻融合的機(jī)場(chǎng)場(chǎng)面監(jiān)視方法?

羅曉1，盧宇1，2，吳宏剛1

（1.中國(guó)民用航空局第二研究所，成都610041；2.電子科技大學(xué)通信抗干擾國(guó)家重點(diǎn)實(shí)驗(yàn)室，成都611731）

以非協(xié)作式監(jiān)視技術(shù)特征為依據(jù)，采用多視頻融合處理技術(shù)，提出了一種專門針對(duì)中小型簡(jiǎn)易機(jī)場(chǎng)的場(chǎng)面目標(biāo)監(jiān)視方法。該方法通過(guò)光流法計(jì)算運(yùn)動(dòng)場(chǎng)，依靠動(dòng)態(tài)模糊聚類自適應(yīng)地分析運(yùn)動(dòng)場(chǎng)，最后依靠多視頻融合來(lái)提高檢測(cè)精度。實(shí)驗(yàn)表明，本方案不僅可行，而且可以有效地抑制50%以上的測(cè)量誤差，為中小型簡(jiǎn)易機(jī)場(chǎng)的場(chǎng)面監(jiān)視雷達(dá)提供了另外一種備份手段。

中小型機(jī)場(chǎng)；航空交通管制系統(tǒng)；場(chǎng)面監(jiān)視雷達(dá)；多視頻融合；光流；增強(qiáng)視頻監(jiān)視

1 引言

長(zhǎng)期以來(lái)，雷達(dá)技術(shù)在民航空中交通信息控制（Air Traffic Control，ATC）系統(tǒng)中扮演著重要角色。根據(jù)與被探測(cè)物體的交互方式，可分為協(xié)作式雷達(dá)和非協(xié)作式雷達(dá)兩種。所謂協(xié)作，是指雷達(dá)與被探測(cè)物體之間、信號(hào)發(fā)射機(jī)和接收機(jī)之間存在信息交互，如被探測(cè)物主動(dòng)廣播自身狀態(tài)信息，而雷達(dá)接收到這些信息。對(duì)于非協(xié)作式雷達(dá)，則不存在這種交互關(guān)系，因此非協(xié)作式雷達(dá)可以獨(dú)立工作。典型的非協(xié)作式類如一次雷達(dá)，具體到機(jī)場(chǎng)場(chǎng)面區(qū)域有場(chǎng)面監(jiān)視雷達(dá)（Surface Movement Radar，SMR）［1］。但是，場(chǎng)面監(jiān)視雷達(dá)十分昂貴，尤其是對(duì)航班起降架次較小的中小型機(jī)場(chǎng)而言，這是一筆很大的開(kāi)銷。視頻技術(shù)作為一種常見(jiàn)和更便宜的設(shè)備，也能夠提供非協(xié)作式監(jiān)視潛力，這表現(xiàn)在4個(gè)方面：首先，視頻監(jiān)視無(wú)需在飛行器、車輛等被探測(cè)物上安裝專門的設(shè)備；其次，視頻監(jiān)視能夠輸出視頻序列，并且在分析這些序列的基礎(chǔ)上可以進(jìn)一步獲取活動(dòng)目標(biāo)的位置和速度信息，這一點(diǎn)很像場(chǎng)面監(jiān)視雷達(dá)；再次，由于其通用和便宜的特點(diǎn)，視頻攝像頭可以大量部署使其可以覆蓋到場(chǎng)面監(jiān)視雷達(dá)覆蓋受限的區(qū)域；最后，基于不同類型的攝像頭相互融合的方法可以提供更加豐富的信息，如紅外攝像頭可以提供夜間的目標(biāo)檢測(cè)和跟蹤。因此，視頻監(jiān)視能夠作為中小型簡(jiǎn)易機(jī)場(chǎng)場(chǎng)面監(jiān)視雷達(dá)等非協(xié)作式監(jiān)視手段的替代方案。同時(shí)，考慮到廣播式自主相關(guān)監(jiān)視（Automatic Dependent Surveillance Broadcast，ADS-B）［2］技術(shù)的快速發(fā)展，將視頻作為非協(xié)作式監(jiān)視手段，將ADS-B作為協(xié)作式監(jiān)視手段，這兩種數(shù)據(jù)的融合甚至完全有可能為未來(lái)的中小型機(jī)場(chǎng)提供監(jiān)視方案［3］。在這種思路下，這就要求視頻系統(tǒng)至少能夠在場(chǎng)面區(qū)域內(nèi)提供像場(chǎng)面監(jiān)視雷達(dá)一樣的位置、速度和圖像序列信息。

本文立足視頻技術(shù)來(lái)滿足這個(gè)要求，為民航場(chǎng)面監(jiān)視的視頻方案建立算法基礎(chǔ)。所采用的辦法是：基于光波相對(duì)于雷達(dá)波的優(yōu)點(diǎn)，首先通過(guò)視頻攝像頭提供更精確和生動(dòng)的圖像信息；接著依靠光流法檢測(cè)運(yùn)動(dòng)場(chǎng)；然后采用一種改進(jìn)的模糊聚類算法來(lái)分析此運(yùn)動(dòng)場(chǎng)，自適應(yīng)地檢測(cè)出目標(biāo)的數(shù)量、位置和速度信息；最后依靠集中式融合來(lái)增強(qiáng)探測(cè)的精度和魯棒性。實(shí)驗(yàn)結(jié)果表明，這種方法不僅可行，而且具有很高的探測(cè)精度。

2 位置與速度檢測(cè)

對(duì)于航班架次較少的簡(jiǎn)易機(jī)場(chǎng)，要使視頻技術(shù)取代非協(xié)作式監(jiān)視中的場(chǎng)面監(jiān)視雷達(dá)技術(shù)的前提為視頻技術(shù)也能夠提供準(zhǔn)確的位置和速度信息。光流法可以獲得對(duì)運(yùn)動(dòng)目標(biāo)的位置與速度信息，對(duì)其改進(jìn)能夠用來(lái)檢測(cè)簡(jiǎn)易機(jī)場(chǎng)中的運(yùn)動(dòng)目標(biāo)。

2.1 光流法

光流法的核心思想是將圖像中的每一個(gè)像素賦予一個(gè)速度矢量，于是可以得到關(guān)于整幅圖像的運(yùn)動(dòng)場(chǎng)。如果圖像中沒(méi)有相對(duì)運(yùn)動(dòng)，那么所有的光流矢量應(yīng)該是平滑和一致的；但是，如果目標(biāo)和背景之間發(fā)生了相對(duì)運(yùn)動(dòng)，那么必將有不同的光流矢量表現(xiàn)出來(lái)，它們分屬于不同的物體和背景［4，5］。文獻(xiàn)［6］分析了主流的光流解算方法，并指出基于局部平滑假設(shè)和一階偏微分方程的解算方法能夠達(dá)到最高的精度，因此本系統(tǒng)提出基于Lucas-Kanade［7］的改進(jìn)算法來(lái)實(shí)現(xiàn)對(duì)位置和速度信息的精確提取。

設(shè)t時(shí)刻像素（x，y）的灰度可定義為I（x，y，t），u（x，y）和v（x，y）分別表示光流沿著x軸和y軸的速度分量。光流方程可以由式（1）表示：

在局部區(qū)域Ω內(nèi)，光流估計(jì)誤差表示為

式中，V（i，j）為點(diǎn)（i，j）的速度矢量，由式（5）得到。A（i，j）=1表示該點(diǎn)屬于前景，否則屬于后景。

2.2 動(dòng)態(tài)模糊聚類

得到檢視區(qū)域的運(yùn)動(dòng)場(chǎng)信息后，利用模糊聚類算法分析運(yùn)動(dòng)場(chǎng)以進(jìn)一步提取目標(biāo)位置、速度和尺寸等信息。傳統(tǒng)的聚類算法要求事先確定分組數(shù)量。具體到本系統(tǒng)，分組數(shù)量代表場(chǎng)面飛機(jī)和車輛數(shù)量。然而，視場(chǎng)中的分組數(shù)量有時(shí)是事先未知的。如果這個(gè)數(shù)量設(shè)置得比較小，那么有些分割的目標(biāo)可能被誤認(rèn)為成一個(gè)整體；如果這個(gè)數(shù)量設(shè)置相對(duì)較大，那么一個(gè)目標(biāo)可能會(huì)被分割開(kāi)來(lái)。因此，本文提出了一種動(dòng)態(tài)的自適應(yīng)分割算法。

設(shè)含有M個(gè)分組的N個(gè)樣本，pj（1≤j≤N）表示樣本j的狀態(tài)，mi（1≤i≤M）表示分組i的中心，uij（1≤i≤M，1≤j≤N）為樣本j屬于分組i的歸屬度，則M個(gè)分組的代價(jià)函數(shù)JM表示為

式中，W（x）定義為一個(gè)窗口函數(shù)，限制了局部區(qū)域的范圍。設(shè)V=（u，v）T且▽I（x）=（Ix，Iy）T，式（2）的解可由式（3）給出：

通過(guò)Ω中的每一個(gè)點(diǎn)xi，可計(jì)算：

這樣，當(dāng)ATW2A≠0時(shí)，式（3）的解可表示為

在我們的監(jiān)視系統(tǒng)中，攝像頭的位置和視角是固定不變的，所以跑道、建筑物等背景區(qū)域也是保持靜止的，這些區(qū)域?qū)?yīng)的光流矢量為零。只有移動(dòng)物體，如飛機(jī)、車輛、走動(dòng)的工作人員所對(duì)應(yīng)的光流矢量表現(xiàn)出速度信息。因此，背景區(qū)域和移動(dòng)物體可以被一門限值區(qū)分開(kāi)來(lái)，如下：

式中，r為一常數(shù)，用以控制精度，通常大于1。分組i的中心及樣本對(duì)于該分組的歸屬度可以通過(guò)迭代過(guò)程被提煉，計(jì)算方法如式（8）和式（9）：

對(duì)于運(yùn)動(dòng)場(chǎng)中默認(rèn)有M個(gè)目標(biāo)的劃分，經(jīng)過(guò)一定數(shù)量的迭代次數(shù)后，可以得到基于M個(gè)目標(biāo)的穩(wěn)定分割。但是，由于M是事先確定的，因此這種分割不一定合理。

本文自適應(yīng)分割的核心在于動(dòng)態(tài)確定類型數(shù)量?？紤]到當(dāng)對(duì)默認(rèn)為k個(gè)目標(biāo)的分割完成后，可得穩(wěn)定的Jk（uij，mi） ，于是可得代價(jià)函數(shù)序列：

總的來(lái)講，Jk隨k的增加而減小。但是，當(dāng)k比真實(shí)目標(biāo)數(shù)量小時(shí)，Jk減小速度劇烈；k比真實(shí)目標(biāo)數(shù)量大時(shí)，Jk減小速度非常平緩。據(jù)此可以提取出恰當(dāng)?shù)哪繕?biāo)數(shù)量＾M。

引入序列：

進(jìn)一步引入序列：

檢測(cè)序列的峰值即可檢測(cè)出最恰當(dāng)?shù)哪繕?biāo)數(shù)量＾M：

一旦目標(biāo)數(shù)量確定，即可確定每一個(gè)目標(biāo)的尺寸、位置和速度。

目標(biāo)i定義為

其尺寸大小為

中心為

速度為

式中，V（i（pj），j（pj））表示點(diǎn)pj的速度矢量，由式（5）給出。

2.3 集中式并行濾波

采用多個(gè)視頻攝像頭對(duì)監(jiān)視區(qū)域進(jìn)行冗余測(cè)量。這些攝像頭被安放在同一位置并具有相同的視角，因此它們具有相同的坐標(biāo)系以實(shí)現(xiàn)空間對(duì)齊；又由于視頻信號(hào)的采樣頻率通?？梢赃_(dá)到每秒幾十幀的量級(jí)，因此可以默認(rèn)為時(shí)間空間已經(jīng)對(duì)齊。

利用集中式并行濾波處理多視頻信息。對(duì)場(chǎng)面飛行器的運(yùn)動(dòng)進(jìn)行建模，有：

式中，xk∈Rn為飛機(jī)狀態(tài)矢量，具體到本系統(tǒng)中為［x，˙x，x·，y，˙y，y·］T；Φk∈Rn×n為系統(tǒng)狀態(tài)轉(zhuǎn)移矩陣，Γk∈Rn×r用于描述系統(tǒng)過(guò)程噪聲。本文使用Singer模型描述狀態(tài)轉(zhuǎn)移。

設(shè)有N個(gè)視頻攝像頭，對(duì)每一個(gè)攝像頭，有如下觀測(cè)方程：

由于存在多個(gè)攝像頭，有如下廣義測(cè)量矩陣：

其中：

利用卡爾曼濾波可以解出系統(tǒng)狀態(tài)矢量及融合誤差，其過(guò)程如式（22）～（24）：

式中，Rik+1為各視頻攝像頭分系統(tǒng)的測(cè)量誤差，P為融合后誤差的協(xié)方差。

3 實(shí)驗(yàn)

為了測(cè)試本文所提算法的效果，分別采用仿真圖像序列和機(jī)場(chǎng)真實(shí)圖像序列進(jìn)行測(cè)試。在仿真圖像序列的測(cè)試中，著重考察算法各步驟的功能及中間結(jié)果。同時(shí)，由于仿真圖像可以獲取目標(biāo)的精確位置，因此能夠?qū)λ惴ǖ木饶苓M(jìn)行評(píng)估。在基于機(jī)場(chǎng)真實(shí)圖像序列的測(cè)試中，著重考察監(jiān)視算法的可行性及視覺(jué)效果。

在仿真序列中，視頻圖像尺寸為256×256像素。視場(chǎng)中存在4個(gè)運(yùn)動(dòng)方塊以模擬場(chǎng)面飛機(jī)、車輛等目標(biāo)，其中2個(gè)方塊從左向右運(yùn)動(dòng)，2個(gè)方塊從右向左運(yùn)動(dòng)，部分圖像序列如圖1所示。利用光流場(chǎng)解算運(yùn)動(dòng)矢量，結(jié)果如圖2所示。

圖1 部分仿真圖像序列Fig.1 Part of simulation sequence

圖2 光流場(chǎng)Fig.2 Optical flow field

圖3 代價(jià)函數(shù)下降趨勢(shì)Fig.3 Tendency of cost function

利用動(dòng)態(tài)模糊聚類邏輯對(duì)光流場(chǎng)進(jìn)行分析，得出代價(jià)函數(shù)下降趨勢(shì)并依據(jù)R序列峰值判別目標(biāo)數(shù)量，如圖3和圖4所示。

圖4 峰值選取Fig.4 Peak value selection

模擬對(duì)兩個(gè)視頻攝像頭分系統(tǒng)進(jìn)行融合。攝像頭1的測(cè)量誤差為15m，攝像頭2的測(cè)量誤差為25m。由于基于仿真的圖像序列可以知道目標(biāo)的真實(shí)位置，因此可以利用RMSE（Root Mean Squared Error）作為定位誤差評(píng)判標(biāo)準(zhǔn)。

采用集中式并行濾波進(jìn)行處理，效果如圖5所示。與原始誤差相比，融合后的定位誤差減小了50%～70%。

圖5 多視頻融合效果Fig.5Multi-video fusion result

使用成都雙流機(jī)場(chǎng)真實(shí)圖像序列進(jìn)行測(cè)試，整個(gè)監(jiān)視區(qū)域如圖6所示。該序列是由3組視頻攝像頭數(shù)據(jù)拼接而成，以實(shí)現(xiàn)對(duì)場(chǎng)面的全景監(jiān)視。不同的組觀測(cè)區(qū)域不一樣，但組內(nèi)的攝像頭具有同一位置和視角。

圖6 場(chǎng)面全景的真實(shí)圖像Fig.6 Airport surveillance image

其中某一局部區(qū)域所采集序列如圖7所示，為場(chǎng)面運(yùn)動(dòng)的2架飛機(jī)。有3個(gè)攝像頭獨(dú)立地對(duì)場(chǎng)面目標(biāo)進(jìn)行測(cè)量。

圖7 局部區(qū)域放大后效果Fig.7 Enlargement of local regions

利用本文方法對(duì)目標(biāo)進(jìn)行監(jiān)測(cè)，提取出運(yùn)動(dòng)目標(biāo)如圖8所示。這說(shuō)明，本文的監(jiān)視方法可以用于處理民航機(jī)場(chǎng)監(jiān)視信息。隨著硬件性能的提升，在中小型簡(jiǎn)易機(jī)場(chǎng)實(shí)現(xiàn)增強(qiáng)視頻監(jiān)視（Enhanced VideoSurveillance，EVS）系統(tǒng)以替代場(chǎng)面監(jiān)視雷達(dá)的方案是可行的。

圖8 基于機(jī)場(chǎng)實(shí)際圖像序列的檢測(cè)結(jié)果Fig.8 Detection based on practical images

4 結(jié)束語(yǔ)

像傳統(tǒng)的一次雷達(dá)和場(chǎng)面監(jiān)視雷達(dá)一樣，視頻監(jiān)視也是一種非協(xié)作式監(jiān)視手段，它能提供位置和速度信息。但是與場(chǎng)面監(jiān)視雷達(dá)相比，視頻監(jiān)視設(shè)備成本要低很多。本文利用光流法計(jì)算運(yùn)動(dòng)場(chǎng)，用動(dòng)態(tài)模糊聚類法分析運(yùn)動(dòng)場(chǎng)，用多視頻融合增強(qiáng)檢測(cè)精度，基于仿真序列和機(jī)場(chǎng)實(shí)際視頻序列表明這種方案可用于監(jiān)視航班架次較小的中小型簡(jiǎn)易機(jī)場(chǎng)。更重要的是，視頻傳感器可作為非協(xié)作式監(jiān)視的數(shù)據(jù)源，與另一種成本較低的協(xié)作式監(jiān)視數(shù)據(jù)源（即ADS-B數(shù)據(jù)）進(jìn)行融合?？紤]到未來(lái)ADS-B設(shè)備將會(huì)安裝在所有的飛行器上，因此將這兩種手段相結(jié)合作為未來(lái)中小型機(jī)場(chǎng)的監(jiān)視方案也是完全可能的。

［1］Besada JA，Garcia J，De Miguel G，etal.Data fusion algorithms based on radar and ADSmeasurements for ATC application［C］／／Proceedings of 2000 IEEE International Radar Conference.Alexandria，VA：IEEE，2000：98-103.

［2］Edward A Lester，John R Hansman.Benefits and Incentives for ADS-B.Equipage in the National Airspace System［D］.Massachusetts：Massachusetts Institute of Technology，2007.

［3］ICAO Doc9830 AN／452，Advanced Surface Movement Guidance and Control Systems（A-SMGCS）Manual［S］.

［4］VishalMarkandy，Anthony Reid，ShengWang.Motion Estimation for Moving Target Detection［J］.IEEE Transactions on Aerospace and Electronic Systems，1996，32（3）：866-874.

［5］McCarthy C，Barnes N.Performance of optical flow techniques for indoor navigation with a mobile robot［C］／／Proceedings of 2004 IEEE International Conference on Robotics and Automation.New Orleans，LA，USA：IEEE，2004：5093-5098.

［6］Barron JL，F(xiàn)leet D J，Beauchemin SS，et al.Performance of optical flow techniques［J］.International Journal of Computer Vision，1994，12（1）：43-47.

［7］Lucas B D，Kanade T.An Iterative Image Registration Technique with An Application to Stereo Vision［C］／／Proceedings of the International Joint Conference on Artificial Intelligence. Vancouver，British Columbia：［s.n.］，1981：674-679.

Email：lxdj＠vip.sina.com

盧宇（1979—），男，2009年獲博士學(xué)位，主要研究領(lǐng)域包括數(shù)據(jù)融合、圖像處理、物聯(lián)網(wǎng)技術(shù)等；

LU Yu was born in 1979.He received the Ph.D.degree in 2009.His research interests includemulti-sensor data fusion，image processing，Internet of things，etc.

Email：onemore-luck＠163.com

吳宏剛（1977—），男，四川樂(lè)山人，博士，高級(jí)工程師，主要研究方向?yàn)樾盘?hào)處理、數(shù)字通信技術(shù)、空中交通管理、計(jì)算機(jī)仿真等。

WU Hong-gang was born in Leshan，Sichuan Province，in 1977.He is now a senior engineerwith the Ph.D.degree.His research interests include signal processing，digital communication，air trafficmanagement，computer simulation，etc.

Email：whg028＠sohu.com

A Novel Airport Surface Surveillance Method Using Multi-video Fusion

LUO Xiao1，LU Yu1，2，WU Hong-gang1
（1.The Second Research Institute of Civil Aviation Administration of China，Chengdu 610041，China；2.National Communication Laboratory，University of Electronic Science and Technology of China，Chengdu 611731，China）

According to the features of non-cooperative surveillance in simple airports，an enhanced airport surface surveillance based onmulti-video fusion is proposed.This solution takes optical flowmethod to compute the motion field，uses the improved dynamic fuzzy clustering to analyse the field，and finally improves the precision bymulti-video fusion.Experiment results show the solution is not only feasible but also suppresses over 50% measuremental error，so it offers an alternative choice for SMR（Surface Movement Radar）.

small and medium airport；air traffic control（ATC）system；surfacemovement radar；multi-video fusion；optical flow；enhanced video surveillance

was born in Chongqing，in 1970.He

the M.S.degree in 1995.He is now a senior engineer.His research interests include airport information integration，computer simulation and database technology，etc.

The National Natural Science Foundation of China（No.61079006，60736045）；The National High-tech R＆D Program of China（863 Program）（2009AA12Z329）

TP391

A

10.3969／j.issn.1001-893x.2011.07.026

羅曉（1970—），男，重慶人，1995年獲碩士學(xué)位，現(xiàn)為中國(guó)民航局第二研究所高級(jí)工程師，主要研究領(lǐng)域?yàn)闄C(jī)場(chǎng)信息集成技術(shù)、計(jì)算機(jī)仿真、數(shù)據(jù)庫(kù)技術(shù)等；

1001-893X（2011）07-0128-05

2011-03-21；

2011-05-03

國(guó)家自然科學(xué)基金資助項(xiàng)目（61079006，60736045）；國(guó)家高技術(shù)研究發(fā)展計(jì)劃（863計(jì)劃）項(xiàng)目（2009AA12Z329）