張春曉，文高進(jìn)，王洪民，尚志鳴

(北京空間機(jī)電研究所，北京 100191)

Fast Aerial Image Processing for UAV Dynamic Monitoring

ZHANG Chunxiao，WEN Gaojin，WANG Hongmin，SHANG Zhiming

?

一種無人機(jī)動態(tài)監(jiān)測遙感數(shù)據(jù)快速處理方法

張春曉，文高進(jìn)，王洪民，尚志鳴

(北京空間機(jī)電研究所，北京 100191)

Fast Aerial Image Processing for UAV Dynamic Monitoring

ZHANG Chunxiao，WEN Gaojin，WANG Hongmin，SHANG Zhiming

摘要：針對無人機(jī)遙感平臺進(jìn)行動態(tài)監(jiān)測要求快速檢索、快速處理航拍圖片的需求特點(diǎn)，提出了一種快速處理策略。通過對下傳實時視頻的內(nèi)容理解在航拍圖片采集時執(zhí)行分類標(biāo)記，并由此進(jìn)行篩選分類，從而在時間軸上實現(xiàn)了待處理航拍圖片的快速索引；通過構(gòu)建拼接壓縮圖和原始航拍圖的關(guān)系，對低分辨率拼接圖上的任意區(qū)域均可關(guān)聯(lián)到包含該區(qū)域的高分辨率原始圖片，從而兼顧拼接圖概貌展示處理的快速性和原有信息的細(xì)節(jié)展示性。依據(jù)該策略設(shè)計了一套低失真、快速地面信息處理流程，解決了海量數(shù)據(jù)檢索盲目性和大數(shù)據(jù)處理復(fù)雜性問題，符合無人機(jī)動態(tài)監(jiān)測的應(yīng)用需求，具有廣闊應(yīng)用前景。

關(guān)鍵詞：無人機(jī)；動態(tài)監(jiān)測；遙感圖像；快速處理

一、引言

無人機(jī)作為一種新型遙感平臺，具有體積小、重量輕、造價低、適應(yīng)危險環(huán)境、避免機(jī)載人員傷亡等優(yōu)點(diǎn)，在情報、偵察、監(jiān)視等領(lǐng)域有廣泛的應(yīng)用價值[1-3]。無人機(jī)動態(tài)監(jiān)測要求數(shù)據(jù)顯示、存儲的快速性和處理的時效性，以支持快速決策和及時響應(yīng)[4-5]。動態(tài)監(jiān)測數(shù)據(jù)處理基本可以分成兩類：視頻信號的實時處理和航拍運(yùn)動圖片的事后處理。視頻信號經(jīng)無線傳輸至地面基站，進(jìn)行實時顯示，甚至目標(biāo)跟蹤等視頻處理；航拍運(yùn)動圖片在飛行任務(wù)結(jié)束后從存儲器中導(dǎo)入工作站，進(jìn)行常規(guī)的拼接、定位等操作[6]。由于航拍運(yùn)動圖片相對視頻有更高的地面分辨率，往往包含更多的目標(biāo)信息，在航空偵察領(lǐng)域應(yīng)用更為廣泛[7-9]。

對航拍運(yùn)動圖片快速處理體現(xiàn)在快速檢索和快速處理兩個方面，數(shù)據(jù)存儲器讀取速度的提升只能有限程度地加快檢索，從存儲器中讀取海量數(shù)據(jù)、分類篩選有用信息仍是非常耗時的工作。由于數(shù)據(jù)采集和數(shù)據(jù)處理兩個過程互不相干，采集過程不能為航拍圖片的事后處理提供任何檢索信息，這種完全隔離的處理模式不利于數(shù)據(jù)的快速檢索；但若在飛行任務(wù)執(zhí)行時完成數(shù)據(jù)處理，又大大增加了機(jī)載數(shù)據(jù)快速處理的軟硬件實現(xiàn)難度，對無人機(jī)有限容量也提出了極大挑戰(zhàn)。

實現(xiàn)快速處理(如圖像拼接)通常采用高性能的服務(wù)器集群并行運(yùn)算，造成了資源的過度浪費(fèi)[10]。動態(tài)監(jiān)測中的拼接不是為了生成測繪產(chǎn)品，而是提供整個測區(qū)的概貌，無須在原始分辨率上進(jìn)行精細(xì)操作，但對于感興趣的區(qū)域卻要支持原始分辨率的觀察。因此，在降低分辨率加快拼接速度的同時，要保證不損失原有細(xì)節(jié)信息，從而用較少的計算資源實現(xiàn)態(tài)勢觀察與局部詳察的自如切換。

針對上述問題，本文設(shè)計了一套無人機(jī)動態(tài)監(jiān)測遙感數(shù)據(jù)快速處理策略，具體包括：在數(shù)據(jù)采集過程中引入檢索信息，以加快數(shù)據(jù)篩選分類；在拼接過程中構(gòu)建原始圖片和降分辨率拼接圖的相互關(guān)系，以兼顧數(shù)據(jù)壓縮處理快速性和原有信息的細(xì)節(jié)展示性。本文第2章介紹用于獲取遙感數(shù)據(jù)的無人機(jī)動態(tài)監(jiān)測系統(tǒng)的組成及作業(yè)流程，這里以快速拼接為作業(yè)目的；第3章闡述快速處理策略的信息處理流程；第4章結(jié)合Qt開發(fā)平臺展示了軟件實現(xiàn)界面。

二、系統(tǒng)組成及作業(yè)流程

為了在數(shù)據(jù)采集時引入分類信息，考慮到實時視頻和數(shù)據(jù)采集是同步進(jìn)行的，可以通過對下傳實時視頻的內(nèi)容理解執(zhí)行分類標(biāo)記，依據(jù)標(biāo)記信息，在時間軸上索引航拍圖片進(jìn)行篩選分類。因此，在進(jìn)行動態(tài)監(jiān)視時，同時執(zhí)行視頻采集和航拍圖片的拍攝。整個系統(tǒng)組成如圖1所示。

圖1　無人機(jī)動態(tài)監(jiān)測系統(tǒng)組成示意圖

圖2　工作流程圖

無人機(jī)動態(tài)監(jiān)測系統(tǒng)主要分為空中和地面兩大部分?？罩胁糠钟蓹C(jī)載調(diào)頻電臺接收地面發(fā)送的飛機(jī)導(dǎo)航指令和云臺角度控制指令，將其傳送到相應(yīng)的控制電路，同時在機(jī)載主控電路的管理下，將每幀航拍時的飛機(jī)、云臺位姿信息通過電臺下傳至地面；機(jī)載主控控制光學(xué)遙感器按照指定方式拍照，并導(dǎo)入大容量存儲器，而取景器中的視頻經(jīng)實時采集由機(jī)載視頻發(fā)射電臺發(fā)送至地面。地面部分通過地面調(diào)頻電臺接收無人機(jī)、云臺的狀態(tài)信息到飛控計算機(jī)，不僅用于實時監(jiān)視飛機(jī)、云臺狀態(tài)，而且也幫助生成分類標(biāo)記中的部分信息，飛控計算機(jī)將飛控指令和手柄對云臺的控制指令傳至無人機(jī)；地面視頻接收電臺將下傳的視頻接收并傳至顯示器，地面操作人員可以觀看視頻，并對感興趣的內(nèi)容作標(biāo)記，幫助生成分類標(biāo)記中的另一部分信息；對于每幀航拍圖片飛控計算機(jī)都記錄了一個分類標(biāo)記信息，包括拍照時刻的飛機(jī)、云臺狀態(tài)，以及內(nèi)容理解信息，當(dāng)飛行任務(wù)結(jié)束后，僅通過分類標(biāo)記信息即可對航拍圖片進(jìn)行快速分類，圖像處理工作站依據(jù)分類檢索出待處理的圖片進(jìn)行拼接等事后處理，并將其中重要的結(jié)果通過電臺發(fā)送至指揮大樓。整個作業(yè)流程如圖2所示。

三、系統(tǒng)信息處理流程

上述系統(tǒng)對應(yīng)的地面數(shù)據(jù)處理分成了飛行任務(wù)執(zhí)行時的視頻顯示與分類標(biāo)記軟件和事后分析的航拍圖像快速瀏覽與拼接軟件。視頻顯示與分類標(biāo)記軟件是與飛機(jī)飛行同步的實時處理軟件，以視頻流、位姿數(shù)據(jù)流為輸入，通過人工交互實現(xiàn)對興趣圖片的內(nèi)容標(biāo)記，并生成標(biāo)記文件，以便于飛行結(jié)束后對航拍圖片快速檢索。快速瀏覽與拼接軟件是完成飛行任務(wù)即拿到所有拍攝航拍圖片后執(zhí)行快速瀏覽和拼接的軟件，以航拍原始圖像數(shù)據(jù)和標(biāo)記文件為輸入，以拼接文件為輸出，并可支持對拼接文件的讀入與顯示。兩個軟件均需用戶界面的人工交互，可以獨(dú)立使用，也可捆綁在一起完成一個處理流程。

1. 視頻顯示與分類標(biāo)記信號處理流程

視頻顯示與分類標(biāo)記的信號流程如圖3所示。從圖傳電臺輸出的模擬視頻信號經(jīng)過圖像采集卡變成數(shù)字信號，調(diào)用采集卡開發(fā)包的函數(shù)可以方便地將視頻圖像顯示在軟件的視頻顯示窗口。從數(shù)傳電臺得到的位置、姿態(tài)數(shù)據(jù)經(jīng)串口讀入，將實時更新云臺拍攝示意圖窗口、地圖顯示窗口，以及分類標(biāo)記文件寫入模塊。云臺拍攝示意圖窗口實時反映了在三維空間下云臺的拍攝角度。地圖顯示窗口將更新當(dāng)前位置在地圖上的顯示。標(biāo)記文件寫入模塊負(fù)責(zé)位置、姿態(tài)數(shù)據(jù)的記錄和興趣模式標(biāo)識。機(jī)載主控在拍攝并存儲每幀圖片時就此時飛機(jī)、云臺的位姿信息及拍照時刻信息打包為一個單元，通過電臺下傳并寫入標(biāo)記文件。由于機(jī)載存儲器可以按存儲時間進(jìn)行數(shù)據(jù)管理，即使無線鏈路由于某種不明原因中斷，也不會出現(xiàn)標(biāo)記文件和圖片對不上的情況。

圖3　視頻顯示與分類標(biāo)記信號流程

標(biāo)記文件內(nèi)容組成如圖4所示。當(dāng)用戶在視頻顯示窗口觀察到感興趣圖片時，打開感興趣內(nèi)容標(biāo)記窗口，可以選擇一個或多個感興趣模式，然后標(biāo)記文件的“興趣標(biāo)識模式”隨之更新。當(dāng)完成整個飛行任務(wù)時，標(biāo)識文件完成寫入，自動生成后綴為MARK的文件。

圖4　分類標(biāo)記單元內(nèi)容組成

2. 快速瀏覽與拼接信號處理流程

快速瀏覽與拼接軟件是完成飛行任務(wù)后，即拿到所有航拍圖片后執(zhí)行快速瀏覽和拼接的軟件，圖5為快速瀏覽與拼接信號處理流程。這里支持兩種監(jiān)視模式下的圖像瀏覽與拼接，分別是定點(diǎn)懸停全景拍攝模式的拼接和固定視場角以一定速度推進(jìn)的巡航拍攝模式的拼接。除了拼接圖片外，還記錄了生成拼接圖的原圖圖號、尺寸壓縮比、拼接過程中間處理結(jié)果(如計算得到的原圖之間相對位置關(guān)系，各原圖4個角點(diǎn)在拼接圖上的位置)。

圖5　快速瀏覽與拼接流程

完成飛行任務(wù)后，讀入分類標(biāo)記文件，根據(jù)記錄內(nèi)容的“興趣標(biāo)識模式”和“監(jiān)視模式”，以及它們的時空連續(xù)性，將所有的航拍圖片按時間順序和興趣內(nèi)容分成若干處理群，如巡航拼接處理群和全景拼接處理群。由標(biāo)記文件中的拍攝時刻信息可以快速檢索到待處理的航拍圖片，并開辟足夠的內(nèi)存空間。為了滿足快速響應(yīng)的要求，高分辨率航拍圖片先按一定的尺寸比例進(jìn)行縮小，再進(jìn)行拼接處理?？焖贋g覽實現(xiàn)了縮小圖片的縮略圖顯示，雙擊選中某張縮略圖也可顯示對應(yīng)的原始圖片。

拼接過程采用成熟的航拍圖片拼接方法和全景圖拼接方法，求解各圖片間的相互位置關(guān)系，并得到各圖片4個角點(diǎn)在拼接圖中的位置，從而可以確定是哪些圖片確定了拼接圖中某個像素。用戶選擇拼接圖片上任意一點(diǎn)，會顯示生成該點(diǎn)的所有相關(guān)圖片，選擇某張原始圖片進(jìn)行顯示，以觀察局部細(xì)節(jié)。

四、軟件實現(xiàn)界面

在Qt開發(fā)平臺上實現(xiàn)上述信息處理過程，圖6是視頻顯示與分類標(biāo)記軟件界面。標(biāo)記文件經(jīng)內(nèi)部歸類后，若要實現(xiàn)某處的全景拼接，該處所有航拍圖片被快速檢索出來，可以進(jìn)行縮略圖瀏覽，低分辨率的拼接圖片和拼接過程文件可一起保存下來。點(diǎn)擊拼接圖片的任意一點(diǎn)，可索引到包含該區(qū)域的原始圖片，如圖7所示，選擇感興趣的一張進(jìn)行細(xì)節(jié)顯示。

圖6　視頻顯示與標(biāo)記軟件界面

圖7　快速瀏覽與拼接軟件界面

五、結(jié)束語

本文提出了一種無人機(jī)航拍圖片快速處理流程，可有效解決無人機(jī)遙感平臺用于動態(tài)監(jiān)測面臨的海量數(shù)據(jù)檢索人工量巨大，大數(shù)據(jù)處理計算復(fù)雜、耗時長的問題。將飛行時的數(shù)據(jù)采集過程和飛行后的數(shù)據(jù)處理過程通過分類標(biāo)識關(guān)聯(lián)起來，極大地方便了航拍數(shù)據(jù)的快速檢索；同時，通過構(gòu)建高分辨率航拍圖片和低分辨率拼接圖片的相互關(guān)系，既保證了拼接處理的快速性，又保留了原有細(xì)節(jié)信息。整個信號處理流程滿足無人機(jī)動態(tài)監(jiān)測數(shù)據(jù)快速處理的需求，可應(yīng)用于安全維穩(wěn)、防災(zāi)減災(zāi)、環(huán)境監(jiān)測、特殊行業(yè)巡檢等相關(guān)領(lǐng)域，具有廣闊的市場前景。

參考文獻(xiàn)：

[1]FAN B J, DU Y K, ZHU L L, et al. The Registration of UAV Down-loking Aerial Images to Satellite Images with Image Entropy and Edges[C]∥Proceedings of ICIRA 2010, Part I, LNAI 6424. Berlin:Springer,2010: 609-617.

[2]金偉，葛宏立，杜華強(qiáng)等. 無人機(jī)遙感發(fā)展與應(yīng)用概況[J]. 遙感信息，2009，88(1)：88-92.

[3]韓杰，王爭.無人機(jī)遙感國土資源快速監(jiān)察系統(tǒng)關(guān)鍵技術(shù)研究[J].測繪通報，2008(2)：4-6.

[4]劉剛，許宏健，馬海濤,等. 無人機(jī)航測系統(tǒng)在應(yīng)急服務(wù)保障中的應(yīng)用與前景[J]. 測繪與空間地理信息，2011， 34(4)：177-179.

[5]許輝熙，敬小東. 基于無人機(jī)遙感和GIS技術(shù)的土地利用快速詳查方法研究[J]. 測繪與空間地理信息，2013， 36(9)：11-14.

[6]崔紅霞，林宗堅，孫杰. 無人機(jī)遙感監(jiān)測系統(tǒng)研究[J]. 測繪通報，2005(5)：11-14.

[7]王洛飛. 無人機(jī)低空攝影測量在城市測繪保障中的應(yīng)用前景[J]. 測繪與空間地理信息，2014，37(2)：217-222.

[8]王國洲. 無人機(jī)航攝系統(tǒng)在貴州地質(zhì)災(zāi)害應(yīng)急中的應(yīng)用[J]. 地理空間信息，2010，8(5)：1-3.

[9]李建華，邊馥苓，馬敏. 空間數(shù)據(jù)存儲管理中間件并行控制研究[J]. 測繪通報，2004(11)：8-11.

[10]劉紅漫，晉燕利. 國外軍用無人機(jī)任務(wù)系統(tǒng)及其發(fā)展研究[C]∥尖兵之翼-2006中國無人機(jī)大會論文集. 北京：中國航空學(xué)會，2006:467-473.

作者簡介：張春曉(1984—)，女，博士，工程師，主要從事遙感器總體、遙感圖像處理及應(yīng)用方面的研究。E-mail: chunxiaozhang@163.com

基金項目：國家自然科學(xué)基金(41401522)

收稿日期：2014-07-24

中圖分類號：P237

文獻(xiàn)標(biāo)識碼：B

文章編號：0494-0911(2015)01-0050-05