賈 嬌,艾海濱,張 力,燕 琴
(1.蘭州交通大學,甘肅 蘭州730070;2.中國測繪科學研究院,北京100830)
現(xiàn)今,在應急響應和防災減災領域,通過低空無人機獲取災區(qū)影像的方式發(fā)揮的作用越來越明顯,其最大的優(yōu)勢就是可以在惡劣的自然條件下,或者在人無法到達的地區(qū),利用簡單條件就可以低空飛行,獲取影像數(shù)據(jù)。同時,其也存在一個不容忽視的問題,即與傳統(tǒng)的航空拍攝相比,應用小型無人機獲取數(shù)據(jù)的方式受到氣候因素、重量因素、相機質(zhì)量因素等影響,導致飛機姿態(tài)不穩(wěn)定,從而使得通過無人機獲得的影像質(zhì)量會有一些不足,如影像航向重疊度和旁向重疊度都不夠規(guī)則、像幅較小、像片數(shù)量多、影像的傾角過大且傾斜方向沒有規(guī)律、航攝區(qū)域地形起伏大造成的影像旋偏角大、影像有明顯畸變等。這些情況下實現(xiàn)自動空三是現(xiàn)有數(shù)字攝影測量系統(tǒng)的主要挑戰(zhàn),在大多數(shù)情況下都將導致錯誤結果。
因此,完善的影像數(shù)據(jù)處理系統(tǒng)應該既能快速處理數(shù)量龐大的無人機影像,又能保證處理結果準確且滿足既定的要求。本文以影像數(shù)據(jù)測圖系統(tǒng)PixelGrid為平臺,介紹了無人機影像數(shù)據(jù)快速處理的關鍵算法與相關技術,以及PixelGrid在應急響應處理中的應用。
針對無人機影像的特點對其進行數(shù)據(jù)快速處理的流程如圖1所示。
圖1 無人機影像快速處理流程
獲得無人機數(shù)據(jù)以后,首先對影像作旋轉(zhuǎn)、主點修正、畸變改正或格式轉(zhuǎn)換等預處理;然后再進行自動相對定向、模型連接、航帶間轉(zhuǎn)點等完成空中三角測量;最后利用特征提取技術從影像中提取數(shù)字表面模型(DSM),DSM經(jīng)濾波處理得到DEM。下面對原始影像作勻光勻色處理,再結合生成的DEM對其進行數(shù)字微分糾正,然后利用正射影像自動拼接技術得到整個測區(qū)的正射影像圖。
傳統(tǒng)攝影測量軟件在進行相對定向之前要設定影像的航向重疊度,而低空無人機拍攝出的影像航向旁向重疊度都不規(guī)則,致使在金字塔影像最高層的搜索范圍不正確。無人機影像也存在旋偏角過大的問題,傳統(tǒng)的灰度匹配算法會使影像不相關。以上兩個弊端導致了無人機影像的相對定向結果不理想。PixelGrid系統(tǒng)利用了SIFT算法進行匹配,并基于尺度/旋轉(zhuǎn)不變性進行全自動相對定向[1],圖2展示了在無人機影像旋偏角較大、紋理缺乏的情況下得到296個匹配點,σ值為1.12個像素,說明此方案的匹配成功率和匹配點精度都較高,能滿足實際生產(chǎn)需求;得到相對定向元素以后,進行模型連接,并構成自由航帶網(wǎng)[2]。無人飛行器存在影像畸變大、飛行狀態(tài)不穩(wěn)定等不足,致使模型連接的中誤差超出限差過多。為了解決這個問題,首先在影像重疊區(qū)域提取F?rstner特征,經(jīng)過灰度匹配獲得初始的模型連接點,再應用直方圖統(tǒng)計法、模型連接比定義、幾何相似關系法逐步去除匹配錯誤的點。此方法獲得的連接點分布均勻,轉(zhuǎn)點的成功率和可靠性高,為后續(xù)的航帶間轉(zhuǎn)點和區(qū)域網(wǎng)平差提供了保障。
完成自動空三解算后,利用原始影像和內(nèi)外方位元素生成數(shù)字表面模型(DSM)或DEM。從遙感影像中自動提取三維信息的方法很多,它們能滿足普遍的生產(chǎn)要求,但弊端是精度和可靠性不高[3]。針對受災地區(qū)的復雜地況和無人機的非常規(guī)拍攝,可采用由粗到細(coarse-to-fine)的多級影像匹配策略[4],融合特征點、特征線和格網(wǎng)點,集成多種成熟的、性能互補的影像匹配算法(基于面元的匹配、基于特征的匹配和關系匹配等),同時自動進行匹配粗差定位和剔除,以保證匹配精度和可靠性。其核心算法為基于物方的多影像匹配方法[5],可以同時匹配多于2景的影像,可有效地解決重復紋理或遮擋區(qū)域的匹配困難。同時采用兼顧地形特征線信息的全局概率松弛法影像匹配算法[5-6],兼顧影像的全局和局部信息(如圖3所示)。
圖3 基于多基線、多匹配特征的地形信息自動提取
由于拍攝相機和外部環(huán)境的影響,拼接后的影像容易出現(xiàn)色彩或灰度的差別。基于影像直方圖匹配的勻色算法[7]將縮小一定程度拼接后的大影像作為參考模板,使原大影像灰度直方圖變成規(guī)定形狀的直方圖而對圖像色彩作修正,這樣使得拼接的色調(diào)過渡平滑,也極大地提高了自動化程度。另外,采用適當調(diào)節(jié)影像的亮度和對比度屬性的方法[7]來去除影像上的大面積霧靄,增強影像對比度,彌補了以往的勻光算法(如自適應模板法)[7]在此方面的缺陷。
為得到精確的DEM,要對色彩調(diào)整后的原始影像進行數(shù)字微分糾正以生成正射影像圖。正射影像拼接需要做到無縫鑲嵌、無影像錯位,清晰準確地呈現(xiàn)測區(qū)的實際情況??蛇\用動態(tài)規(guī)劃算法[8],根據(jù)多影像的整理分布情況自動生成區(qū)域范圍內(nèi)的接縫線網(wǎng)絡,進行整體接縫線自動編輯,同時對接縫線進行實時的羽化處理,以保證鑲嵌處理的效率。生成的拼接線能夠繞開房屋、樹木、橋梁等,而且一般不需要人工手動修改。
數(shù)字攝影測量軟件可處理的數(shù)據(jù)量越來越大,在應急響應中越快獲知災區(qū)情況越好,為了提高效率,并行處理方式在數(shù)據(jù)處理中廣泛應用起來。并行處理是計算機系統(tǒng)中同時執(zhí)行多個處理機的一種計算方法,目的就是快速解決大型且復雜的計算問題。單機多核是最簡單的一種并行方式,即一臺計算機擁有多個內(nèi)核,允許多個進程在一臺機器上同時進行處理。經(jīng)測試驗證,一臺8核PC機只需75 min即可完成856個像對UCXP航空影像的自動相對定向,200個像對用單機多核的方式只需3 h即可完成DSM的自動提取。
為了獲得更優(yōu)質(zhì)的效率,還可以采取多機集群分布式的數(shù)據(jù)處理方法,即將局域網(wǎng)中互聯(lián)的所有工作站(包括PC機和高性能集群計算機)通過軟件的方式進行通信和協(xié)作,從而以一定的任務調(diào)度策略共同完成影像數(shù)據(jù)的分布式處理[9]。圖4展示了PixelGrid系統(tǒng)的分布式處理架構,基于高速局域網(wǎng)絡,基本上實現(xiàn)了基于松散耦合并行服務中間件的影像數(shù)據(jù)集群分布式并行計算[10]。當接到任務時,任務調(diào)度模塊首先根據(jù)性能檢測模塊的報告,按照負載均衡的方式將待處理的任務發(fā)送到相應的處理節(jié)點上;然后操作員通過軟件界面實時了解任務進展,接收遠端處理完的成果數(shù)據(jù),并在本機上儲存該數(shù)據(jù)。影像正射糾正中涉及的重采樣操作往往耗時巨大,在高數(shù)據(jù)處理量的系統(tǒng)中,采用分布式計算,將系統(tǒng)計算功能分塊并行計算,可大大提高處理效率。
圖4 PixelGrid系統(tǒng)分布式處理架構
在實際生產(chǎn)中,可以根據(jù)需要選擇使用單機多核或者多機分布式處理。表1以匹配DSM為例比較了兩種處理方式的效率,具體處理內(nèi)容是從36張8 cm分辨率的UCD航空影像生成格網(wǎng)間隔為40 cm的DSM。由表1可知多機分布式并行處理比單機處理更能提高效率,減輕了人員的工作量,實現(xiàn)了作業(yè)步驟的高度自動化,為災害的應急處理爭取了時間。
表1 PixelGrid兩種處理方式在匹配DSM中的效率對比
GPU技術以其卓越的圖形處理功能,在數(shù)字攝影測量領域的應用越來越重要,根據(jù)其并行結構和硬件特點,使利用GPU實現(xiàn)通用計算和圖像處理的高性能并行計算成為可能,并且發(fā)展成為趨勢。對于一幅分辨率為0.2 m、大小為756 MB的正射影像,采用CPU糾正大約需要8 min,而基于FX1800顯卡的GPU精糾正處理只需30 s,加速比為16倍。由于正射糾正是針對單個像元的操作,隨著影像像元數(shù)的增多,計算量也急劇增加。PixelGrid系統(tǒng)利用OpenGL作為手段,修改三維繪制管線的可編程Vertex和 Fragment Shader來實現(xiàn)快速的糾正[11]。以21張UCD航空遙感影像(測區(qū)面積約73 km2,數(shù)據(jù)量9.2 GB)為例,利用單機單線程GPU處理模式生成分辨率為0.2 m的正射影像,在NVIDIA Quadro 4000顯卡和1000轉(zhuǎn)速SAS盤的機器上運行,只需要約8 min。通過GPU并行正射糾正的實例說明,
綜上所述,PixelGrid在玉樹地震后僅用了7個小時即完成了從自動空三到生成正射影像的全部流程,制作出玉樹結古鎮(zhèn)震后0.4 m分辨率的正射影像圖,圖5的正射影像顯示出全鎮(zhèn)的受災情況,圖6是結古鎮(zhèn)震后2 m分辨率DSM彩色暈渲圖。另外,對舟曲泥石流后近200幅無人機航空影像數(shù)據(jù)進行處理,從自動空三到正射影像制作完成共用近6 h,獲得了0.2 m分辨率的舟曲縣泥石流災害影像圖,如圖7所示,能顯示泥石流經(jīng)過地區(qū)的受災狀況。這些成果可以幫助救災人員判斷受災的具體區(qū)域和嚴重程度,為調(diào)派人力物力前往救助提供保障。另外,如圖8所示,正射影像圖也能為監(jiān)測災后地質(zhì)形態(tài)(滑坡群、堰塞湖等)變化、關注受災后城鎮(zhèn)的恢復與重建提供保障。利用GPU對攝影測量中相關圖像處理算法的并行化,可以極大地提高攝影測量處理的效率。
圖5 結古鎮(zhèn)震后正射影像圖
圖6 結古鎮(zhèn)震后DSM彩色暈渲圖
由影像自動匹配生成的DSM包含地面建筑物、樹木和橋梁等高度,需要轉(zhuǎn)換為DEM以供后續(xù)流程應用。一般是靠單人手工編輯,耗費人力和時間巨大。為了提高效率,運用多人網(wǎng)絡分布式DSM在線編輯系統(tǒng),即由服務器端將一片測區(qū)分成若干塊區(qū),若干客戶端在網(wǎng)絡內(nèi)同時進行DSM編輯,處理時間可成倍減少,為后續(xù)流程的順利進行提供了方便。
圖7 舟曲縣泥石流正射影像圖
圖8 堰塞湖正射影像圖
本文基于PixelGrid系統(tǒng)的數(shù)據(jù)處理流程和方法,針對低空無人機拍攝方式的現(xiàn)狀,介紹了遙感影像快速處理技術的關鍵算法,詳細闡述了并行計算技術與數(shù)字攝影測量相關算法相結合的模式,并通過PixelGrid在玉樹地震和舟曲泥石流的災后影像處理中的應用,驗證了這兩種技術相結合可以充分發(fā)揮應急響應中數(shù)據(jù)處理的速度和效率。
[1]王琳,張力,艾海濱.無人飛行器遙感影像的自動相對定向研究[J].測繪通報,2011(11):11-14.
[2]王琳.高精度、高可靠的無人機影像全自動相對定向及模型連接研究[D].北京:中國測繪科學研究院,2011.
[3]張力,張繼賢.基于多基線影像匹配的高分辨率遙感影像DEM 的自動生成[J].測繪科學,2008,33(S2):35-39.
[4]袁修孝,明洋.一種綜合利用像方和物方信息的多影像匹配方法[J].測繪學報,2009,38(3):216-222.
[5]張祖勛,張劍清.數(shù)字攝影測量學[M].武漢:武漢大學出版社,2010:148-213.
[6]ZHANG Li,GRUEN A.Multi-image Matching for DSM Generation from IKONOSImagery[J].ISPRSJournal of Photogrammetry and Remote Sensing,2006,60(3):195-211.
[7]王邦松,艾海濱,安宏,等.航空影像色彩一致性處理算法研究[J].遙感信息,2011(1):45-49.
[8]CHON J,KIM H.Determination of the Optimal Seamlines in Image Mosaicking with the Dynamic Programming(DP)on the Converted Cost Space[J].Lecture Notes in Computer Science,2006(4029):750-757.
[9]王彥敏,盧剛.基于PixelGrid實現(xiàn)DOM的快速更新[C]∥地理信息與物聯(lián)網(wǎng)論壇暨江蘇省測繪學會2010年學術年會.無錫:江蘇省測繪學會,2010.
[10]艾海濱,張劍清.基于中間件的高分辨率衛(wèi)星影像正射糾正的分布式處理[J].測繪科學,2009,34(4):158-160.
[11]韓元利.基于GPU編程的虛擬自然環(huán)境技術研究[D].武漢:武漢大學,2007.