陳繼溢，孫杰，張力，許彪，唐曉霏

（1.中國(guó)測(cè)繪科學(xué)研究院，北京100830；2.湖北省測(cè)繪工程院，武漢430074）

無(wú)地面控制的無(wú)人機(jī)影像全自動(dòng)快速拼接

陳繼溢1，孫杰1，張力1，許彪1，唐曉霏2

（1.中國(guó)測(cè)繪科學(xué)研究院，北京100830；2.湖北省測(cè)繪工程院，武漢430074）

為了滿足地理國(guó)情監(jiān)測(cè)、災(zāi)害應(yīng)急保障需要快速響應(yīng)和服務(wù)的應(yīng)用需求，該文提出一種無(wú)地面控制的無(wú)人機(jī)影像全自動(dòng)快速拼接方法。該方法利用尺寸不變特征匹配和相關(guān)系數(shù)匹配獲取分布均勻且高精度的像點(diǎn)觀測(cè)，通過(guò)自由網(wǎng)光束法平差獲取定向參數(shù)和加密點(diǎn)物方坐標(biāo)，最后通過(guò)結(jié)合影像的色彩一致性處理和顧及重疊的面Voronoi圖接縫線網(wǎng)絡(luò)快速拼接獲取測(cè)區(qū)影像圖。實(shí)驗(yàn)結(jié)果表明：所提出的方法可有效解決無(wú)人機(jī)影像的快速拼接問(wèn)題，獲取的影像圖具有較高的拼接精度，同時(shí)色彩過(guò)渡自然。

無(wú)人機(jī)影像；SIFT匹配；自由網(wǎng)光束法平差；影像色彩一致性處理；快速拼接；無(wú)地面控制

1 引 言

無(wú)人機(jī)低空航測(cè)遙感具有機(jī)動(dòng)快速響應(yīng)、任務(wù)執(zhí)行靈活、高精度影像獲取等特點(diǎn)，已被廣泛應(yīng)用到地理國(guó)情監(jiān)測(cè)、災(zāi)害應(yīng)急保障、地形圖測(cè)繪、農(nóng)業(yè)、林業(yè)、電力等領(lǐng)域。隨著硬件系統(tǒng)的不斷發(fā)展與成熟，海量影像數(shù)據(jù)的快速獲取已成為可能，但如何有效解決無(wú)人機(jī)低空影像重疊度不規(guī)則、像幅小、旋偏角大、畸變明顯問(wèn)題，快速獲取滿足業(yè)務(wù)部門各種應(yīng)用需求的成果數(shù)據(jù)具有重要的現(xiàn)實(shí)意義，同時(shí)也是目前的研究熱點(diǎn)。

針對(duì)無(wú)人機(jī)影像的快速拼接問(wèn)題，目前大多數(shù)處理方法都是采用不同的優(yōu)化算法在像方空間做尺度不變特征匹配（Scale－invariant feature transform，SIFT），然后根據(jù)匹配的同名點(diǎn)進(jìn)行全景拼接。劉民選［1］著重研究了無(wú)人機(jī)影像同名點(diǎn)匹配策略和基于GPU的加速方法；胡慶武等［2］采用基于SIFT特征的單應(yīng)約束影像匹配算法，計(jì)算相鄰影像的最優(yōu)變換矩陣，采取多分辨率融合拼接全景影像；宮阿都等［3］首先進(jìn)行數(shù)據(jù)分塊，其次運(yùn)用SIFT算子對(duì)分塊影像進(jìn)行自動(dòng)拼接，最后基于輔助數(shù)據(jù)對(duì)分塊拼接影像進(jìn)行整體二次多項(xiàng)式糾正。上述方法本質(zhì)上都是基于像方空間的拼接，對(duì)同名點(diǎn)匹配精度和分布的依賴性較高，另外，如果測(cè)區(qū)地形起伏較大可能會(huì)出現(xiàn)明顯的拼接錯(cuò)位；劉春等［4］提出基于光束法平差的無(wú)人機(jī)影像快速拼接方法，并推導(dǎo)了相應(yīng)的數(shù)學(xué)模型，但仍然依賴于稀少控制信息。

本文針對(duì)地理國(guó)情監(jiān)測(cè)、災(zāi)害應(yīng)急保障等應(yīng)用需求，提出一種無(wú)地面控制的無(wú)人機(jī)影像快速拼接方法。該方法通過(guò)結(jié)合SIFT特征匹配、相關(guān)系數(shù)匹配、分級(jí)多層金字塔影像匹配等策略獲取分布均勻且高精度的像點(diǎn)觀測(cè)；利用自由網(wǎng)光束法平差獲取影像的定向參數(shù)和加密點(diǎn)物方坐標(biāo)；加密點(diǎn)三角構(gòu)網(wǎng)并內(nèi)插獲取數(shù)字高程模型DEM，利用數(shù)字微分糾正獲取單片正射影像；最后通過(guò)結(jié)合基于Wallis濾波器的整體勻色處理和顧及重疊的面Voronoi圖接縫線網(wǎng)絡(luò)［5］快速拼接獲取測(cè)區(qū)影像圖數(shù)據(jù)。

2 無(wú)人機(jī)影像全自動(dòng)快速拼接

目前，無(wú)人機(jī)飛行作業(yè)時(shí)可獲取航攝影像及概略的導(dǎo)航POS數(shù)據(jù)，兩者和相機(jī)參數(shù)作為快速拼接的原始數(shù)據(jù)；其次，通過(guò)初始匹配和數(shù)據(jù)整理建立測(cè)區(qū)航帶列表；然后進(jìn)行自動(dòng)空三處理獲取影像的外方位元素和加密點(diǎn)的物方坐標(biāo)；最后糾正拼接處理獲取測(cè)區(qū)影像圖數(shù)據(jù)。本文方法的總體流程如圖1所示。

圖1 快速拼接總體流程圖

2.1 初始匹配

（1）SIFT特征匹配

1999年，Lowe提出SIFT算法［6］，并于2004年進(jìn)一步改進(jìn)該算法，它是一種基于尺度空間的影像局部特征描述算子，對(duì)影像的旋轉(zhuǎn)、尺度縮放、仿射變換等保持一定程度的穩(wěn)定性，可作為較理想的無(wú)人機(jī)影像初始匹配方法。

利用SIFT進(jìn)行影像匹配主要分為特征點(diǎn)探測(cè)、特征點(diǎn)描述、特征點(diǎn)匹配、誤匹配點(diǎn)粗差剔除4個(gè)部分。實(shí)際應(yīng)用中為了提高匹配速度，SIFT特征匹配在金字塔影像上進(jìn)行，同時(shí)利用導(dǎo)航POS數(shù)據(jù)結(jié)合全球航天飛機(jī)雷達(dá)地形測(cè)繪使命（Shuttle Radar Topography Mission，SRTM）數(shù)據(jù)計(jì)算目標(biāo)影像的鄰接關(guān)系以確定搜索影像。誤匹配點(diǎn)粗差剔除使用模型參數(shù)為透視變換的隨機(jī)抽樣一致性（Random Sample Consensus，RANSAC）方法［7］。

（2）相關(guān)系數(shù)匹配

盡管SIFT特征匹配具有很多優(yōu)勢(shì)，但其特征點(diǎn)定位精度不高，特征分布存在不均勻的現(xiàn)象。為了提高匹配精度同時(shí)保證匹配點(diǎn)的均勻分布，本文基于SIFT特征匹配的結(jié)果，利用在影像上按規(guī)則格網(wǎng)提取的Harris特征點(diǎn)進(jìn)行更高精度的相關(guān)匹配以獲取初始匹配像點(diǎn)觀測(cè)。

無(wú)人機(jī)影像存在旋轉(zhuǎn)、變形等問(wèn)題，而在級(jí)別較高的金字塔影像上可認(rèn)為其“視差”具有分段連續(xù)平滑的特點(diǎn)。因此，相關(guān)匹配時(shí)可利用透視變換重采樣搜索窗口的灰度數(shù)據(jù)，變換參數(shù)的計(jì)算基于目標(biāo)點(diǎn)鄰近匹配成功的SIFT特征點(diǎn)。

通過(guò)SIFT特征匹配和相關(guān)系數(shù)匹配，可獲取點(diǎn)位分布和精度均較為理想的初始匹配點(diǎn)。一方面可用于自由網(wǎng)光束法平差的像點(diǎn)觀測(cè)數(shù)據(jù)，另一方面，可作為后續(xù)分級(jí)多層金字塔影像匹配的初值使用。

2.2 測(cè)區(qū)整理

無(wú)人機(jī)機(jī)載飛行控制系統(tǒng)的POS數(shù)據(jù)記錄了像片攝影時(shí)的概略外方位元素，測(cè)區(qū)整理時(shí)基于攝站的三維坐標(biāo)（X，Y，Z），同時(shí)根據(jù)攝影曝光時(shí)間的先后順序排列影像。算法的基本原則為：航帶內(nèi)相鄰像片的方向向量與航帶方向的向量積為正，如圖2（a）、圖2（b）所示。具體步驟如下：

（1）依次計(jì)算相鄰兩張像片攝影中心的方向向量并單位化，記為：

（3）對(duì)下一個(gè)攝站點(diǎn)，計(jì)算向量積s：

（4）根據(jù)s判斷攝站點(diǎn)的航帶歸屬：

s＞0，將該點(diǎn)加入到當(dāng)前航帶，同時(shí)更新航帶方向向量

其中，→lnew為更新后的航帶方向向量，同時(shí)將其單位化，m為當(dāng)前航帶內(nèi)的像片數(shù)量。實(shí)質(zhì)是將航帶內(nèi)所有相鄰像片方向向量的加權(quán)值作為航帶的方向向量，進(jìn)而增強(qiáng)航帶方向計(jì)算的穩(wěn)健性和適用性；

s≤0，當(dāng)前航帶創(chuàng)建完成，重復(fù)上述步驟（2）～步驟（4）創(chuàng)建下一航帶直至判斷完所有攝站點(diǎn)的航帶歸屬。

圖2 航帶排列

航帶創(chuàng)建完成后，根據(jù)其位置關(guān)系及初始匹配結(jié)果進(jìn)一步判斷像片的旋轉(zhuǎn)方式以完整測(cè)區(qū)整理。圖3是某測(cè)區(qū)12條航帶共計(jì)1963張影像的自動(dòng)整理結(jié)果，為顯示需要，圖中為攝站點(diǎn)抽稀顯示結(jié)果。

圖3 測(cè)區(qū)自動(dòng)整理結(jié)果

2.3 自動(dòng)空三

分布均勻、密集且高精度的像點(diǎn)觀測(cè)對(duì)于快速拼接目的而言具有重要意義，主要表現(xiàn)在兩方面：①提高自由網(wǎng)光束法平差的精度與可靠性，同時(shí)有利于像點(diǎn)觀測(cè)粗差的自動(dòng)定位與剔除；②自由網(wǎng)加密點(diǎn)坐標(biāo)通過(guò)三角構(gòu)網(wǎng)及內(nèi)插可獲取測(cè)區(qū)的DEM，其描述地形地貌的精細(xì)與否在一定程度上影響拼接影像圖的精度。因此，為了獲取高密度、高精度的像點(diǎn)觀測(cè)，本文采用分級(jí)多層的金字塔影像匹配策略。

（1）自由網(wǎng)光束法平差

光束法平差是空中三角測(cè)量中最嚴(yán)密的一步解法，可同時(shí)獲取影像的外方位元素和加密點(diǎn)的物方坐標(biāo)。光束法平差中影像坐標(biāo)觀測(cè)是未知數(shù)的非線性函數(shù)，因此，需反復(fù)迭代趨近直至收斂為止。

由于受到各種因素的影響（遮擋、重復(fù)紋理、陰影等），自動(dòng)匹配獲取的像點(diǎn)觀測(cè)中不可避免的存在粗差，平差迭代計(jì)算過(guò)程中自動(dòng)檢測(cè)并剔除粗差是保證平差結(jié)果精度與可靠性的關(guān)鍵。因此，本文選用從穩(wěn)健估計(jì)法出發(fā)導(dǎo)出的丹麥法LD1權(quán)函數(shù)［8］，主要基于兩方面的考慮：①無(wú)需計(jì)算多余觀測(cè)分量，以節(jié)省計(jì)算時(shí)間；②大量密集且分布均勻的像點(diǎn)觀測(cè)使得平差系統(tǒng)的平均多余觀測(cè)分量很大（0.9以上）且分布均勻，從平差系統(tǒng)的可靠性理論來(lái)說(shuō)，粗差能夠得到很好地監(jiān)控。

（2）分級(jí)多層金字塔影像匹配

本文采用基于物方的鉛垂線軌跡法（Vertical Line Locus，VLL）［9］實(shí)現(xiàn)從粗到精的金字塔影像匹配策略，如圖4所示，其處理過(guò)程如下：

圖4 VLL法影像匹配

①確定待匹配目標(biāo)點(diǎn)最低高程Zmin、最大高程Zmax及高程搜索步距ΔZ。最上級(jí)金字塔影像匹配時(shí)直接利用2.1節(jié)中的初始匹配結(jié)果，后續(xù)各級(jí)影像需重新提取均勻分布的Harris特征點(diǎn)；

②根據(jù)目標(biāo)點(diǎn)平面坐標(biāo)（X，Y）與可能的高程Z依次重采樣搜索影像并計(jì)算相關(guān)系數(shù)（ρ1，ρ2，…，ρn）；

③取相關(guān)系數(shù)最大值ρk對(duì)應(yīng)的高程ZK及像點(diǎn)作為正確的匹配。

另外，多層分級(jí)金字塔影像匹配時(shí)可根據(jù)實(shí)際需求設(shè)置指定的金字塔匹配級(jí)數(shù)，提高自動(dòng)空三的處理效率，進(jìn)而減少快速拼接的整體處理時(shí)間。

2.4 快速拼接

快速拼接影像圖主要分為三步：首先，三角構(gòu)網(wǎng)并內(nèi)插自由網(wǎng)光束法平差的加密點(diǎn)物方坐標(biāo)可獲取測(cè)區(qū)的DEM；其次，數(shù)字微分糾正獲取單片糾正影像；最后，單片糾正結(jié)果經(jīng)色彩一致性處理后拼接獲取測(cè)區(qū)影像圖數(shù)據(jù)。

對(duì)于植被、建筑物較為密集的城區(qū)來(lái)說(shuō)，為了避免單片糾正影像中地物地貌的扭曲變形，需要對(duì)空三加密點(diǎn)進(jìn)行濾波處理，本文選用穩(wěn)健性、適用性均較為理想的漸進(jìn)加密三角網(wǎng)濾波算法［10］。

潘俊詳細(xì)研究了用于大范圍影像鑲嵌處理的接縫線網(wǎng)絡(luò)自動(dòng)生成的顧及重疊的面Voronoi圖。顧及重疊的面Voronoi圖允許面之間具有重疊，是對(duì)重疊區(qū)域歸屬的重新劃分，且這種劃分是沒(méi)有冗余的、無(wú)縫的。具體的拼接線生成方法主要分為三步：①跟蹤單片糾正影像有效區(qū)域的外部輪廓多邊形；②計(jì)算重疊影像間的平分線；③根據(jù)與當(dāng)前影像具有重疊的影像間的平分線，依次對(duì)其有效范圍進(jìn)行劃分。拼接線自動(dòng)生成過(guò)程如圖5所示，該方法整體考慮了拼接范圍內(nèi)的所有影像，其處理結(jié)果與影像順序無(wú)關(guān)，適用于大范圍的影像自動(dòng)拼接處理。

影像色彩一致性處理方面本文選用基于Wallis濾波器的整體勻色處理［11］，色調(diào)統(tǒng)計(jì)參數(shù)利用全測(cè)區(qū)所有影像，以最大程度上保證拼接影像圖的整體色彩一致性。另外，為保證拼接線附近色彩過(guò)渡自然，選用模版羽化［11］方法對(duì)拼接線附近的色差進(jìn)行過(guò)渡處理以獲得最終的無(wú)縫拼接影像圖。

圖5 Voronoi多邊形生成示意圖［5］

3 實(shí)驗(yàn)分析

為了驗(yàn)證本文拼接方法的有效性和適用性，選取平坦地形和高山地兩個(gè)測(cè)區(qū)進(jìn)行實(shí)驗(yàn)分析，測(cè)區(qū)基本信息及快速拼接處理概況如表1所示。

圖6（a）和圖6（c）分別為兩個(gè)測(cè)區(qū)自由網(wǎng)加密點(diǎn)DSM暈渲顯示結(jié)果，圖6（b）和圖6（d）分別為三角構(gòu)網(wǎng)并內(nèi)插DEM的暈渲顯示結(jié)果。其中，測(cè)區(qū)I為城市地區(qū)，其DSM為利用漸進(jìn)加密三角網(wǎng)濾波后的結(jié)果。從圖中可以看出，利用本文方法自動(dòng)獲取的DSM和DEM能夠較為精細(xì)地描述測(cè)區(qū)的地形地貌信息，進(jìn)而驗(yàn)證了2.3節(jié)的自動(dòng)空三策略能夠匹配出密集、分布均勻且高精度的像點(diǎn)觀測(cè)以及自由網(wǎng)平差的有效性。

表1 測(cè)區(qū)信息

圖6 DSM和DEM暈渲結(jié)果

圖7為經(jīng)色彩一致性處理和顧及重疊的面Voronoi圖接縫線自動(dòng)生成方法拼接的測(cè)區(qū)影像圖。從圖中可以看出，利用本文方法自動(dòng)拼接的影像圖具有較高的拼接精度，主要地物無(wú)明顯拼接錯(cuò)位，整體色彩一致性較好，由于拼接影像定向參數(shù)的解算是基于嚴(yán)格的共線條件方程，因此對(duì)各種地形地貌的測(cè)區(qū)具有一致的適用性。

4 結(jié)束語(yǔ)

本文提出一種無(wú)地面控制的無(wú)人機(jī)低空影像全自動(dòng)快速拼接方法。通過(guò)采用SIFT特征匹配、分級(jí)多層金字塔影像匹配等策略，可獲取分布均勻、密集且高精度的像點(diǎn)觀測(cè)；影像外方位元素利用最為嚴(yán)格的光束法平差計(jì)算獲得，不僅能夠有效保證拼接精度，同時(shí)還適用于各種類型測(cè)區(qū)的拼接任務(wù)需求；通過(guò)結(jié)合影像的色彩一致性處理和顧及重疊的面Voronoi圖接縫線網(wǎng)絡(luò)自動(dòng)生成方法，可獲取無(wú)縫、整體色彩一致的拼接影像圖。

通過(guò)具體的實(shí)驗(yàn)分析，驗(yàn)證了本文所述快速拼接方法的有效性和適用性。航帶自動(dòng)整理算法目前不適用于帶構(gòu)架航線或十字交叉飛行的測(cè)區(qū)，后續(xù)研究中需對(duì)其加以優(yōu)化改進(jìn)。另外，由于拼接線自動(dòng)生成算法直接基于物方坐標(biāo)信息，并未顧及影像的紋理及拼接線是否避開人工建筑物等問(wèn)題，如何智能快速地選取拼接線以獲取更高精度的拼接影像圖是后續(xù)研究的重點(diǎn)。

圖7 拼接影像圖

［1］ 劉民選.無(wú)人機(jī)影像全自動(dòng)快速拼接［D］.北京：中國(guó)測(cè)繪科學(xué)研究院，2012.

［2］ 胡慶武，艾明耀，殷萬(wàn)玲，等.大旋角無(wú)人機(jī)影像全自動(dòng)拼接方法研究［J］.計(jì)算機(jī)工程，2012，38（5）：152－154.

［3］ 宮阿都，何孝瑩，雷添杰，等.無(wú)控制點(diǎn)數(shù)據(jù)的無(wú)人機(jī)影像快速處理［J］.地球信息科學(xué)學(xué)報(bào)，2010，12（2）：254－260.

［4］ 劉春，李巍岳，雷偉剛，等.光束法自由網(wǎng)平差的無(wú)人機(jī)影像嚴(yán)格拼接［J］.同濟(jì)大學(xué)學(xué)報(bào)，2012，40（5）：757－762.

［5］ 潘俊.自動(dòng)化的航空影像色彩一致性處理及接縫線網(wǎng)絡(luò)生成方法研究［D］.武漢：武漢大學(xué)，2008.

［6］ LOWE D.Distinctive image features from scale－invariant keypoints［J］.International Journal of Computer Vision，2004，60（2）：91－110.

［7］ HARTLEY R，ZISSERMAN A.Multiple view geometry in computer vision［M］.London Cambridge University Press，2000：219－243.

［8］ 李德仁，袁修孝.誤差處理與可靠性理論［M］.武漢：武漢大學(xué)出版社，2002.

［9］ 張劍清，潘勵(lì)，王樹根.攝影測(cè)量學(xué)［M］.武漢：武漢大學(xué)出版社，2010.

［10］ 管海燕.LiDAR與影像結(jié)合的地物分類機(jī)房屋重建研究［D］.武漢：武漢大學(xué)，2009.

［11］ 孫明偉.正射影像全自動(dòng)快速制作關(guān)鍵技術(shù)研究［D］.武漢：武漢大學(xué)，2009.

Full－automatic and Fast Mosaicking of UAV Images Without Ground Control Data

CHEN Ji－yi1，SUN Jie1，ZHANG Li1，XU Biao1，TANG Xiao－fei2
（1.Chinese Academy of Surveying and Mapping，Beijing100830；2.Hubei Institute of Surveying and Mapping，Wuhan 430074）

For the demand of geographical conditions monitoring and disaster emergency security，this paper presents an automatic and fast method for mosaicking UAV images without ground control data.First，high density match points are obtained by SIFT matching and correlation coefficient matching.Then it acquires the orientation parameters of each image and three－dimensional coordinates of the match points using bundle adjustment.After the color consistency processing，it quickly mosaick the ortho－image of the whole zone based on the seamline network automatically generated using area Voronoi diagrams with overlap.Experiments of two different kinds regions which are mountainous area and flat area show that the given method can efficiently solve the problem of fast mosaicking of UAV images with good precision and nice color consistency.

UAV image；SIFT matching；bundle adjustment；color consistency process；fast mosaicking；without ground control

10.3969／j.issn.1000－3177.2015.02.004

TP751

A

1000－3177（2015）138－0026－05

2014－04－22

2014－07－01

國(guó)土資源部公益基金資助項(xiàng)目（201111010－6）。

陳繼溢（1990～），男，碩士，主要從事無(wú)人機(jī)影像快速拼接及正射影像智能鑲嵌研究。

E－mail：whulife＠gmail.com