引文格式：LIU Yingzhen, JIA Fenli, WAN Gang, et al.Geo-registration of Unprofessional and Weakly-related Image and Precision Evaluation[J]. Acta Geodaetica et Cartographica Sinica,2015,44(9):1014-1021.(劉穎真，賈奮勵，萬剛，等.非專業(yè)弱關(guān)聯(lián)影像的地理配準(zhǔn)及其精度評估[J].測繪學(xué)報，2015,44(9)：1014-1021.) DOI:10.11947/j.AGCS.2015.20140394

非專業(yè)弱關(guān)聯(lián)影像的地理配準(zhǔn)及其精度評估

劉穎真1,2,3，賈奮勵4，萬剛4，諸云強2，霍超5

1. 總參謀部測繪信息中心, 北京 100088; 2. 中國科學(xué)院地理科學(xué)與資源研究所資源與環(huán)境信息系統(tǒng)國家重點實驗室，北京 100101; 3. 中國科學(xué)院大學(xué)，北京 100049; 4. 信息工程大學(xué)地理空間信息學(xué)院，河南 鄭州 450052; 5. 西安測繪總站，陜西 西安 710054

Geo-registration of Unprofessional and Weakly-related Image and Precision Evaluation

LIU Yingzhen1, 2, 3,JIA Fenli4,WAN Gang4,ZHU Yunqiang2,HUO Chao5

1. General Staff Information Center of Surveying and Mapping, Beijing 100088, China； 2. State Key Laboratory of Resources and Environmental Information System, Institute of Geographic Sciences and Natural Resources Research, Chinese Academy of Sciences, Beijing 100101, China; 3. University of Chinese Academy of Sciences, Beijing 100049, China; 4. Geospatial Information Institute, Information Engineering University, Zhengzhou 450052, China; 5. Technical Division of Surveying and Mapping, Xi’an 710054, China

Abstract：The 3D geo-spatial model built by unprofessional and weakly-related image is a significant source of geo-spatial information. The unprofessional and weakly-related image cannot be useful geo-spatial information until be geo-registered with accurate geo-spatial orientation and location. In this paper, we present an automatic geo-registration using the coordination acquired by real-time GPS module. We calculate 2D and 3D spatial transformation parameters based on the spatial similarity between the image location in the geo-spatial coordination system and in the 3D reconstruction coordination system. Because of the poor precision of GPS information and especially the unstability of elevation measurement, we use RANSAC algorithm to get rid of outliers. In the experiment, we compare the geo-registered image positions to their differential GPS coordinates. The errors of translation, rotation and scaling are evaluated quantitively and the causes of bad result are analyzed. The experiment demonstrates that this geo-registration method can get a precise result with enough images.

Key words： 2D geo-registration; 3D geo-registration; GPS information of image; parameter solution of geo-registration; quantitive evaluation of geo-registration precision

Foundation support： The National Natural Science Foundation of China (Nos.40971239;41371381;41101437; 41371383; 41201390)；The Specific Foundation of Fundamental Scientific Research of China (No.2013FY110900)；The National Foundation of Major Scientific Equipment Development of China (No.2012YQ06002704)；The Science and Technology Plan Projects of Yunnan Province (No.2012CA021)

摘要：由非專業(yè)弱關(guān)聯(lián)影像自動化構(gòu)建的三維地理空間模型是地理空間信息的重要來源。非專業(yè)弱關(guān)聯(lián)影像在三維重建后必須經(jīng)過地理配準(zhǔn)，具有了絕對地理空間坐標(biāo)系的位置信息及其準(zhǔn)確的空間精度信息后，才有可能成為有效的地理空間信息。本文提出了一種以相機GPS模塊獲取的地理空間坐標(biāo)為依據(jù)的理配準(zhǔn)方法，依據(jù)影像的地理空間坐標(biāo)和其三維重建后得到圖像空間坐標(biāo)的空間相似性，考慮GPS實時測量坐標(biāo)精度較差和高程測量值不穩(wěn)定的特點，采用RANSAC方法求解二維和三維兩種空間變換參數(shù)及地理配準(zhǔn)結(jié)果。利用差分GPS測量的影像位置數(shù)據(jù)對地理配準(zhǔn)的精度進(jìn)行了分析，給出了位移、旋轉(zhuǎn)和縮放等誤差的定量評估結(jié)果，分析了產(chǎn)生錯誤結(jié)果的原因。這種地理配準(zhǔn)方法對數(shù)據(jù)采集設(shè)備要求低，過程無須人工參與。試驗證明，在參與地理配準(zhǔn)運算的照片數(shù)量較多時，配準(zhǔn)結(jié)果正確、空間精度較高。

關(guān)鍵詞：二維地理配準(zhǔn);三維地理配準(zhǔn);影像GPS信息;地理配準(zhǔn)參數(shù)求解;地理配準(zhǔn)精度定量評估

中圖分類號：P208

基金項目：國家自然科學(xué)基金(40971239；41371381；41101437；41371383；41201390)；科技基礎(chǔ)性工作專項(2013FY110900)；國家重大科學(xué)儀器設(shè)備開發(fā)專項(2012YQ06002704)；云南省科技計劃(2012CA021)

收稿日期：2014-07-23

作者簡介：第一 劉穎真(1981—)，女，博士，研究方向為三維地理信息構(gòu)建與人機交互。

1引言

非專業(yè)弱關(guān)聯(lián)影像(unprofessional and weakly-correlated image)是指由非專業(yè)人員采用普通方式拍攝獲取的、相互間存在弱空間關(guān)聯(lián)關(guān)系的照片或序列影像[1]。隨著消費級數(shù)碼相機和帶有高清拍攝功能手機的日漸普及，普通民眾已經(jīng)可以隨時隨地采集感興趣對象的照片。針對同一對象重疊度較高的拍攝即可獲得非專業(yè)弱關(guān)聯(lián)影像，這讓非專業(yè)弱關(guān)聯(lián)影像的采集變得極為方便、快捷。同時，得益于計算機視覺的發(fā)展，利用非專業(yè)弱關(guān)聯(lián)影像重建三維場景的技術(shù)已經(jīng)日趨成熟，具有對處理設(shè)備要求不高、處理方法自動化程度高、處理過程耗時短等特點。將非專業(yè)弱關(guān)聯(lián)影像作為地理空間信息獲取的來源，具有重要的研究意義和廣闊的應(yīng)用前景。

非專業(yè)弱關(guān)聯(lián)影像通過計算機視覺技術(shù)恢復(fù)的三維影像和點云是在一個完全由圖像信息恢復(fù)出來的相對三維空間(下文簡稱為像空間)坐標(biāo)系中，既沒有絕對的地理位置，也沒有絕對的空間度量標(biāo)準(zhǔn)，不能成為有效的地理空間信息來源。因此必須借助額外的地理空間位置信息，通過地理配準(zhǔn)使其具備地理空間坐標(biāo)系的絕對坐標(biāo)。地理配準(zhǔn)后數(shù)據(jù)還需要經(jīng)過空間精度評估，才能確定其適用領(lǐng)域。地理配準(zhǔn)的精度主要由配準(zhǔn)使用的地理空間位置信息和配準(zhǔn)方法決定，而對這個精度的評估，需要有更高精度的地理空間數(shù)據(jù)作支持。

目前關(guān)于三維重建照片和點云的地理配準(zhǔn)的研究很多，原理總結(jié)如圖1所示。地理配準(zhǔn)采用的基準(zhǔn)地理信息包括用戶指定的照片位置信息[2-3]、地圖[4]、具有位置信息且經(jīng)過訓(xùn)練的正射高清遙感影像[2]、樓層內(nèi)部結(jié)構(gòu)圖[2]、LiDAR點云[5-7]、有位置信息的三維重建點云[8]、DSM模型和相機GPS模塊獲取的位置信息[9-12]、飛行器的GPS數(shù)據(jù)[7, 13]、Google全景圖[14]、Google街景地圖和Google地球三維模型[3]，等。地理配準(zhǔn)的方式主要分為全自動計算[3, 9-12, 14-15]和需要人工參與的半自動計算兩種方式，其中人工參與的工作包括指定位置[2]、比例尺[2]、基準(zhǔn)地理信息和待地理配準(zhǔn)數(shù)據(jù)的對應(yīng)點[5-6]等。地理配準(zhǔn)的方法主要分為兩類，一類是基于圖像特征相似度的，如提取衛(wèi)星影像、地圖、樓層結(jié)構(gòu)圖等二維圖像中墻面的圖像特征作為配準(zhǔn)基準(zhǔn)，利用投影處理后的點云及其與相機之間的可視化關(guān)系推算出墻面的空間位置，然后進(jìn)行配準(zhǔn)[2]；另一類是基于空間位置一致性的，如把三維點云與Google地球三維模型[3]SM模型[9]配準(zhǔn)，利用人工指定圖像與LiDAR點云的對應(yīng)特征點后用最小二乘的方法計算配準(zhǔn)的幾何變換參數(shù)[5-7]，利用已有照片集中照片的地理位置，配準(zhǔn)新加入重建計算的照片等[8, 11]。

圖1　三維重建照片和點云的地理配準(zhǔn)方法原理 [1] Fig.1　Geo-registration methodology of 3D reconstruction [1]

對于地理配準(zhǔn)結(jié)果的精度，只有一部分研究給出了定量的評估結(jié)果，且其中一部分沒有給出定量結(jié)果的計算方法。文獻(xiàn)[3]給出了多組數(shù)據(jù)的拍攝位置平均誤差，范圍在1.86～595.20m，其中拍攝位置的真值一部分是靠手工配準(zhǔn)三維點云到Google地圖中的衛(wèi)星影像，一部分來自照片所帶的精確差分GPS坐標(biāo)。文獻(xiàn)[6]給出了拍攝位置的平均角度誤差約為0.1°，僅用LiDAR點云和照片疊加的方法說明地理配準(zhǔn)精度較高，但是沒有給出精度評估的方法。文獻(xiàn)[10]以10個固定拍攝點的差分GPS坐標(biāo)為真值定量評估了地理配準(zhǔn)結(jié)果，這10個拍攝點在二維地平面上的平均偏移為0.31±0.04m。文獻(xiàn)[13]給出了標(biāo)示點的地理注冊坐標(biāo)和測量坐標(biāo)之間的3個方向的距離誤差，其中一個方向的最大誤差達(dá)到15m。文獻(xiàn)[7]僅給出了地理配準(zhǔn)后的影像和Google地圖相差2.5m的結(jié)果。

非專業(yè)弱關(guān)聯(lián)影像的優(yōu)勢在于數(shù)據(jù)獲取方法簡單快捷、處理過程無須人工參與，因此針對該類影像的地理配準(zhǔn)方法應(yīng)盡量簡化對采集設(shè)備和基準(zhǔn)地理數(shù)據(jù)的要求。本文研究的地理配準(zhǔn)算法僅需要相機配備GPS模塊(當(dāng)前的很多智能手機都自帶GPS模塊)，以其自動實時獲取的地理坐標(biāo)為基準(zhǔn)地理信息，配準(zhǔn)的對象為非專業(yè)弱關(guān)聯(lián)影像重建得到的影像拍攝位置和三維點云位置，配準(zhǔn)過程為全自動處理。地理配準(zhǔn)結(jié)果的精度評估以部分相機的差分GPS坐標(biāo)為真值，評估指標(biāo)包括了每組重建結(jié)果中拍攝位置在二維地平面和三維空間中的位移、旋轉(zhuǎn)角度和縮放比例等。

2利用影像GPS信息的地理配準(zhǔn)方法

相機內(nèi)置或加配的GPS定位模塊雖然操作簡單，易于快速地實現(xiàn)實時定位，但是由于定位過程中受到衛(wèi)星星歷誤差、鐘差及信號傳播誤差等諸多因素的影響定位精度不高，一般為10～50m[16]，高程測量值較水平坐標(biāo)的穩(wěn)定性更差。因此，本文設(shè)計了兩種地理配準(zhǔn)參數(shù)求解方法，一種是使用GPS測量的水平經(jīng)緯度坐標(biāo)和高程坐標(biāo)的三維地理配準(zhǔn)方法，另一種是僅使用水平經(jīng)緯度坐標(biāo)的二維地理配準(zhǔn)方法?？紤]到GPS測量的精度較差，采用隨機抽樣一致性(random sample consensus，RANSAC)算法選取部分影像的GPS坐標(biāo)求解最優(yōu)配準(zhǔn)參數(shù)，結(jié)合第3部分試驗中精度評估結(jié)果，經(jīng)過反復(fù)試驗后確定了算法中各種參數(shù)和外點的判斷標(biāo)準(zhǔn)。

2.1　三維地理配準(zhǔn)參數(shù)求解方法

如圖2所示，基于三維攝影變換關(guān)系的地理配準(zhǔn)方法運算過程相對簡單，主要原理是根據(jù)每張影像重建得到像空間三維坐標(biāo)pI和拍攝時由GPS模塊獲取的地理空間三維坐標(biāo)pG，運用機器視覺中含有比例因子的絕對定位方法[17]，求解像空間和地理空間這兩個三維空間之間的坐標(biāo)變換關(guān)系，得到每張影像的地理配準(zhǔn)坐標(biāo)pA。其中地理空間的三維坐標(biāo)pG是由影像的GPS坐標(biāo)(WGS-84坐標(biāo)系)轉(zhuǎn)換到大地直角坐標(biāo)系得到的。

圖2　基于三維攝影變換關(guān)系的地理配準(zhǔn)方法流程圖 Fig.2　Flow diagram of geo-registration using 3D space transformation

設(shè)同一幅影像的像空間三維點為pI=[xIyIzI]T、地理配準(zhǔn)后得到的地理空間大地直角坐標(biāo)系點為pA=[xAyAzA]T，從像空間到地理空間的坐標(biāo)系變換公式為

pA=sRpI+p0

(1)

式中，s是比例因子，R是旋轉(zhuǎn)矩陣，p0是平移矢量。待求解的地理配準(zhǔn)參數(shù)共有7個：3個旋轉(zhuǎn)參數(shù)，3個平移參數(shù)，1個比例因子。已知的是點群pI和點群pG。

(2)

(3)

將每個點群變換為有關(guān)矩中心的一個矢量簇rI,i和rG,i

(4)

(5)

計算矢量簇平均長度，即可確定比例因子s

(6)

計算兩個點群中的射線坐標(biāo)標(biāo)量積之和，得到矩陣M

(7)

為求解旋轉(zhuǎn)矩陣R，并保證R是規(guī)范化正交矩陣，設(shè)矩陣Q為

Q=MTM

(8)

設(shè)矩陣S為

S=Q1/2

(9)

計算Q的特征值λ1、λ2、λ3和特征矢量v1、v2、v3，將矩陣的分解表示為

(10)

可求解矩陣S的逆矩陣

(11)

則旋轉(zhuǎn)矩陣R為

R=MS-1

(12)

根據(jù)求解得到的s、R，即可根據(jù)公式

(13)

求解得到平移矢量p0。

根據(jù)求解得到的s、R和p0，即可根據(jù)式(1)求解得到像空間內(nèi)每個拍攝位置的地理配準(zhǔn)坐標(biāo)pA和點云中每個點對應(yīng)的地理空間三維坐標(biāo)。

這種基于三維攝影關(guān)系的地理配準(zhǔn)方法原理簡單、適用范圍廣，既可以用于非專業(yè)弱關(guān)聯(lián)影像，又適用于有GPS航跡信息的無人機影像。但需要注意的是，普通GPS接收單元采集的高程信息精度較差，造成配準(zhǔn)結(jié)果精度低于二維地理配準(zhǔn)方法(參見后面的試驗結(jié)果)。

2.2　二維地理配準(zhǔn)參數(shù)求解方法

如圖3所示，基于二維投影變換關(guān)系的地理配準(zhǔn)方法與基于三維的地理配準(zhǔn)方法流程相同，不同點是在兩種空間下的影像拍攝位置坐標(biāo)都是經(jīng)過了投影處理后得到的二維坐標(biāo)，最終的地理配準(zhǔn)結(jié)果也是二維平面上的地理空間坐標(biāo)而沒有高程信息。二維地理配準(zhǔn)運算的重點是如何對像空間中的影像拍攝位置進(jìn)行降維度投影處理。本文采用高斯投影變換將地理空間中的影像GPS位置轉(zhuǎn)換為二維投影坐標(biāo)；采用Szeliski的方法[18]求解所有影像的向上矢量，然后以該矢量方向為地平面的法向量，即可計算影像的二維投影位置。

Szeliski的方法是根據(jù)普通用戶拍攝影像通常為水平手持拍攝的特點，假設(shè)影像的橫邊和地面平行，推算出地平面的法向量，把影像的拍攝位置和點云等所有相對坐標(biāo)系下的三維點p簡化為仍處于相對坐標(biāo)系下的二維地面投影點p′。

在算法上，就是求解一個3×3的旋轉(zhuǎn)矩陣Rg，使得

p′=Rgp

(14)

式中，p′所在的坐標(biāo)系滿足y軸垂直于地面。設(shè)

(15)

分步求解每一行rg0、rg1和rg2。

首先求解rg1。rg1是每幅影像的旋轉(zhuǎn)矩陣Rk中x向量rk0的矩量矩陣的最小特征向量，即

(16)

式中，rk0=[100]Rk，即旋轉(zhuǎn)矩陣的第1行。

接下來，求解rg0和rg2

(17)

rg2=rg0×rg1

(18)

式中，rk2=[001]Rk，即旋轉(zhuǎn)矩陣的第3行。

假設(shè)像空間中影像點p=[xyz]，投影的地面點p′=[x′y′]，則

(19)

接下來二維空間坐標(biāo)系的地理配準(zhǔn)參數(shù)求解方法與2.1節(jié)中的三維地理配準(zhǔn)參數(shù)求解方法相同，不再贅述。

圖3　基于二維投影變換關(guān)系的地理配準(zhǔn)方法流程圖 Fig.3　Flow diagram of geo-registration using 2D space transformation

2.3　用 RANSAC的方法求解最優(yōu)地理配準(zhǔn)參數(shù)

由于GPS實時測量的坐標(biāo)誤穩(wěn)定性差，存在一些誤差較大的錯誤點。如果使用所有影像拍攝位置的GPS坐標(biāo)計算地理配準(zhǔn)參數(shù)，會受到這些誤差較大點的影響，得到并非最優(yōu)的配準(zhǔn)方案，因此需要一種容錯能力強的算法。本文設(shè)計了一種RANSAC算法[19]，經(jīng)過反復(fù)試驗確定了算法中的各種參數(shù)和外點判斷標(biāo)準(zhǔn)。

2.3.1　算法步驟

(1) 設(shè)置置信概率P、數(shù)據(jù)錯誤率ε、最小抽樣數(shù)m，根據(jù)

1-(1-(1-ε)m)M=P

(20)

計算需要的抽樣數(shù)量M。

(2) 隨機抽取m個影像拍攝點，按照2.1節(jié)或者2.2節(jié)的方法用其GPS測量坐標(biāo)pG和像空間坐標(biāo)pI計算對應(yīng)的一組地理配準(zhǔn)參數(shù)。

(3) 根據(jù)步驟(2)中得到的地理配準(zhǔn)參數(shù)，用所有影像拍攝點的像空間坐標(biāo)pI計算對應(yīng)的配準(zhǔn)地理坐標(biāo)pA，計算pG到pA的距離DisGA，根據(jù)DisGA與閾值的關(guān)系判斷每一個點是否為內(nèi)點，獲得這組配準(zhǔn)參數(shù)的內(nèi)點數(shù)量。

(4) 重復(fù)步驟(2)和步驟(3)，直到完成M次抽樣的處理。

(5) 根據(jù)內(nèi)點數(shù)量選擇最優(yōu)的地理配準(zhǔn)參數(shù)。

(6) 找出最優(yōu)的地理配準(zhǔn)參數(shù)對應(yīng)的所有內(nèi)點，用這些內(nèi)點計算最終的配準(zhǔn)參數(shù)。

2.3.2　算法參數(shù)設(shè)置

在這個RANSAC算法中，需要設(shè)置的參數(shù)包括置信概率P、數(shù)據(jù)錯誤率ε、最小抽樣數(shù)m和判斷外點需要的pG到pA的三維距離DisGA和二維距離DisGA2d的閾值。本文統(tǒng)計分析了精度評估試驗(詳見3.3節(jié))中獲取的相機位置差分GPS坐標(biāo)pD到pG之間的二維地面投影距離DisGD2d、高差HeitGD以及三維距離DisGD，以此確定算法中的上述參數(shù)。

圖4按照精度評估試驗中測量的4個建筑物分布繪制了DisGD2d、HeitGD和DisGD的箱型圖。由圖4可見，pG和pD之間二維距離DisGD2d(填充色為白色)的內(nèi)距(inter-quartile range，IQR)為10～15m。因此，將二維地理配準(zhǔn)中DisGD2d的閾值設(shè)置為15m，置信概率P=0.95，數(shù)據(jù)錯誤率ε=0.65。三維距離DisGD(填充色為深灰色)的高程分量HeitGD(填充色為淺灰色)的誤差較DisGD2d普遍偏大，是造成DisGD穩(wěn)定性差的主要原因。盡管如此，可以看出，DisGD的第二分位數(shù)都在25m以內(nèi)，因此三維地理配準(zhǔn)中設(shè)置DisGD的閾值為25m，P=0.95，ε節(jié)=0.5，二維和三維地理配準(zhǔn)中的最小抽樣數(shù)m分別設(shè)為7和9。

圖4　實時GPS測量坐標(biāo)p G和差分GPS測量坐標(biāo)p D之間二維距離、高差和三維距離的箱型統(tǒng)計圖 Fig.4　Box chart of the 2D distance, height difference and 3D distance between GPS coordinate p G and differential GPS coordinate p D

3利用差分GPS信息的地理配準(zhǔn)試驗

3.1　試驗數(shù)據(jù)

為了驗證地理配準(zhǔn)算法的正確性并評估配準(zhǔn)結(jié)果的精度，選取位于河南省鄭州市的4個建筑物，由6個人手持多臺配備GPS定位模塊的數(shù)碼相機和自身帶有拍攝功能和GPS定位功能的智能手機，分兩次拍攝了920余張帶有實時GPS測量坐標(biāo)的建筑物立面照片。在第2次拍攝中，用差分GPS設(shè)備測量了305張照片拍攝點的精確坐標(biāo)。選取的拍攝對象既有輪廓相對簡單、紋理相對重復(fù)的建筑物，也有輪廓和紋理都較為復(fù)雜的建筑物。圖5為建筑物1三維重建得到的點云和參與配準(zhǔn)試驗的原始照片。

圖5　建筑物1的三維重建點云和參與配準(zhǔn)運算的照片 Fig.5　3D reconstruction point cloud and original photos for geo-registrationof No.1 building

3.2　試驗設(shè)備

拍攝設(shè)備：尼康D5100相機，焦距18～105mm，分辨率3696像素×2448像素；尼康D90相機，焦距18～105mm，分辨率4288像素×2848像素；蘋果iPhone 4S手機自帶相機，焦距4mm，分辨率3264像素×2488像素；蘋果iPhone 3GS手機自帶相機，焦距4mm，分辨率1536像素×2048像素。

GPS接收器：尼康GP-1(數(shù)碼相機配備)，水平精度為10m RMS[20]；手機使用自帶GPS模塊。

差分GPS設(shè)備：南方S82T，水平精度1cm+1×10-6D，垂直精度2cm+1×10-6D[21]。

3.3　地理配準(zhǔn)試驗結(jié)果及分析

對各個建筑物按照每個單一時段和多時段集合的方式分別進(jìn)行了三維重建和地理配準(zhǔn)運算。分析結(jié)果表明，在參與地理配準(zhǔn)運算的照片數(shù)量較多時，地理配準(zhǔn)算法結(jié)果正確，配準(zhǔn)精度令人滿意。地理配準(zhǔn)結(jié)果的誤差或錯誤主要出現(xiàn)在平移、旋轉(zhuǎn)、縮放等方面。

3.3.1　結(jié)果誤差的定量評估

為了定量評估地理配準(zhǔn)中照片拍攝位置的平移、旋轉(zhuǎn)和縮放的精度，本文把每組照片的配準(zhǔn)坐標(biāo)和其差分GPS坐標(biāo)進(jìn)行了各種統(tǒng)計和解算。將拍攝點的地理配準(zhǔn)坐標(biāo)pA與差分GPS坐標(biāo)pD的距離DisDA進(jìn)行統(tǒng)計分析，得到平移誤差的均值和標(biāo)準(zhǔn)差；采用2.2節(jié)中的二維地理配準(zhǔn)參數(shù)求解方法，計算了pA與pD之間的空間關(guān)系變換參數(shù)，即比例因子和旋轉(zhuǎn)矩陣，由此計算旋轉(zhuǎn)角度誤差和縮放比例誤差。為便于對二維和三維兩種地理配準(zhǔn)方法的誤差作比較，三維地理配準(zhǔn)結(jié)果的旋轉(zhuǎn)角度誤差和縮放比例誤差是用pA與pD的二維高斯投影坐標(biāo)計算的，同時也計算了平移誤差的二維數(shù)值。表1詳細(xì)給出了每個地理配準(zhǔn)結(jié)果的誤差計算值(黑體部分為錯誤結(jié)果)。由表1可以看出，在照片較多時，地理配準(zhǔn)結(jié)果的誤差都較小，表明配準(zhǔn)結(jié)果正確。

表1　地理配準(zhǔn)結(jié)果詳細(xì)誤差表

在正確的地理配準(zhǔn)結(jié)果中，普遍存在平移誤差(圖6為典型示例)，二維地理配準(zhǔn)結(jié)果的平移誤差均值為3.31～7.68m、標(biāo)準(zhǔn)差為0.24～1.65m，三維地理配準(zhǔn)結(jié)果的平移誤差均值為5.92～9.58m、標(biāo)準(zhǔn)差為1.33～2.62m，其地面投影的二維平移誤差均值為2.72～7.48m，標(biāo)準(zhǔn)差為0.90～2.78m。二維地理配準(zhǔn)的平移誤差均值略大于三維配準(zhǔn)，但是標(biāo)準(zhǔn)差較小。旋轉(zhuǎn)誤差普遍較小，角度都在±5.6°以內(nèi)，二維地理配準(zhǔn)的旋轉(zhuǎn)誤差和三維配準(zhǔn)相差不大?？s放誤差也普遍較小，縮放比例為0.99～1.13之間，二維地理配準(zhǔn)的縮放誤差小于三維配準(zhǔn)。在三維地理配準(zhǔn)結(jié)果中，高程誤差的標(biāo)準(zhǔn)差普遍大于地面投影的二維平移誤差標(biāo)準(zhǔn)差，是造成三維平移誤差大的主要因素。二維和三維兩種地理配準(zhǔn)方法相較而言，二維方法穩(wěn)定性更高，平移誤差的標(biāo)準(zhǔn)差和縮放誤差較小。但是由于照片的GPS坐標(biāo)穩(wěn)定性差，可能出現(xiàn)照片增多時GPS坐標(biāo)誤差更大的情況(如表1中的建筑物3)，因此在照片達(dá)到一定數(shù)量之后，地理配準(zhǔn)的精度并沒有隨著照片數(shù)量的增加而明顯改善，甚至?xí)谝恍┲笜?biāo)上出現(xiàn)下降。對于本文的試驗結(jié)果，在照片多于80張時，得到的結(jié)果都是正確結(jié)果。

文獻(xiàn)[3]中給出了7個建筑物利用照片的GPS信息(一部分是相機內(nèi)置的GPS模塊實時獲取，一部分是人工指定的，人工指定的GPS信息誤差較大)和照片中線段的滅點信息計算的二維地理配準(zhǔn)結(jié)果誤差，照片位置的平移誤差均值分別為3.41m、9.42m、13.69m、14.03m、20.05m、34.55m、245.49m和595.20m。與本文試驗結(jié)果中二維地理配準(zhǔn)結(jié)果的平移誤差均值為3.31～21.52m(包括錯誤的配準(zhǔn)結(jié)果)相比，本文的方法在精度上表現(xiàn)較好。

圖6　建筑物4多時段照片的地理配準(zhǔn)結(jié)果(145張照片參與地理配準(zhǔn)運算，圖中僅顯示有差分GPS坐標(biāo)的照片位置) Fig.6　Geo-registration result of No.4 building using multi-period photos (145 photos involved in calculation, only the ones with differential GPS coordinates are displayed)

3.3.2　錯誤地理配準(zhǔn)結(jié)果的分析

如表1中黑體部分所示，有3個建筑物在參與地理配準(zhǔn)運算的照片較少(都少于60張)時，出現(xiàn)了誤差較大的錯誤結(jié)果。錯誤的表現(xiàn)有旋轉(zhuǎn)角度過大(圖7(a)為典型示例)、整體縮小或放大的比例過大(圖8(a)為典型示例)等現(xiàn)象(詳細(xì)的錯誤數(shù)值參見表1中加下劃線的數(shù)值)。比較pG和pD的空間分布發(fā)現(xiàn)，各個錯誤結(jié)果中從pD到pG的矢量vDG存在方向上的聚集性(見圖7(b)和圖8(b))，即GPS模塊實時測量的坐標(biāo)與真值相比，普遍偏向一個方向。那么運算出的地理配準(zhǔn)結(jié)果pA的分布也會朝向這個方向。這表明，當(dāng)參與地理配準(zhǔn)運算的照片數(shù)量較少時，如果實時GPS的測量誤差在空間分布上存在方向的非均勻性，會引起地理配準(zhǔn)結(jié)果出現(xiàn)方向相同的錯誤。而照片數(shù)量越多，測量誤差出現(xiàn)這種方向上非均勻性情況的概率越低。

4結(jié)論

本文提出了一種利用相機配備的GPS模塊在拍攝時實時測量的地理空間坐標(biāo)對非專業(yè)弱關(guān)聯(lián)影像的三維重建結(jié)果進(jìn)行地理配準(zhǔn)的全自動化方法?？紤]到GPS實時測量坐標(biāo)精度較差和高程測量不穩(wěn)定的特點，采用RANSAC方法求解二維和三維兩種空間變換參數(shù)及配準(zhǔn)結(jié)果。利用差分GPS測量的影像位置數(shù)據(jù)對地理配準(zhǔn)結(jié)果的精度進(jìn)行了多指標(biāo)的定量評估，對錯誤結(jié)果進(jìn)行了分析。該地理配準(zhǔn)方法適用于手持拍攝的室外地物照片，僅要求照片數(shù)量足夠多、相機配備GPS模塊即可。該方法的特點是對數(shù)據(jù)采集設(shè)備要求低，過程無須人工參與，且對照片的初始定位數(shù)據(jù)測量精度要求不高。地理配準(zhǔn)試驗的精度評估結(jié)果表明，該方法在參與運算的照片數(shù)量在80張以上時，二維和三維兩種地理配準(zhǔn)方法的結(jié)果均正確，空間精度較高。

圖7　利用建筑物1某單一時段照片得到的錯誤的地理配準(zhǔn)結(jié)果(30個拍攝點參與地理配準(zhǔn)運算) Fig.7　Wrong geo-registration result of No.1 building using single-period photos (30 photos involved in calculation)

圖8　利用建筑物2某一時段照片得到的錯誤的地理配準(zhǔn)結(jié)果(28個拍攝點參與地理配準(zhǔn)運算) Fig.8　Wrong geo-registration result of No.2 building using single-period photos (28 photos involved in calculation)

參考文獻(xiàn)：

[1]LIU Yingzhen, JIA Fenli, WAN Gang, et al. Construction and Application of 3D GIS Based on Unprofessionaland Weakly-Correlated Image[J]. Journal of Geomatics Science and Technology, 2014, 31(1): 73-78. (劉穎真, 賈奮勵, 萬剛, 等. 非專業(yè)弱關(guān)聯(lián)影像構(gòu)建三維GIS研究[J]. 測繪科學(xué)技術(shù)學(xué)報, 2014, 31(1): 73-78.)

[2]KAMINSKY R S, SNAVELY N, SEITZ S M, et al. Alignment of 3D Point Clouds to Overhead Images[C]∥IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops. Miami: IEEE, 2009:63-70.

[3]WANG Chunpo, WILSON K, SNAVELY N. Accurate Georegistration of Point Clouds Using Geographic Data[C]∥2013 International Conference on 3D Vision. Seattle: IEEE, 2013:33-40.

[4]ROBERTSON D P, CIPOLLA R. Building Architectural Models from Many Views Using Map Constraints[C]∥HEYDEN A,SPARR G,NIELSEN M, et al.The European Conference on Computer Vision 2002. Copenhagen: Springer, 2002: 155-169.

[5]CHO P. 3D Organization of 2D Urban Imagery[C]∥Applied Imagery Pattern Recognition Workshop. Washington: IEEE, 2007:3-8.

[6]CHO P, SNAVELY N. Enhancing Large Urban Photo Collections with 3D LiDAR and GIS Data[J]. International Journal of Remote Sensing Applications, 2013, 3(1): 1-10.

[7]CHO P, SNAVELY N. 3D Exploitation of 2D Ground-level& Aerial Imagery[C]∥IEEE Applied Imagery Pattern Recognition Workshop. Washington, DC: IEEE, 2011:1-8.

[8]NI K, SUN Z, BLISS N. 3D Image Geo-Registration Using Vision-based Modeling[C]∥IEEE International Conference on Acoustics, Speech and Signal Processing. Prague: IEEE, 2011:1573-1576.

[9]WENDEL A, IRSCHARA A, BISCHOF H. Automatic Alignment of 3D Reconstructions Using a Digital Surface Model[C]∥IEEE Computer Society Computer Vision and Pattern Recognition Workshops. Colorado Springs: IEEE, 2011:29-36.

[10]WENDEL A, BISCHOF H.Visual Localization for Micro Aerial Vehicles in Urban Outdoor Environments[M]∥FARINELLA G M, BATTIATO S,CIPOLLA R. Advanced Topics in Computer Vision. London: Springer, 2013: 181-214.

[11]WENDEL A, MAURER M, BISCHOF H. Visual Landmark-based Localization for MAVs Using Incremental Feature Updates[C]∥2012 Second International Conference on 3D Imaging, Modeling, Processing, Visualization & Transmission. Zurich: IEEE, 2012:278-285.

[12]WENDEL A, IRSCHARA A, BISCHOF H. Natural Landmark-based Monocular Localization for MAVs[C]∥2011 IEEE International Conference on Robotics and Automation. Shanghai: IEEE, 2011:5792-5799.

[13]SHEN Yonglin, LIU Jun, WU Lixin, et al. Reconstruction of Disaster Scene from UAV Images and Flight-control Data[J]. Geography and Geo-Information Science, 2011, 27(6): 13-17. (沈永林, 劉軍, 吳立新, 等. 基于無人機影像和飛控數(shù)據(jù)的災(zāi)場重建方法研究[J]. 地理與地理信息科學(xué), 2011, 27(6): 13-17.)

[14]FRAHM J M, HEINLY J, ZHENG Enliang, et al. Geo-Registered 3D Models from Crowdsourced Image Collections[J]. Geo-spatial Information Science, 2013, 16(1): 55-60.

[15]ZHANG Liang, MA Hongchao, GAO Guang, et al. Automatic Registration of Urban Aerial Images with Airborne LiDAR Points Based on Line-point Similarity Invariants[J].Acta Geodaetica et Cartographica Sinica, 2014, 43(4): 372-379. (張良, 馬洪超, 高廣, 等. 點、線相似不變性的城區(qū)航空影像與機載激光雷達(dá)點云自動配準(zhǔn)[J]. 測繪學(xué)報, 2014, 43(4): 372-379.)

[16]LI Tianwen. Theory and Application of GPS[M]. Beijing: Science Press, 2003:92-93. (李天文. GPS原理及應(yīng)用[M]. 北京: 科學(xué)出版社, 2003:92-93.)

[17]JIA Yunde. Machine Vision[M]. Beijing: Science Press, 2000:191-192. (賈云得. 機器視覺[M]. 北京: 科學(xué)出版社, 2000:191-192.)

[18]SZELISKI R. Image Alignment and Stitching: A Tutorial[J]. Foundations and Trends in Computer Graphics and Vision, 2006, 2(1): 1-104.

[19]FISCHLER M A, BOLLES R C. Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography[J]. Communications of the ACM, 1981, 24(6): 381-395.

[20]NIKON. GPS Unit GP-1[EB/OL].[2014-06-28]. http:∥imaging.nikon.com/lineup/accessory/camera/gp-1/spec.htm.

[21]SOUTH GROUP. RTK Surveying System >>S82T[EB/OL].[2014-07-08]. http:∥www.southsurvey.com/public/xianxi.php?id=301. (南方測繪. RTK測量系統(tǒng)>>S82T[EB/OL].[2014]. http:∥www.southsurvey.com/public/xianxi.php?id=301.)

(責(zé)任編輯：宋啟凡)

修回日期： 2015-05-21

First author： LIU Yingzhen (1981—), female, PhD, majors in the construction of 3D geographic information and human-computer interaction.

E-mail： liuyz@lreis.ac.cn

通信作者： 諸云強

Corresponding author： ZHU Yunqiang

E-mail： zhuyq@igsnrr.ac.cn