袁 一，程 亮，宗雯雯，李舒怡，李滿春

1. 南京大學江蘇省地理信息技術重點實驗室，江蘇 南京 210023； 2. 南京大學中國南海研究協同創(chuàng)新中心，江蘇 南京 210023； 3. 南京大學軟件新技術與產業(yè)化協同創(chuàng)新中心，江蘇 南京 210023； 4. 南京大學地理與海洋科學學院，江蘇 南京 210023； 5. 南京師范大學江蘇省地理信息資源開發(fā)與利用協同創(chuàng)新中心，江蘇 南京 210023

隨著電子產品的普及和物聯網的發(fā)展，人們習慣性地將在城市里發(fā)生的生活細節(jié)用手機拍攝下來，然后上傳到主流圖片分享網站和社交媒體。主流圖片分享網站(如Flickr和Instagram等)和社交媒體網站(如新浪微博、QQ空間和百度貼吧等)上有大量照片，這些眾籌照片有著不同來源、不同分辨率和不同尺寸[1-2]。然而，其中的大部分照片都沒有地理坐標或僅有模糊的位置信息，而且經過上傳、發(fā)布或下載，它們的位置信息容易丟失。如果這些眾籌照片能被恢復出原始的位置，它們將可以用來輔助室外定位[3]、行人探測[4]、無人駕駛[5-6]等，這些對增強現實研究[7]都很有幫助；另外，它們也可以輔助城市景觀分析[8-10]和城市建設[11]。目前，照片定位的主流方法可以分為3類：基于圖像、基于點云和基于語義。

1 不同定位方法

1.1 基于圖像的定位方法

基于圖像的照片定位方法類似于計算機視覺領域中的圖像檢索[13-14]。思路如下：首先建立一個包含大量照片(帶有位置信息)的參考庫，然后從參考庫中檢索與待查詢的眾籌照片最匹配的照片，最終用該最匹配照片的位置作為待查詢照片的位置[15-19]。

與激光雷達點云(LiDAR)和遙感數據相比，街景數據提供了獨特的“人視角”的地圖服務，這與眾籌照片的視角相一致。于是街景數據常被用來建立參考庫，然后使用詞匯樹[20]、地理信息碼本[21]或數據驅動的場景識別[22]等方法，或加上局部、全局等約束條件[19]，來實現照片的地理定位。其中，用來描述局部特征的SIFT(scale-invariant feature transform)描述子已被不斷優(yōu)化，出現了SURF(speeded-up robust features)[23]和PCA-SIFT[24]描述子等，它們在特定情況下能提供更好的匹配效果[25-26]。

同時，匹配算法研究方面也有很大進展，深度學習算法促使了遙感影像的內容檢索[27]與目標識別[28-29]、無人機視頻的視頻內容檢索[30-31]和人工智能系統的迅速發(fā)展。

1.2 基于點云的定位方法

基于點云的照片定位方法建立了2D圖像與3D點云之間的對應關系，與基于圖像的定位方法相比，基于點云的照片定位方法從重建的3D場景中獲得更多的立體信息，從而實現了更高精度的定位[14]。文獻[32]建立了由數千萬3D點組成的數據集，使用隨機抽樣一致算法(RANSAC)和雙向匹配規(guī)則，將照片地理定位、地標識別和3D姿態(tài)恢復融合在一起，實現了出色的定位效果。但該方法評價精度中，所用到的已地理配準好的3D點云很難建立[33-34]。

1.3 基于語義的定位方法

基于語義的照片定位方法以高級語義線索為基礎，這些語義線索小到與人相關的符號，如文字、建筑風格、車輛類型或城市結構等，大到與自然相關的信息，如植被類型或者天氣狀況等[35]。語義定位方法目前面臨的難點可以概括為以下3點：使用什么特征、如何匹配特征和如何將多樣的語義線索整合。文獻[36]以互聯網的語義元數據為基礎，使用支持向量機(SVM)建立地標模型庫，并總結得到紋理標簽和時間條件的約束可以明顯改善定位效果。

照片的精確地理定位一直是研究難點，這涉及對圖像中細小地理位置線索的挖掘，對大數據庫中地理信息特征的識別、提取、索引和檢索等[12]。為了解決這個難題，本文提出以街景數據作為參考數據集，使用“三步走”策略：圖像檢索粗定位、圖像匹配細篩選和三維重建精定位，給互聯網上不明來源的眾籌照片附上地理標簽。相比之前Zamir和Shah的方法[18]，該方法使用近景攝影測量技術來優(yōu)化定位，實現了更精確的地理定位效果。

2 方 法

圖1(b)是以一張待查詢照片為示例的流程。在流程中，一張待查詢照片將會經歷圖像檢索粗定位(第一步)、圖像匹配細篩選(第二步)和三維重建精定位(第三步)，從而實現精確地理定位。

所有待查詢照片都會先經歷第一、二步，然后判斷是否滿足重建要求，如果無法重建，將第一步獲得的最匹配街景作為定位結果；如果可以重建，就經歷第三步，將三維點云估算得到的位置作為照片定位結果。

并不是每張待查詢照片都會經歷三維重建精定位，因為有些照片如果在第一步的定位精度不理想，那么其緩沖區(qū)內相似街景數量可能不夠，這將導致不滿足三維重建要求。其他一些原因類似于拍攝視角、拍攝距離和拍攝環(huán)境也會導致無法重建三維場景。在這種情況下，最匹配街景的GPS坐標將會被作為照片定位結果。

2.1 圖像檢索粗定位

圖像檢索粗定位的目標是為待查詢照片檢索到最匹配街景。方法流程如下：

2.1.1 通過騰訊地圖API爬取街景數據作為參考數據集

本文以12 m為采樣間隔爬取街景數據，這與街景采集車采集街景的間隔相一致；在每個采樣點，從初始方位角開始的順時針一圈上，通過騰訊地圖API，每45°爬取一張街景。騰訊地圖API允許用戶通過HTTP協議下的一個URL地址來訪問并爬取一張街景照片，參數設置如表1所示。

表1騰訊地圖API爬取街景照片的參數設置

Tab.1ParametersforTencentmaptocrawlstreetviewimages

參數說明示例尺寸街景照片的尺寸:長×寬size=960×640位置坐標location=39.12,116.83偏航角偏航角與正北方向的順時針夾角due north: heading=0clockwise仰角街景相機的俯角后者仰角pitch=0: horizontal angle.密鑰開發(fā)者密鑰key=OB4BZ-D4W3U-7BVVO-4PJWW-6TKDJ-WPB77

本文給照片設定20°的仰角來模擬人視角，并以45°為間隔切割360°全景街景。最終每個采樣點上，爬取8張960×640像素分辨率的街景，這樣既保證了相鄰街景的重疊又占用了較小的存儲空間。這些結構化、組織好的街景數據組成了參考數據集。

2.1.2 提取和描述參考數據集特征以建立特征索引

(1) 本文使用SIFT描述子提取和描述局部特征，因為SIFT描述子具有良好的尺度不變性和旋轉不變性，可以很好地適應照片目標的旋轉、縮放和變形[13]。因此，它可以處理好下載街景時切割球形照片產生的畸變。

(2) 本文使用Kd樹給提取的特征建立索引。多維索引方式可以分為特征驅動和數據驅動兩種方式，特征驅動方式使用數據結構(如Kd樹)將多維空間中的向量迅速劃分到不同的空間[37-38]，數據驅動方式則根據數據分布進行聚類[17]。本文受存儲空間限制，選擇計算復雜度低且響應較快的特征驅動方式建立特征索引。

2.1.3 為待查詢照片的每個特征(叫作待查詢特征)在特征索引中尋找最近鄰特征

對任意一張待查詢照片，首先提取和描述特征，然后通過計算歐幾里得距離，為每一個待查詢特征在特征索引中尋找最近鄰特征。由于每個最近鄰特征都對應一張街景、每個街景又對應一個GPS坐標，所以待查詢照片的每個特征都對應一個可能的GPS位置。

2.1.4 獲得最匹配街景

在上一步，每個待查詢特征對應一個可能的GPS位置，接著待查詢特征對這些可能的位置進行投票。在理想情況下，所有的待查詢特征投票給同一個位置，該位置即是真正的照片位置。然而實際上投票并不集中，所以需要接下來的修剪和平滑處理[18]。

(1) 本文使用Zamir和Shah提出的動態(tài)修剪方法[18]，即當最近鄰特征對應的位置分散時，根據位置分布修剪不可靠位置上的投票。這個方法被證明比文獻[13]提出的方法更合適，因為文獻[13]的方法只設定最近鄰特征距離和次近鄰特征距離之間的比例閾值來去除不可靠特征，而動態(tài)修剪方法則為下一步的平滑處理保留了更多的特征。

?j→|Loc(NN(ki,1))-Loc(NN(ki,j))|>D

(1)

式中，Vflag(ki)是特征ki的投票標識，值為1時該特征參與投票，值為0時不參與投票。NN(ki,j)是待查詢照片k的第i個特征的第j個近鄰特征，Loc(NN(ki,j))是NN(ki,j)的GPS坐標，|*|是兩個GPS坐標之間的空間距離，D是提前設定好的特征之間空間距離的閾值。最終，只去除了與最近鄰特征空間距離較遠而且比值大于0.8的特征。

(2) 本文使用高斯分布函數對修剪之后的投票進行平滑處理[18]，使得正確位置對應的高投票數更明顯。平滑處理放大了聚集峰、衰減了孤立峰，使得最高投票數(最有可能的拍攝位置)更加明顯。

V(λ′-λ,φ′-φ)Vflag(λ′-λ,φ′-φ)

(2)

式中，λ和φ代表最近鄰特征所對應街景照片的GPS坐標，V(λ,φ)與Vflag(λ,φ)分別是待查詢照片特征的投票和投票標識，前面的參數是具有標準偏差σ′的二維高斯函數。

最終明顯突出了正確的結果。本文將在最高投票數位置上的街景稱為最匹配街景。

2.2 圖像匹配細篩選

本文首先通過圖像檢索，在參考數據集中檢索到了最匹配街景；然后利用這個最匹配街景，從參考數據集中牽引出其他包含待查詢照片信息的相關照片，然后將它們納入相似街景集中，用作后續(xù)的三維重建。

2.2.1 生成所有街景采樣點之間的空間距離表

(1) 本文根據街景采樣點已知的坐標，計算所有街景采樣點之間的空間距離。

D(λ1,φ1;λ2,φ2)=R·arccos{cos[radians(φ1)]·

cos[radians(φ2)]·cos[radians(λ1-λ2)+

sin[radians(φ1)]·sin[radians(φ2)]}·

PI/180

(3)

式中，(λ1,φ1)和(λ2,φ2)是兩個采樣點，經度分別為λ1、λ2，緯度分別是φ1、φ2。D(λ1,φ1;λ2,φ2)代表兩個采樣點之間的距離。R是地球半徑。Radians是將度轉為弧度的函數。

(2) 本文對某采樣點的所有空間距離進行排序，確定在其特定范圍內(叫作緩沖區(qū)范圍)的采樣點的編號。

(4)

式中，λ,φ是最匹配照片的經度和緯度，λ1、φ1是另一個采樣點的經度和緯度Sflag(λ1,φ1)是該采樣點是否在最匹配照片的緩沖區(qū)范圍內的標志。D(λ,φ;λ1,φ1)是兩點(λ,φ)和(λ1,φ1)之間的距離。

2.2.2 將高相似度的街景加入到相似街景集

本文使用具有仿射不變性的SIFT局部描述子，來計算緩沖區(qū)內街景和待查詢照片的相似度，因為本文需要的照片相似度是局部相似度，而不是全局相似度。換句話說，本文希望相似內容但不同布局的兩張照片，比相似布局但不同內容的兩張照片，相似度更高。因此，本文將待查詢照片與目標街景間特征匹配對的數量與待查詢照片的特征總數的比值，作為相似度的衡量標準。特征匹配對的數量越多，比值越大，那么相似度越高。相似度計算公式如下

(5)

(6)

式中,NN(ki,j)是第k張待查詢照片的第i個特征在目標街景中對應的第j個最近鄰特征；flagi是第k張待查詢照片的第i個特征是否找到其符合要求的特征匹配對的標識；NKeypoints是第k張待查詢照片的特征總數。

本文根據前一步獲得的最匹配街景，將其緩沖區(qū)范圍內的高相似度街景歸為相似街景集，將其緩沖區(qū)范圍內的低相似度街景和不在其緩沖區(qū)范圍內的街景歸為無關街景集。由于相似街景集中的街景與待查詢照片拍攝了相似的內容，但是角度和位置不一樣，所以，相似街景集可以進行基于近景攝影測量的三維重建。

2.3 三維重建精定位

本文使用低成本攝影測量技術SfM(structure from motion)來從2D照片中獲得3D信息[39-40]。SfM技術既不需要相機參數也不需要地面控制點，它使用光束法平差對多個重疊的照片進行配準，來同時確定相機位置和地理場景。

2.3.1 提取特征和篩選特征

本文使用一種抗差的仿射不變特征提取技術，綜合利用當前最優(yōu)的特征提取算子MSER[41]和最優(yōu)的局部特征描述子SIFT，有效地提取高質量的局部不變特征。

本文使用基于信息量和空間分布均衡性雙重約束的多層次特征篩選方法[42]。特征區(qū)域被檢測出后、進行特征描述前，以信息量和空間分布均衡性為衡量標準，對提取出的特征進行評估，過濾掉信息量不佳、空間分布均衡性差的特征，只保留高質量特征，以提高特征的重復率以及后續(xù)的立體影像匹配的成功率，進而有利于后續(xù)的立體匹配。

2.3.2 匹配特征和篩選匹配對

本文使用ANN(approximate nearest neighbors)算法[43]對已提取的特征進行匹配，得到匹配對，然后設定閾值篩選匹配對，去除較差的匹配對，進一步使用RANSAC算法對匹配對進行更精細的篩選，以提高匹配質量。

2.3.3 配準照片并生成點云

試驗證明，當兩張照片之間存在超過5對匹配對，就可以實現2D照片到3D場景的映射[44]，同時能確定照片姿態(tài)和照片中拍攝對象的相對位置。

本文使用的SfM算法是一種迭代計算[45]。首先，匹配對最多的一組照片I1和I2將被作為初始照片對來計算初始相機參數、初始坐標系統和點云。然后，以這個初始點云為參考，不斷加入新照片通過SfM迭代計算來產生稀疏點云。一旦加入一張新照片，將通過光束平差法BA(bundle adjustment)[46]來估算和優(yōu)化該照片的姿態(tài)和照片中拍攝對象的相對位置。光束平差法是一個用非線性最小二乘法來調整所有光束(即從2D照片上的點到3D空間上對應點的方向)和相機位置的優(yōu)化模型，來最小化重投影誤差。

本文為了達到更好的展示效果，結果部分展示的點云為密集點云。密集點云是在稀疏點云的基礎上使用PMVS(patch-based multi-view stereo)算法生成富含紋理信息的密集點云，主要步驟包括初始匹配、區(qū)域生長、視覺條件約束和三維面片數據建立。

2.3.4 根據已知參數估計未知參數

本文通過上述步驟，生成了三維稀疏點云，恢復了待查詢照片和相似照片集的相對空間關系，即在自由坐標系下，待查詢照片和相似照片集的空間位置。然后根據相似照片集已知的GPS坐標，推算待查詢照片未知的GPS坐標，即在大地坐標系下，待查詢照片的空間位置。

3 結果與分析

3.1 研究區(qū)與數據集

圖2展示了本文研究區(qū)南京市建鄴區(qū)。建鄴區(qū)是南京的主城區(qū)之一，位于南京市區(qū)西南部，東、南緊鄰外秦淮河和秦淮新河，西臨長江，北止?jié)h中門大街。建鄴區(qū)中既有老城區(qū)，也有新城區(qū)，既包含歷史，又展現現代，是南京市發(fā)展中最具代表的縮影，其街道景觀很大程度上能夠反映南京市的街道景觀特點。研究區(qū)覆蓋面積約為76.4 km2，長約10 km，寬約8 km。

圖2 研究區(qū)和數據集Fig.2 Study area and dataset

本文為實現眾籌照片的地理定位，使用12萬張街景數據作為數據集，所使用的街景數據覆蓋了180 km的城市道路。試驗以12 m為采樣間隔爬取街景數據，這與街景采集車采集街景的間隔相一致；在每個采樣點，從初始方位角開始的順時針一圈上，每45°爬取一張街景。本文選用騰訊街景地圖，它是我國國內首個高清街景地圖商，目前已覆蓋國內所有地級市。

試驗數據包含了227張眾籌照片，均勻分布在試驗區(qū)內，這些眾籌照片是通過帶有GPS定位功能的智能手機拍攝而得。試驗先去除了無關和涉及隱私的照片，最終保留227張照片。這些照片有著不同的視角、分辨率、尺寸和場景，這與互聯網上眾籌照片的存在形式類似。

3.2 精度評價標準

在進行試驗之前，每張照片的EXIF標簽都已被去除；在進行試驗之后，照片的原始GPS信息將被用來驗證地理定位精度。

本文通過照片的真實位置和估算位置之間的距離，來評價照片定位方法的精度，距離越小，定位精度越高。

3.3 試驗結果

本文使用227張待查詢照片(已去除EXIF標簽)來進行照片定位試驗，平均重建時間是457 s。圖3展示了試驗結果。定位結果分為兩種，一種是第三步中根據相似街景集建立起的三維點云，估算得到的待查詢照片的GPS位置，另一種是第一步中根據參考數據集檢索得到的最匹配街景的GPS位置。

3.4 討論分析

3.4.1 總誤差分析

定義從真實位置到估算位置的方向為誤差方向，從真實位置到估算位置的距離為誤差距離。誤差等級是根據研究區(qū)內道路的分布進行確定的，其中小路之間的距離約為200 m，主干路之間的距離約為800 m，平均為500 m；另外約有一半的待查詢照片的定位誤差集中在50 m以內。

從圖4(a)和4(b)可以得到以下結論：

(1) 本文方法的誤差距離分布高度集中在“<200 m”范圍(68.7%)、極少分布在“>800 m”范圍(3.1%)；

(2) 誤差距離小的待查詢照片通常包含清晰且有針對性的目標(圖4(b),1-8)。誤差距離大的待查詢照片有的包含大量植被(圖4(b)，9-11)或有相似外墻的居民樓(圖4(b)，15-16)造成有辨識度的目標較少(圖4(b)，17-19)，有的則包含能從更大視角和更遠范圍看到的高大建筑(圖4(b)，20-22)，從而造成干擾。

圖3 待查詢照片分布圖和局部區(qū)域照片定位結果示意Fig.3 Query pictures distribution map and geo-localization results in two local areas

3.4.2 誤差成因分析

本文所使用的待查詢照片中，共有192張(占總數的84.6%)照片成功經歷了第三步的三維重建，下面分析這些待查詢照片重建誤差的成因。

(1) 待查詢照片的拍攝相機和其主拍攝目標之間的距離，與總誤差可能存在相關性。對于一張待查詢照片，其主拍攝目標是后期通過人工觀察確定得到的，并在地圖上標注以便來計算其到拍攝相機的距離。

在圖5中，拍攝相機與主拍攝目標之間的距離，與總誤差呈正相關(R2=0.614 1)。意味著拍攝相機距離目標越近，總誤差越小，反之，總誤差越大。

注：用箭頭方向表達總誤差方向，用5個等級的灰度表達總誤差距離。圖4 總誤差結果和總誤差分布統計圖Fig.4 Total error and its distribution statistics

圖5 待查詢照片的拍攝相機與主拍攝目標之間的距離，與總誤差的相關性Fig.5 Correlation between distance from the query camera to the main object of query pictures and their total error

(2) 總誤差被分解為平行于和垂直于道路的兩個分量，其中平行于道路的誤差分量被定義為X軸誤差(ΔX)，垂直于道路的誤差分量被定義為Y軸誤差(ΔY)，如圖6所示。分析結果展示在圖7和表2，并分析得到以下結論。

圖6 X軸誤差和Y軸誤差示意圖Fig.6 Diagram of X-axis error and Y-axis error

從圖7中可以發(fā)現，ΔX>ΔY的待查詢照片被標為黑色(128個)，ΔX<ΔY被標為灰色(64個)。ΔX較大的點數量上是ΔY較大的兩倍。從表2中可以發(fā)現，ΔX的平均值、標準差、最大值、最小值和中值均超過ΔY。因此可以推測，ΔX對總誤差的貢獻更大。

圖7 總誤差的兩個分量：X軸誤差和Y軸誤差分析圖Fig.7 Real GPS location, total error direction, and quantitative relationship between X-axis error and Y-axis error

參數中位數平均值標準差最大值最小值X軸誤差40.0117.3164.5858.50.3Y軸誤差24.979.8122.7654.50.1

3.4.3 緩沖區(qū)半徑分析

變換緩沖區(qū)半徑，并統計不同緩沖區(qū)半徑下，滿足不同精度要求的待查詢照片比例。統計結果如圖8所示，可以得到以下結論：

(1) Zamir和Shah提出的定位方法[18]，即本文方法的第一步：圖像檢索粗定位，相當于設緩沖區(qū)半徑=0即不進行第二、三步。統計結果表明，本文方法(緩沖區(qū)半徑>0)的定位效果明顯優(yōu)于Zamir和Shah的方法，因為同一個精度要求下，本文方法可以定位到更多的照片。

(2) 緩沖區(qū)半徑影響定位結果。本文選取200 m作為最佳緩沖區(qū)半徑，這可能與試驗區(qū)街道長度有關。較大的取值(紫色線)將引入很多不相關的照片，破壞了高度重疊照片進行近景三維重建的優(yōu)勢，而較小的取值(藍色和綠色線)將限制相似街景集的查找范圍，導致不能爬取出足夠的照片用于三維重建。

(3) 在0～50 m的誤差距離內，藍線(緩沖區(qū)半徑=50 m)和綠線(緩沖區(qū)半徑=100 m)均超過了黑線(緩沖區(qū)半徑=0 m)和紅線(緩沖區(qū)半徑=200 m)。這意味著當待查詢照片已經獲得較好的粗定位效果時，較小的緩沖區(qū)半徑也許更加有效。

圖8 不同緩沖區(qū)半徑下滿足不同精度要求的待查詢照片比例Fig.8 Percentage of query pictures within different error distances under a specific buffer radius

3.4.4 方法比較

Zamir和Shah的定位方法，即本文方法的第一步：圖像檢索粗定位。為了探討第二步和第三步能否提升定位精度，計算了對Zamir和Shah的方法的精度提升值。精度提升值計算公式如下：

精度提升值=誤差距離(Zamir和Shah方法)-

誤差距離(本文方法)

(7)

從圖9(a)，9(b)和表3可得出一下結論：

圖9 方法比較Fig.9 Methods comparison

(1) 本文方法在Zamir和Shah的方法基礎上，提升75.3%待查詢照片的定位精度(精度提升值>0)，未改變15.4%待查詢照片的定位精度(精度提升值=0)和降低了9.3%待查詢照片的定位精度(精度提升值<0)。

(2) 對于所有的待查詢照片，本文方法的定位誤差平均距離為206.0 m，Zamir和Shah的方法平均距離為350.4 m。在50 m精度要求下，本文方法實現了對43.2%照片的定位，而Zamir和Shah的方法只實現了17.2%；在800 m精度要求下，本文方法實現了對96.9%照片的定位，而Zamir和Shah的方法只實現了92.5%(表2)。

(3) 被本文方法降低了定位精度的待查詢照片通常包含有相似外墻的建筑(圖9(b)，1-3)或者能從更大視角更遠范圍看到的摩天大樓(圖9(b)，4-6)。這些目標導致三維重建無法獲得更好的定位效果。

未被本文方法改變定位精度的待查詢照片沒有經歷第三步的三維重建。有些照片包含了大量的干擾目標如植被(圖9(b)，7-9)導致三維重建失敗，有些照片雖然包含了針對性的目標但其周圍不能提供足夠的三維信息用于重建(圖9(b)，10-12)。

被本文方法提升了定位精度的照片包含清晰且有針對性的目標(圖9(b)，13-18)。其中拍攝了摩天大樓的待查詢照片的定位精度明顯被提升了(圖9(b)，19-24)，這表明本文方法對拍攝大城市中密集高樓大廈的照片可以獲得較好的定位效果。

表3 兩種方法的定位結果統計

4 結 論

本文提出了一種互聯網眾籌照片的三維重建定位技術，該方法以結構化組織的街景數據為參考數據集，使用三步策略：圖像檢索粗定位、圖像匹配細篩選和三維重建精定位，給不明來源的照片附上精確的地理標簽。本文的主要貢獻是使用了新興的街景數據，并巧妙綜合了檢索、匹配和重建3種算法，實現了更精確的照片定位，特別是拍攝大城市里密集高樓的照片。本文通過攝影測量原理恢復待查詢照片周圍的三維空間信息，較之前Zamir和Shah的方法，定位精度中值從256.7 m提升到69.0 m，平均值從350.4 m提升到206.0 m，在50 m精度要求下的照片數量占比從17.2%提升到43.2%。本文的另一個發(fā)現是重建誤差成因方面，待查詢照片的拍攝相機距離主拍攝目標越近，總誤差越小；平行于街道的誤差分量對總誤差貢獻更大。另外，本文提出的方法提供了靈活的參數，可以應用于更大尺度范圍的地區(qū)。

在未來工作中，筆者將探索季節(jié)、天氣和時辰對試驗結果的影響，來提升方法的抗差性；同時致力于提升方法的計算效率，以便應用于更大尺度范圍。

參考文獻：

[1] LI Songnian, DRAGICEVIC S, CASTRO F A, et al. Geospatial Big Data Handling Theory and Methods: A Review and Research Challenges[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2016, 115: 119-133.

[2] HEIPKE C. Crowdsourcing Geospatial Data[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2010, 65(6): 550-557.

[3] ARTH C, PIRCHHEIM C, VENTURA J, et al. Instant Outdoor Localization and SLAM Initialization from 2.5D Maps[J]. IEEE Transactions on Visualization and Computer Graphics, 2015, 21(11): 1309-1318.

[4] YIN Li, CHENG Qimin, WANG Zhenxin, et al. ‘Big Data’ for Pedestrian Volume: Exploring the Use of Google Street View Images for Pedestrian Counts[J]. Applied Geography, 2015, 63: 337-345.

[5] SALMEN J, HOUBEN S, SCHLIPSING M. Google Street View Images Support the Development of Vision-based Driver Assistance Systems[C]∥Proceedings of 2012 IEEE Intelligent Vehicles Symposium. Alcala de Henares, Spain: IEEE, 2012: 891-895.

[6] TSAI V J D. Traffic Sign Detection and Positioning from Google Street View Streamlines[C]∥Proceedings of ASPRS 2015 Annual Conference. Tampa, Florida: ASPRS, 2015.

[7] LIU Yue, WANG Yongtian. AR-view: An Augmented Reality Device for Digital Reconstruction of Yuangmingyuan[C]∥Proceedings of 2009 IEEE International Symposium on Mixed and Augmented Reality-arts, Media and Humanities. Orlando, FL: IEEE, 2009: 3-7.

[8] BADLAND H M, OPIT S, WITTEN K, et al. Can Virtual Streetscape Audits Reliably Replace Physical Streetscape Audits?[J]. Journal of Urban Health, 2010, 87(6): 1007-1016.

[9] LI Xiaojiang, ZHANG Chuanrong, LI Weidong, et al. Assessing Street-level Urban Greenery Using Google Street View and a Modified Green View Index[J]. Urban Forestry & Urban Greening, 2015, 14(3): 675-685.

[10] YIN Li, WANG Zhenxin. Measuring Visual Enclosure for Street Walkability: Using Machine Learning Algorithms and Google Street View Imagery[J]. Applied Geography, 2016, 76: 147-153.

[11] HARA K, AZENKOT S, CAMPBELL M, et al. Improving Public Transit Accessibility for Blind Riders by Crowdsourcing Bus Stop Landmark Locations with Google Street View: An Extended Analysis[J]. ACM Transactions on Accessible Computing (TACCESS), 2015, 6(2): 5.

[12] ZAMIR A R, HAKEEM A, VAN GOOL L, et al. Large-scale Visual Geo-localization[M]. Cham: Springer, 2016.

[13] LOWE D G. Distinctive Image Features from Scale-invariant Keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110.

[14] SATTLER T, LEIBE B, KOBBELT L. Fast Image-based Localization Using Direct 2D-to-3D Matching[C]∥Proceedings of 2011 IEEE International Conference on Computer Vision. Barcelona, Spain: IEEE, 2011: 667-674.

[15] CHEN D M, BAATZ G, K?SER K, et al. City-scale Landmark Identification on Mobile Devices[C]∥Proceedings of 2011 IEEE Conference on Computer Vision and Pattern Recognition. Colorado Springs, CO: IEEE, 2011: 737-744.

[16] KNOPP J, SIVIC J, PAJDLA T. Avoiding Confusing Features in Place Recognition[C]∥Proceedings of the 11th European Conference on Computer Vision. Heraklion, Greece: Springer, 2010: 748-761.

[17] NISTER D, STEWENIUS H. Scalable Recognition with a Vocabulary Tree[C]∥Proceedings of 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2006: 2161-2168.

[18] ZAMIR A R, SHAH M. Accurate Image Localization Based on Google Maps Street View[C]∥Proceedings of the 11th European Conference on Computer Vision. Heraklion, Greece: Springer, 2010: 255-268.

[19] ZAMIR A R, SHAH M. Image Geo-localization Based on Multiplenearest Neighbor Feature Matching Using Generalized Graphs[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, 36(8): 1546-1558.

[20] SCHINDLER G, BROWN M, SZELISKI R. City-scale Location Recognition[C]∥Proceedings of 2007 IEEE Conference on Computer Vision and Pattern Recognition. Minneapolis: IEEE, 2007: 1-7.

[21] KNOPP J, SIVIC J, PAJDLA T. Avoiding Confusing Features in Place Recognition[C]∥Proceedings of the 11th European Conference on Computer Vision. Heraklion, Greece: Springer, 2010: 748-761.

[22] HAYS J, EFROS A A. IM2GPS: Estimating Geographic Information from a Single Image[C]∥Proceedings of 2008 IEEE Conference on Computer Vision and Pattern Recognition. Anchorage: IEEE, 2008: 1-8.

[23] YAZAWA N, UCHIYAMA H, SAITO H, et al. Image Based View Localization System Retrieving from a Panorama Database by SURF[C]∥Proceedings of 2009 IAPR Conference on Machine Vision Applications. Yokohama, Japan: [s.n.], 2009: 3632-3636.

[24] KE Yan, SUKTHANKAR R. PCA-SIFT: A More Distinctive Representation for Local Image Descriptors[C]∥Proceedings of 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington DC: IEEE, 2004: 506-513.

[25] PARK H, MOON K S. Fast Feature Matching by Coarse-to-fine Comparison of Rearranged SURF Descriptors[J]. IEICE Transactions on Information and Systems, 2015, E98-D(1): 210-213.

[26] KAMENCAY P, BREZNAN M, JELSOVKA D, et al. Improved Face Recognition Method Based on Segmentation Algorithm Using SIFT-PCA[C]∥Proceedings of the 35th International Conference on Telecommunications and Signal Processing. Prague, Czech Republic: IEEE, 2012: 758-762.

[27] TANG Gefu, XIAO Zhifeng, LIU Qing, et al. A Novel Airport Detection Method via Line Segment Classification and Texture Classification[J]. IEEE Geoscience and Remote Sensing Letters, 2015, 12(12): 2408-2412.

[28] XIAO Zhifeng, LIU Qing, TANG Gefu, et al. Elliptic Fourier Transformation-based Histograms of Oriented Gradients for Rotationally Invariant Object Detection in Remote-Sensing Images[J]. International Journal of Remote Sensing, 2015, 36(2): 618-644.

[29] BLASCHKE T. Object Based Image Analysis for Remote Sensing[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2010, 65(1): 2-16.

[30] SE S, NADEAU C, WOOD S. Automated UAV-based Video Exploitation Using Service Oriented Architecture Framework[C]∥Proceedings of Volume 8020, Airborne Intelligence, Surveillance, Reconnaissance (ISR) Systems and Applications VIII. Orlando, FL: SPIE, 2011: 80200Y.

[32] LI Yunpeng, SNAVELY N, HUTTENLOCHER D, et al. Worldwide Pose Estimation Using 3D Point Clouds[C]∥Proceedings of the 12th European Conference on Computer Vision. Florence, Italy: Springer, 2012: 15-29.

[34] GERNHARDT S, AUER S, EDER K. Persistent Scatterers at Building Facades-evaluation of Appearance and Localization Accuracy[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2015, 100: 92-105.

[35] SINGH G, KOECKJ. Semantically Guided Geo-location and Modeling in Urban Environments[M]∥ZAMIR A R, HAKEEM A, VAN GOOL L, et al. Large-scale Visual Geo-localization. Cham: Springer, 2016: 101-120.

[36] CRANDALL D J, LI Yunpeng, LEE S, et al. Recognizing Landmarks in Large-scale Social Image Collections[M]∥ZAMIR A R, HAKEEM A, VAN GOOL L, et al. Large-scale Visual Geo-localization. Cham: Springer, 2016: 121-144.

[37] NIEVERGELT J, HINTERBERGER H, SEVCIK K C. The Grid File: An Adaptable, Symmetric Multikey File Structure[J]. ACM Transactions on Database Systems (TODS), 1984, 9(1): 38-71.

[38] ROBINSON J T. The K-D-B-Tree: A Search Structure for Large Multidimensional Dynamic Indexes[C]∥Proceedings of 1981 ACM SIGMOD International Conference on Management of Data. Ann Arbor, Michigan: ACM, 1981: 10-18.

[39] SNAVELY N, SEITZ S M, SZELISKI R. Modeling the World from Internet Photo Collections[J]. International Journal of Computer Vision, 2008, 80(2): 189-210.

[40] WU Changchang. Towards Linear-time Incremental Structure from Motion[C]∥Proceedings of 2013 International Conference on 3D Vision-3DV 2013. Seattle: IEEE, 2013: 127-134.

[41] MATAS J, CHUM O, URBAN M, et al. Robust Wide-baseline Stereo from Maximally Stable Extremal Regions[J]. Image and Vision Computing, 2004, 22(10): 761-767.

[42] 程亮, 龔健雅, 宋小剛, 等. 面向寬基線立體影像匹配的高質量仿射不變特征提取方法[J]. 測繪學報, 2008, 37(1): 77-82.

CHENG Liang, GONG Jianya, SONG Xiaogang, et al. A Method for Affine Invariant Feature Extraction with High Quality for Wide Baseline Stereo Image Matching[J]. Acta Geodaetica et Cartographica Sinica, 2008, 37(1): 77-82.

[43] INDYK P, MOTWANI R. Approximate Nearest Neighbors: Towards Removing the Curse of Dimensionality[C]∥Proceedings of the 30th Annual ACM Symposium on Theory of Computing. Dallas, Texas: ACM, 1998: 604-613.

[44] ZHANG Zhengyou, DERICHE R, FAUGERAS O, et al. A Robust Technique for Matching Two Uncalibrated Images through the Recovery of the Unknown Epipolar Geometry[J]. Artificial Intelligence, 1995, 78(1-2): 87-119.

[45] WESTOBY M J, BRASINGTON J, GLASSER N F, et al. ‘Structure-from-Motion’ Photogrammetry: A Low-cost, Effective Tool for Geoscience Applications[J]. Geomorphology, 2012, 179: 300-314.

[46] LOURAKIS M I A, ARGYROS A A. SBA: A Software Package for Generic Sparse Bundle Adjustment[J]. ACM Transactions on Mathematical Software, 2009, 36(1): 2.

[47] 劉穎真, 賈奮勵, 萬剛, 等. 非專業(yè)弱關聯影像的地理配準及其精度評估[J]. 測繪學報, 2015, 44(9): 1014-1021, 1028. DOI: 10.11947/j.AGCS.2015.20140394.

LIU Yingzhen, JIA Fenli, WAN Gang, et al. Geo-registration of Unprofessional and Weakly-related Image and Precision Evaluation[J]. Acta Geodaetica et Cartographica Sinica, 2015, 44(9): 1014-1021, 1028. DOI: 10.11947/j.AGCS.2015.20140394.

[48] 陳愛軍, 徐光祐, 史元春. 基于城市航空立體像對的全自動3維建筑物建模[J]. 測繪學報, 2002, 31(1): 54-59.

CHEN Aijun, XU Guangyou, SHI Yuanchun. Automated 3D Building Modeling Based on Urban Aerial Stereopair[J]. Acta Geodaetica et Cartographica Sinica, 2002, 31(1): 54-59.