張興國，劉學(xué)軍

(1.南京師范大學(xué)虛擬地理環(huán)境教育部重點(diǎn)實(shí)驗(yàn)室，南京 210046;2.信陽師范學(xué)院城市與環(huán)境科學(xué)學(xué)院，信陽 464000)

0 引言

隨著數(shù)碼采集設(shè)備的日益普及，圖像和視頻數(shù)據(jù)得到了廣泛應(yīng)用。在公安、城市規(guī)劃、文物保護(hù)、旅游、交通及林業(yè)等行業(yè)，基于圖像或視頻的需求旺盛。當(dāng)前，核心需求主要集中于圖像的三維重建、圖像的量測及視頻監(jiān)控等方面。對(duì)于GIS行業(yè)而言，圖像和視頻數(shù)據(jù)已成了最重要的數(shù)據(jù)源，將其與傳統(tǒng)的地形圖、遙感影像及DEM等相結(jié)合，可形成從頂視到側(cè)視全方位的空間表達(dá)方式。在GIS行業(yè)，應(yīng)用圖像和視頻的方式正在發(fā)生變革，傳統(tǒng)的方式僅僅將其作為重要的信息源，實(shí)現(xiàn)簡單的查詢和瀏覽功能，對(duì)其所含信息缺乏有效挖掘。近年來，基于圖像和視頻的分析及其GIS集成應(yīng)用開始引起廣泛重視[1－2]。對(duì)于傳統(tǒng)的圖形圖像、計(jì)算機(jī)視覺等領(lǐng)域，基于圖像和視頻的三維重建已取得了一些重要的研究成果，如 Bundler，PMVS，Photosynth，PhotoPopup及Make3D等[3－6]。但將現(xiàn)有研究應(yīng)用于GIS空間數(shù)據(jù)采集、空間分析方法、成果展示等方面尚存在許多問題，如何實(shí)現(xiàn)圖像和視頻在地理空間框架內(nèi)的有機(jī)融合，是個(gè)急需解決的問題。

本文以單幅圖像為研究對(duì)象，重點(diǎn)探討了空間化方法及其應(yīng)用技術(shù)。首先，從單幅圖像本身的特點(diǎn)及研究現(xiàn)狀出發(fā)，介紹了單幅圖像空間化的概念;然后，提出了一種單幅圖像空間化方法，主要包括分類器構(gòu)建、滅線位置估計(jì)及地面三維坐標(biāo)計(jì)算、圖像與地圖映射;最后，基于VC，MATLAB，ArcGIS Engine及PhotoPopup等工具，以大學(xué)校園為實(shí)驗(yàn)場，對(duì)該方法進(jìn)行了驗(yàn)證，并對(duì)映射精度進(jìn)行了探討。

1 單幅圖像空間化概念

單幅圖像對(duì)于地理空間的表達(dá)是透視的方式，地理對(duì)象“遠(yuǎn)小近大”。這種表達(dá)方式符合人們?nèi)粘Ｓ^察習(xí)慣，易于理解和交流。對(duì)于豐富多彩的單幅圖像，人們并不滿足于單純的可視化。對(duì)于工程技術(shù)人員而言，基于單幅圖像的非接觸式量測、三維重建及虛實(shí)融合等深層次應(yīng)用更為重要，可大幅降低生產(chǎn)成本、提高工作效率和安全性。但是，單幅圖像在成像過程中損失了深度信息，要滿足這些應(yīng)用需求是非常困難的。

目前，單幅圖像的量測主要包括基于單應(yīng)的量測和基于幾何關(guān)系的量測[7]。前者可實(shí)現(xiàn)2個(gè)平面間的映射，根據(jù)圖像坐標(biāo)求取物方坐標(biāo)，從而實(shí)現(xiàn)幾何量測;后者通過中心投影的不變量并結(jié)合已知的幾何結(jié)構(gòu)信息進(jìn)行空間對(duì)象的量測。單幅影像三維重建主要通過對(duì)單幅影像提取目標(biāo)的顏色、形狀、共面性等二維、三維幾何信息，而利用少量已知條件獲取該目標(biāo)的空間三維信息。目前，單幅影像的三維重建主要包括基于特征統(tǒng)計(jì)學(xué)習(xí)方法、基于形狀恢復(fù)技術(shù)和基于影像幾何投影信息的方法[8]。各方法側(cè)重點(diǎn)不同，前者更注重量測的可行性，但自動(dòng)化程度較低;后者更注重三維外觀，但量測無法保障。

單幅圖像空間化不僅要確定拍攝點(diǎn)位在地理空間中的位置，而且要實(shí)現(xiàn)圖像中地理對(duì)象與GIS中地理對(duì)象的映射，實(shí)現(xiàn)2種視圖的有機(jī)融合，即互映射。單幅圖像的空間化，首先需解決單幅圖像的三維重建，然后結(jié)合拍攝點(diǎn)位坐標(biāo)和方位角將圖像與地圖、遙感影像等關(guān)聯(lián)起來。

本研究以平面地圖為主，研究單幅圖像空間化的方法。眾所周知，平面地圖采用正射投影的方式，將三維地理空間投影到平面上，其坐標(biāo)系為平面直角坐標(biāo)系統(tǒng)。而單幅圖像在采集時(shí)，相機(jī)主光軸常以近似平行地面的方式進(jìn)行采集，其中常含有地面，若這個(gè)地面為平面則易于轉(zhuǎn)換到平面地圖中。例如圖1(a)為單幅圖像，圖1(b)為遙感影像，其中圖1(b)路面上的小圓點(diǎn)即為圖1(a)上路面邊緣所對(duì)應(yīng)的位置。同時(shí)，將平面地圖中的地理對(duì)象放入圖像的地面中，是個(gè)相反的過程。

圖1 單幅圖像空間化Fig.1 Single image geo－spatial mapping

2 單幅圖像空間化方法

與立面和天空相比，地面，特別是路面，在顏色、紋理、位置等方面具有明顯的特征，通過數(shù)字圖像處理、統(tǒng)計(jì)學(xué)及機(jī)器學(xué)習(xí)等方法可以實(shí)現(xiàn)地面的自動(dòng)提取。結(jié)合人們拍攝習(xí)慣和相機(jī)參數(shù)約束，可以恢復(fù)地面三維坐標(biāo)。本文吸收PhotoPopup三維重建方法的優(yōu)點(diǎn)[4]，考慮空間化的需求，設(shè)計(jì)了一種單幅圖像空間化的方法。其基本過程包括:地面自動(dòng)識(shí)別、滅線位置估計(jì)及地面三維坐標(biāo)計(jì)算、圖像與地圖映射，如圖2。

圖2 單幅圖像空間化方法流程圖Fig.2 Flow chart of single image geo－ spatial mapping method

2.1 分類器的構(gòu)建

1)樣本采集及超像素分割。首先，收集大量的單幅圖像，這些圖像滿足主光軸近似平行地面的約束。然后，對(duì)這些圖像進(jìn)行超像素分割[9]，如圖3所示。

圖3 圖像超像素分割Fig.3 Suppixel segmentation

2)分類器構(gòu)建。首先，通過交互界面，指定每一幅圖像的每一超像素的類別(地面和非地面)，并計(jì)算其特征，包括顏色、紋理及位置等;然后，基于這些數(shù)據(jù)進(jìn)行訓(xùn)練，并構(gòu)建決策樹。

3)分類器的使用?；谒鶚?gòu)建的決策樹，就可以對(duì)一幅圖像的地面區(qū)域進(jìn)行自動(dòng)提取了。具體過程包括:單幅圖像超像素分割，各個(gè)超像素特征計(jì)算，基于決策樹類別判斷。如圖4。

圖4 地面自動(dòng)提取及滅線估計(jì)Fig.4 Automatic extraction of the ground and the location estimation of vanishing line

圖中實(shí)線所含區(qū)域?yàn)榛诜诸惼髯詣?dòng)提取的路面區(qū)域;虛線為估計(jì)的滅線位置。三維空間中相互平行的一組平面必相交于同一條無窮遠(yuǎn)直線，這條無窮遠(yuǎn)直線在透視投影下的投影直線稱為滅線[10]。

在工程實(shí)踐中僅需進(jìn)行一次分類器的構(gòu)建，將相關(guān)模型保存起來，后期即可長期使用。當(dāng)模型無法滿足某工程需求時(shí)，可再次訓(xùn)練。

2.2 滅線位置估計(jì)及地面三維坐標(biāo)計(jì)算

在攝像機(jī)約束方面，可以基于場景中的平行線、道路區(qū)域等估計(jì)滅線的位置，如圖4中虛線為估計(jì)的滅線位置。若計(jì)算失敗，默認(rèn)設(shè)置為0.5，即單幅圖像的中心。然后，根據(jù)拍攝者高度、視角及滅線位置，求解圖像中地面區(qū)域?qū)?yīng)的三維坐標(biāo)，從而恢復(fù)地面的三維姿態(tài)。如圖5，可得出水平視角、垂直視角、主光軸傾角、拍攝者高度與局部地面坐標(biāo)的關(guān)系。該坐標(biāo)系以拍攝者所在位置為原點(diǎn)，以視平線方向?yàn)閅軸，X軸與Y軸垂直，并以拍攝者右手方向?yàn)檎颉?/p>

圖5 局部地平面坐標(biāo)計(jì)算示意圖Fig.5 Coordinate calculation of the local ground

其計(jì)算公式為

式中:α為垂直視角;β為水平視角;h0為攝影中心至地平面的高度;θ和φ夾角依據(jù)圖像坐標(biāo)近似估計(jì)。

2.3 圖像與地圖映射

通過對(duì)單幅圖像中地面的自動(dòng)提取及局部坐標(biāo)計(jì)算，就可以將地面區(qū)域轉(zhuǎn)換到2D地圖中，主要包括:攝像機(jī)拍攝點(diǎn)位和主光軸的方位角的確定、實(shí)現(xiàn)局部坐標(biāo)系至投影坐標(biāo)系的轉(zhuǎn)換，即

式中:X，Y為地圖平面直角坐標(biāo);x0，y0為拍攝點(diǎn)位的地圖平面直角坐標(biāo);x，y為單幅影像三維重建后的局部地面坐標(biāo);?為主光軸與北方向的夾角，即方位角。

3 實(shí)驗(yàn)分析

本文選取大學(xué)校園為實(shí)驗(yàn)場，相關(guān)數(shù)據(jù)包括近似水平拍攝的單幅圖像60幅、QuickBird高清遙感影像及分層矢量化地圖(WGS84 UTM 50N投影坐標(biāo)系統(tǒng));實(shí)驗(yàn)環(huán)境包括MATLAB，VC，ArcGIS Engine和 PhotoPopup。

3.1 地面區(qū)域提取分析

對(duì)所采集的60幅圖像中的20幅進(jìn)行超像素分割，基于所選擇的特征(顏色、紋理及位置系列參數(shù))進(jìn)行訓(xùn)練，獲取決策樹。對(duì)剩下的40幅進(jìn)行地面自動(dòng)提取實(shí)驗(yàn)，其中有2幅因墻壁與地面的顏色和紋理近似造成識(shí)別錯(cuò)誤，有3幅因陰影問題造成地面區(qū)域邊緣處錯(cuò)誤，其余圖像均能較好提取出地面區(qū)域。

3.2 單幅圖像地面區(qū)域空間化精度分析

滅線位置的求取主要依據(jù)PhotoPopup中的方法，基于圖像中的平行線的信息估計(jì)滅點(diǎn)位置，如果失敗可將所識(shí)別出的地面區(qū)域的圖像坐標(biāo)J的最小值作為其位置。為了分析單幅圖像空間化精度，選取5幅圖像，對(duì)其滅線位置，選取圖像中特定點(diǎn)位(設(shè)定 5個(gè)點(diǎn)，圖像坐標(biāo)為:A(400，500)，B(400，400)，C(400，280)，D(600，280)，E(600，400))的映射誤差進(jìn)行對(duì)比，采用點(diǎn)位位置偏差距離分析本實(shí)驗(yàn)中映射誤差。圖像采集相關(guān)參數(shù)設(shè)定為:拍攝高度為1.70 m，垂直視角40°，圖像大小均為800像素×600像素，均采用近似平行地面的方式拍攝。表1為實(shí)驗(yàn)結(jié)果，其中滅線坐標(biāo)為歸一化值，A到E點(diǎn)的位置偏差為根據(jù)某點(diǎn)滅線估計(jì)值和真實(shí)值所計(jì)算的相同點(diǎn)位的距離。

表1 單幅圖像空間化精度分析Tab.1 Accuracy analysis of the single image mapping

分析表1可知:

1)滅線的估計(jì)值與真實(shí)值(手工獲取)相差最大是4點(diǎn)，為0.142，轉(zhuǎn)換為像素值為85個(gè)像素;最小點(diǎn)為5點(diǎn)，僅僅為4個(gè)像素。

2)滅線位置差值對(duì)點(diǎn)位偏差影響較大，最大偏差處于C和D點(diǎn)位，距離達(dá)121 m，滅線提取依賴于場景本身。

3)A至C點(diǎn)位從近到遠(yuǎn)，位置偏差也從小到大。

4 結(jié)論與討論

單幅圖像空間化使得圖像中的地面具備了地理參考，對(duì)于其深入應(yīng)用具有重要意義。如基于圖像可實(shí)現(xiàn)簡單的地面量測，采集一些地理對(duì)象的數(shù)據(jù)，如路面及其附近的特征點(diǎn)、線和面等;如地圖中地理對(duì)象到圖像中的映射，將虛擬對(duì)象放入圖像中，對(duì)于GIS可視化、規(guī)劃、虛擬仿真、商業(yè)、娛樂等具有重要意義;如視頻監(jiān)控領(lǐng)域，基于圖像的GIS空間化，可實(shí)現(xiàn)圖像中動(dòng)態(tài)目標(biāo)在地圖中的映射，在地理空間中進(jìn)行可視化、行為特征量化表達(dá)等。本研究重點(diǎn)就地面的空間化進(jìn)行了探討，所映射的地圖為平面地圖。當(dāng)前研究尚存在如下問題:

1)因超像素聚類算法的初始化參數(shù)的選取是隨機(jī)的，致使圖像類別劃分具有不確定性，從而影響基于模式識(shí)別的類別決策。在后續(xù)的工作中，需加強(qiáng)面向圖像空間化的穩(wěn)定的圖像分類方法研究。

2)滅線位置的精確估計(jì)對(duì)于其空間化至關(guān)重要，細(xì)微的差異對(duì)所計(jì)算的坐標(biāo)都會(huì)產(chǎn)生較大的影響。在以后研究中，需進(jìn)一步加強(qiáng)單幅影像精確、穩(wěn)定滅線位置估計(jì)算法的研究。同時(shí)，結(jié)合拍攝習(xí)慣，在工程應(yīng)用中亦可嘗試滅線位置的統(tǒng)計(jì)分析，獲取平均滅線位置，滿足一定的需求。

3)對(duì)于單幅圖像整體三維精細(xì)恢復(fù)及其三維空間化的研究尚未開展。實(shí)現(xiàn)三維空間中單幅影像、影像序列及視頻等的空間化，并達(dá)到GIS行業(yè)應(yīng)用需求，是后續(xù)研究急需開展的工作。

[1]閭國年，劉學(xué)軍，吳 勇.發(fā)展影視 GIS，推進(jìn) GIS社會(huì)化進(jìn)程——兼論GIS中的“世界”觀察與表達(dá)方式[C]//《測繪通報(bào)》測繪科學(xué)前沿技術(shù)論壇論文集.北京:《測繪通報(bào)》編輯部，2008.Lv G N，Liu X J，Wu Y.Develop image－ video GIS，promote the socialization process:Discuss the style of viewing and expressing the world[C]//Bulletin of Surveying and Mapping，Proceedings of Surveying Science Frontier.Beijing:Bulktin of Surveying and Mapping，2008.

[2]孔云峰.地理視頻數(shù)據(jù)模型及其應(yīng)用開發(fā)研究[J].地理與地理信息科學(xué)，2009，25(5):12－16.Kong Y F.Research on the geoVideo data model and its application development[J].Geography and Geo－ Information Science，2009，25(5):12－16.

[3]Hoiem D，Efros A A，Hebert M.Automatic photo pop－ up[C]//Proceedings of the ACM SIGGRAPH.New York:ACM，2005:577－584.

[4]Saxena A，Chung S，Ng Y A.Learning depth from single monocular images[C]//NIPS 18，2005.

[5]Snavely N，Seitz S M，Szeliski R.Photo tourism:Exploring photo collections in 3D[C]//Proceedings of the ACM SIGGRAPH.New York:ACM，2006:835－846.

[6]Yasutaka Furukawa，Jean Ponce.Accurate，dense，and robust multi－ view stereopsis[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Minneapolics:IEEE，2007:1－8.

[7]劉學(xué)軍，王美珍，甄 艷，等.單幅圖像幾何量測研究進(jìn)展[J].武漢大學(xué):信息科學(xué)版，2011，36(8):941－947.Liu X J，Wang M Z，Zhen Y，et al.Geometric measurement based on single image:A survey[J].Geomatics and Information Science of Wuhan University，2011，36(8):941－947.

[8]孫宇陽.基于單幅圖像的三維重建技術(shù)綜述[J].北方工業(yè)大學(xué)學(xué)報(bào)，2011，23(1):9－13.Sun Y Y.A survey of 3D reconstruction based on single image[J].Journal of North China University of Technology，2011，23(1):9－13.

[9]Felzenszwalb P，Huttenlocher D.Efficient graph－ based image segmentation[J].Intemational Journal of Computer Vision，2004，59(2):167－181.

[10]韓艷麗.單目視覺建筑物三維建模方法的研究[D].上海:同濟(jì)大學(xué)，2006.Han Y L.Researching on approaches of architecture’s 3D reconstruction based on a single vision[D].Shanghai:Tongji University，2006.