王 越，孫雅庚，彭小婷，袁靜文

（1.武漢市測繪研究院，湖北 武漢 430022；2.武漢大學(xué)遙感信息工程學(xué)院，湖北 武漢 430079）

隨著互聯(lián)網(wǎng)、大數(shù)據(jù)、移動測量等新技術(shù)的發(fā)展，傳統(tǒng)的測繪4D產(chǎn)品對于客觀世界的抽象化表達(dá)越來越難以滿足城市發(fā)展的現(xiàn)實(shí)需求，尤其是難以滿足城市治理中對基礎(chǔ)地理信息的直觀性和精細(xì)度需求[1]。近年來，Google、百度和騰訊等公司都相繼推出了基于全景圖像的城市街景地圖[2-3]，結(jié)合虛擬現(xiàn)實(shí)（VR）或增強(qiáng)現(xiàn)實(shí)（AR）等技術(shù)進(jìn)行瀏覽可獲得一定的場景沉浸 感[4-5]，這種真實(shí)且直觀的地圖表達(dá)方式較好地兼顧了測繪專業(yè)領(lǐng)域和社會普通民眾的應(yīng)用需求。然而，受全景采集時(shí)相機(jī)曝光周期的影響，現(xiàn)有街景地圖中相鄰兩幅全景圖像間會存在一定的空間間隔，瀏覽時(shí)易產(chǎn)生畫面“跳躍感”，在一定程度上影響了地圖漫游的流暢性，同時(shí)也難免會漏掉一些關(guān)鍵點(diǎn)的信息[6]。鑒于視頻錄制相較于單點(diǎn)拍攝在畫面連續(xù)性上的優(yōu)勢，利用全景視頻制作的城市街景地圖能夠較好地彌補(bǔ)傳統(tǒng)街景產(chǎn)品的不足，且能保證街景信息的完整性和空間連續(xù)性，是一種新型的地理場景產(chǎn)品（GSP）[7]。

以武漢市舉辦第七屆世界軍人運(yùn)動會為契機(jī)，利用全景視頻流技術(shù)采集制作了25條軍運(yùn)會重點(diǎn)保障線路的全景視頻流街景地圖，并開發(fā)了全景視頻流街景地圖展示系統(tǒng)作為地圖發(fā)布及應(yīng)用平臺。由于全景視頻流街景地圖兼具時(shí)空屬性，且制作周期較短，通過定期更新對比能快速發(fā)現(xiàn)城市街道及沿街立面的變化，可為城市交通管理和環(huán)境綜合整治提供重要的參考。

1 全景視頻流街景地圖的特點(diǎn)

全景視頻流地圖是街道實(shí)景表達(dá)的一種新形式，使地理空間信息從傳統(tǒng)靜態(tài)的基于圖形的抽象表達(dá)方式轉(zhuǎn)變?yōu)閯討B(tài)的基于圖像的真實(shí)表達(dá)模式[8]。全景視頻流技術(shù)與移動測量技術(shù)的結(jié)合，賦予了全景視頻以空間和時(shí)間屬性，與傳統(tǒng)的地圖產(chǎn)品相比，全景視頻流街景地圖具有以下特點(diǎn)：

1）真實(shí)直觀。視頻圖像相較于地圖符號其表達(dá)方式更加直觀，可還原最真實(shí)的街道場景，觀測視角也是從人的角度出發(fā)，三維立體感和用戶沉浸感較強(qiáng)，且具有一定的人機(jī)交互性。

2）信息量大。全景視頻對場景進(jìn)行多角度環(huán)視拍攝，通過視頻拼接可獲得連續(xù)的720°（水平方向360°+垂直方向360°）環(huán)視全景圖，相較于二維圖像其信息量更加豐富。

3）生產(chǎn)高效。全景視頻流采集方便，生產(chǎn)過程對測繪專業(yè)軟件的依賴程度較低，制作周期短、成本低，數(shù)據(jù)更新效率高，易于網(wǎng)絡(luò)發(fā)布及后續(xù)應(yīng)用。

2 街景數(shù)據(jù)采集和地圖制作

全景視頻流街景地圖制作主要包括街景視頻數(shù)據(jù)采集、數(shù)據(jù)處理以及視頻時(shí)空軌跡信息融合等內(nèi)容。其中，街景視頻數(shù)據(jù)采集利用車載全景視頻采集系統(tǒng)進(jìn)行，該系統(tǒng)搭載了一臺6鏡頭的高清全景相機(jī)、一臺GPS接收機(jī)以及相應(yīng)的時(shí)間同步控制開關(guān)和數(shù)據(jù)存儲器等設(shè)備。以獲取的街景視頻數(shù)據(jù)、GPS軌跡數(shù)據(jù)和現(xiàn)有路網(wǎng)數(shù)據(jù)為基礎(chǔ)，經(jīng)過全景視頻配準(zhǔn)、拼接、色調(diào)均衡等處理形成全景視頻流，再融合視頻時(shí)空軌跡等信息，最終生成全景視頻流街景地圖，并通過系統(tǒng)設(shè)計(jì)進(jìn)行地圖發(fā)布與展示。全景視頻流街景地圖的總體制作流程如圖1所示。

圖1 全景視頻流街景地圖制作流程圖

2.1 街景數(shù)據(jù)采集

車載全景視頻采集系統(tǒng)中，高清全景相機(jī)負(fù)責(zé)全景視頻數(shù)據(jù)的采集，項(xiàng)目應(yīng)用中采用Teche720暢拍 3系列VR相機(jī)，通過連接三腳架固定于采集平臺頂部，如圖2所示。全景相機(jī)通過固定夾角的6個(gè)超廣角鏡頭來實(shí)現(xiàn)球面成像，單鏡頭分辨率為4 608像素× 3 456像素，經(jīng)由后期拼接可得到最大分辨率為6 K的全景視頻。GPS接收機(jī)通過外接天線吸附于車外全景相機(jī)下方，用于記錄攝像時(shí)刻全景相機(jī)的空間位置?？刂崎_關(guān)則負(fù)責(zé)各設(shè)備的數(shù)據(jù)記錄開關(guān)和時(shí)間同步控制。

圖2 車載全景視頻采集平臺

開始數(shù)據(jù)采集前，需對全景相機(jī)進(jìn)行參數(shù)設(shè)置并做好GPS搜星準(zhǔn)備，以確保相機(jī)正常工作且能接收到GPS定位信息。到達(dá)采集起始點(diǎn)后，啟動數(shù)據(jù)記錄控制開關(guān)，使全景相機(jī)和GPS接收機(jī)同時(shí)開始接收數(shù)據(jù)。為確保視頻攝錄的質(zhì)量，數(shù)據(jù)采集時(shí)車速應(yīng)控制在40 km/h以內(nèi)，并盡量勻速行駛。由于6個(gè)鏡頭拍攝視角不同且相機(jī)處于運(yùn)動狀態(tài)，各鏡頭獲取的視頻圖像難免存在光照差異，為了盡可能削弱光照對拼接色差的影響，數(shù)據(jù)采集通常選擇日照均勻的正午前后進(jìn)行。

2.2 全景視頻流數(shù)據(jù)處理

全景圖像是構(gòu)成全景視頻流的基本單元。利用多鏡頭全景相機(jī)同時(shí)拍攝相同場景具有一定重疊區(qū)域的視頻幀圖像，經(jīng)過配準(zhǔn)、拼接、融合等一系列處理，可生成一幅包含各鏡頭圖像序列信息的高分辨率大視域全景圖像。以一幀幀靜止的全景圖像為基礎(chǔ)，再以一定的幀率播放就形成了全景視頻流。全景視頻的拼接是在圖像拼接的基礎(chǔ)上完成的，它比全景圖像多了一個(gè)時(shí)域維度特性來確保視頻幀的同步性和穩(wěn)定性，以及視頻幀間的色彩一致性[9]。

全景視頻拼接（又稱全景縫合）是全景視頻流處理的關(guān)鍵所在[10]，具體操作過程如下：首先對全景相機(jī)6個(gè)鏡頭的視頻幀圖像進(jìn)行預(yù)處理和投影變換，目的是消除圖像畸變以盡可能提高配準(zhǔn)精度。接著，在同步各鏡頭視頻幀圖像的基礎(chǔ)上，通過提取圖像特征進(jìn)行特征匹配，完成視頻幀圖像的配準(zhǔn)。隨后進(jìn)行視頻幀圖像的融合，目的是消除各視頻幀組圖像間的幾何錯(cuò)位和色彩差異，使拼接區(qū)域平滑過渡，實(shí)現(xiàn)全景無縫拼接和亮度色調(diào)均衡[11]。最后，對全景相機(jī)三腳架下方的拍攝盲區(qū)進(jìn)行補(bǔ)地設(shè)置，以填補(bǔ)拼合畫面下視位置的圖像空洞。項(xiàng)目應(yīng)用中，采用相機(jī)配套的泰科易全景視頻拼接軟件V5.4實(shí)現(xiàn)視頻幀圖像的批量縫合，并利用軍運(yùn)會會標(biāo)進(jìn)行補(bǔ)地。拼接完成后，再利用專業(yè)視頻編輯軟件AdobePremiere進(jìn)行色調(diào)均衡和渲染輸出。圖3展示了相機(jī)6鏡頭拼接后的全景視頻圖像。

圖3 全景視頻拼合圖像

2.3 視頻時(shí)空軌跡信息融合

全景視頻流街景地圖需要賦予全景視頻流以空間、時(shí)間等屬性，通過全景視頻時(shí)空軌跡信息融合，將以幀為單位的全景視頻流數(shù)據(jù)轉(zhuǎn)換為以道路段為單位的街道全景視頻時(shí)空信息，并建立全景視頻流時(shí)空軌跡數(shù)據(jù)庫。

在拍攝全景視頻流的同時(shí)，以采樣間隔1s同步記錄采集車的行進(jìn)軌跡，利用GPS實(shí)時(shí)獲取全景相機(jī)的曝光位置和時(shí)間記錄，作為制作視頻時(shí)空軌跡文件的基礎(chǔ)數(shù)據(jù)。首先將GPS采集獲得的原始軌跡點(diǎn)坐標(biāo)轉(zhuǎn)換到城市坐標(biāo)系下（本文采用WH2000坐標(biāo)系），以實(shí)現(xiàn)成果坐標(biāo)基準(zhǔn)的統(tǒng)一。接著利用城市路網(wǎng)數(shù)據(jù)中道路交叉口的空間位置將路網(wǎng)以段為單元進(jìn)行切分，并獲取每條道路段的空間及屬性信息，再利用ArcGIS軟件將軌跡點(diǎn)連接成軌跡線，對軌跡線和道路段數(shù)據(jù)進(jìn)行疊加，并將道路名稱、長度等屬性信息賦予相應(yīng)的軌跡線中。此外，為豐富視頻地圖展示效果，對于采集線路中的關(guān)鍵點(diǎn)位進(jìn)行標(biāo)注，制作道路關(guān)鍵節(jié)點(diǎn)位置信息文件。與此同時(shí)，還需將GPS記錄的時(shí)間轉(zhuǎn)換為視頻播放時(shí)間，使軌跡點(diǎn)位和視頻幀圖像同步對應(yīng)，以確保全景視頻流地圖定位的準(zhǔn)確性。最終通過全景視頻流時(shí)空軌跡數(shù)據(jù)建庫，實(shí)現(xiàn)按地理信息空間分布的視頻時(shí)空數(shù)據(jù)管理。

3 街景地圖展示系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

以全景視頻流成果和視頻時(shí)空軌跡數(shù)據(jù)為基礎(chǔ)，通過開發(fā)全景視頻流街景地圖展示系統(tǒng)進(jìn)行地圖發(fā)布與展示。該系統(tǒng)采用B/S架構(gòu)，由前端和后端兩部分組成。前端主要負(fù)責(zé)地圖展示，利用WebGL對全景視頻流數(shù)據(jù)服務(wù)進(jìn)行加載，使用者可以通過瀏覽器直接對全景視頻流街景地圖進(jìn)行瀏覽，并使用配套的地圖展示功能進(jìn)行“互聯(lián)網(wǎng)+720°全景視頻街景”的可視化及交互體驗(yàn)。后端主要用于地圖管理，由管理員進(jìn)行系統(tǒng)參數(shù)設(shè)置、網(wǎng)頁內(nèi)容編輯以及地圖發(fā)布管理等處理。

3.1 系統(tǒng)總體設(shè)計(jì)

全景視頻流街景地圖展示系統(tǒng)的總體架構(gòu)共分為 4個(gè)層次：基礎(chǔ)層、數(shù)據(jù)層、服務(wù)層和應(yīng)用層，如 圖4所示。其中基礎(chǔ)層主要保障系統(tǒng)運(yùn)行的各種軟硬件、存儲設(shè)備及網(wǎng)絡(luò)環(huán)境的支撐，負(fù)責(zé)全景視頻流等數(shù)據(jù)文件的存儲和傳輸。數(shù)據(jù)層提供視頻街景地圖服務(wù)的基礎(chǔ)，包括視頻成果數(shù)據(jù)和基礎(chǔ)地理信息數(shù)據(jù)。服務(wù)層是系統(tǒng)的核心內(nèi)容，為系統(tǒng)提供部署和運(yùn)行所需的服務(wù)接口，包括全景視頻流云服務(wù)、視頻時(shí)空軌跡服務(wù)、二維基礎(chǔ)地圖服務(wù)以及傾斜三維模型服務(wù)。其中，全景視頻流云服務(wù)利用了騰訊云的云點(diǎn)播服務(wù)器，該服務(wù)器提供了視頻存儲管理、轉(zhuǎn)碼處理、加速播放等組件，可進(jìn)行全景視頻流的上傳、存儲、轉(zhuǎn)碼、處理、播放、發(fā)布及管理等視頻服務(wù)；二維地圖切片數(shù)據(jù)和視頻時(shí)空軌跡數(shù)據(jù)服務(wù)則利用ArcGIS Server進(jìn)行發(fā)布；傾斜三維模型數(shù)據(jù)先通過Nginx服務(wù)器發(fā)布成三維服務(wù)，再利用三維GIS引擎Cesium.js進(jìn)行前端加載。Nginx是一個(gè)適用于網(wǎng)站發(fā)布的反向代理Web服務(wù)器[12]，全景視頻流街景地圖展示系統(tǒng)的應(yīng)用程序、道路關(guān)鍵節(jié)點(diǎn)位置信息以及傾斜三維模型數(shù)據(jù)均通過該服務(wù)器發(fā)布。應(yīng)用層則利用三維引擎Three.js在前端生成全景視頻播放器，基于視頻流等服務(wù)接口開發(fā)全景視頻流街景地圖展示系統(tǒng)，并通過ArcGIS JavaScript API調(diào)用發(fā)布的地圖服務(wù)與全景視頻流進(jìn)行聯(lián)動，實(shí)現(xiàn)720°沉浸式的全景視頻街景瀏覽以及按空間定位查詢、按時(shí)間比對分析等 功能。

圖4 全景視頻流街景地圖展示系統(tǒng)體系架構(gòu)圖

3.2 系統(tǒng)功能實(shí)現(xiàn)

結(jié)合軍運(yùn)會重點(diǎn)保障線路全景視頻流街景地圖的應(yīng)用需求，系統(tǒng)在實(shí)現(xiàn)對視頻街景數(shù)據(jù)進(jìn)行全景瀏覽的基礎(chǔ)上，開發(fā)了二維地圖聯(lián)動、道路分段展示、分時(shí)雙屏對比、三維模型集成等功能。圖5為包含25條軍運(yùn)會重點(diǎn)保障線路軌跡的系統(tǒng)界面。其中，二維地圖聯(lián)動功能通過空間位置信息實(shí)現(xiàn)了全景視頻流街景與二維地圖的聯(lián)動互操作，可通過二維地圖窗口瀏覽觀察點(diǎn)所在位置的720°環(huán)視街景（如圖6a所示）；道路分段展示功能在運(yùn)用視頻時(shí)空軌跡數(shù)據(jù)的基礎(chǔ)上，通過導(dǎo)入道路關(guān)鍵節(jié)點(diǎn)位置信息，以道路分段進(jìn)度條的形式模擬了視頻行進(jìn)的動態(tài)效果（如圖6b所示）；分時(shí)雙屏對比功能通過空間定位查詢，分屏展示同一空間位置和觀察視角下的不同時(shí)期的街景比對，實(shí)現(xiàn)了對城市環(huán)境整治變化的動態(tài)監(jiān)測（如圖6c所示）； 三維模型集成功能通過空間位置信息關(guān)聯(lián)，對全景視頻流街景和傾斜三維模型進(jìn)行位置融合表達(dá)[13-14]，實(shí)現(xiàn)了多源實(shí)景數(shù)據(jù)的聯(lián)動展示（如圖6d所示）。

圖5 含25條軍運(yùn)會重點(diǎn)保障線路的系統(tǒng)界面

圖6 系統(tǒng)主要功能效果圖

4 結(jié) 語

全景視頻流街景地圖作為一種全新的城市道路實(shí)景信息記錄手段，實(shí)現(xiàn)了720°全景視頻流和地圖的融合，具備了新一代互聯(lián)網(wǎng)視頻實(shí)景地圖的雛形。本文從全景視頻數(shù)據(jù)采集處理、視頻時(shí)空軌跡信息融合、地圖展示系統(tǒng)設(shè)計(jì)等方面對全景視頻流街景地圖的設(shè)計(jì)思路和制作流程進(jìn)行了探討，并以武漢市第七屆世界軍人運(yùn)動會為背景開展了應(yīng)用。隨著移動測量、虛擬現(xiàn)實(shí)以及人工智能等技術(shù)的發(fā)展，可以預(yù)見全景視頻流街景地圖的人機(jī)交互性及可視化效果將進(jìn)一步得到提升，并在城市管理、地圖導(dǎo)航和智慧城市建設(shè)等方面發(fā)揮更大的作用。