朱 軍 ，陳逸東 ，張昀昊 ，黃華平 ，吳思豪 ，趙 犁

（1.西南交通大學(xué)地球科學(xué)與環(huán)境工程學(xué)院，四川 成都 611756；2.中鐵二院工程集團(tuán)有限責(zé)任公司，四川 成都610031；3.四川豪格遠(yuǎn)景市政建設(shè)有限公司，四川 成都 610036）

伴隨空天地一體化觀測(cè)技術(shù)的發(fā)展，地理數(shù)據(jù)獲取能力不斷提高，獲取到的地理數(shù)據(jù)的屬性描述、特征分布和結(jié)構(gòu)關(guān)系也普遍呈現(xiàn)多元化的特點(diǎn)[1-2].對(duì)同一場(chǎng)景多源數(shù)據(jù)進(jìn)行融合可視化，能夠幫助用戶理解、詮釋和探究地理數(shù)據(jù)的隱藏價(jià)值，提升用戶分析與利用數(shù)據(jù)的能力[3-4].激光探測(cè)與測(cè)距LiDAR（light detection and ranging）技術(shù)屬于一種主動(dòng)遙感技術(shù)，具備數(shù)據(jù)采集效率高、目標(biāo)點(diǎn)定位精確等優(yōu)點(diǎn)，采集到的激光點(diǎn)云數(shù)據(jù)具有精確的空間坐標(biāo)信息，因此具備較好的可量測(cè)性[5-6].但是單獨(dú)對(duì)三維點(diǎn)云數(shù)據(jù)進(jìn)行可視化難以體現(xiàn)三維場(chǎng)景豐富的紋理細(xì)節(jié)，可視化效果不佳，而全景圖數(shù)據(jù)由一系列多視角圖像構(gòu)成，其完整的記錄了場(chǎng)景全視角下完整且真實(shí)的影像信息，全景圖的可視化能夠?yàn)橛脩籼峁┥砼R其境的視覺(jué)體驗(yàn)[7-9].因此，可將三維點(diǎn)云數(shù)據(jù)與全景圖數(shù)據(jù)融合可視化顯示[10]，在為用戶提供真實(shí)感強(qiáng)烈的可視化效果的同時(shí)，用戶也能利用點(diǎn)云數(shù)據(jù)精確的空間位置信息進(jìn)行場(chǎng)景交互分析.

目前的激光點(diǎn)云與光學(xué)影像匹配融合過(guò)程可拆分為以下3個(gè)步驟：觀測(cè)值提取及預(yù)處理、配準(zhǔn)模型建立、配準(zhǔn)參數(shù)優(yōu)化[5].觀測(cè)值提取可分為基于區(qū)域、基于特征與基于多視幾何等多種方法.在基于區(qū)域的方法中，基于灰度區(qū)域的配準(zhǔn)方法是一種直觀、簡(jiǎn)便的方法，此方法主要著重對(duì)比所選區(qū)域內(nèi)的影像信息像素點(diǎn)的關(guān)聯(lián)性，特點(diǎn)是不需要進(jìn)行特征提取與特征描述，但配準(zhǔn)速度較慢.基于特征的方法主要思路是提取光學(xué)影像與激光點(diǎn)云中具有區(qū)分性的特征點(diǎn)、線和面，再根據(jù)所提取到的特征對(duì)進(jìn)行配準(zhǔn)[11-13].Leberl等[14]提出基于多視幾何的方法，對(duì)數(shù)據(jù)源進(jìn)行轉(zhuǎn)換，把兩種特征的數(shù)據(jù)切換為同等維度的三維點(diǎn)集進(jìn)行配準(zhǔn)，但此方法通常需要較好的初值.光學(xué)影像與點(diǎn)云數(shù)據(jù)具有各自獨(dú)立的空間坐標(biāo)系，坐標(biāo)系的差異及坐標(biāo)統(tǒng)一帶來(lái)的誤差因素是導(dǎo)致二者融合困難的主要原因，故配準(zhǔn)模型的選擇非常重要.常見(jiàn)配準(zhǔn)模型可分為共線方程、直接線性變換、角錐體等多種模型[15].其中，共線方程模型屬于傳感器嚴(yán)格模型，需要原始傳感器參數(shù)等多種參數(shù)，模型較為復(fù)雜.直接線性變換簡(jiǎn)化了共線方程模型，建立像點(diǎn)與物點(diǎn)坐標(biāo)之間的線性方程，但對(duì)于控制點(diǎn)近似分布于同一平面的情況并不適用[16-17].角錐體法對(duì)初值的要求較高，有良好的初值才能完成迭代運(yùn)算[18].參數(shù)優(yōu)化可獲得模型參數(shù)的最佳估計(jì)，方法分為局部?jī)?yōu)化與全局優(yōu)化，局部?jī)?yōu)化容易受到初值的影響，全局優(yōu)化計(jì)算效率較低[5].綜上所述，目前方法分別存在步驟復(fù)雜、計(jì)算效率低、約束條件多等問(wèn)題，并且對(duì)全景數(shù)據(jù)質(zhì)量具有較高的要求.但實(shí)際應(yīng)用中，用戶通常不希望受限于冗余、復(fù)雜的步驟與要求，需求的是低成本、高效率、快速便捷的輕量化匹配融合過(guò)程與方法.

在網(wǎng)絡(luò)環(huán)境下的數(shù)據(jù)組織與調(diào)度方式影響著數(shù)據(jù)的可視化效率，目前，對(duì)于大規(guī)模點(diǎn)云數(shù)據(jù)的組織方式主要有四叉樹(shù)、八叉樹(shù)、R樹(shù)等.其中，四叉樹(shù)的組織方式簡(jiǎn)單，但組織整體速度緩慢，且數(shù)據(jù)較為冗余，在數(shù)據(jù)量增加時(shí)，會(huì)使四叉樹(shù)構(gòu)樹(shù)深度增加；八叉樹(shù)索引的組織方式查詢精度高，但平衡性與動(dòng)態(tài)性較差，并且在顯示的交互性上用戶體驗(yàn)較差；R樹(shù)的組織方式雖然較為多變靈活，但在用戶交互性與數(shù)據(jù)索引速度上有待提升[19]，而大規(guī)模點(diǎn)云具有數(shù)據(jù)量龐大、數(shù)據(jù)結(jié)構(gòu)復(fù)雜、點(diǎn)云空間分布不規(guī)律等特點(diǎn)，故目前的數(shù)據(jù)匹配方法與數(shù)據(jù)組織方式在面對(duì)網(wǎng)絡(luò)環(huán)境下的快速融合可視化應(yīng)用并不適用.

本文提出了一種面向網(wǎng)絡(luò)環(huán)境的全景圖與點(diǎn)云數(shù)據(jù)快速融合可視化方法.降低對(duì)全景數(shù)據(jù)源的要求，簡(jiǎn)化數(shù)據(jù)匹配步驟，通過(guò)研究建立二維圖像與三維點(diǎn)云數(shù)據(jù)坐標(biāo)系的映射關(guān)系，探究點(diǎn)云數(shù)據(jù)優(yōu)化組織與索引方法、動(dòng)態(tài)調(diào)度等關(guān)鍵技術(shù)，并研究設(shè)計(jì)融合場(chǎng)景交互分析機(jī)制.旨在結(jié)合全景圖與三維點(diǎn)云數(shù)據(jù)優(yōu)勢(shì)，提高全景圖與點(diǎn)云數(shù)據(jù)的融合可視化效率，為用戶提高網(wǎng)絡(luò)環(huán)境下真實(shí)感強(qiáng)烈、交互性好的融合可視化場(chǎng)景.

1 快速融合可視化方法

1.1 方法總體設(shè)計(jì)思路

本文的數(shù)據(jù)層主要包括大規(guī)模三維點(diǎn)云數(shù)據(jù)與二維影像數(shù)據(jù).首先進(jìn)行數(shù)據(jù)的處理，將二維影像數(shù)據(jù)進(jìn)行拼接，創(chuàng)建三維球體，通過(guò)添加球體表面紋理的方式，將二維全景圖作為紋理進(jìn)行渲染可視化，使二維影像像素點(diǎn)映射于具有三維坐標(biāo)系統(tǒng)的球體表面的獨(dú)特坐標(biāo)點(diǎn)，將空間視點(diǎn)置于球體中心，以達(dá)到全景圖的可視化展示效果，并將三維點(diǎn)云數(shù)據(jù)進(jìn)行空間可視化，此時(shí)即將不同維度的數(shù)據(jù)匹配問(wèn)題轉(zhuǎn)換至同等維度的三維數(shù)據(jù)匹配問(wèn)題；接下來(lái)對(duì)兩種三維空間可視化數(shù)據(jù)進(jìn)行視點(diǎn)的匹配，尋找、匹配數(shù)據(jù)特征點(diǎn)，并建立空間語(yǔ)義約束，統(tǒng)一相機(jī)參數(shù)，建立映射關(guān)系，實(shí)現(xiàn)多源數(shù)據(jù)的快速映射匹配；再對(duì)點(diǎn)云數(shù)據(jù)的組織與調(diào)度方式進(jìn)行優(yōu)化，進(jìn)行多源數(shù)據(jù)網(wǎng)絡(luò)可視化，并研究建立跨模態(tài)的數(shù)據(jù)交互機(jī)制，完成網(wǎng)絡(luò)環(huán)境下的全景圖與點(diǎn)云數(shù)據(jù)快速融合可視化.

1.2 空間語(yǔ)義約束的多源數(shù)據(jù)映射匹配

目前，用作于三維數(shù)據(jù)融合可視化的全景數(shù)據(jù)的數(shù)據(jù)采集設(shè)備如Ladybug全景攝像機(jī)具有高分辨率、多功能拍攝等優(yōu)點(diǎn)[20]，但用戶在應(yīng)對(duì)輕量級(jí)融合可視化應(yīng)用時(shí)，專業(yè)數(shù)據(jù)采集設(shè)備操作較為復(fù)雜，無(wú)法滿足用戶對(duì)便捷高效的需求，本文所采用的快速匹配融合方法可使用戶不需要使用具有坐標(biāo)系的全景采集設(shè)備，例如可將普通智能手機(jī)作為全景數(shù)據(jù)采集設(shè)備，降低數(shù)據(jù)采集設(shè)備要求、提高數(shù)據(jù)采集效率.對(duì)采集到的二維影像進(jìn)行拼接處理，將二維影像映射具有坐標(biāo)系統(tǒng)的三維全景球，即可完成全景數(shù)據(jù)的三維球面映射，如圖1所示.圖中：(X1,Y1,Z1)和(X2,Y2,Z2)為三維全景球上任意兩點(diǎn).

圖1 全景圖構(gòu)建三維映射Fig.1 Construction of 3D mapping from panorama

具體步驟如下：

1）將手機(jī)采集到的同一視點(diǎn)下的一組多角度圖像通過(guò)匹配影像邊緣信息，多角度拼接，形成無(wú)坐標(biāo)系的二維全景影像數(shù)據(jù).

2）創(chuàng)建含有坐標(biāo)系統(tǒng)的三維球體，使球體上每個(gè)位置可用X、Y和Z坐標(biāo)值進(jìn)行表示.

3）通過(guò)添加三維球體表面紋理的方式，將長(zhǎng)寬比為2∶1的二維影像數(shù)據(jù)作為紋理進(jìn)行球體表面渲染可視化，其原理如圖2所示，使二維影像數(shù)據(jù)中的像素點(diǎn)都對(duì)應(yīng)于三維球體表面某一獨(dú)特位置，并且獲取到該位置的X、Y和Z值的坐標(biāo)信息.圖2中：數(shù)字1～11表示三維球體到二維平面的對(duì)應(yīng)點(diǎn).

圖2 二維影像映射原理Fig.2 Two-dimensional image mapping principle

4）重新設(shè)置視點(diǎn)位置，將視點(diǎn)移動(dòng)到三維球體的球心，通過(guò)球心位置觀察球體表面覆蓋上的二維全景影像，從而產(chǎn)生空間中360°全方位的全景圖視覺(jué)體驗(yàn)效果，即完成二維影像數(shù)據(jù)到三維全景球的快速映射.

完成全景圖的三維映射后即可進(jìn)行三維全景球與點(diǎn)云數(shù)據(jù)快速匹配融合.目前，主流的匹配融合方法是通過(guò)構(gòu)建數(shù)學(xué)模型進(jìn)行參數(shù)配準(zhǔn)，但在面對(duì)輕量化需求時(shí)，數(shù)據(jù)的局限性、步驟的冗余都會(huì)降低匹配融合效率.本文的快速匹配融合方法，需要配準(zhǔn)基礎(chǔ)視點(diǎn)與特征點(diǎn)，并建立空間語(yǔ)義約束，由于相機(jī)拍攝的二維全景圖在進(jìn)行三維可視化匹配展示時(shí)會(huì)導(dǎo)致圖像變形，需要通過(guò)調(diào)整相機(jī)參數(shù)進(jìn)行校正，即可完成全景與點(diǎn)云數(shù)據(jù)的快速匹配融合，步驟如下：

1）在三維點(diǎn)云數(shù)據(jù)中，定位到全景圖拍攝地點(diǎn)A0作為點(diǎn)云數(shù)據(jù)視點(diǎn)B0，將全景球心移動(dòng)至該視點(diǎn)，完成基礎(chǔ)視點(diǎn)的匹配，但視覺(jué)內(nèi)容信息位置不匹配，此時(shí)全景球與點(diǎn)云數(shù)據(jù)三維坐標(biāo)系開(kāi)始重疊，并未建立點(diǎn)集與點(diǎn)集之間的坐標(biāo)映射關(guān)系，只有全景球球心坐標(biāo)（XA0，YA0，ZA0）與三維點(diǎn)云視點(diǎn)處坐標(biāo)（XB0，YB0，ZB0）位置匹配，可以作為單個(gè)點(diǎn)在不同坐標(biāo)系下的映射.

2）尋找兩種數(shù)據(jù)視覺(jué)內(nèi)容中的特征點(diǎn)位組，如圖3所示.通常特征點(diǎn)位一般選取視覺(jué)特征明顯、與周?chē)c(diǎn)位有較強(qiáng)辨識(shí)度的點(diǎn)位，如建筑物框架角點(diǎn)、道路拐點(diǎn)、特定物品頂點(diǎn)等點(diǎn)位.在三維空間內(nèi)兩種不同數(shù)據(jù)源中尋得對(duì)應(yīng)視覺(jué)特征點(diǎn)位組（如A1與B1）后，在全景三維球體可視化空間中，以全景球球心A0為旋轉(zhuǎn)中心，通過(guò)旋轉(zhuǎn)球體坐標(biāo)系與全景球球面影像信息，將全景球球面上的特征點(diǎn)A1移動(dòng)至已可視化的三維點(diǎn)云數(shù)據(jù)對(duì)應(yīng)空間視覺(jué)特征點(diǎn)B1位置即可完成視覺(jué)特征點(diǎn)的視覺(jué)融合匹配，并記錄旋轉(zhuǎn)角θ的值，此時(shí)全景球影像各個(gè)像素點(diǎn)位具有新的坐標(biāo)值，并且特征點(diǎn)組A1與B1的坐標(biāo)值（XA1，YA1，ZA1）與（XB1，YB1，ZB1）也可以作為單個(gè)點(diǎn)在不同坐標(biāo)系下的映射.

圖3 尋找特征點(diǎn)Fig.3 Finding of feature points

3）設(shè)置空間語(yǔ)義約束，調(diào)整視點(diǎn)位置相機(jī)參數(shù)，以提高全景圖與三維點(diǎn)云的視覺(jué)匹配度.因全景圖數(shù)據(jù)與三維點(diǎn)云數(shù)據(jù)采集設(shè)備不同，并且新建的全景球與點(diǎn)云自身視點(diǎn)可視化參數(shù)、視錐幾何體參數(shù)不同，從而導(dǎo)致二維全景圖像在進(jìn)行三維可視化匹配展示時(shí)會(huì)發(fā)生圖像的視覺(jué)變形，即便全景與點(diǎn)云的三維視點(diǎn)（A0與B0）、1 組特征點(diǎn)（A1與B1）完全匹配過(guò)后，依舊會(huì)使兩種數(shù)據(jù)融合展示后無(wú)法完全重合，如圖4所示.

圖4 匹配后融合不精確Fig.4 Fusion inaccuracy after matching

此時(shí)需通過(guò)修正相機(jī)的視場(chǎng)角（fov）、垂直與水平比值（aspect）、視場(chǎng)體最近距離（near）、視場(chǎng)體最遠(yuǎn)距離（far）等參數(shù)，具體方法為：固定全景球球心A0與三維點(diǎn)云視點(diǎn)B0，以特征點(diǎn)組A1與B1為基準(zhǔn)，尋找第2組特征點(diǎn)組A2與B2，更改視點(diǎn)相機(jī)的參數(shù)，使第2組特征點(diǎn)組完成匹配，要使圖4中建筑物進(jìn)行配準(zhǔn)，需將三維點(diǎn)云視點(diǎn)的建筑物縮小，視場(chǎng)角如式（1）.

式中：αd為視場(chǎng)角；d為傳感器對(duì)角線長(zhǎng)；f為焦距.

由式（1）可知：為使第2組特征點(diǎn)組A2與B2配準(zhǔn)，可增大相機(jī)視場(chǎng)角以達(dá)到建筑物上兩組特征點(diǎn)組都完全配準(zhǔn)，兩組特征點(diǎn)完全匹配過(guò)后，可將同一視點(diǎn)下特征點(diǎn)匹配后的單個(gè)影像畫(huà)面完全匹配融合.

綁定相機(jī)、建立映射.根據(jù)記錄的全景球旋轉(zhuǎn)角θ值，使三維點(diǎn)云視點(diǎn)相機(jī)與全景球視點(diǎn)相機(jī)的視線方向一致，以達(dá)到任意視線方向下，全景信息與點(diǎn)云信息完全匹配，此時(shí)快速匹配融合已完成.若用戶需要獲取、轉(zhuǎn)換任意點(diǎn)位在兩組坐標(biāo)系下的具體位置信息，可通過(guò)建立全景球坐標(biāo)系與三維點(diǎn)云坐標(biāo)系之間的映射關(guān)系實(shí)現(xiàn)，具體步驟如下：

1）通過(guò)之前獲取到的單個(gè)點(diǎn)組（視點(diǎn)A0與B0，特征點(diǎn)Ai與Bi，i=1，2，···，N）在不同坐標(biāo)系下的坐標(biāo)構(gòu)建兩個(gè)點(diǎn)向量A與B（點(diǎn)數(shù)越多，精確度越高），N個(gè)特征點(diǎn)構(gòu)建的點(diǎn)向量坐標(biāo)為(PA,PB)，其中PA= (PA0,PA1,···,PAN)，PB= (PB0,PB1,···,PBN).

2）計(jì)算點(diǎn)向量中心點(diǎn)坐標(biāo).設(shè)P為點(diǎn)向量中的坐標(biāo)點(diǎn)，

式中：μA、μB為計(jì)算后的中心點(diǎn).

3）點(diǎn)向量坐標(biāo)重新中心化.重新中心化后得到新的點(diǎn)向量A′ 和B′，如式（4）.

式中：A′i=PAi-μA，B′i=PBi-μB.

4）計(jì)算兩個(gè)點(diǎn)集的協(xié)方差矩陣H，如式（5）.

5）利用 SVD （singular value decomposition）分解計(jì)算獲得矩陣U、S和V，并計(jì)算兩個(gè)點(diǎn)集的旋轉(zhuǎn)矩陣R，如式（6）.

6）最后計(jì)算轉(zhuǎn)移矩陣t，如式（7）.

7）兩個(gè)點(diǎn)集的映射關(guān)系構(gòu)建完成，如式（8）.

1.3 網(wǎng)絡(luò)環(huán)境下數(shù)據(jù)組織調(diào)度方式

在全景與點(diǎn)云數(shù)據(jù)匹配融合過(guò)后，需要在網(wǎng)絡(luò)環(huán)境下進(jìn)行兩種數(shù)據(jù)的可視化，全景數(shù)據(jù)的可視化較為方便，借助 WebGL （Web graphics library）技術(shù)對(duì)由二維圖像映射而成的三維全景球進(jìn)行渲染，WebGL是一種面向?yàn)g覽器端三維可視化的三維繪圖標(biāo)準(zhǔn)，提供了直接基于GPU硬件加速的三維渲染和瀏覽器端免插件式的三維圖形可視化[21].

而三維點(diǎn)云數(shù)據(jù)由于其數(shù)據(jù)量龐大且結(jié)構(gòu)復(fù)雜，需要對(duì)數(shù)據(jù)進(jìn)行優(yōu)化組織和動(dòng)態(tài)調(diào)度.本文充分考慮網(wǎng)絡(luò)環(huán)境下數(shù)據(jù)傳輸效率不夠且瀏覽器渲染能力有限等問(wèn)題，結(jié)合三維激光點(diǎn)云數(shù)據(jù)的分布特點(diǎn)，采用非規(guī)則性八叉樹(shù)對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行分塊組織.傳統(tǒng)的八叉樹(shù)索引使用3個(gè)正交平面將三維空間劃分為相同大小的8個(gè)小立方體，每個(gè)立方體具有相同的時(shí)間和空間的復(fù)雜度，但在復(fù)雜的大規(guī)模三維點(diǎn)云場(chǎng)景中，點(diǎn)的分布通常不均勻，在物體內(nèi)與物體框架上分布較為密集，在物體外分布較為稀疏，傳統(tǒng)八叉樹(shù)無(wú)法估計(jì)空間分布的不規(guī)則性，空間利用率較低，導(dǎo)致索引效率不高.不同于傳統(tǒng)的八叉樹(shù)索引，非規(guī)則性八叉樹(shù)不將三維空間等比分為八個(gè)區(qū)域，而是按照三維場(chǎng)景中點(diǎn)云分布特征將場(chǎng)景進(jìn)行區(qū)域劃分，區(qū)域邊界由點(diǎn)云分布決定，如圖5所示.在每一次分割時(shí)，需要判斷并選擇一個(gè)合適的分割維度，而不是每次都按照X、Y與Z三維度做3次等比分割.這樣將盡量避免葉子節(jié)點(diǎn)為空，盡可能地縮小分塊區(qū)域的體積，有效地避免場(chǎng)景中空白區(qū)域數(shù)據(jù)組織檢索時(shí)消耗資源，從而提升數(shù)據(jù)檢索效率，能夠很好地適應(yīng)在大規(guī)模復(fù)雜場(chǎng)景下，點(diǎn)云數(shù)據(jù)分布不均勻的特點(diǎn)，對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行高效索引.

圖5 基于非規(guī)則性八叉樹(shù)點(diǎn)云數(shù)據(jù)組織Fig.5 Point cloud data organization based on irregular octree

在對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行分塊組織索引之后，對(duì)三維點(diǎn)云數(shù)據(jù)的可視化時(shí)就可以根據(jù)點(diǎn)云數(shù)據(jù)的組織索引進(jìn)行不同相機(jī)視角下的多細(xì)節(jié)層次的動(dòng)態(tài)調(diào)度和渲染，在相機(jī)視野范圍較大、距離較遠(yuǎn)時(shí)，只調(diào)度并渲染低細(xì)節(jié)層次的點(diǎn)云數(shù)據(jù)，忽略非重要點(diǎn)位與細(xì)節(jié)點(diǎn)位的數(shù)據(jù)，提升可視化效率；在相機(jī)視野范圍較小、距離較近時(shí)，調(diào)度渲染高細(xì)節(jié)層次的點(diǎn)云數(shù)據(jù)，提升數(shù)據(jù)顯示精度，提供更精細(xì)的可視化場(chǎng)景，并在渲染場(chǎng)景時(shí)采用視域剔除的方法，高效地進(jìn)行不同細(xì)節(jié)層次（level of detail，LOD）下的過(guò)渡與銜接，提升調(diào)度、渲染與可視化場(chǎng)景的效率，具體視域剔除步驟如下：

1）加載三維點(diǎn)云數(shù)據(jù)，判斷當(dāng)前相機(jī)視錐體內(nèi)是否包含有第1層點(diǎn)云數(shù)據(jù)，若有數(shù)據(jù)被包含，則進(jìn)行第1層點(diǎn)云數(shù)據(jù)的渲染.

2）加載第2層點(diǎn)云數(shù)據(jù)，判斷當(dāng)前相機(jī)視錐體內(nèi)是否包含第2層點(diǎn)云數(shù)據(jù)，若包含，則進(jìn)行第2層點(diǎn)云數(shù)據(jù)的渲染，視域外未被包含的點(diǎn)云數(shù)據(jù)被剔除，不進(jìn)行渲染.

3）加載下一層點(diǎn)云數(shù)據(jù)，相機(jī)視錐體發(fā)生改變，判斷視錐體內(nèi)是否包含下一層點(diǎn)云數(shù)據(jù)，若有數(shù)據(jù)被包含，則進(jìn)行下一層點(diǎn)云數(shù)據(jù)的渲染，視域外未被包含的數(shù)據(jù)不進(jìn)行渲染，并繼續(xù)渲染過(guò)程，直至視錐體內(nèi)所有層級(jí)的數(shù)據(jù)加載渲染完成.

1.4 跨模態(tài)數(shù)據(jù)交互機(jī)制

在點(diǎn)云與全景數(shù)據(jù)可視化過(guò)程完成的基礎(chǔ)上，需要實(shí)現(xiàn)在融合三維場(chǎng)景下的交互分析.三維點(diǎn)云數(shù)據(jù)具有較好的可測(cè)量性，每個(gè)點(diǎn)都有具體的地理坐標(biāo)，可準(zhǔn)確表達(dá)空間位置信息；全景圖數(shù)據(jù)紋理豐富，細(xì)節(jié)表達(dá)真實(shí)，可視化真實(shí)感強(qiáng)烈，故可將點(diǎn)云作為基礎(chǔ)，提供點(diǎn)位坐標(biāo)值的計(jì)算功能，再將結(jié)果繪制顯示于全景圖上，如此將點(diǎn)云數(shù)據(jù)的可量測(cè)性與全景圖的真實(shí)性進(jìn)行結(jié)合，不僅為用戶提供真實(shí)感強(qiáng)烈的三維融合場(chǎng)景，并可提供如選擇查詢、空間量測(cè)、區(qū)域分析等交互分析功能.本文建立了一套跨模態(tài)數(shù)據(jù)交互機(jī)制，具體過(guò)程步驟如下：

1）開(kāi)始交互分析.用戶以真實(shí)感強(qiáng)烈、可視化效果更好的全景圖數(shù)據(jù)為直接交互數(shù)據(jù)源，選擇交互對(duì)象.

2）根據(jù)用戶選擇的交互對(duì)象，以屏幕坐標(biāo)為中間介質(zhì)，計(jì)算并存儲(chǔ)屏幕坐標(biāo)系下交互對(duì)象的位置坐標(biāo)信息.

3）根據(jù)屏幕坐標(biāo)值計(jì)算出點(diǎn)云數(shù)據(jù)地理坐標(biāo)系下交互對(duì)象的坐標(biāo)值，獲取坐標(biāo)值后可進(jìn)行數(shù)據(jù)交互分析所需要的計(jì)算，如屬性查詢、距離量測(cè)等.

4）再以屏幕坐標(biāo)為中間介質(zhì)，重新計(jì)算并存儲(chǔ)屏幕坐標(biāo)系下交互對(duì)象的位置坐標(biāo)信息.

5）根據(jù)屏幕坐標(biāo)值計(jì)算出交互對(duì)象在全景球坐標(biāo)系下的坐標(biāo)值，并將交互分析結(jié)果進(jìn)行繪制展示，完成跨模態(tài)的數(shù)據(jù)交互分析過(guò)程.

2 實(shí)驗(yàn)分析

為驗(yàn)證本文方法的可行性與有效性，在網(wǎng)絡(luò)環(huán)境下利用WebGL技術(shù)進(jìn)行原型系統(tǒng)的研發(fā)，并進(jìn)行多源數(shù)據(jù)的匹配展示與可視化交互，選擇西南交通大學(xué)犀浦校區(qū)綜合樓與圖書(shū)館作為實(shí)驗(yàn)案例區(qū)域，包括三維激光點(diǎn)云數(shù)據(jù)與Iphone XR等效35 mm相機(jī)拍攝并進(jìn)行拼接的二維全景圖數(shù)據(jù)，其中點(diǎn)云數(shù)據(jù)的數(shù)據(jù)量大小為 221 MB，包含 49484157 個(gè)點(diǎn)；二維全景圖的數(shù)據(jù)量大小為1.35 MB，分辨率為3 200 × 1 600.

實(shí)驗(yàn)系統(tǒng)構(gòu)建與展示設(shè)備為筆記本電腦，其硬件設(shè)備為 Intel Core i79750HQ 4.5 GHz 12 線程CPU、32 GB 內(nèi)存、8 GB 顯存的 NVIDA GeForce RTX 2080MAX-Q 顯卡，軟件環(huán)境為 Windows 10 操作系統(tǒng)、Google Chrome 瀏覽器.

首先只進(jìn)行全景數(shù)據(jù)的加載與可視化，性能高效，畫(huà)面幀率穩(wěn)定，在需要進(jìn)行交互時(shí)，再對(duì)多源數(shù)據(jù)進(jìn)行加載與融合，多源數(shù)據(jù)加載與融合效率通過(guò)Chrome瀏覽器數(shù)據(jù)加載與相應(yīng)時(shí)間來(lái)進(jìn)行檢測(cè)，數(shù)據(jù)加載與融合匹配可視化的過(guò)程耗時(shí)如表1所示.

表1 不同過(guò)程執(zhí)行消耗時(shí)間Tab.1 Time consumed by different processes

表2是對(duì)相同數(shù)據(jù)源采用常規(guī)方法與本文輕量化方法下點(diǎn)云組織、數(shù)據(jù)匹配融合和數(shù)據(jù)可視化3個(gè)過(guò)程的耗時(shí)對(duì)比.

表2 傳統(tǒng)方法與輕量化方法結(jié)果對(duì)比Tab.2 Comparison of results between traditional method and lightweight method s

如表2所示，采用未經(jīng)輕量化處理的方式進(jìn)行數(shù)據(jù)組織、匹配、融合可視化總體耗時(shí)17.2 s，而采用輕量化處理后，總體耗時(shí)為9.9 s，由此可證明經(jīng)過(guò)輕量化處理后，整體效率得到大幅度提升.其中采用傳統(tǒng)規(guī)則八叉樹(shù)點(diǎn)云索引方式耗時(shí)4.3 s，采用非規(guī)則性八叉樹(shù)方式耗時(shí)2.7 s；數(shù)據(jù)可視化過(guò)程中，在LOD 1視角（低層級(jí)視角）下，可視化數(shù)據(jù)量為16 MB，耗時(shí) 1.3 s，LOD 2 視角（中層級(jí)視角）下，可視化數(shù)據(jù)量為 42 MB，耗時(shí) 2.2 s，LOD 3 視角（高層級(jí)視角）下，數(shù)據(jù)量為 72 MB，耗時(shí) 3.1 s，輕量化方法總共耗時(shí)6.6 s.

4個(gè)不同位置數(shù)據(jù)融合匹配可視化結(jié)果如圖6所示.

圖6 不同位置融合可視化結(jié)果Fig.6 Fusion visualization results at different positions

圖7展示了融合匹配精度.融合精度的判定，采用融合后點(diǎn)云與對(duì)應(yīng)全景匹配特征點(diǎn)的誤差判定，若使用常規(guī)匹配算法進(jìn)行數(shù)據(jù)匹配，全景與點(diǎn)云數(shù)據(jù)的匹配精度誤差控制可以控制到3個(gè)像素以內(nèi)[22].圖7中紅框中為選取的圖書(shū)館建筑物特征角點(diǎn)，其融合匹配誤差控制在4個(gè)像素以內(nèi)，從視覺(jué)上可看出：點(diǎn)云數(shù)據(jù)與全景圖融合匹配效果良好，建筑物細(xì)節(jié)達(dá)到了高度重合，匹配效率高，滿足網(wǎng)絡(luò)環(huán)境下的輕量化融合數(shù)據(jù)可視化與交互.

圖7 融合匹配精度Fig.7 Fusion accuracy

融合可視化后，本次實(shí)驗(yàn)選擇點(diǎn)云查詢與標(biāo)繪量測(cè)為例展示場(chǎng)景交互過(guò)程：在鼠標(biāo)滑過(guò)全景圖層時(shí)，自動(dòng)選擇點(diǎn)云圖層作為查詢數(shù)據(jù)源進(jìn)行點(diǎn)云屬性查詢，在屬性查詢完成后，將查詢結(jié)果自動(dòng)顯示于全景數(shù)據(jù)圖層，如圖8所示.

圖8 融合場(chǎng)景屬性信息查詢Fig.8 Attribute information query for fusion scene

鼠標(biāo)在全景數(shù)據(jù)圖層選取待測(cè)量線段，選擇完成后自動(dòng)根據(jù)點(diǎn)云位置信息進(jìn)行距離量測(cè)計(jì)算，計(jì)算完成后，將結(jié)果顯示于全景數(shù)據(jù)圖層，如圖9所示.不同過(guò)程中場(chǎng)景渲染效率如圖10所示.

圖9 量測(cè)標(biāo)繪交互過(guò)程Fig.9 Measurement plotting interactive process

圖10 場(chǎng)景渲染幀率、內(nèi)存使用變化趨勢(shì)Fig.10 Variation of scene rendering frame rate and memory usage

從實(shí)驗(yàn)結(jié)果可以看出：采用該方法進(jìn)行點(diǎn)云數(shù)據(jù)與全景數(shù)據(jù)的匹配融合可視化，場(chǎng)景渲染過(guò)程中主要耗時(shí)較長(zhǎng)的過(guò)程是數(shù)據(jù)的加載工作，場(chǎng)景中數(shù)據(jù)的匹配以及數(shù)據(jù)的融合可視化過(guò)程耗時(shí)很少，瀏覽器響應(yīng)速度較快，說(shuō)明該方法數(shù)據(jù)匹配與融合可視化效率較高；從圖10可知：若只進(jìn)行全景數(shù)據(jù)的可視化與交互，系統(tǒng)性能穩(wěn)定，畫(huà)面渲染幀率能穩(wěn)定在55幀/s以上，在進(jìn)行融合數(shù)據(jù)加載與交互過(guò)程之間，場(chǎng)景的渲染幀率能穩(wěn)定在40幀/s以上，在進(jìn)行交互過(guò)程中，由于點(diǎn)云數(shù)據(jù)的測(cè)量計(jì)算過(guò)程占據(jù)了設(shè)備性能資源，導(dǎo)致幀率有所下降，但仍然能穩(wěn)定在35幀/s以上；采用輕量化處理后，系統(tǒng)內(nèi)存占用率降低20%左右，效果顯著，性能表現(xiàn)良好，具有較好的用戶體驗(yàn).證明該方法有效地結(jié)合了全景與點(diǎn)云數(shù)據(jù)的可視化優(yōu)勢(shì)，進(jìn)行快速高效的數(shù)據(jù)融合可視化，并支持用戶進(jìn)行穩(wěn)定的交互操作.

3 結(jié) 論

面向當(dāng)今人們?cè)趹?yīng)對(duì)網(wǎng)絡(luò)環(huán)境下數(shù)據(jù)融合可視化的實(shí)際需求，針對(duì)當(dāng)前全景圖與三維點(diǎn)云數(shù)據(jù)匹配、數(shù)據(jù)可視化與交互方法存在高成本、步驟復(fù)雜、效率較低等問(wèn)題，本文進(jìn)行了網(wǎng)絡(luò)環(huán)境下的全景圖與點(diǎn)云數(shù)據(jù)快速融合可視化方法的研究.詳細(xì)闡述了全景圖與點(diǎn)云數(shù)據(jù)的快速映射匹配過(guò)程，探究數(shù)據(jù)網(wǎng)絡(luò)可視化組織調(diào)度方式與跨模態(tài)數(shù)據(jù)交互機(jī)制.最后構(gòu)建原型系統(tǒng)，并以西南交通大學(xué)為實(shí)驗(yàn)場(chǎng)景，按照前文的理論與方法進(jìn)行了數(shù)據(jù)融合可視化案例實(shí)驗(yàn).實(shí)驗(yàn)結(jié)果表明，在短時(shí)間內(nèi)完成全景圖與點(diǎn)云數(shù)據(jù)映射匹配，匹配精度良好，支持網(wǎng)絡(luò)環(huán)境下融合場(chǎng)景的高效可視化及數(shù)據(jù)的查詢、量測(cè)標(biāo)繪等交互分析，并且整個(gè)過(guò)程渲染幀數(shù)能夠穩(wěn)定在40幀/s以上，能夠提供效果較好的用戶體驗(yàn)，滿足網(wǎng)絡(luò)環(huán)境下的全景與點(diǎn)云數(shù)據(jù)快速融合可視化的需求.