宋 楊，曾凡洋，李長(zhǎng)輝，鐘若飛

（1.廣州市城市規(guī)劃勘測(cè)設(shè)計(jì)研究院，廣東 廣州510060；2.首都師范大學(xué)，北京 100048）

在移動(dòng)測(cè)量系統(tǒng)外業(yè)數(shù)據(jù)采集過(guò)程中，激光掃描儀按設(shè)定的掃描角、掃描采樣率等指標(biāo)實(shí)時(shí)獲取目標(biāo)對(duì)象精確、海量的三維點(diǎn)云數(shù)據(jù)；數(shù)碼相機(jī)按曝光規(guī)則獲取目標(biāo)對(duì)象的顏色紋理信息。綜合來(lái)看，三維激光點(diǎn)云數(shù)據(jù)單獨(dú)僅具備強(qiáng)度信息，不具有顏色信息又不符合常規(guī)目視解譯習(xí)慣；CCD數(shù)碼相機(jī)拍攝的照片影像空間顏色紋理信息豐富，但影像本身無(wú)三維坐標(biāo)信息，“只能看、無(wú)法量”；二者若能融合即可實(shí)現(xiàn)對(duì)目標(biāo)精確而直觀的描述-“真彩色點(diǎn)云”是海量激光點(diǎn)云數(shù)據(jù)與彩色影像數(shù)據(jù)融合的新型數(shù)據(jù)成果，其在場(chǎng)景可視化顯示、目標(biāo)物體分類(lèi)、三維建筑建模等方面均具有很大的實(shí)用價(jià)值［1-2］。

目前，國(guó)內(nèi)外已有一些學(xué)者對(duì)激光點(diǎn)云與數(shù)碼影像融合開(kāi)展了一些研究［3-10］，根據(jù)所采用的數(shù)碼影像類(lèi)型的不同，主要分為面陣CCD影像、線陣CCD影像及全景相機(jī)影像與激光掃描儀的三類(lèi)融合。研究最多的是面陣CCD影像與激光點(diǎn)云的融合，針對(duì)不同的數(shù)據(jù)特點(diǎn)，基于POS數(shù)據(jù)或者采用點(diǎn)云與影像特征匹配等方法實(shí)現(xiàn)激光點(diǎn)云與面陣CCD影像的配準(zhǔn)、利用共線方程融合生成彩色點(diǎn)云。線陣CCD相機(jī)具有采集頻率高、視角寬等優(yōu)點(diǎn)，克服了面陣CCD相機(jī)不能及時(shí)存儲(chǔ)圖像及產(chǎn)出影像漏洞的缺點(diǎn)，但在實(shí)際應(yīng)用中發(fā)現(xiàn)線陣CCD相機(jī)具有標(biāo)定困難、影像整體白平衡調(diào)整困難等問(wèn)題。全景影像最大的特點(diǎn)是水平方向視場(chǎng)角達(dá)到360°，以全景方式查看，直觀生動(dòng)、三維可視效果好，是當(dāng)前街景應(yīng)用的主要數(shù)據(jù)展現(xiàn)載體。三種不同影像獲取方式各有利弊，針對(duì)不同的需求，不同移動(dòng)測(cè)量系統(tǒng)選擇搭載不同類(lèi)型的相機(jī)。加拿大Optech公司的Lynx Moblie Mapper配有至多2個(gè)或者4個(gè)面陣相機(jī)用于影像采集，奧地利RIEGL公司的VMX-250采用4個(gè)或6個(gè)面陣CCD相機(jī)獲取影像，日本Topcon公司的IP-S2系統(tǒng)使用Ladybug3全景相機(jī)作為影像獲取手段［11-13］。

本文基于搭載全景相機(jī)及激光掃描儀的移動(dòng)道路測(cè)量系統(tǒng)的數(shù)據(jù)特點(diǎn)，在全景影像和激光點(diǎn)云精確配準(zhǔn)的基礎(chǔ)上，基于攝影時(shí)刻全景相機(jī)中心、全景球面上的像點(diǎn)、實(shí)際場(chǎng)景中的物點(diǎn)三點(diǎn)共線的原理，提出一種由全景影像給對(duì)應(yīng)激光點(diǎn)云賦彩色的算法，充分利用全景影像360°可視和激光點(diǎn)云位置精確的特點(diǎn)，經(jīng)實(shí)驗(yàn)驗(yàn)證算法推導(dǎo)正確，實(shí)驗(yàn)效果良好。

1 車(chē)載多傳感器城市街景移動(dòng)測(cè)量系統(tǒng)

本文實(shí)驗(yàn)采用廣州城市規(guī)劃勘測(cè)設(shè)計(jì)研究院于2012年聯(lián)合首都師范大學(xué)“產(chǎn)、學(xué)、研、用”協(xié)同創(chuàng)新，自主研制的一款具有600m超長(zhǎng)作業(yè)距離的“車(chē)載多傳感器城市街景移動(dòng)測(cè)量系統(tǒng)”。該系統(tǒng)集成最先進(jìn)的脈沖式REIGL VZ400三維激光掃描儀，以及Ladybug3全景相機(jī)、慣性測(cè)量單元IMU和全球定位系統(tǒng)GPS等傳感器（如圖1所示）。

圖1 車(chē)載多傳感器城市街景移動(dòng)測(cè)量系統(tǒng)

1）REIGL VZ400是目前世界上一流的脈沖式激光設(shè)備，每秒最多可發(fā)射30萬(wàn)個(gè)激光脈沖，其點(diǎn)云成果具備毫米級(jí)的相對(duì)測(cè)量精度，保證待賦色的原始激光點(diǎn)云數(shù)據(jù)的細(xì)節(jié)表現(xiàn)力。REIGL VZ400的配備使車(chē)輛行駛過(guò)程中實(shí)時(shí)獲取道路沿線600m范圍內(nèi)的、高精度三維點(diǎn)云數(shù)據(jù)；

2）Ladybug3是由6個(gè)鏡頭拼接而成的全景相機(jī)（其中5個(gè)鏡頭分布在側(cè)面，1個(gè)鏡頭位于頂部），對(duì)多鏡頭拼接后得到的全景影像采用的輸出分辨率可設(shè)置為5 400像素×2 700像素，Ladybug3全景相機(jī)以每5m的曝光間隔、獲取沿線區(qū)域全景影像；

3）IMU和GPS則提供了車(chē)輛在移動(dòng)過(guò)程中的姿態(tài)和位置。

4）REIGL VZ400、Ladybug3、IMU 和 GPS等設(shè)備在空間上被剛性固定在同一平臺(tái)上，在時(shí)間上由GPS統(tǒng)一，在經(jīng)過(guò)實(shí)驗(yàn)場(chǎng)檢校和一系列數(shù)據(jù)融合處理后，激光點(diǎn)云和全景影像可精確配準(zhǔn)，計(jì)算出點(diǎn)云所對(duì)應(yīng)的全景球上像點(diǎn)的像素坐標(biāo)，將像點(diǎn)的RGB顏色值賦給該點(diǎn)。

2 基于共線原理的真彩色點(diǎn)云算法

2.1 算法相關(guān)坐標(biāo)系的定義

算法涉及的相關(guān)坐標(biāo)系如圖2所示，其定義：

1）大地坐標(biāo)系S-XtYtZt：絕對(duì)坐標(biāo)，點(diǎn)云數(shù)據(jù)中各點(diǎn)使用該坐標(biāo)系記錄；

2）局部空間直角坐標(biāo)系S1-X1Y1Z1：將S坐標(biāo)系原點(diǎn)平移到當(dāng)前全景球球心形成的局部空間直角坐標(biāo)系；

3）全景球空間直角坐標(biāo)系S2-XsYsZs：以當(dāng)前全景球球心為原點(diǎn)，Y軸指向車(chē)行方向，X軸指向車(chē)體右側(cè)，Z軸垂直向上；

4）全景球極坐標(biāo)系P：以全景球心為原點(diǎn)的極坐標(biāo)系；

5）全景影像平面坐標(biāo)系o-xy：以像主點(diǎn)為原點(diǎn)的平面直角坐標(biāo)系。

圖2 算法相關(guān)坐標(biāo)系的定義

2.2 算 法

整體思路：激光點(diǎn)云數(shù)據(jù)中任意點(diǎn)處記錄的坐標(biāo)表示物點(diǎn)實(shí)際位置的絕對(duì)三維坐標(biāo)，算法根據(jù)任意攝影時(shí)刻全景相機(jī)中心、全景球面上的像點(diǎn)、實(shí)際場(chǎng)景中的物點(diǎn)三點(diǎn)共線的原理；由激光點(diǎn)云中的物點(diǎn)絕對(duì)三維坐標(biāo)（Xt，Yt，Zt）計(jì)算對(duì)應(yīng)像點(diǎn)在全景影像上的像素坐標(biāo)（m，n），繼而將像素坐標(biāo)（m，n）對(duì)應(yīng)處的顏色信息值賦給激光點(diǎn)云物點(diǎn)；整個(gè)算法對(duì)激光數(shù)據(jù)分塊索引、遍歷，直至形成覆蓋整個(gè)目標(biāo)區(qū)域的真彩色點(diǎn)云成果。

參照?qǐng)D2所示的算法相關(guān)坐標(biāo)系的定義，對(duì)算法思路進(jìn)行分解：

1）由物點(diǎn)的大地坐標(biāo)S （Xt，Yt，Zt）到S1系下坐標(biāo)（X1，Y1，Z1）：

式中：（dX，dY，dZ）為當(dāng)前全景球球心的大地坐標(biāo)；

（2）由S1系坐標(biāo)（X1，Y1，Z1）到S2系坐標(biāo)（Xs，Ys，Zs），

其中（a1，a2，a3，b1，b2，b3，c1，c2，c3）為旋轉(zhuǎn)矩陣的系數(shù)，由全景影像的三個(gè)姿態(tài)角φ（橫滾角）、ω（俯仰角）、κ（航向角）確定，

3）由S2系坐標(biāo)（Xs，Ys，Zs）計(jì)算對(duì)應(yīng)像點(diǎn)在全景球上的極坐標(biāo)（B，L，R），

4）由B，L計(jì)算對(duì)應(yīng)像點(diǎn)在全景影像上的平面坐標(biāo)x，y；

5）由像平面坐標(biāo)（x，y）計(jì)算像素坐標(biāo)（m，n），

式中：Width為全景影像的寬，Height為全景影像的高。

6）賦顏色，RGB（Xs，Ys，Zs）表示點(diǎn)（Xs，Ys，Zs）的RGB顏色值，N為全景影像編號(hào)，RGB（m，n，N）表示該全景影像上像素（m，n）的RGB顏色值；

2.3 算法實(shí)現(xiàn)

本文實(shí)驗(yàn)數(shù)據(jù)包括激光點(diǎn)云、全景影像及記錄全景影像位置姿態(tài)時(shí)間的相機(jī)文件（本文稱(chēng)為CAM數(shù)據(jù)）。其中，激光點(diǎn)云數(shù)據(jù)為連續(xù)掃描得到的，其記錄的數(shù)據(jù)格式為（x，y，z，t）；x，y，z為三維坐標(biāo)，t表示GPS周秒；全景影像數(shù)據(jù)每隔5m曝光采樣一次得到的，原始＊.PGR格式全景影像數(shù)據(jù)經(jīng)解算可轉(zhuǎn)換為JPEG、BMP等通用格式；經(jīng)POS和GPS聯(lián)合解算得到的CAM相機(jī)文件記錄了每一張全景影像的文件名、經(jīng)緯度坐標(biāo)、三維直角坐標(biāo)、姿態(tài)角（俯仰角、橫滾角、航向角）和GPS周秒。

算法實(shí)現(xiàn)過(guò)程：

1）在程序中加載激光點(diǎn)云、全景影像、相機(jī)文件三類(lèi)數(shù)據(jù)。

2）為待賦顏色的激光點(diǎn)云數(shù)據(jù)選擇合適的全景影像。本文實(shí)驗(yàn)中激光點(diǎn)云數(shù)據(jù)掃描線之間的距離約為0.2m（車(chē)速約40km／h），全景影像是每5m一張；全景影像是在行車(chē)過(guò)程中持續(xù)曝光得到的，不可避免存在不同程度的物體遮擋情況，從不同角度拍攝獲取的全景影像中出現(xiàn)遮擋的情況不盡相同，需通過(guò)程序?yàn)辄c(diǎn)云數(shù)據(jù)自動(dòng)選擇合適的全景影像來(lái)賦色。算法判斷規(guī)則：首先，為每個(gè)待賦色的激光點(diǎn)選擇最近的全景影像，可依據(jù)GPS時(shí)間或幾何距離來(lái)判斷；當(dāng)判斷激光點(diǎn)出現(xiàn)遮擋情況，對(duì)被遮擋的點(diǎn)云選取相鄰全景影像計(jì)算顏色。在實(shí)際應(yīng)用中，需結(jié)合數(shù)據(jù)特點(diǎn)和需求，兩個(gè)規(guī)則綜合處理。

3）計(jì)算出點(diǎn)云所對(duì)應(yīng)的全景球上某處像點(diǎn)的像素坐標(biāo)，將該像素坐標(biāo)處的RGB顏色值賦給點(diǎn)云。

4）在點(diǎn)云分塊的前提下，重復(fù)步驟2～3迭代、遍歷整個(gè)目標(biāo)區(qū)域，得到整個(gè)目標(biāo)區(qū)域的真彩色點(diǎn)云成果。

3 實(shí)驗(yàn)結(jié)果及分析

本文實(shí)驗(yàn)數(shù)據(jù)采用“車(chē)載多傳感器城市街景移動(dòng)測(cè)量系統(tǒng)”在廣州市區(qū)某主干道高架橋路段采集得到，現(xiàn)場(chǎng)采集環(huán)境存在車(chē)多，建筑物密集、GPS信號(hào)不穩(wěn)定等干擾因素，是移動(dòng)測(cè)量系統(tǒng)在城市內(nèi)開(kāi)展作業(yè)的代表性環(huán)境，在這樣的條件下驗(yàn)證算法的效果具備客觀性和說(shuō)服力。

實(shí)驗(yàn)所采用REIGL VZ400掃描得到的原始激光點(diǎn)云數(shù)據(jù)如圖3所示、Ladybug3拍攝的全景影像數(shù)據(jù)如圖4所示，經(jīng)本文算法實(shí)現(xiàn)自動(dòng)生成的真彩色點(diǎn)云成果如圖5所示。如圖6所示，比對(duì)原始全景影像與所生成的真彩色點(diǎn)云，經(jīng)疊加二者精確套和，這一結(jié)果表明原始激光點(diǎn)云通過(guò)共線算法原理獲得對(duì)應(yīng)全景影像處的準(zhǔn)確空間對(duì)應(yīng)關(guān)系，實(shí)現(xiàn)原始點(diǎn)云的準(zhǔn)確賦色，從而得到“空間位置準(zhǔn)確、色彩表現(xiàn)客觀真實(shí)”的真彩色點(diǎn)云，驗(yàn)證算法的可行性。

圖3 REIGL VZ4OO所采集的原始激光點(diǎn)云

圖6真彩色點(diǎn)云、全景影像及其疊加顯示經(jīng)多組實(shí)驗(yàn)、綜合分析算法生成的真彩色點(diǎn)云可發(fā)現(xiàn)：算法穩(wěn)定性和執(zhí)行效率較高，對(duì)于不存在遮擋情況的點(diǎn)云賦色效果非常好，如圖7中所示道路沿線的房屋、樹(shù)木、路面和路燈等；但也存在部分被遮擋的困難區(qū)域點(diǎn)云賦色不正確，在超高建筑物上端紋理出現(xiàn)略微偏移等問(wèn)題。

圖5 經(jīng)本文算法計(jì)算生成的真彩色點(diǎn)云

圖6 真彩色點(diǎn)云、全景影像

圖7 真彩色點(diǎn)云與影像細(xì)節(jié)對(duì)比

4 展 望

1）當(dāng)車(chē)位于高架橋上采集數(shù)據(jù)時(shí)，全景相機(jī)有時(shí)會(huì)被兩邊圍欄擋住部分視線、造成下層影像無(wú)法拍攝到，下一階段計(jì)劃對(duì)算法中處理遮擋問(wèn)題的規(guī)則結(jié)合任務(wù)實(shí)際情況進(jìn)行細(xì)化，或者通過(guò)加高相機(jī)支架以拓寬拍攝視野；

2）對(duì)于由于全景影像幾何畸變、分辨率不足或配準(zhǔn)誤差所造成的算法效果下降，計(jì)劃通過(guò)使用多個(gè)高性能單反數(shù)碼相機(jī)拼接組成高分辨率全景相機(jī)代替Ladybug3，升級(jí)硬件提升算法效果。

5 結(jié)束語(yǔ)

本文依托多傳感器融合的移動(dòng)激光測(cè)量技術(shù)，在全景影像和激光點(diǎn)云精確配準(zhǔn)的基礎(chǔ)上，基于攝影時(shí)刻全景相機(jī)中心、全景球面上的像點(diǎn)、實(shí)際場(chǎng)景中的物點(diǎn)三點(diǎn)共線的原理，提出一種由全景影像給對(duì)應(yīng)激光點(diǎn)云賦色的真彩色點(diǎn)云生成算法。算法充分融合全景影像360°可視，以及激光點(diǎn)云位置精確的優(yōu)勢(shì)。經(jīng)實(shí)驗(yàn)檢驗(yàn)，算法推導(dǎo)正確、運(yùn)算效率較高、具有較好的穩(wěn)健性，所生成的真彩色點(diǎn)云形態(tài)逼真、準(zhǔn)確，實(shí)現(xiàn)了真彩色點(diǎn)云成果的快速生產(chǎn)。算法思路適用于其它同類(lèi)移動(dòng)激光測(cè)量系統(tǒng)，真彩色點(diǎn)云的生產(chǎn)普及可以進(jìn)一步豐富測(cè)繪產(chǎn)品“服務(wù)政府、服務(wù)社會(huì)”的數(shù)據(jù)形式。

［1］李德仁，關(guān)澤群.空間信息系統(tǒng)的集成與實(shí)現(xiàn)［M］.武漢：武漢測(cè)繪科技大學(xué)出版社，2002.

［2］張劍清，潘勵(lì)，王樹(shù)根.攝影測(cè)量學(xué)［M］.武漢：武漢大學(xué)出版社，2003.

［3］葉澤田，劉先林，鐘若飛，等.車(chē)載多傳感器集成快速數(shù)據(jù)獲取與處理系統(tǒng)研究［J］.中國(guó)科技成果，2008（12）：46-48.

［4］侯艷芳，葉澤田，楊勇.基于POS數(shù)據(jù)的車(chē)載面陣CCD影像與激光點(diǎn)云融合處理研究［J］.遙感信息，2011（4）：76-79.

［5］赫春曉，李浩.基于三維激光掃描數(shù)據(jù)的三維實(shí)景構(gòu)建［J］.測(cè)繪工程，2013，2（22）：81-85.

［6］侯飛，胡召玲，劉晴.基于三維激光掃描技術(shù)的古陵墓可視化［J］.測(cè)繪工程，2013，10（22）：78-81.

［7］楊長(zhǎng)強(qiáng)，葉澤田，鐘若飛.基于時(shí)空匹配的車(chē)載激光點(diǎn)云與 CCD線陣圖像的融合［J］.測(cè)繪科學(xué)，2010，35（2）：32-33.

［8］張帆，黃先鋒，李德仁.激光掃描與光學(xué)影像數(shù)據(jù)配準(zhǔn)的研究進(jìn)展［J］.測(cè)繪通報(bào)，2008（2）：7-10.

［9］范沖，張娟，王大鵬.基于移動(dòng)測(cè)量的交通標(biāo)志自動(dòng)提?。跩］.測(cè)繪工程，2014，23（5）：13-17.

［10］曹先革，楊金玲，司海燕，等.地面三維激光掃描點(diǎn)云數(shù)據(jù)精度影響因素及控制措施［J］.測(cè)繪工程，2014，23（12）：5-7.

［11］韓友美，王留召，鐘若飛.基于激光掃描儀的線陣相機(jī)動(dòng)態(tài)高精度標(biāo)定［J］.測(cè)繪學(xué)報(bào)，2010，39（6）：631-635.

［12］Pandey G，McBride J，Savarese S，et al.Extrinsic Calibration of a 3DLaser Scanner and an Omnidirectional Camera［C］.In Proceedings IFAC Symposium on Intelligent Autonomous Vehicles，Lecce，Italy，2010.

［13］季順平，史云.車(chē)載全景相機(jī)的影像匹配和光束法平差［J］.測(cè)繪學(xué)報(bào)，2013，42（1）：94-100.