胡春梅，李天爍，王晏民

(1. 北京建筑大學(xué)測繪與城市空間信息學(xué)院，北京 100044；

2.北京建筑大學(xué)現(xiàn)代城市測繪國家測繪地理信息局重點實驗室，北京 100044)

Study on T-LiDAR and Close-range Imagery Data Seamless Texture

Mapping Based on Depth Image

HU Chunmei，LI Tianshuo，WANG Yanmin

?

基于深度圖像的地面激光雷達與近景影像數(shù)據(jù)無縫紋理映射研究

胡春梅1,2，李天爍1,2，王晏民1,2

(1. 北京建筑大學(xué)測繪與城市空間信息學(xué)院，北京 100044；

2.北京建筑大學(xué)現(xiàn)代城市測繪國家測繪地理信息局重點實驗室，北京 100044)

Study on T-LiDAR and Close-range Imagery Data Seamless Texture

Mapping Based on Depth Image

HU Chunmei，LI Tianshuo，WANG Yanmin

摘要：地面激光雷達與影像數(shù)據(jù)通過配準和紋理映射生成彩色仿真模型，但由于分辨率的差異，相鄰兩張影像與模型的紋理映射會出現(xiàn)紋理接縫現(xiàn)象。針對這一問題，本文以點云深度圖像基準面為載體，把重疊影像投影到基準面上生成基準影像，并通過重疊基準影像的匹配對紋理接縫處進行糾正，糾正后無縫的基準影像再反投影回模型，生成無縫仿真模型。該方法解決了激光雷達與影像縫紋理接縫問題，具有一定的現(xiàn)實性意義。

關(guān)鍵詞：地面激光雷達；近景影像；深度圖像；紋理映射

一、引言

激光雷達與近景影像數(shù)據(jù)的配準和紋理映射可以對物體進行精細三維紋理重建，主要是按照分辨率的要求選擇適合的相機和鏡頭，對物體進行拍照，一般根據(jù)被測物的情況拍攝多張無紋理漏洞的影像，通過激光雷達點云與影像的配準和紋理映射生成彩色仿真模型[1]，這種配準屬于三維與二維的配準。目前上述配準的主要方法有：共線方程解法[2]、角錐體法[3]、直接線性變換解法[4-5]、基于羅德里格矩陣的直接解法[6-8]、單位四元數(shù)法等[9-10]、基于重心化空間相似變換模型與羅德里格矩陣聯(lián)合方法加之選權(quán)迭代配準[11]等。通過比較分析，最后一種方法既滿足了影像大角度的問題，又通過選權(quán)迭代提高了配準精度，但由于兩種數(shù)據(jù)分辨率的差異，在點云模型與影像的紋理建模中就會出現(xiàn)紋理接縫現(xiàn)象。對于紋理接縫問題，本文將重疊部分紋理投影到基準面上生成基準影像，通過小面元微分糾正消除幾何接縫，最后反投影回模型，生成無縫彩色模型。

二、點云與影像的配準

點云與影像配準是紋理建模的首要問題，本文采用基于重心化空間相似變換模型與羅德里格矩陣聯(lián)合加之選權(quán)迭代的方法進行配準。應(yīng)用重心化的空間相似變換模型和正交旋轉(zhuǎn)矩陣與反對稱矩陣的關(guān)系，得到點云與影像配準角度參數(shù)的模型。其配準模型為

(1)

然后，應(yīng)用改進的丹麥法選權(quán)迭代小粗差降權(quán)的方法對初始參數(shù)進行精確配準。改進的丹麥法權(quán)函數(shù)為

(2)

由于兩種數(shù)據(jù)的分辨率差異較大，相鄰影像間對于點云的紋理映射能夠達到無縫，但是當(dāng)影像映射到模型上生成彩色模型時，該配準精度不能得到滿足，則會出現(xiàn)紋理接縫現(xiàn)象，本文以點云深度圖像為中介，把重疊影像投影到其基準面上，對基準影像進行匹配和微分糾正，再反投影回模型，生成無縫彩色模型。

三、深度圖像

深度圖像也屬于圖像的一種，它遵循一般圖像的格式。深度圖像與一般灰度圖像區(qū)別在于(如圖1所示)：一般灰度圖像從數(shù)學(xué)角度上只是一個二維矩陣，矩陣中每一點的元素值代表該點的灰度值g(x,y)；深度圖像也是一個矩陣，所不同的是矩陣中每點的數(shù)值不再代表圖像的灰度，而代表場景中可見點到某已知參考基準的距離，對于點云來說，通過點云擬合平面，對平面進行格網(wǎng)化，并存儲點云中點到平面的距離，就生成了點云深度圖像。

圖1　灰度圖像與深度圖像

四、基準影像的生成

為了解決相鄰影像與模型的紋理接縫問題，本文把重疊有縫部分的影像紋理投影到點云深度圖像上，這是一個數(shù)字微分糾正過程。本文應(yīng)用點云的深度圖像模型，結(jié)合共線方程，對重疊部分影像進行微分糾正獲取基準影像，其生成步驟如下：

1) 根據(jù)點云擬合基準平面，依據(jù)影像重疊區(qū)域點云確定投影范圍，并以掃描分辨率設(shè)置深度圖像格網(wǎng)點間距。

2) 計算深度圖像上每個格網(wǎng)點的平面坐標

(3)

試中，(ox,oy)為點云在深度圖像基準面上左下角的坐標；(xCellSize,yCellSize)為格網(wǎng)的間距；(x,y)為格網(wǎng)點坐標；(X′,Y′)為(x,y)在深度圖像基準面上的坐標。

3) 根據(jù)格網(wǎng)點內(nèi)插點云，獲得每個格網(wǎng)點對應(yīng)點云的距離值，得到格網(wǎng)點的三維坐標(X,Y,Z)。

4) 根據(jù)精配準得到的參數(shù)和共線方程，計算每個格網(wǎng)點(x,y)的紋理坐標

(4)

5) 如果(u,v)沒有在整像素點上，則根據(jù)雙線性內(nèi)插求取其紋理值G(u,v)，把該紋理值賦給基準面格網(wǎng)點(x,y)。

某建筑單張影像(圖2)和深度圖像(圖3)經(jīng)過數(shù)字微分糾正生成的基準影像如圖4所示?；鶞视跋癫粌H記錄了影像的信息，同時與模型間有著對應(yīng)關(guān)系，不用把影像的信息放在模型上，利用基準影像與模型的關(guān)系進行紋理映射及可視化。對于相鄰影像間的紋理接邊現(xiàn)象，可以把相鄰影像投影到同一個基準面上，在基準面上對重疊區(qū)域進行幾何糾正，此過程在基準面上對影像進行了糾正，并沒有改變基準影像與模型的關(guān)系，方法簡單，實用性強。

圖2　原始光學(xué)影像

圖3　深度圖像

圖4　經(jīng)由數(shù)字微分糾正后的影像

五、相鄰基準面影像的接邊

對于紋理接邊，本文應(yīng)用重疊部分基準面影像的密集匹配生成同名點，再應(yīng)用小三角面元的幾何糾正對重疊基準影像進行精確配準。

1. 基準影像的密集匹配

為了保證整體區(qū)域幾何糾正的均勻性和精確性，需要對重疊區(qū)域基準影像進行密集匹配，本文選用基于均勻網(wǎng)格的特征點的密集匹配，基準影像是糾正過的影像，匹配相對容易。為了得到準確的匹配點對，本文采用由粗到細的金字塔匹配，金字塔層數(shù)為2層，匹配策略如下：

1) 在頂層金字塔影像上進行SIFT特征匹配，并采用RANSAC方法進行粗差剔除，并進行反向匹配，應(yīng)用得到的同名點計算仿射變換參數(shù)。

2) 在底層影像上對左影像分網(wǎng)格進行Harris特征密集提取。

3) 應(yīng)用仿射變換參數(shù)，預(yù)測左影像每一個網(wǎng)格點在右影像的大概位置，再應(yīng)用影像相關(guān)確定右影像上的同名點。

匹配的結(jié)果中難免會有一些誤匹配，在此，根據(jù)以下幾何條件進行約束：

1) 目標點的順序與同名點順序一致。

2) 同名點的橫縱坐標突變處視為粗差點進行剔除。

3) 同名點左右橫坐標相差不大。

互相關(guān)是一種多峰值函數(shù)，其最大值不一定對應(yīng)著同名點[12]。對于一些紋理豐富的區(qū)域，影像相關(guān)的峰值即為匹配結(jié)果；但是對于一些紋理匱乏的區(qū)域，非峰值則有可能是同名點。為了滿足本文小面元的要求，對于一些相關(guān)性較弱的點，采用整體松弛法進行匹配。影像匹配算法按照執(zhí)行的順序可以分為并行算法、串行算法與松弛算法3種。松弛算法是一種并行和迭代的方法，并行處理的同時，根據(jù)迭代過程中周圍點上的處理結(jié)果來調(diào)整其結(jié)果，是一種逐步逼近最優(yōu)解的方法。假設(shè)左影像上的點為j，將j視為類別，共軛備選點視為目標Ai，對于左影像j，確定r個點作為j的共軛備選點，則目標集合為

(5)

假設(shè)目標Ai1、Ai2、…、Air與左影像點j的相關(guān)系數(shù)為ρ1、ρ2、…、ρr，則Aik∈Cj的概率為

Pik,j=ρk/∑ρ

(6)

假設(shè)h為i的相鄰像素，k為j的相鄰像素，同樣計算Ph,k，計算其兼容性C(i,j;h,k)。確定了Pi,j和C(i,j;h,k)，就可以根據(jù)下列公式進行松弛法運算

(7)

式中，n(H)為相鄰目標點的個數(shù)；m(K)和m(J)為從圖像匹配候選點的個數(shù)；r為迭代次數(shù)，如果P(r)>T(閾值)，則停止迭代，并確定可靠的對應(yīng)點。

圖5為重疊區(qū)域基準面應(yīng)用上述方法進行影像密集匹配的結(jié)果。

圖5　基準面影像密集匹配結(jié)果

2. 密集匹配點對的三角網(wǎng)構(gòu)建

根據(jù)重疊基準影像數(shù)據(jù)，分別提取出相鄰兩張圖像(待糾正圖像和參考圖像)重疊區(qū)域的密集同名點對，然后將目標圖像上的同名點構(gòu)建成三角網(wǎng)，再將參考圖像上的拓撲關(guān)系復(fù)制到待糾正圖像上。三角網(wǎng)的構(gòu)建應(yīng)盡量保持三邊均衡、角度均衡，應(yīng)盡量防止其中一個角度過大或過小，本文采用狄洛尼三角網(wǎng)方法進行構(gòu)網(wǎng)泰森多邊形與狄洛尼數(shù)據(jù)文件中的N個離散點在區(qū)域E上，用一系列直線段將區(qū)域E分割為N個相鄰的多邊形，且滿足以下條件：

1) 每個多邊形內(nèi)僅有一個離散點。

2) 位于多邊形內(nèi)的任意一點必須滿足

(8)

式中，j≠i。

3) 若與其所在的兩多邊形的公共邊上的點滿足下式

(9)

式中，j≠i。滿足以上3個條件的多邊形稱為泰森多邊形,將每兩鄰接的多邊形內(nèi)的離散點用直線連接起來，所形成的三角網(wǎng)叫作狄洛尼三角網(wǎng)，泰森多邊形的分法是唯一的，每個泰森多邊形都是凸多邊形，多邊形不相交、不重疊。

六、小面元微分糾正

對上述得到的同名點建立三角網(wǎng)，對每一對同名的三角面片，應(yīng)用小面元的仿射變換，計算變換關(guān)系式的參數(shù)，以每一個三角面片為單元進行幾何糾正。仿射變換的公式如下

(10)

應(yīng)用該方法得到的密集匹配點進行幾何糾正，很好地解決了紋理接邊問題。在糾正過程中，本文采用按三角形內(nèi)插RGB的方法進行糾正，該方法的基本思想是以三角形為單元，首先將待糾正圖像上的三角形的三個頂點按其變換參數(shù)糾正到目標圖像上，與此同時計算每個三角形的三個頂點在待糾正圖像的RGB值；然后計算出糾正后的三角形內(nèi)所有像素點坐標，并使用反距離加權(quán)平均法內(nèi)插出三角形內(nèi)像素點的RGB值；最后根據(jù)像素點坐標及RGB值生成一副目標圖像。此方法生成的目標圖像質(zhì)量較高、圖像連續(xù)性好、方法簡便。圖6為紋理接縫糾正前和糾正后的對比圖，從圖中可以看出本文方法解決了紋理接縫的問題。

圖6

七、結(jié)束語

激光雷達與多張近景影像的紋理接縫是紋理重建中的關(guān)鍵問題，本文應(yīng)用點云與影像的高精度配準結(jié)果，通過點云的深度圖像及其基準面，生成基準影像，并應(yīng)用基準影像的密集匹配和小面元微分糾正技術(shù)消除紋理接縫，生成無縫的彩色仿真模型，并

應(yīng)用理論和試驗證明了該方法的可行性和正確性。但是，本文的研究只局限于基準面為平面的深度圖像，對于復(fù)雜物體，首先要對其進行分割，按照不同基準面，如球面、柱面等基準面進行基準影像生成和糾正，這些問題將在后續(xù)的研究中解決。

參考文獻：

[1]王晏民，黃慧敏，胡春梅.地面激光雷達技術(shù)在故宮保和殿數(shù)字化測繪中的應(yīng)用[J]. 北京建筑工程學(xué)院學(xué)報,2012,28(3)：33-38.

[2]張劍清，潘勵，王樹根.攝影測量學(xué)[M].武漢：武漢大學(xué)出版社，2003.

[3]李德仁,鄭肇葆.解析攝影測量學(xué)[M].北京:測繪出版社,1992.

[4]張帆.激光掃描數(shù)據(jù)三維建模中高保真度紋理重建研究[D].武漢：武漢大學(xué)，2008.

[5]馮文灝.近景攝影測量——物體外形與運動狀態(tài)的攝影法測定[M]. 武漢：武漢大學(xué)出版社,2002.

[6]于志路，姚吉利，呂長廣.羅德里格矩陣在空間后方交會直接解法中的應(yīng)用[J].測繪工程，2005,14(2):50-52.

[7]姚吉利,孫亞廷,王樹廣.基于羅德里格矩陣的數(shù)碼像片直接定向的方法[J]. 山東理工大學(xué)學(xué)報：自然科學(xué)版, 2006,20(2): 36-39.

[8]楊凡，李廣云，王力，等. 一種基于羅德里格矩陣的最小二乘迭代坐標轉(zhuǎn)換方法[J].工程勘察，2010(9)：80-84.

[9]王勇,姜挺,江剛武,等.基于單位四元數(shù)描述的單像空間后方交會[J].測繪科學(xué)技術(shù)學(xué)報，2007,24(2):133-135.

[10]江剛武,姜挺,王勇，等.基于單位四元數(shù)的無初值依賴空間后方交會[J].測繪學(xué)報，2007,36(2):169-175.

[11]王晏民，胡春梅.一種地面激光雷達點云與紋理影像穩(wěn)健配準方法[J].測繪學(xué)報，2012，41(4)：267-272.

[12]孫家炳. 遙感原理與應(yīng)用[M]. 武漢：武漢大學(xué)出版社，2003.

[13]閭海慶，鄒崢嶸，羅發(fā)明. 近景攝影測量中旋轉(zhuǎn)矩陣構(gòu)成方法的研究[J].測繪科學(xué)，2007,32(3)：15-17.

[14]官云蘭,程效軍,周世健,等. 基于單位四元數(shù)的空間后方交會解算[J].測繪學(xué)報，2008,37(1):30-35.

引文格式： 胡春梅，李天爍，王晏民. 基于深度圖像的地面激光雷達與近景影像數(shù)據(jù)無縫紋理映射研究[J].測繪通報，2015(1)：66-69.DOI:10.13474/j.cnki.11-2246.2015.0013

作者簡介：胡春梅(1981—)，女，博士，講師，主要研究方向為地面激光雷達與近景攝影測量集成。E-mail：huchunmei@bucea.edu.cn

基金項目：國家自然科學(xué)基金(41401536)；國家測繪地理信息局科技計劃(2013CH-15)；北京市優(yōu)秀人才培養(yǎng)項目(00921914013)；北京市人才強教青年英才計劃(21271413106)

收稿日期：2014-08-18

中圖分類號：P23

文獻標識碼：B

文章編號：0494-0911(2015)01-0066-04