朱 慶，陳崇泰，胡 翰，丁雨淋

1. 西南交通大學地球科學與環(huán)境工程學院，四川 成都 611756； 2. 西南交通大學高速鐵路運營安全空間信息技術(shù)國家地方聯(lián)合工程實驗室，四川 成都 611756； 3. 香港理工大學土地測量與地理資訊學系，香港 999077； 4. 香港中文大學太空與地球信息科學研究所，香港 999077； 5. 深圳市數(shù)字城市工程研究中心，廣東 深圳 518034

顧及紋理特征的航空影像自適應密集匹配方法

朱 慶1,2，陳崇泰1,5，胡 翰1,3，丁雨淋1,4

1. 西南交通大學地球科學與環(huán)境工程學院，四川 成都 611756； 2. 西南交通大學高速鐵路運營安全空間信息技術(shù)國家地方聯(lián)合工程實驗室，四川 成都 611756； 3. 香港理工大學土地測量與地理資訊學系，香港 999077； 4. 香港中文大學太空與地球信息科學研究所，香港 999077； 5. 深圳市數(shù)字城市工程研究中心，廣東 深圳 518034

半全局匹配實質(zhì)是在視差連續(xù)性假設下的離散優(yōu)化方法。為克服視差斷裂帶影響，依賴一組參數(shù)控制視差不一致性。若參數(shù)過小，在平面內(nèi)難以保證視差連續(xù)性，產(chǎn)生明顯噪聲，導致凹凸不平現(xiàn)象；若參數(shù)過大，將致使物體表面過于平滑，難以保留視差斷裂等重要特征。為克服上述問題，本文提出了一種顧及紋理特征的自適應密集匹配方法：首先，檢測影像紋理特征并定量表達紋理豐富性程度；其次，依據(jù)紋理豐富程度與視差差異存在正相關(guān)的規(guī)則知識，實現(xiàn)匹配參數(shù)依據(jù)紋理信息的自適應選擇；最后，采用上述參數(shù)進行自適應的半全局匹配。通過ISPRS基準數(shù)據(jù)集和國產(chǎn)SWDC-5獲取的傾斜影像進行試驗分析證明，本文方法能夠有效減少低紋理區(qū)域匹配噪聲，同時更有效保留邊緣特征。

影像密集匹配；半全局匹配；紋理特征；自適應方法

航空影像密集匹配點云，由于其具有色彩、紋理信息，并且點云密度高，已成為三維城市重建的重要數(shù)據(jù)源[1-2]。特別是隨著半全局匹配算法(semi-global matching，SGM)[3]的出現(xiàn)與發(fā)展，SGM以其高效、快速的特點，已被廣泛用于商用攝影測量軟件[4]。然而，影像密集匹配質(zhì)量受物體遮擋、視差斷裂、影像噪聲、紋理缺乏以及光照條件不一致等因素影響，在實際應用中，點云粗糙、缺漏、無法保留邊緣線等現(xiàn)象明顯[5-6]，如圖1所示。

圖1 密集匹配點云噪聲及邊緣缺失問題Fig.1 Noise and losses of edge problems of point cloud from dense matching

影像密集匹配主要包含4個主要步驟[5]：匹配代價計算、代價聚合、視差計算和視差優(yōu)化。針對以上步驟，目前主要有兩種不同的策略：①局部方法，其視差計算僅依賴于局部信息，因此為提高可靠性通常采用點、線等匹配基元進行多視影像匹配[6-10]，其最終結(jié)果通常也呈現(xiàn)為準密集匹配(quasidense)點；②全局方法[11-13]，在進行核線糾正之后，通過構(gòu)建合適的能量函數(shù)，將密集匹配轉(zhuǎn)化為在視差連續(xù)性約束下的離散優(yōu)化問題，此策略不僅效率更高，且點云密度更大，Middlebury基準測試中性能較為優(yōu)異的算法[11,13]均屬于此類。通常全局優(yōu)化問題可以通過馬爾可夫隨機場(Markov random field，MRF)表達，MRF中似然概率(likelihood term)表達匹配代價的損失值，而先驗概率(priori term)則表達視差連續(xù)性、遮擋等關(guān)系的損失值[12]。

事實上，上述MRF模型鄰域為二維影像，該優(yōu)化問題是NP完全的(NP-complete)，雖然存在一些近似優(yōu)化方法，如圖割(graph cut，GC)[13]、置信度傳播(loopy belief propagation，LBP)[12]等，然而其計算效率仍然較低，對大規(guī)模航空影像并不適用。不同于MRF，動態(tài)規(guī)劃則對單一掃描線進行優(yōu)化，能在多項式時間內(nèi)達到全局解[5]，因此動態(tài)規(guī)劃也被廣泛應用于稀疏的特征點、線匹配[14-15]和密集匹配之中[16]。不過正因動態(tài)規(guī)劃算法的一維特性，不同掃描線之間斷層現(xiàn)象明顯。為克服上述問題，SGM[3]將單一掃描線的動態(tài)規(guī)劃，推廣為16方向，從而近似地表達全局關(guān)系，并在動態(tài)規(guī)劃之中同時引入視差連續(xù)性約束。另一方面，由于SGM算法不需復雜的優(yōu)化算法，易于硬件實現(xiàn)，隨著通用圖形處理器(general purpose graphics processing unit，GPGPU)技術(shù)的發(fā)展，SGM也被廣泛應用于GPU實現(xiàn)，相對CPU算法，速率能提高10倍以上[17]。正由于其較高效率，SGM被廣泛應用于航空影像，生成密集匹配點云[18-20]。

然而，無論采用MRF或動態(tài)規(guī)劃進行全局優(yōu)化，都依賴于一系列參數(shù)控制連續(xù)性約束權(quán)重，如GC[13]采用單一參數(shù)λ和SGM采用雙參數(shù)P1和P2[3]。該參數(shù)的選擇對最終的匹配結(jié)果有較大影響：若參數(shù)過大，將導致無法保持建筑物邊緣等重要斷裂線特征；反之，在平滑區(qū)域會產(chǎn)生噪聲，造成凹凸不平現(xiàn)象。傳統(tǒng)方法對一景立體像對均采用相同參數(shù)，然而對于航空影像，地物種類錯綜復雜，視差范圍變化較大，同一參數(shù)難以適應不同的地物條件，降低匹配點云質(zhì)量。文獻[4]已指出，在密集匹配過程中可顧及影像灰度、紋理信息調(diào)整匹配參數(shù)，提高對不同地形條件的自適應能力。傳統(tǒng)SGM算法[3]的參數(shù)P2會隨梯度變化改變，而SURE[20]則采用Canny算子檢測邊緣自適應調(diào)整參數(shù)。上述自適應方法可一定程度緩解上述問題，但仍對影像灰度噪聲敏感。

鑒于單一匹配參數(shù)存在的問題，本文提出一種顧及紋理特征的立體影像自適應密集匹配方法。該方法在紋理豐富程度與視差連續(xù)性變化存在相關(guān)性的知識約束下，首先，通過紋理檢測算法定量表達影像紋理特征；其次，利用影像的紋理特性，建立紋理特征與匹配參數(shù)之間逐像素的對應關(guān)系，實現(xiàn)匹配參數(shù)的自適應選擇；最后，依據(jù)上述影像相關(guān)的匹配參數(shù)，實現(xiàn)自適應的半全局匹配，同時降低低紋理區(qū)域點云噪聲并保留邊緣斷裂特征。

1 方法

1.1 基本原理

由于SGM已被大量實際應用證明具有優(yōu)于其他方法的匹配性能[4,18]，因此本文也采用SGM算法，并做出相應改進，本文提出方法的整體流程如圖2所示。首先生成核線影像對，然后計算匹配代價并提取紋理信息，代價聚合過程中依據(jù)紋理信息自適應調(diào)整匹配參數(shù)，最后生成視差圖。

圖2 紋理感知SGM算法流程Fig.2 Flow chart of the texture aware SGM algorithm

由于核線關(guān)系將同名點約束在同一直線上，因此影像匹配通常定義在視差空間之中，僅優(yōu)化每個像素的視差值。實際應用中，預先對影像進行水平核線糾正，其整體算法效率較動態(tài)核線更高，因此本文預先對影像進行核線糾正處理[21]。在代價計算中，由于census變換也可近似看作是一種單像素的匹配代價，同時具有優(yōu)異的匹配性能和計算效率，在與單像素代價的對比中也具有優(yōu)異性能[22]，被廣泛應用于密集匹配算法當中[23-26]，因此本文采用9×7窗口內(nèi)的census變換作為匹配代價。具體實現(xiàn)中僅需存儲對應核線影像的64位census編碼，而作為匹配代價的漢明距離[22]則可采用SSE指令實時計算。

SGM采用了多路徑動態(tài)規(guī)劃方法，單個方向的聚合公式如下所示[3]

(1)

式中，Lr(p,d)表示像素p沿路徑r的匹配代價，d為視差；Lr(p-r,d)表示當前路徑r上p的前一個點的匹配代價；P1是前后像素點視差差異為1時的懲罰參數(shù)，P2是視差差異大于1時的懲罰參數(shù)。同時，P2根據(jù)前后像素點的灰度梯度自適應調(diào)整，并確保P2>P1。

參數(shù)P1、P2的選擇對最終匹配結(jié)果有較大影響，其大小決定視差圖的平滑程度。當參數(shù)較大時，視差平滑，但在視差斷裂區(qū)域無法保留邊緣細節(jié)；反之若參數(shù)過小，匹配代價權(quán)重增大，可能因影像噪聲導致視差粗糙。由于地物錯綜復雜，僅依靠梯度自適應調(diào)整參數(shù)難以顧及復雜的視差變化，因此本文通過分析核線影像的紋理信息，使參數(shù)P1、P2隨紋理信息自適應調(diào)整：在紋理缺乏區(qū)域施加較大視差連續(xù)性約束；而在紋理豐富區(qū)域，保留更大的匹配代價權(quán)重，以保留邊緣信息。

1.2 紋理信息提取方法

紋理特指影像上色調(diào)變化的頻率，實質(zhì)上也可反映影像的細部特征[27]。紋理感知的自適應密集匹配方法的根本前提是，影像色調(diào)、灰度信息變化頻率與對應視差圖的變化頻率存在正比例關(guān)系。低紋理對應變化頻率較低區(qū)域，因此可采用較大平滑性約束。反之，紋理豐富區(qū)域，則需采用較小平滑性約束，以保留邊緣結(jié)構(gòu)處的視差突變。

為定量表達上述色調(diào)變化的頻率大小，可采用不同方向、不同尺度的濾波器[27]，影像信息熵[28]等方法檢測。自適應密集匹配算法均利用物體邊緣(contour)會產(chǎn)生視差斷裂的先驗知識，因此在物體邊緣處調(diào)整連續(xù)性約束參數(shù)(P1，P2)大小。已有方法通常僅利用梯度信息獲取物體邊緣，然而此類方法在細小邊緣也會產(chǎn)生較強的邊緣響應強度[27]。為克服上述問題，并顧及計算效率，借鑒梯度幅度相似性的紋理檢測方法[29]，本文直接采用局部規(guī)則窗口內(nèi)水平和豎直兩方向的梯度絕對值之和與標準差表達紋理豐富程度。前者實質(zhì)為邊緣檢測算子，不同之處在于低通濾波的均值處理；后者性質(zhì)和紋理基元(texton)[27]類似，可一定程度上減小細小邊緣的響應強度。綜上所述，本文紋理信息采用式(2)確定

(2)

圖3列出了兩個典型區(qū)域的影像采用梯度、Canny算子和本文方法檢測出的影像紋理特征。圖3中紅色矩形表示未檢測出的有效邊緣區(qū)域，而黃色方框表示過度分割區(qū)域。如圖所示，梯度對噪聲十分敏感，在平面區(qū)域也能產(chǎn)生較大的梯度值，如圖3(b)所示；Canny僅可檢測二值化邊緣，而無法定量描述像素的紋理信息，同時算法本身受到2個參數(shù)影響，采用固定的參數(shù)在不同區(qū)域容易出現(xiàn)邊緣缺失和冗余邊緣的現(xiàn)象，如圖3(c)所示。與此不同，本文方法定量表達紋理豐富程度，并且該值相比于梯度和Canny更為平滑，不易受到噪聲的影響，如圖3(d)所示。

1.3 顧及紋理特征的自適應密集匹配

圖4列出了影像紋理信息與視差圖的對應關(guān)系，從該圖可見，在屋頂、地面等區(qū)域通常視差較為一致，對應的紋理強度也相對較弱；而房屋邊緣、微小物體、植被等區(qū)域，視差通常存在劇烈突變，而對應的邊緣區(qū)域紋理信息也較為強烈。同時，SGM的懲罰參數(shù)P1、P2與相鄰像素間的視差變化頻率存在反比例關(guān)系，即低紋理區(qū)域需要較大的參數(shù)加強視差平滑性約束，而高紋理區(qū)域需要較小的參數(shù)來保留邊緣結(jié)構(gòu)處的視差突變。因此，本文根據(jù)紋理信息自適應調(diào)整懲罰參數(shù)，對紋理屬性不同的像素施加不同程度的平滑約束，以此能夠正確反映現(xiàn)實世界中物體實際深度變化。

一種簡單的自適應調(diào)整策略是獲得影像紋理特征值范圍后，采用線性內(nèi)插逐像素計算懲罰參數(shù)。這種方法理論上能夠反映紋理和懲罰參數(shù)的對應關(guān)系，但實際上存在以下缺點：①線性內(nèi)插需要額外的內(nèi)存記錄與影像同等尺寸的參數(shù)矩陣；②需額外的內(nèi)插與存取操作；③內(nèi)插可能會造成低紋理大參數(shù)和高紋理小參數(shù)等錯誤的對應關(guān)系。針對線性內(nèi)插的這些缺點，本文借鑒SURE的二值化策略[20]，對紋理信息采用二值化處理，單個像素僅需要一個字節(jié)標識紋理屬性，高低紋理區(qū)域分別對應固定的懲罰參數(shù)。不同于固定閾值二值化處理方式，本文采用一種自適應二值化處理方法[30]，利用局部鄰域高斯加權(quán)和方法計算局部閾值

(3)

式中，k(x,y)是高斯卷積核；t(x,y)是紋理信息；G(x,y)是高斯濾波后的紋理結(jié)果，作為像素(x,y)紋理屬性劃分的局部閾值；h(x,y)是自適應閾值處理后的二值紋理影像，0代表像素(x,y)屬于低紋理區(qū)域，255則表示該像素屬于高紋理區(qū)域。

圖5比較了固定閾值和自適應閾值的紋理二值化結(jié)果。由圖5可知，固定閾值結(jié)果(圖5(b))在屋頂?shù)图y理區(qū)域檢測結(jié)果不理想。其原因為紋理檢測使用的是基于窗口的方法，靠近邊緣的像素在自身窗口內(nèi)仍保持高頻率的色調(diào)變化，使固定閾值難以區(qū)分邊緣和鄰近的像素。而自適應閾值二值化(c)使每個像素閾值局部自適應，檢測邊緣更細，保留更多低紋理區(qū)域，有效地控制了視差斷裂范圍。

在代價聚合階段，根據(jù)前后兩點的紋理屬性重新確定懲罰參數(shù)。具體而言，若當前像素p和聚合方向上前一像素p-r都屬于低紋理區(qū)域，則選取較大的懲罰參數(shù)保證視差連續(xù)；若p和p-r都屬于高紋理區(qū)域或者紋理屬性不同，這時候傳遞給當前像素的視差信息不再可靠，應該選取較小的懲罰參數(shù)允許視差突變，具體公式如下

(4)

2 試驗分析

2.1 試驗數(shù)據(jù)

為驗證本文算法有效性，采用不同區(qū)域、不同相機類型影像測試，如圖6所示，表1列出試驗區(qū)域主要信息，其中分辨率一欄括號中內(nèi)容為側(cè)視影像分辨率范圍。

表1 試驗區(qū)域數(shù)據(jù)信息

金陽區(qū)域傾斜影像：采用SWDC-5獲取5組相機影像數(shù)據(jù)，包含一個下視相機和4個45°角傾斜相機。影像為8位深度的彩色RGB影像，像幅大小為8176×6132像素，航高約為600 m，設計航向重疊度為60%，旁向重疊度為50%，下視相機和側(cè)視相機焦距分別為50 mm和80 mm，在此配置之下，下視地面分辨率約為8 cm，側(cè)視地面分辨率范圍約為8～16 cm。

蘇黎世區(qū)域傾斜影像：采用Leica RCD-30 Oblique獲取5組相機影像數(shù)據(jù)，包含一個下視相機和4個35°角傾斜相機。影像為16位深度的彩色RGB影像，像幅大小為9000×6732像素，航高約為520 m，設計航向重疊度為70%，旁向重疊度為50%，下視相機和側(cè)視相機焦距均為53 mm，下視地面分辨率為 6 cm，側(cè)視地面分辨率范圍為6～13 cm。

斯圖加特區(qū)域下視影像：采用Z/Ⅰ DMCII相機獲取影像數(shù)據(jù)，影像為16位深度的近紅外偽彩色影像，像幅大小為7680×13 824，航高約為500 m，設計航向重疊度和旁向重疊度均為60%，相機焦距為120 mm，地面分辨率為8 cm。

慕尼黑區(qū)域下視影像：采用DMC Ⅱ 230相機獲取影像數(shù)據(jù)，選取16位深度的彩色RGB影像，像幅大小為15 552×14 144像素，航高約為515 m，設計航向重疊度和旁向重疊度均為80%，相機焦距為91 mm，地面分辨率約為10 cm。

2.2 對比與分析

試驗第1部分比較了不同大小參數(shù)和自適應參數(shù)得到的試驗結(jié)果，匹配參數(shù)如表2所示，大小參數(shù)匹配的算法采用原始的自適應梯度SGM。試驗結(jié)果如圖7至圖10所示，其中圖(a)為試驗區(qū)域示意圖，藍色方框標識道路或者屋頂?shù)鹊图y理區(qū)域，紅色方框標識建筑物邊緣等高紋理區(qū)域；圖(b)為小參數(shù)密集匹配點云結(jié)果；圖(c)為大參數(shù)密集匹配點云結(jié)果；圖(d)為本文算法獲得的點云結(jié)果；圖(e)為低紋理區(qū)域小參數(shù)匹配和本文算法結(jié)果剖面圖；圖(f)為高紋理區(qū)域大參數(shù)和本文算法結(jié)構(gòu)的剖面圖。其中圖(e)和圖(f)坐標軸橫軸為剖面對比區(qū)域的長度，縱軸為區(qū)域上點坐標的Z值，單位均為米。

表2 試驗參數(shù)

下視影像中道路和屋頂?shù)鹊图y理區(qū)域，深度變化較緩，但在側(cè)視影像中，這些區(qū)域深度有明顯變化。將側(cè)視影像經(jīng)核線重采樣糾正到水平像平面后，這些區(qū)域會產(chǎn)生多個內(nèi)插像素，相鄰像素深度變化仍然保持緩慢，因此自適應參數(shù)理論上也可顧及側(cè)視影像。如圖7(b)所示，在藍框標識的低紋理區(qū)域內(nèi)，小參數(shù)結(jié)果點云不夠平順，起伏較為明顯；自適應梯度SGM在這些低紋理區(qū)域僅增大P2，并未改變P1大小，平滑性約束不強。由于這些平面區(qū)域的紋理較弱，本文算法在匹配階段選取較大的P1和P2，加強視差平滑性約束，如圖7(d)所示，對應區(qū)域點云相對平坦。

如圖8(c)所示，在紅框標識的建筑物邊緣區(qū)域，大參數(shù)視差結(jié)果過于平滑，深度變化緩慢，使邊緣像素深度計算錯誤，易產(chǎn)生噪聲，且建筑物丟失直角特征。由于邊緣紋理較為豐富，本文算法在匹配階段選取較小的P1和P2，在邊緣處允許深度突變，如圖8(d)所示，相同區(qū)域可很好地保留直角特征，同時在平緩區(qū)域抑制了噪聲。若采用較小參數(shù)，在平面區(qū)域會導致點云粗糙或誤匹配，如圖9(e)所示，而自適應參數(shù)能正確施加較大平滑性約束，標記出誤匹配點。

試驗的第2部分定性比較了本文自適應參數(shù)SGM與SURE密集匹配結(jié)果，匹配參數(shù)均使用默認值，采用金陽區(qū)域下視影像作為試驗數(shù)據(jù)，對比結(jié)果由圖11給出。SURE采用的tSGM是對自適應梯度SGM的改良，通過Canny算子檢測邊緣，并在邊緣處減小參數(shù)P2，從而達到保留邊緣特征的目的；通過動態(tài)調(diào)整像素的視差搜索范圍使得平面區(qū)域點云更加平滑[20]。從圖11中可以看出，SURE算法的匹配點云結(jié)果在道路區(qū)域點云缺漏現(xiàn)象明顯，如紅框所示，此現(xiàn)象是由于SURE匹配時對道路區(qū)域平滑性約束不夠強，易產(chǎn)生可靠性不高的點以及噪聲點，在雙向匹配一致性檢查時被剔除，造成點云缺漏；另一方面，由于邊緣未被完整檢測，導致某些邊緣的平滑約束仍然較大，造成匹配錯誤，個別建筑物邊角缺失，如黃框所示。而本文提出的自適應參數(shù)得到的結(jié)果在道路區(qū)域更為完整，也保留了更多的建筑物邊角特征，整體上優(yōu)于SURE生成的點云。

本文試驗第3部分，為定量驗證本文方法的可靠性和有效性，選用質(zhì)量較好的LiDAR點云與自適應密集匹配點云進行對比，同時比較密集匹配點云與25 cm格網(wǎng)分辨率DSM間差距，其中機載LiDAR和DSM均來源于ISPRS基準測試[31]。圖12顯示具體對照結(jié)果，其中，圖12(a)、(c)顯示所選取對比區(qū)域，圖12(b)、(d)分別為對應區(qū)域剖面圖，橫軸為沿剖線方向長度，縱軸為三維坐標Z值，單位均為米。如圖12所示，在道路區(qū)域，本文算法點云結(jié)果更接近于LiDAR點云，兩者起伏情況相近；在建筑物邊緣區(qū)域，直角特征基本吻合。圖13定量描述密集匹配點云與DSM間差異，其中圖13(a)、(c)為所選對比區(qū)域，圖13(b)、(d)為密集匹配點云與DSM間差異。由表3可見，兩者的差異并不明顯，特別是在道路等低紋理區(qū)域，差異僅有厘米級，僅在紋理復雜區(qū)域，存在誤差較大的個別點，但總體上點云與DSM仍十分一致，進一步證明了本文算法的正確性。

表3 斯圖加特密集匹配點云和DSM數(shù)據(jù)對比 Tab.3 Comparison between dense matching and DSM m

本文定量比較了原始自適應梯度SGM，顧及紋理的SGM和LiDAR點云數(shù)據(jù)[31]間差異。圖14(a)為試驗區(qū)域點云結(jié)果，圖14(b)、(c)分別為原始自適應梯度和顧及紋理SGM的密集匹配結(jié)果與LiDAR點云的M3C2(multiscale model to model cloud comparison)距離[32]的直方圖統(tǒng)計結(jié)果，其中圖表標題列出誤差統(tǒng)計的均值與標準差。如圖14所示，傳統(tǒng)方法精度與本文方法精度差異并不明顯，其原因為LiDAR點云相對于密集匹配點云較為稀疏，致使圖14(b)、(c)直方圖形狀整體上較為相似。進一步統(tǒng)計直方圖的均值和方差，可見密集匹配點云和LiDAR點云差異不明顯，同時兩種方法精度十分接近。事實上該精度值主要與平差結(jié)果相關(guān)，然而該統(tǒng)計結(jié)果也從另一個側(cè)面說明本文方法的可行性。本文方法并不致力于提高SGM的匹配精度，主要目的為降低平坦區(qū)域噪聲，并減少視差斷裂處的缺漏情況，如上述定性分析所示。

2.3 效率分析

本次試驗設備為戴爾Precision M6700工作站，處理器為Intel(R) Core(TM) i7-3720QM 2.60 GHz，內(nèi)存為8 GB；開發(fā)環(huán)境為Visual Studio 2013，使用C++編程實現(xiàn)SGM算法。由于內(nèi)存限制，影像需要分塊處理，且對各分塊采用OpenMP并行加速處理。表4為本文算法與原始自適應梯度SGM算法的效率對比。在代價聚合階段，使用SIMD(single instruction multiple data)指令加速處理[33]。

表4 效率對比

3 結(jié) 論

本文在半全局匹配算法的基礎上，提出了一種紋理感知的自適應參數(shù)算法：檢測并定量描述影像的紋理信息，根據(jù)紋理信息自適應計算逐像素的懲罰參數(shù)，并自適應選擇參數(shù)匹配。試驗表明，本文提出的算法在低紋理區(qū)域點云結(jié)果更為平坦，同時能更好保留建筑物邊緣的直角特征。由于沒有破壞算法的基本框架和數(shù)據(jù)結(jié)構(gòu)，保留了其使用SIMD技術(shù)加速計算的能力。采用ISPRS的基準測試數(shù)據(jù)集以及實際應用生產(chǎn)中的SWDC-5傾斜攝影系統(tǒng)獲取的影像進行試驗驗證表明，本文方法能顯著提高密集匹配點云在低紋理區(qū)域的質(zhì)量，同時在視差斷裂處保留物體的直角邊緣特征。

圖3 不同方法檢測出的紋理特征Fig.3 Texture feature from various methods

圖4 影像紋理與視差的對應關(guān)系Fig.4 Relationship between texture and disparity

圖5 紋理信息二值化結(jié)果對比Fig.5 Texture binarization results comparison

圖6 試驗區(qū)域影像Fig.6 Experiment images

圖7 金陽傾斜影像對比Fig.7 Comparison for Jinyang images

圖8 蘇黎世傾斜影像對比Fig.8 Comparison for Zürich images

圖9 斯圖加特影像對比Fig.9 Comparison for Stuttgart images

圖10 慕尼黑下視影像對比Fig.10 Comparison for München images

圖11 SURE與本文方法點云結(jié)果對比Fig.11 Comparison between SURE and proposed method

圖12 斯圖加特密集匹配點云和LiDAR點云對比Fig.12 Comparison between dense matching and LiDAR

圖13 斯特加特密集匹配點云和DSM對比Fig.13 Comparison between dense matching and DSM

圖14 自適應梯度與顧及紋理SGM對比Fig.14 Comparison between adaptive gradient SGM and SGM concerned with texture feature

[1] LEBERL F,IRSCHARA A,POCK T, et al.Point Clouds: LiDAR Versus 3D Vision[J]. Photogrammetric Engineering & Remote Sensing, 2010, 76(10): 1123-1134.

[2] HAALA N. The Landscape of Dense Image Matching Algorithms[C]∥Photogrammetric Week 2013. Stuttgart, Germany: [s.n.], 2013.

[3] HIRSCHMULLER H.Stereo Processing by Semiglobal Matching and Mutual Information[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2008, 30(2): 328-341.

[4] REMONDINO F, SPERA M G, NOCERINO E, et al. State of the Art in High Density Image Matching[J]. The Photogrammetric Record, 2014, 29(146): 144-166.

[5] SCHARSTEIN D, SZELISKI R. A Taxonomy and Evaluation of Dense Two-frame Stereo Correspondence Algorithms[J]. International Journal of Computer Vision, 2002, 47(1-3): 7-42.

[6] 王競雪, 朱慶, 王偉璽. 多匹配基元集成的多視影像密集匹配方法[J]. 測繪學報, 2013, 42(5): 691-698. WANG Jingxue, ZHU Qing, WANG Weixi. A Dense Matching Algorithm of Multi-view Image Based on the Integrated Multiple Matching Primitives[J]. Acta Geodaetica et Cartographica Sinica, 2013, 42(5): 691-698.

[7] VU H H, LABATUT P, PONS J P,et al.High Accuracy and Visibility-consistent Dense Multiview Stereo[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(5): 889-901.

[8] 楊化超, 姚國標, 王永波. 基于SIFT的寬基線立體影像密集匹配[J]. 測繪學報, 2011, 40(5): 537-543. YANG Huachao, YAO Guobiao, WANG Yongbo. Dense Matching for Wide Base-line Stereo Images Based on SIFT[J]. Acta Geodaetica et Cartographica Sinica, 2011, 40(5): 537-543.

[9] HOSNI A, BlEYER M, GELAUTZ M. Secrets of Adaptive Support Weight Techniques for Local Stereo Matching[J]. Computer Vision and Image Understanding, 2013, 117(6): 620-632.

[10] YANG Qingxiong. A Non-local Cost Aggregation Method for Stereo Matching[C]∥Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition. Providence, RI: IEEE, 2012: 1402-1409.

[11] YANG Qingxiong. Stereo Matching Using Tree Filtering[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(4): 834-846.

[12] SUN Jian, SHUM H Y, ZHENG Nanning. Stereo Matching Using Belief Propagation[M]∥HEYDEN A, SPARR G, NIELSEN M, et al. Computer Vision—ECCV 2002. Berlin: Springer, 2002: 510-524.

[13] KOLMOGOROV V, ZABIH R. Computing Visual Correspondence with Occlusions Using Graph Cuts[D]. Ithaca: Cornell University, 2001.

[14] 鄭肇葆. 數(shù)字影像匹配的動態(tài)規(guī)劃方法[J]. 測繪學報, 1989, 18(2): 100-107. ZHENG Zhaobao. Image Matching Method via Dynamic Programming[J]. Acta Geodaetica et Cartographica Sinica, 1989, 18(2): 100-107.

[15] 張祖勛, 張劍清, 吳曉良. 跨接法概念之擴展及整體影象匹配[J]. 武漢測繪科技大學學報, 1991, 16(3): 1-11. CHANG Zhuxun, CHANG Jianqing, WU Xiaoliang. Develeping of Bridging Mode and Global Image Matching[J]. Journal of Wuhan Technical University of Surveying and Mapping, 1991, 16(3): 1-11.

[16] BIRCHFIELD S, TOMASI C. Depth Discontinuities by Pixel-to-pixel Stereo[J]. International Journal of Computer Vision, 1999, 35(3): 269-293.

[17] BANZ C, BLUME H, PIRSCH P. Real-time Semi-global Matching Disparity Estimation on the GPU[C]∥Proceedings of the IEEE International Conference on Computer Vision Workshops. Barcelona, Spain: IEEE, 2011: 514-521.

[18] ALOBEID A, JACOBSEN K, HEIPKE C. Comparison of Matching Algorithms for DSM Generation in Urban Areas from IKONOS Imagery[J]. Photogrammetric Engineering & Remote Sensing, 2010, 76(9): 1041-1050.

[19] CAVEGN S,HAALA N,NEBIKER S,et al.Benchmarking High Density Image Matching for Oblique Airborne Imagery[J]. International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2014, XL-3(3): 45-52.

[20] ROTHERMEL M,WENZEL K,FRITSCH D,et al.SURE: Photogrammetric Surface Reconstruction from Imagery[C]∥Proceedings of LC3D Workshop. Berlin: [s.n.], 2012.

[21] FUSIELLO A, TRUCCO E, VERRI A. A Compact Algorithm for Rectification of Stereo Pairs[J]. Machine Vision and Applications, 2000, 12(1): 16-22.

[22] HIRSCHMULLER H, SCHARSTEIN D. Evaluation of Stereo Matching Costs on Images with Radiometric Differences[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 31(9): 1582-1599.

[23] HIRSCHMULLER H, BUDER M, Ernst I. Memory Efficient Semi-global Matching[C]∥ISPRS Annals of Photogrammetry,Remote Sensing and Spatial Information Sciences.Melbourne,Australia:ISPRS,2012,I-3: 371-376.

[24] HUMENBERGER M, ZINNER C, KUBINGER W. Performance Evaluation of a Census-based Stereo Matching Algorithm on Embedded and Multi-core Hardware[C]∥Proceedings of 6th International Symposium on Image and Signal Processing and Analysis. Salzburg: IEEE, 2009: 388-393.

[25] RANFTL R, GEHRIG S, POCK T, et al. Pushing the Limits of Stereo Using Variational Stereo Estimation[C]∥Proceedings of 2012 IEEE Intelligent Vehicles Symposium. Alcala de Henares: IEEE, 2012: 401-407.

[26] MEI Xing, SUN Xun, ZHOU Mingcai, et al. On Building an Accurate Stereo Matching System on Graphics Hardware[C]∥Proceedings of the IEEE International Conference on Computer Vision Workshops. Barcelona, Spain: IEEE, 2011: 467-474.

[27] MALIK J, BELONGIE S, LEUNG T, et al. Contour and Texture Analysis for Image Segmentation[J]. International Journal of Computer Vision, 2001, 43(1): 7-27.

[28] ZHU Qing, WAN Neng, WU Bo. A Filtering Strategy for Interest Point Detecting to Improve Repeatability and Information Content[J]. Photogrammetric Engineering & Remote Sensing, 2007, 73(5): 547-553.

[29] XUE Wufeng, ZHANG Lei, MOU Xuanqin, et al. Gradient Magnitude Similarity Deviation: A Highly Efficient Perceptual Image Quality Index[J]. IEEE Transactions on Image Processing, 2014, 23(2): 684-695.

[30] SZELISKI R. Computer Vision: Algorithms and Applications[M]. London: Springer-Verlag, 2011: 2601-2605.

[31] ROTTENSTEINER F, SOHN G, GERKE M, et al. Results of the ISPRS Benchmark on Urban Object Detection and 3D Building Reconstruction[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2014, 93: 256-271.

[32] LAGUE D, BRODU N, LEROUX J. Accurate 3D Comparison of Complex Topography with Terrestrial Laser Scanner: Application to the RANGITIKEI Canyon (N-Z)[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2013, 82: 10-26.

[33] CONTE G,TOMMESANI S, ZANICHELLI F. The Long and Winding Road to High-performance Image Processing with MMX/SSE[C]∥Proceedings of the 5th IEEE International Workshop on Computer Architectures for Machine Perception. Padova: IEEE, 2000: 302-310.

(責任編輯：張艷玲)

An Adaptive Dense Matching Method for Airborne Images Using Texture Information

ZHU Qing1,2,CHEN Chongtai1,5,HU Han1,3,DING Yulin1,4

1. Faculty of Geosciences and Environmental Engineering,Southwest Jiaotong University,Chengdu 611756,China; 2. State-Province Joint Engineering Laboratory of Spatial Information Technology of High-speed Rail Safety,Southwest Jiaotong University,Chengdu 611756,China; 3. Department of Land Surveying and Geo-information,Hong Kong 999077,China; 4. Institute of Space and Earth Information Science,Hong Kong 999077,China; 5. Shenzhen Research Center of Digital City Engineering,Shenzhen 518034,China

Semi-global matching (SGM) is essentially a discrete optimization for the disparity value of each pixel, under the assumption of disparity continuities. SGM overcomes the influence of the disparity discontinuities by a set of parameters. Using smaller parameters, the continuity constraint is weakened, which will cause significant noises in planar and textureless areas, reflected as the fluctuations on the final surface reconstruction. On the other hands, larger parameters will impose too much constraints on continuities, which may lead to losses of sharp features. To address this problem, this paper proposes an adaptive dense stereo matching methods for airborne images using with texture information. Firstly, the texture is quantified, and under the assumption that disparity variation is directly proportional to the texture information, the adaptive parameters are gauged accordingly. Second, SGM is adopted to optimize the discrete disparities using the adaptively tuned parameters. Experimental evaluations using the ISPRS benchmark dataset and images obtained by the SWDC-5 have revealed that the proposed method will significantly improve the visual qualities of the point clouds.

dense image matching;semi-global matching;texture feature;adaptive method Foundation support： The National Natural Science Foundation of China (Nos.41501421；41631174；61602392); The Foundation of Key Laboratory for Geo-Environmental Monitoring of Coastal Zone of the National Administration of Surveying, Mapping and Geoinformation; Open Research Fund of State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing (No.15I01)

ZHU Qing(1966—)，male，PhD，Professor，PhD supervisor，majors in dynamic GIS and VGE.

HU Han

朱慶，陳崇泰，胡翰，等.顧及紋理特征的航空影像自適應密集匹配方法[J].測繪學報，2017,46(1)：62-72.

10.11947/j.AGCS.2017.20150608. ZHU Qing,CHEN Chongtai,HU Han,et al.An Adaptive Dense Matching Method for Airborne Images Using Texture Information[J]. Acta Geodaetica et Cartographica Sinica,2017,46(1):62-72. DOI:10.11947/j.AGCS.2017.20150608.

P231

A

1001-1595(2017)01-0062-11

國家自然科學基金(41501421；41631174；61602392)；空間信息智能感知與服務深圳市重點實驗室(深圳大學)開放基金；測繪遙感信息工程國家重點實驗室(武漢大學)基金(15I01)

2015-12-01

朱慶(1966—)，男，博士，教授，博士生導師，研究方向為多維動態(tài)GIS與虛擬地理環(huán)境。

E-mail： zhuq66@263.net

胡翰

E-mail： huhan19880715@163.com

修回日期： 2016-12-08