王琳琳 李俊杰 康飛 馬傳波

摘要：為克服傳統(tǒng)視覺檢測方法的局限性，提出了一種基于無人機圖像拼接技術(shù)的大壩結(jié)構(gòu)損傷檢測方法。該方法以無人機作為大壩結(jié)構(gòu)表面損傷的圖像采集工具，通過提出的圖像配準和融合算法，將分布在若干張圖像中的同一結(jié)構(gòu)損傷拼接為完整的損傷圖像，在保證圖像分辨率和檢測精度的基礎上，擴寬了檢測視野;所提出圖像分組拼接的方法減少了多圖像拼接時產(chǎn)生的累積誤差。研究結(jié)果表明：與傳統(tǒng)的視覺檢測方法相比，研究提出的檢測方法具有經(jīng)濟、高效、易于操作和安全性高的特點，并有利于觀察壩面損傷情況，在大壩的健康監(jiān)測中具有一定的應用價值。

關(guān) 鍵 詞：大壩監(jiān)測; 圖像拼接技術(shù); 無人機; 視覺檢測

中圖法分類號： TV39;TP391.1

文獻標志碼： A

DOI：10.16232/j.cnki.1001-4179.2021.12.037

0 引 言

大型水電站是大國重器。大壩作為最主要的水利樞紐建筑物，一旦失事，將造成重大的生命財產(chǎn)損失。根據(jù)《第一次全國水利普查公報》[1]的統(tǒng)計，截至2011年12月，中國水庫已達98 002座，總庫容超9 300億m3。目前，有一些大壩由于水文、工程地質(zhì)、設計、施工以及自然老化等原因，已被定義為病險壩[2-3]。因此，需要對大壩的安全性和穩(wěn)定性進行監(jiān)控。目前，大壩表面損傷檢測仍然采用人工目視檢測。該方法工作量大，成本高，且檢測人員的安全很難得到完全保證[4]。不僅如此，由于大壩的特殊外觀和所處位置等因素，使得在某些特殊情況下，無法實現(xiàn)對結(jié)構(gòu)關(guān)鍵構(gòu)件的檢測[5]。為了解決上述傳統(tǒng)視覺評估方法的缺陷，急需一種無損、高效、低成本、易操作而且準確又安全的檢測方法。隨著無人機（Unmanned Aerial Vehicle，UAV）技術(shù)的發(fā)展與普及，可以采用無人機來獲取結(jié)構(gòu)的視覺信息。基于UAV的視覺檢測方法成本低，可操作性強且安全性能高[6]。

在對大壩損傷圖像進行采集時，為了獲取壩體表面的高分辨率圖像，往往需要近場采集圖像。這就使得每張圖像僅可覆蓋一小塊區(qū)域，在各張圖像中很難獲得完整的壩面信息。因此，為了全面評估結(jié)構(gòu)的健康狀況，需要運用圖像拼接的方法，將從混凝土結(jié)構(gòu)表面采集的多個圖像拼接成單個的寬視角圖像。圖像拼接是一種將重疊部分的多個圖像融合在一起，以產(chǎn)生高分辨率全景圖像的技術(shù)[7]。該技術(shù)已在土木工程領(lǐng)域得到了一定的應用。Zhu等[8]應用圖像拼接技術(shù)來描繪橋柱區(qū)域，使得橋柱生成大圖片以供進一步分析。Adhikari等[9]提出了一種基于圖像處理技術(shù)的混凝土裂縫特征提取方法。該方法應用圖像拼接技術(shù)，將分布在兩張圖像中的裂縫進行拼接。李新科等[10]使用圖像拼接算法，將分布在2張圖像上的橋梁拉索表面損傷進行拼接，以顯示出完整的缺陷圖。Chen等[11]介紹了一種無人機圖像拼接方法，從而實現(xiàn)了遙感影像的全景拼接。但是，圖像拼接技術(shù)目前尚未真正應用于水工結(jié)構(gòu)中解決實際問題。

研究提出了以無人機作為大壩健康監(jiān)測的圖像采集工具，發(fā)展了一種新的大壩結(jié)構(gòu)損傷檢測方法，以克服傳統(tǒng)視覺檢測的局限性。應用圖像拼接算法對采集到的損傷圖像進行拼接，將分布在多張圖像中的損傷完全呈現(xiàn)在同一張圖像中，以實現(xiàn)在不降低圖像分辨率的情況下提高檢測的精度。

1 算法原理及實現(xiàn)

算法的實現(xiàn)步驟如圖1所示，共分為3個部分：

（1） 圖像采集，采用UAV作為圖像采集工具，以獲取損傷圖像;

（2） 圖像配準，應用Brown等[12]提出的尺度不變特征變換（Scale Invariant Feature Transform，SIFT）算法，提取圖像中的關(guān)鍵點，并對其進行匹配;

（3） 圖像融合，根據(jù)每幅圖像間的匹配點，對采集到的損傷圖像進行拼接，當圖像過多時，則采用分組拼接的形式。

1.1 圖像采集

為了更安全、高效地獲取壩體表面圖像，以無人機作為圖像采集工具，通過控制無人機的飛行軌跡拍攝不同區(qū)域壩體表面的損傷圖像。該采集工作需要一名具備無人機飛行操控和飛行規(guī)劃能力的地面操作員來實現(xiàn)遠程控制。本次研究選用大疆（DJI PHANTOM 4 PRO）無人機收集原始圖像數(shù)據(jù)，配備1英寸2 000 M像素的CMOS圖像傳感器和高分辨率鏡頭，圖像像素為5 472×3 078。在圖像采集過程中，需盡量確保相機主光軸與壩面正交，而且與壩面保持相同的飛行距離（約5.0 m），對采集到的圖像，需盡量保證至少有50%的重疊率。

1.2 圖像配準

圖像配準是將同一場景的2張或多張圖像轉(zhuǎn)換為同一個坐標系的過程，包括特征點檢測、特征點匹配和圖像變換。

1.2.1 特征點檢測

特征點檢測，即檢測圖像中的控制點。比如，一些獨特的對象、邊緣、線的相交點和角點等[13]。目前，SIFT特征點檢測算法應用最為廣泛，其檢測的特征點不隨比例和旋轉(zhuǎn)的變化而變化，具有很高的辨識度，對圖像噪聲具有魯棒性[13]，因此，更適合于無人機采集到的圖像處理。

SIFT算法是通過在圖像的尺度空間中找到局部極值來識別特征點。然后，對每個極值點一定鄰域內(nèi)的像素點計算梯度直方圖。最終，通過梯度直方圖生成一個由128個數(shù)據(jù)組成的特征向量來描述特征點。

1.2.2 特征點匹配

當提取SIFT的特征描述符后，需要在參考圖像和待配準圖像中提取正確的匹配特征點。

首先，根據(jù)描述符的歐式距離來判斷特征點是否匹配。兩幅待匹配圖像所生成的特征描述符及其歐式距離為

Ri=ri1ri2…ri128，Si=si1si2…si128（1）

dRi，Si=128j=1（rij-sij）2（2）

式中：Ri與Si分別為待匹配圖像生成的特征描述符，dRi，Si為特征點之間的歐式距離。

然后，采用如下2個步驟來對特征匹配點對進行篩選，以消除特征點的誤匹配，保證關(guān)鍵點匹配的準確性。

步驟1?；贚owe[14]提出的比較某個特征點E與其最近鄰點P和次近鄰點P′之間的歐式距離比率的匹配策略進行篩選。即，計算EP和EP′之間的距離比率R，如果R值比某一閾值T小，則認為（E，P）作為匹配點對匹配成功，反之，則為匹配失敗。在本研究中，依據(jù)經(jīng)驗將閾值T設置為0.6，即所有匹配距離比大于0.6的匹配都將被拒絕。

步驟2。使用隨機抽樣一致性（Random Sampling Consensus，RANSAC）算法[15]，進一步刪除錯誤匹配點對。計算2幅圖像之間的單應性以及查找異常值，即不正確的匹配點，來提高圖像特征點匹配率。

1.2.3 圖像變換

在獲得2幅圖像的精確匹配特征點對后，可根據(jù)式（3）的圖像變換關(guān)系求解出單應性矩陣H。通過H，可將待配準圖像I′變換為與參考圖像I相同的坐標系下。

x′y′1=Hxyz=h11h12h13h21h22h23h31h321xy1（3）

式中：（x′，y′）和（x，y）是待配準圖像I′和參考圖像I的匹配點對。

1.3 圖像融合

將待配準圖像I′與參考圖像I轉(zhuǎn)換為同一坐標系后，需選擇適當?shù)膱D像融合方法來完成圖像拼接。鑒于本研究使用無人機作為圖像采集工具，可更接近拍攝結(jié)構(gòu)物，取景范圍相對較小，而且相鄰2幅圖像的拍攝時間間隔很短，所以采集到的圖像受光照等因素的影響較小，可以采用直接圖像融合算法，即取單幅圖像上的重疊區(qū)域進行圖像融合，這樣簡單快捷。

為了克服在拼接多幅圖像時產(chǎn)生的累積誤差，選用了中間圖像作為最佳參考圖像，并提出了一種通過分組拼接實現(xiàn)多圖像拼接的方法。即，先對組內(nèi)的圖像進行拼接，再進行組間圖像的拼接。在組間圖像拼接過程中，會重新計算相鄰2組圖像的配準參數(shù)，并以組的方式進行圖像變化，從而減少圖像的變換次數(shù)，進而降低拼接誤差的累積。根據(jù)經(jīng)驗，當拼接圖像數(shù)量不大于4張時，拼接結(jié)果未呈現(xiàn)出拼接錯誤及明顯變形;當拼接圖像數(shù)量多于4張時，拼接結(jié)果易出現(xiàn)明顯的拼接錯誤和圖像變形。因此，本文在保證有50%圖像重疊率的前提下，選擇以4張圖像為一組的分組圖像拼接方式，來解決多圖像拼接易產(chǎn)生拼接錯誤的問題。

2 實驗驗證與分析

2.1 工程概況

以位于遼寧省太子河干流上的葠窩水庫混凝土重力壩為例進行分析。該工程于1970年11月開工建設，1974年11月基本建成并投入運行，是以防洪、灌溉、城市供水為主，并結(jié)合發(fā)電的大（2）型水利工程，總庫容為7.91億m3。2013年，大壩被鑒定為三類壩。目前，存在開裂、滲水、溶蝕和凍融等損傷，嚴重影響到該大壩的安全性與穩(wěn)定性。因此，需要對大壩狀態(tài)進行評估。

2.2 實驗結(jié)果與分析

為了驗證所提出方法的可行性，選擇該壩作為研究對象，圖2為所研究大壩的上游面。矩形框是用于拍攝壩體表面圖像的采集設備。

為了驗證所提出的方法在大壩安全健康監(jiān)測中的實用性，本研究將列舉2個算例對其進行說明驗證。算例1為無人機采集的該大壩25號壩段和26號壩段的7張分段圖像，如圖3所示。算例2為無人機采集的該大壩26號壩段、27號壩段和28號壩段的7張分段圖像，如圖4所示。各分段圖像包括裂縫及其編號，圖像間的重疊率不小于50%。此外，由于無人機采集到的圖像為高分辨率圖像，在拼接過程中，各圖像將包含大量冗余信息，使得處理時間過長。所以，本文將采集到的圖像下采樣至1 824×1 026 像素。

圖5為算例1中分段圖像1-1與分段圖像1-2實現(xiàn)圖像拼接的過程圖。圖5（a）為利用SIFT算法提取的2個圖像中的特征點，圖5（b）為對匹配點對進行篩選后的特征點配準并連線，圖5（c）為采用直接融合算法進行拼接后的拼接效果圖。從圖5（a）與圖5（b）中能明顯看出通過匹配點對的篩選，大部分錯誤匹配均被刪除，即在圖5（b）中存在很多并未被連線的特征點。

算例1與算例2均由無人機采集的7張分段圖像構(gòu)成，屬于多圖像拼接問題。在本研究中，為了減少圖像拼接過程中產(chǎn)生的累積誤差，將按組拼接所獲取的多張圖像。分組拼接情況如圖6所示，將7張分段圖像分為2個組，分別為分段圖像組1和分段圖像組2，然后再將這兩組圖像拼接在一起，以形成完整的損傷圖。

圖7（a）與圖7（b）是按順序依次拼接的算例1和算例2中7張分段圖像的結(jié)果圖，在圖中均出現(xiàn)了明顯的拼接錯誤，如圖中矩形框所示。

圖8（a）與圖8（b）分別是算例1與算例2采用分組拼接方式獲得的結(jié)果圖，均由7張分段圖像拼接而成，圖像大小分別為6 748×1 026像素和6 590×1 026像素。從圖8（a）和圖8（b）中可以看出：結(jié)果圖中皆未出現(xiàn)明顯的融合錯誤與圖像變形，而且都能夠顯示出各壩段的損傷分布情況。與圖7相比可知：本文采用所提出的分組拼接方式，可以顯著地提高圖像拼接的整體效果。除此之外，在圖8（a）中用矩形框出的26號壩段的2號裂縫，最初是分別分布在算例1的分段圖像1-1、分段圖像1-2和分段圖像1-3中，而最終結(jié)果是完全顯示在同一張圖像中。因此，該方法可以將壩體損傷圖像拼接在一起形成完整圖，有助于更全面地觀察裂縫走向及損傷分布，同時也有利于進行后續(xù)的損傷提取和分析。

表1列舉出了2個算例中待拼接圖像之間的匹配點數(shù)量，包括相鄰圖像與兩組拼接圖像之間的匹配點的數(shù)量。由表1可看出，大約有90%的錯誤匹配被刪除，即提高了特征點的匹配率。

分組拼接算例1的計算時間為425.708 s，分組拼接算例2的計算時間為196.438 s。2個算例雖均是拼接7張圖像，但是圖像的特征點數(shù)量不同，使得在拼接時間上存在較大的差異。同時，本研究也計算出了未采用分組方式拼接2個算例的計算時間，分別為190.229 s和106.465 s。盡管采用分組拼接的方式略耗時，但可以減少拼接多幅圖像產(chǎn)生的誤差。

3 結(jié) 論

本文基于無人機獲取壩體表面影像數(shù)據(jù)，采用圖像拼接技術(shù)，將分布在若干張圖像中的損傷呈現(xiàn)于同一圖像中，形成了寬視野的損傷圖像，實現(xiàn)了混凝土壩面高精度、高效率的損傷檢測。

提出了采用分組形式來拼接多幅圖像的拼接方法，減少了拼接多張圖像帶來的累積誤差，從而避免了圖像拼接錯誤及拼接變形。

該方法的圖像拼接過程雖略長，但與傳統(tǒng)的視覺檢測方法相比，仍具有較大的優(yōu)勢。在后續(xù)的研究中，將在如何減少拼接時間且又不影響拼接質(zhì)量方面加以改進。

參考文獻：

[1] 中華人民共和國水利部.第一次全國水利普查公報[J].水利信息化，2013（2）：64-64.

[2] 王秘學，譚界雄，田金章，等.以ROV為載體的水庫大壩水下檢測系統(tǒng)選型研究[J].人民長江，2015，46（22）：95-98.

[3] 吳中如，徐波，顧沖時，等.大壩服役狀態(tài)的合評判方法[J].中國科學：技術(shù)科學，2012（11）：1243-1254.

[4] 徐陳勇，李云帆，王喜春.基于低空無人機的大壩滲漏安全檢測技術(shù)研究[J].電子測量技術(shù)，2018（9）：84-86.

[5] KIM J W，KIM S B，PARK J C，et al.Development of crack detection system with Unmanned Aerial Vehicles and Digital Image Processing[C]∥Advances in Structural Engineering and Mechanics，2015.

[6] MORGENTHAL G，HALLERMANN N.Quality assessment of Unmanned Aerial Vehicle（UAV）based visual inspection of structures[J].Advances in Structural Engineering，2014，17（3）：289-302.

[7] WANG Z，YANG Z.Review on image-stitching techniques[J].Multimedia Systems，2020，26（4）：413-430.

[8] ZHU Z，GERMAN S，BRILAKIS I.Detection of large-scale concrete columns for automated bridge inspection[J].Automation in Construction，2010，19（8）：1047-1055.

[9] ADHIKARI R S，MOSELHI O，BAGCHI A.Image-based retrieval of concrete crack properties for bridge inspection[J].Automation in Construction，2014，39（APR.）：180-194.

[10] 李新科，高潮，郭永彩，等.利用改進的SIFT算法檢測橋梁拉索表面缺陷[J].武漢大學學報（信息科學版），2015，40（1）：71-76.

[11] CHEN J，XU Q，LUO L B，et al.A robust method for automatic panoramic UAV Image Mosaic[J].Sensors（Basel），2019，19（8）：1898.

[12] BROWN M，LOWE D G.Automatic panoramic image stitching using invariant features[J].International Journal of Computer Vision，2007，74（1）：59-73.

[13] JAHANSHAHI M R，KELLY J S，MASRI S F，et al.Survey and evaluation of promising approaches for automatic image-based defect detection of bridge structures[J].Structure and Infrastructure Engineering，2009，5（6），455-486.

[14] LOWE D G.Distinctive image feature from scale-invariant key points[J].International Journal of Computer Vision，2004，60：91-110.

[15] FISCHLER M A，BOLLES R C.Random sample consensus：a paradigm for model fitting with applications to image analysis and automated cartography[J].Communication of the ACM，1981，24（6）：381-395.

（編輯：趙秋云）

Dam health monitoring method based on image mosaic technology of Unmanned Aearial Vehicle

WANG Linlin1，LI Junjie1，KANG Fei1，MA Chuanbo2

（1.Faculty of Infrastructure Engineering，Dalian University of Technology，Dalian 116024，China; 2.Liaoning Water Conservancy and Hydropower Research Institute Co.，Ltd.，Shenyang 110003，China）

Abstract：

In order to overcome the limitations of traditional visual inspection methods，this paper proposed a dam structure damage detection method based on image mosaic technology of Unmanned Aearial Vehicle （UAV）.In this method，the UAV is used as a tool to collect damage images of the dam surface，and the same structure damage distributed in several images is stitched together by the proposed image registration and fusion algorithm to perform a complete damage image.This method can expand the detection field on the basis of ensuring the image resolution and detection accuracy.At the same time，the method of image grouping mosaic can reduce the cumulative error of multi-image mosaic.The results demonstrate that the proposed method is more economical，efficient，easy to operate and safer than traditional visual inspection methods，and is convenient to observe the damage of the dam surface，which can be applied in practical dam safety and health monitoring.

Key words：

dam monitoring;image mosaic technology;UAV;visual inspection