苑朝，黃諾飛，蔣陽，趙亞冬，趙振兵

基于改進旋轉不變性二進制描述算法的電力場景圖像拼接

苑朝1，黃諾飛1，蔣陽2，趙亞冬1，趙振兵3

（1.華北電力大學 自動化系，河北 保定 071003； 2.杭州市中策職業(yè)學校 電氣運行與控制組，浙江 杭州 310000； 3.華北電力大學 電子與通信工程系，河北 保定 071003）

在圖像拼接過程中，使用固定閾值的旋轉不變性二進制描述（Oriented fast and rotated brief，ORB）算法檢測出的特征點在特征匹配階段會產生較多誤匹配，從而導致拼接的圖像在拼接縫處產生重影。針對此問題，提出一種基于改進ORB的圖像拼接算法。首先，使用自適應算法將ORB的固定閾值替換為動態(tài)閾值對特征點進行檢測；然后，使用近鄰（-nearest neighbor，KNN）算法進行特征點粗匹配，再用隨機抽樣一致性（Random sampling consensus，RANSAC）算法對特征點進行精匹配；最后，通過最佳縫合線法和漸入漸出法對圖像進行拼接。實驗結果表明，相較于傳統(tǒng)的ORB算法，利用所提出的算法時所需的特征點檢測時間、匹配時間明顯減少，匹配正確率明顯提高，拼接縫重影被有效消除。

圖像拼接；電力生產場景；ORB算法；自適應閾值；最佳縫合線

0 引言

隨著電力生產智能化的推進，電力場景的圖像拼接技術被廣泛應用[1]。在電力設備檢測中，將所獲取的電力設備圖像拼接成全景圖像會便于對設備整體運行狀態(tài)和周邊環(huán)境的監(jiān)測，有利于及時發(fā)現潛在的安全隱患[2]。對無人機或直升機拍攝的輸電線路圖像進行拼接，生成輸電線路的全景圖像，便于巡檢人員全面查看線路設備的細節(jié)和整體情況，有利于提高巡檢效率和準確性[3]。將實際拍攝的圖像拼接成全景圖像，可以輔助電力設施的規(guī)劃設計和布局優(yōu)化。電力設備所處場景多樣且環(huán)境復雜。為滿足實時性和準確性的要求，電力圖像拼接過程要求高速度和高質量。

對于圖像拼接，目前已經發(fā)展出了許多不同的方法，其中關于特征點的研究是當前的熱點之一。文獻[4]提出了一種基于改進尺度不變特征變換（Scale-invariant feature transform，SIFT）的快速圖像拼接和重影優(yōu)化算法，在降低SIFT算法運算時間的同時提高了圖像拼接的質量。文獻[5]提出了一種基于ORB特征的高分辨率圖像拼接改進算法。雖然該算法在拼接快速性與拼接準確性2個方面具有優(yōu)越性，但關于圖像變換矩陣的計算和重疊區(qū)域的圖像融合仍有可以進一步優(yōu)化的空間。文獻[6]提出了一種具有動態(tài)閾值的改進快速魯棒特征（Speeded-up robust feature，SURF）算法，優(yōu)化了特征點的提取過程?？紤]到后續(xù)可以將所提出的算法與描述子降維算法結合，所以其特征提取、描述和匹配的效率有望進一步提升。文獻[7]提出一種基于優(yōu)化SIFT算法的農田航拍全景圖像快速拼接方法。該算法在時間效率方面仍有進一步提高的空間。文獻[8]在提取圖像周邊點的方式和判斷特征點條件上進行改進，提出了一種基于改進ORB特征點檢測的圖像拼接方法，提高了檢測效率。

ORB算法相較于其他傳統(tǒng)算法雖然具有速度上的優(yōu)勢，但是也會受到固定閾值的限制。固定閾值的ORB算法對圖像變化的適應性較差。考慮到實際情況，對于具有不同亮度和對比度的圖像，宜采用不同閾值的特征檢測算法來準確檢測特征點。

鑒于此，為有效減少圖像拼接的重影問題，本文提出一種基于改進ORB算法的圖像拼接方法：首先，針對不同特性圖像，根據圖像的均值與標準差，通過所提出的自適應算法計算出特征檢測的閾值，使用此閾值進行特征點檢測；再使用KNN算法進行特征點粗匹配，采用RANSAC算法對特征點進行精匹配；最后通過最佳縫合線法和漸入漸出法對圖像進行拼接。

1 ORB算法及其改進

1.1 ORB算法

在加速分割測試特征（Features from accelerated segment test，FAST）算法的基礎上，ORB算法增加了特征點的主方向，被稱為“Oriented FAST”，為后續(xù)的二值穩(wěn)健獨立基本特征（Binary robust independent element feature，BRIEF）描述子增加了旋轉不變性[9]。

ORB算法定義的特征點：如果某個像素點與其周圍鄰域中有足夠多的像素點屬于不同的區(qū)域，則該像素點可能是特征點。

算法步驟：

選取某一像素點，并假定其灰度值為I。以點為中心確定一個半徑為3的圓，選取圓邊界上的16個像素點。

設定一個閾值。若圓上有個連續(xù)像素點的灰度值都小于I–或者都大于I+，則可定義其為特征點[10]。

式中：I為圓邊界上像素點的灰度值；I為待檢測像素點的灰度值；為檢測閾值；在一般情況下取12。

在完成特征點的檢測后，再使用BRIEF算法計算每個特征點的描述子。

1.2 算法改進

在使用ORB算法進行特征點檢測時，檢測閾值是固定不變的；這將導致算法對外界環(huán)境的魯棒性較弱，使檢測到的特征點出現“扎堆”現象，進而影響圖像拼接效果。

圖1給出了改進后ORB算法流程。如圖所示，首先，構建圖像金字塔，并確定每層金字塔圖像所需提取的特征點數量；計算金字塔圖像灰度均值與標準差，通過提出的自適應算法計算出特征檢測的閾值。然后，對金字塔圖像進行網格劃分，并檢測特征點。若檢測的特征點數量大于每層設定的特征點數，則結束該層特征點的檢測；若特征點數量不滿足要求，則降低閾值再次檢測。最后，采用非極大值抑制的方法來抑制局部密集特征點，并計算特征描述子。

圖1 改進后ORB算法流程

改進的ORB算法關鍵步驟如下：

1）構建圖像金字塔，增加特征點檢測算法的尺度不變性。先設置縮放比例因子和金字塔的層數，再將原圖根據縮放比例因子生成幅圖像。分別檢測幅圖像的特征點，并將其總和作為圖像的特征點。每幅圖像所需檢測的特征點數量計算公式為：

式中：T為每幅圖像所需提取的特征點數量；為需要提取的特征點總數。

2）將被檢測像素點和圓周上像素點的灰度差值與檢測閾值進行比較，進而判斷特征點。如果檢測閾值固定不變，則容易造成特征點的丟失。本文提出一種基于圖像灰度信息的自適應閾值計算方法。

首先，計算圖像的均值與標準差。

然后，根據上述信息計算自適應閾值，計算公式為：

式中：為初始閾值；為降低后的閾值。

3）劃分網格，并檢測特征點。以為行數，以為列數，將每層金字塔圖像劃分成×個大小相同的網格區(qū)域。區(qū)域劃分完成后，從圖像金字塔的第一層開始遍歷網格：先用初始閾值進行特征點檢測。在檢測過程中，對每個網格檢測到的特征點進行計數。如果總數大于等于T，則結束該層特征點的檢測；如果用初始閾值檢測到的特征點數量小于T，則降低閾值再次檢測。

4）采用非極大值抑制的方法來抑制局部密集特征點。假設特征點與特征點相鄰，則分別計算這2個點與自身周圍16個像素點差分和，并剔除差分和較小的特征點。

差分和計算公式為：

式中：1為像素點灰度值大于I+的像素集合；2為像素點灰度值小于I–的像素集合。

5）為增加算法的魯棒性，用高斯卷積核對圖像進行高斯濾波，去除噪聲；再根據BRIEF算法計算圖像的特征描述子。

2 圖像拼接

圖像拼接流程如圖2所示。

圖2 圖像拼接流程

為了降低誤匹配率、提升圖像拼接效果，將特征匹配分為粗匹配和精匹配2個步驟：首先，使用KNN算法[11]獲取待拼接圖像之間特征點的粗匹配；然后，使用RANSAC算法[12]進行精匹配，剔除誤匹配點，提高匹配精度。

在完成圖像配準后進行圖像融合。若直接對拼接縫兩側的區(qū)域使用融合算法，則會出現重影。為了使融合的圖像更加平滑自然，避免出現圖像重疊區(qū)域重影，在圖像融合之前首先使用最佳縫合線法對待融合圖像進行處理，然后在圖像重疊區(qū)域內使用漸入漸出融合算法以減少拼接縫痕跡。

1）基于動態(tài)規(guī)劃的最佳縫合線法。

使用最佳縫合線法的目的，是使拼接線從2幅圖像重疊區(qū)域中差異最小的位置穿過，盡可能減少圖像偏差帶來的拼接痕跡[13]。

縫合線上像素點的強度計算方法為：

式中：c(,)為圖像顏色差異強度值；g(,)為圖像結構差異強度值。

式中：、分別為和方向的Sobel算子。

使用動態(tài)規(guī)劃思想，在重疊區(qū)域尋找最佳縫合線。以重疊區(qū)域的第1行的每個像素點分別作為一條縫合線的起點。若第1行有個像素點，最終將會得到條縫合線。具體步驟為：將第1行第1個像素作為第1條縫合線的當前像素點，并計算其強度值；找到當前像素點在下一行中與之相鄰的3個像素點，比較3個像素點的強度值，以強度值最小的像素點作為縫合線的下一個像素點，不斷重復直到圖像重疊區(qū)域的最后一行；以第1行第2個像素為起點、第1行第3個像素點為起點，依次計算直到遍歷完第1行所有像素點；比較條縫合線的強度值，將強度值最小的縫合線作為最佳縫合線。

2）漸入漸出融合算法。

對重疊區(qū)域內像素點的灰度值進行計算[14]，計算公式為：

式中：為融合后圖像的灰度圖；1為待融合左圖像素點的灰度圖；2為待融合右圖像素點的灰度圖；1、2為加權值，且1+2=1，0<1<1，0<2<1。

3 實驗及結果分析

實驗計算機配置為：CPU AMD Ryzen 7 5800H，3.20 GHz，內存為16GB，64位Win11操作系統(tǒng)。

實驗基于OpenCV3.4.1實現，編程語言為C++，編程環(huán)境為Visual Studio 2017。

實驗圖像如圖3所示。

圖3 實驗圖像

在圖像拼接過程中，特征點檢測速度、特征匹配速度和匹配正確率是衡量算法的重要指標。然而，在實際拼接過程中，拼接效果容易受到待拼接圖像尺度和光照條件的影響。因此，針對本文提出的拼接算法，采用了圖3所示圖像進行實驗，從上述3個指標對算法進行評價和分析。

3.1 特征點檢測速度

根據提取1 000個特征點的用時，可以對特征點檢測速度進行評價。用時越少，則說明特征點檢測速度越快。

分別使用SIFT、SURF、ORB、文獻[5]、文獻[7]和本文算法，對實驗圖像進行特征點檢測。各算法特征點檢測時間如表1所示。

表1 各算法特征點檢測時間

從表1所示結果可以看出，本文提出的算法在特征點檢測時間性能方面繼承了ORB算法的快速性，具有最短的檢測時間。SURF與SIFT算法用時最長；本文算法用時略低于文獻[5]和文獻[7]算法。

分析：ORB算法采用FAST算法來檢測特征點，且在特征描述時采用二進制編碼的BRIEF描述子，從而加快了特征描述子建立的速度。

3.2 特征匹配速度

根據匹配1 000個特征點對的用時，可以對特征匹配速度進行評價。用時越少，說明算法的特征匹配速度越快。

表2展示了各算法對實驗圖像進行特征匹配的用時情況。

表2 各算法進行特征點對匹配的時間

從表2中可以看出，SIFT與SURF算法檢測出的特征點特征匹配用時最長，ORB算法次之，文獻[5]、文獻[7]和本文算法耗時最短且相差不大。

分析：SIFT與SURF算法檢測特征點需要采用歐式距離進行特征相似性度量，因此耗時較長。ORB與本文算法在進行特征描述時，采用了漢明距離進行特征相似性度量，所以耗時較短。

3.3 匹配正確率

匹配正確率（Correct matching rate，CMR）為正確匹配點對數量與所有匹配點對數量之比[15]，其定義為：

式中：t為正確匹配點對數；為所有匹配點對數。

值越大，匹配正確率越高。

對實驗圖像檢測出的特征點進行特征匹配。表3給出各算法匹配正確率比較結果。

表3 各算法匹配正確率比較結果

從表3中可以看出，對于尺度不同、光照不同的圖像，本文算法匹配正確率總體較高，文獻[5]與文獻[7]次之，SURF與SIFT算法再次之，ORB算法最差。

本文算法繼承了ORB算法檢測特征點速度快的優(yōu)點，且用本文算法檢測出的特征點在匹配正確率上相較于其他算法得到了一定的提升；用SIFT和SURF算法檢測出的特征點的匹配正確率較高，但特征點檢測速度與特征匹配速度過慢，無法滿足實時性的要求；用文獻[5]和文獻[7]方法檢測特征點的用時略高于本文算法，特征匹配時間大致相同，但匹配正確率低于本文算法。

綜上所述，本文算法在特征點檢測速度上具有快速性；且基于本文算法檢測出的特征點在特征匹配速度和匹配正確率上更具優(yōu)越性。這說明本文算法在處理圖像拼接任務時不僅能迅速提取高質量的特征點，還能在特征匹配階段獲得更為準確和可靠的匹配結果。

3.4 圖像拼接結果

使用本文算法對圖3中的3組圖像進行特征點檢測與配準，再使用最佳縫合線法和漸入漸出法對配準后的圖像進行融合，拼接結果如圖4所示。從圖中可以看出，拼接后的圖像沒有明顯的拼接縫和重影，拼接效果較好。

圖4 圖像配準與拼接結果

3.5 拼接圖像評價指標

選擇圖像信息熵和圖像平均梯度作為拼接圖像的評價指標。由于SIFT算法在特征檢測過程中用時過長，不能滿足實時性，故不再進行拼接圖像評價指標的對比。

1）圖像信息熵。信息熵是反映圖像信息豐富程度的一種度量。通常情況下，圖像的信息熵越大，其信息量就越豐富，圖像質量也就越好[16]。信息熵的計算公式為：

式中：為信息熵；()為灰度值為的像素所占比例；為圖像像素的行數；為圖像像素的列數。

2）圖像平均梯度。平均梯度能敏感地反映圖像對微小細節(jié)的表達能力。一般來說，平均梯度越大，圖像越清晰，圖像拼接效果越好[17]。平均梯度的計算公式為：

表4、表5分別示出了用各算法得到的圖像信息熵和平均梯度。

表4 圖像信息熵

表5 圖像平均梯度

從表4與表5可以看出，用本文算法拼接得到的圖像在信息熵和平均梯度上相較于其他算法均有一定程度的提升。因此，本文算法對于消除重影以及消除拼接處的拼接縫有一定作用。

4 結論

針對采用基于固定閾值的ORB圖像拼接算法不能滿足電力場景應用中對拼接精度、實時性和適應性要求的問題，本文提出了一種基于改進ORB的圖像拼接算法。結果表明：

1）所提出的自適應閾值算法在考慮圖像不同特性的基礎上計算特征檢測的閾值，可獲得更快的特征點檢測速度。

2）使用KNN和RANSAC方法對提取的特征點對特征分別進行粗匹配與精匹配，使本文算法提取的特征點過程具有匹配速度更快、匹配正確率更高的優(yōu)勢。

3）相較于使用其他特征點檢測算法的圖像拼接，通過最佳縫合線法和漸入漸出法對圖像進行拼接，使本文算法在消除拼接縫痕跡和重影方面的效果有所提升。

展望：可針對電力場景中的圖像拼接需求，進一步優(yōu)化圖像融合算法，以適應光照尺度不同場景的變化，提高圖像拼接的精度和實時性。

[1] 劉正, 田秀霞, 白萬榮. 面向電力場景的雙通道圖像拼接竄改檢測模型[J]. 計算機應用研究, 2022, 39(4): 1218-1223. LIU ZHENG, TIAN XIUXIA, BAI WANRONG. Dual-channel image splicing forgery detection model of electric power site[J]. Application Research of Computers, 2022, 39(4): 1218-1223(in Chinese).

[2] 張亮, 屈剛, 李慧星, 等. 智能電網電力監(jiān)控系統(tǒng)網絡安全態(tài)勢感知平臺關鍵技術研究及應用[J]. 上海交通大學學報, 2021, 55(S2): 103-109. ZHANG LIANG, QU GANG, LI HUIXING, et al. Research and application of key technologies of network security situation awareness for smart grid power control systems[J]. Journal of Shanghai Jiaotong University, 2021, 55(S2): 103-109(in Chinese).

[3] 彭泓, 李紅利, 杜宇, 等. 電力巡線無人機航拍圖像拼接算法[J]. 計算機應用與軟件, 2020, 37(5): 243-248. PENG HONG, LI HONGLI, DU YU, et al. Stitching algorithm of aerial images taken by power patrol UAV[J]. Computer Applications and Software, 2020, 37(5): 243-248(in Chinese).

[4] 劉杰, 游品鴻, 占建斌, 等. 改進SIFT快速圖像拼接和重影優(yōu)化[J]. 光學精密工程, 2020, 28(9): 2076-2084. LIU JIE, YOU PINHONG, ZHAN JIANBIN, et al. Improved SIFT fast image stitching and ghosting optimization algorithm[J]. Optics and Precision Engineering, 2020, 28(9): 2076-2084(in Chinese).

[5] 劉天賜, 宋延嵩, 李金旺, 等. 基于ORB特征的高分辨率圖像拼接改進算法[J]. 激光與光電子學進展, 2021, 58(8): 77-84. LIU TIANCI, SONG YANSONG, LI JINWANG, et al. Improved algorithm for high-resolution image stitching based on ORB features[J]. Laser & Optoelectronics Progress, 2021, 58(8): 77-84(in Chinese).

[6] 徐啟文, 唐振民, 姚亞洲. 基于改進SURF算法的圖像拼接研究[J]. 南京理工大學學報, 2021, 45(2): 171-178. XU QIWEN, TANG ZHENMIN, YAO YAZHOU. Research on image mosaic based on improved SURF algorithm[J]. Journal of Nanjing University of Science and Technology, 2021, 45(2): 171-178(in Chinese).

[7] 劉媛媛, 何銘, 王躍勇, 等. 基于優(yōu)化SIFT算法的農田航拍全景圖像快速拼接[J]. 農業(yè)工程學報, 2023, 39(1): 117-125. LIU YUANYUAN, HE MING, WANG YUEYONG, et al. Fast stitching for the farmland aerial panoramic images based on optimized SIFT algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering, 2023, 39(1): 117-125(in Chinese).

[8] 秦緒佳, 陳國富, 王洋洋, 等. 改進ORB特征點檢測的圖像拼接方法[J]. 小型微型計算機系統(tǒng), 2022, 43(1): 98-102. QIN XUJIA, CHEN GUOFU, WANG YANGYANG, et al. Image mosaic method based on improved ORB feature points detection[J]. Journal of Chinese Computer Systems, 2022, 43(1): 98-102(in Chinese).

[9] 焦嵩鳴, 鐘宇飛, 姚鑫, 等. 一種改進自適應閾值的ORB算法研究[J]. 激光雜志, 2022, 43(6): 85-90. JIAO SONGMING, ZHONG YUFEI, YAO XIN, et al. Research on an improved ORB algorithm of adaptive threshold[J]. Laser Journal, 2022, 43(6): 85-90(in Chinese).

[10] 楊倩蘭, 宋麗梅, 黃浩珍, 等. 面向集成制造的改進ORB圖像匹配方法[J]. 計算機集成制造系統(tǒng), 2022, 28(7): 2242-2249. YANG QIANLAN, SONG LIMEI, HUANG HAOZHEN, et al. Improved ORB image matching method for integrated manufacturing[J]. Computer Integrated Manufacturing Systems, 2022, 28(7): 2242-2249(in Chinese).

[11] BEIRANVAND F, MEHRDAD V, DOWLATSHAHI M B. Unsupervised feature selection for image classification: a bipartite matching-based principal component analysis approach[J]. Knowledge-Based Systems, 2022, 250: 109085.

[12] MA S, GUO P, YOU H, et al. An image matching optimization algorithm based on pixel shift clustering RANSAC[J]. Information Sciences, 2021, 562: 452-474.

[13] 盧泉, 楊振華, 黃粒峰. 改進最佳縫合線的紅外圖像拼接方法[J]. 紅外技術, 2022, 44(6): 580-586. LU QUAN, YANG ZHENHUA, HUANG LIFENG. Infrared image mosaic method for improving the best seam-line[J]. Infrared Technology, 2022, 44(6): 580-586(in Chinese).

[14] 孫艷麗, 周偉, 張亞周, 等. 基于SIFT的航空偵查圖像拼接算法[J]. 電子測量技術, 2020, 43(19): 112-116. SUN YANLI, ZHOU WEI, ZHANG YAZHOU, et al. Image mosaic algorithm of aerial investigation based on SIFT[J]. Electronic Measurement Technology, 2020, 43(19): 112-116(in Chinese).

[15] 韓敏, 閆闊, 秦國帥. 基于改進KAZE的無人機航拍圖像拼接算法[J]. 自動化學報, 2019, 45(2): 305-314. HAN MIN, YAN KUO, QIN GUOSHUAI. A mosaic algorithm for UAV aerial image with improved KAZE[J]. Acta Automatica Sinica, 2019, 45(2): 305-314(in Chinese).

[16] 丁潔, 陸安江, 彭熙舜, 等. 基于顏色校正和加權融合的水下圖像增強[J]. 國外電子測量技術, 2023, 42(3): 167-174. DING JIE, LU ANJIANG, PENG XISHUN, et al. Underwater image enhancement based on color correction and weighted fusion[J]. Foreign Electronic Measurement Technology, 2023, 42(3): 167-174(in Chinese).

[17] 唐霖峰, 張浩, 徐涵, 等. 基于深度學習的圖像融合方法綜述[J]. 中國圖象圖形學報, 2023, 28(1): 3-36. TANG LINFENG, ZHANG HAO, XU HAN, et al. Deep learning-based image fusion: a survey[J]. Journal of Image and Graphics, 2023, 28(1): 3-36(in Chinese).

Power Scene Images Mosaic Based on Improved Oriented Fast and Rotated Brief Algorithm

YUAN Chao1, HUANG Nuofei1, JIANG Yang2, ZHAO Yadong1, ZHAO Zhenbing3

(1.Department of Automation, North China Electric Power University, Baoding 071003, China; 2.Electrical Operation and Control Hangzhou Zhongce Vocational School, Hangzhou 310000, China; 3.Department of Electronic and Communication Engineering North China Electric Power University, Baoding 071003, China)

During image mosaicing, the feature points detected by the fixed threshold oriented fast and rotated brief (ORB) algorithm will produce more mismatches in the feature matching stage, which results in a double image of the stitched image at the seam. To solve this problem, an image mosaic algorithm based on improved ORB is proposed. Firstly, the fixed threshold of ORB is replaced by the dynamic threshold to detect the feature points by using adaptive algorithm, and then the-nearest neighbour (KNN) algorithm is used to perform the rough matching of the feature points, then, random sampling consensus (RANSAC) algorithm is used to match the RANSAC points, and the image is stitched by the best suture method and the gradual-out method. The experimental results show that compared with the traditional ORB algorithm, the proposed algorithm head less feature point the detection time and matching time, and improve the matching accuracy with eliminating the stitched ghosting effectively.

image mosaic; power production scene; ORB algorithm; adaptive threshold; optimal suture

10.3969/j.ISSN.1672-0792.2024.01.004

TP391

A

1672-0792(2024)01-0031-08

國家自然科學基金聯合基金項目重點支持項目（U21A20486）。

2023-08-29

苑朝（1985—），男，講師，研究方向為機械臂控制、機器視覺、機器人遙操作；

黃諾飛（1996—），男，碩士研究生，研究方向為圖像處理、視頻拼接；

蔣陽（1990—），男，碩士研究生，研究方向為虛擬現實重建；

趙亞冬（1998—），男，碩士研究生，研究方向為圖像處理、機器人感知；

趙振兵（1979—），男，教授，研究方向為電力人工智能、電力視覺技術。

苑朝