于明 李雪薇

摘 要 基于雙目視覺理論提出一種適用于不同光強、背景和任意形狀充電插孔的高精度充電孔識別與定位方法。采用SIFT特征提取算法生成高斯差分金字塔進行尺度空間構建，應用機器學習最近鄰搜索特征匹配算法獲取匹配點映射集合，并配合半全局匹配方法進行視差計算得到高精度充電孔匹配和定位結果。通過試驗驗證了所提算法的有效性，得到了較為理想的匹配與測距結果。

關鍵詞 充電孔識別和定位 SIFT特征提取 最近鄰搜索特征匹配 半全局匹配方法 視差計算

中圖分類號 TP274? ?文獻標識碼 A? ?文章編號 1000?3932（2023）03?0316?07

基金項目：北京市電動汽車充換電工程技術研究中心開放基金資助項目（2021110038000442）。

作者簡介：于明（1987-），講師，從事智能電網(wǎng)控制、智能檢測的研究，yuming@bjfu.edu.cn。

引用本文：于明，李雪薇.基于SIFT算法的電動車充電孔雙目視覺識別技術［J］.化工自動化及儀表，2023，50（3）：316-322.

“雙碳”背景下新能源汽車的蓬勃發(fā)展為電動汽車充電設施產(chǎn)業(yè)提供了新的契機。隨著我國電動汽車保有量逐年增加，全國范圍內(nèi)電動汽車充電設施正逐漸趨于完善［1］。目前，充電站中電動汽車的充電端對接、充電時間控制等過程均需人工完成，存在大量由于操作不當導致的充電插口硬損傷問題。同時，鑒于充電樁長期暴露于室外，難免絕緣老化破損，人工操作存在觸電安全隱患。隨著智能化時代的到來，充電用戶也必然更加關注服務的智能化與人性化體驗［2～4］。因而，研究基于圖像識別的通用化充電插口自動識別方案并以此為基礎進行自動充電控制系統(tǒng)設計具有重要的應用價值。

近年來，國內(nèi)外進行了大量自動充電相關研究。如特斯拉研究了蛇形高自由度充電機器設備，但局限于該機械結構活動范圍，對車輛?？课恢靡筝^高，運動緩慢，僅適用于特斯拉車型。德國大眾研發(fā)的E?Smart Connect系統(tǒng)利用傳感器觸發(fā)攝像頭進行車輛及接口定位，系統(tǒng)控制庫卡機器人進行充電。在國內(nèi)，趙凌宇等研究了基于深度學習的電動汽車充電口分類識別及去模糊算法，提出了電動汽車充電口粗定位算法，但訓練模型的數(shù)據(jù)集未考慮實際充電背景，識別快速性有待提高［5］。張輝等應用機器視覺進行充電孔的檢測、定位，但沒有得到三維空間的位姿，且僅適用于圓孔情況［6］。孫成研究了多擾動因素下電動汽車的充電孔識別和位姿檢測方法，采用單目視覺識別，雖具有良好的經(jīng)濟性，但無法準確獲取深度信息［7］。

高精度的識別和定位算法是實現(xiàn)電動汽車自動充電的重中之重，是保證充電裝置對接的重要前提。筆者提出適用于不同光強、背景及任意形狀充電插孔的高精度充電孔識別與定位方法。首先研究了SIFT特征提取算法，生成高斯差分金字塔，進行尺度空間構建，并采用FLANN匹配算法得到匹配點的高精度映射集合。其次在雙目測距的過程中，使用SGBM算法進行視差計算，該算法可計算左、右攝像頭圖像的視差，從而更為準確地計算充電孔深度。為驗證所提方法有效性，分別進行了圖像識別與雙目測距實驗。

1 充電孔識別與定位總體流程

應用雙目視覺原理進行充電孔的識別和定位首先需要建立雙目相機模型。相機透視投影存在畸變問題，通過相機標定可求出相機的模型參數(shù)、畸變系數(shù)，用于圖像校正。其次，基于該雙目視覺系統(tǒng)進行電動汽車充電孔的識別及定位算法研究，包括采集圖像的濾波預處理、圖像分割、充電孔預存特征匹配、局部圖形特征立體匹配。最后，重建充電孔的三維空間，即完成了充電孔的定位。充電孔圖像識別與定位系統(tǒng)流程如圖1所示。

作為充電孔識別定位的前提，相機標定的過程就是依據(jù)已有相機的模型，由特征點坐標經(jīng)過計算與坐標變換求出相機的參數(shù)，進行三維重建。一般可采用“張氏標定”法，通過4組以上的點就可以求解出坐標變換矩陣的值，但是為了減少誤差，具有更強的魯棒性，一般會拍攝許多張照片，選取大量的角點進行標定［8］。

2 基于SIFT的圖像特征提取和匹配

自動充電識別技術首先要解決目標區(qū)域內(nèi)充電孔辨識問題。充電樁一般置于戶外強電磁環(huán)境中，采集的圖像易受噪聲影響。因而，采用的充電孔圖像辨識方法除在不同環(huán)境光線背景下具有較強的魯棒性外，還應該具有良好的抗干擾性能?；陔p目視覺的目標檢測算法，是近年來最具前景的研究內(nèi)容之一，其關鍵在于特征點的提取和特征匹配算法。尺度不變特征變換（Scale?invariant Feature Transform，SIFT）算法是一種基于空間尺度極值點的局部特征檢測算法。由于該算法具有對旋轉(zhuǎn)操作、縮放操作和亮度變化的不變性，對噪聲等也具有較強的魯棒性，且具有多量性和可擴展性，因而能夠準確提取出圖像中的角點特征［9］。經(jīng)提取的圖像特征再與預存的充電孔特征進行特征點匹配，以完成充電孔的識別功能。圖2為充電孔特征提取與匹配示意圖。

SIFT算法進行特征點提取，需要經(jīng)過尺度空間構造、空間極值點求取、穩(wěn)定關鍵點定位、穩(wěn)定關鍵點方向信息分配、關鍵點描述等步驟。

2.1 尺度空間構造

對檢測到的圖像進行空間尺度坐標變換，獲得圖像的尺度空間序列，提取該尺度空間序列的空間主輪廓，將其標示為特征向量，完成邊緣、角點不同分辨率上的關鍵點提取。構建尺度空間具有尺度變化保持不變性，通過高斯函數(shù)對圖像進行模糊及降采樣處理實現(xiàn)［10～12］。為使計算相對高效，由高斯差分函數(shù)計算得到高斯差分尺度空間，生成高斯差分金字塔：

2.2 空間極值點求取

為尋找高斯函數(shù)極值點，任一像素點均需與它圖像域和尺度空間域內(nèi)的相鄰點作比較。圖像二維空間內(nèi)，任一像素點與相鄰的8個像素點進行比較，同組的尺度空間內(nèi)，中心像素點分別同相鄰層圖像的18個像素點進行比較。如此，可獲取尺度空間和圖像二維空間的雙重局部極值點［13］。

2.3 穩(wěn)定關鍵點定位

噪聲和邊緣易引起高斯值的突變，因而2.2節(jié)得到的局部極值點還需進一步進行確認和篩選，去除不穩(wěn)定和誤檢的極值點。此外，在構造高斯差分尺度空間時使用了下采樣圖像，需要確定在該圖像中獲取的極值點與原始圖像對應的準確位置。

2.4 穩(wěn)定關鍵點方向信息分配

基于不同尺度空間進行穩(wěn)定極值點提取使尺度不變特性得到了保障。而關鍵點方向信息的分配，即極值點梯度求解則保證了關鍵點對圖像的角度不變性和旋轉(zhuǎn)不變性。定義L（x，y）為原圖像空間函數(shù)，則任一關鍵點梯度幅值如下：

梯度方向如下：

關鍵點的方向通過梯度方向直方圖求取：首先計算關鍵點鄰域內(nèi)所有像素點的梯度方向，以10°為一個單位方向進行劃歸。其次計算落入每個方位模塊內(nèi)的關鍵點數(shù)量，并以梯度方向直方圖形式表示。最后將直方圖內(nèi)縱向坐標最大值表示的方向賦給關鍵點成為其主方向，關鍵點數(shù)相當于峰值80%的方向為關鍵點的輔方向［14～16］。輔方向的應用可以提高算法的魯棒性，有助于穩(wěn)定特征匹配。

2.5 關鍵點描述

關鍵點描述即以數(shù)學語言表示關鍵點，是實現(xiàn)圖像特征點匹配的關鍵步驟，描述關鍵點及周圍對其有貢獻的鄰域像素點。首先對待求解像素區(qū)域進行分塊處理，計算相應模塊的梯度直方圖，生成方向向量，以抽象化的形式進行圖像信息表達。如圖3所示，對每塊像素點的梯度值進行高斯加權，得到8個方位，即可產(chǎn)生32維度的向量，以此向量作為關鍵點的數(shù)學表述。實驗表明，對每個關鍵點，采用128維向量描述子來表征關鍵點效果最好。

2.6 特征值匹配

采用上述方法提取圖片特征后需要與充電孔預存特征點集進行特征匹配，以完成充電孔的識別?？焖僮罱徦阉靼‵ast Library for Approximate Nearest Neighbors，F(xiàn)LANN）是一個對大數(shù)據(jù)集合高維特征進行最近鄰搜索算法的集合，優(yōu)化了大型數(shù)據(jù)集中的最近鄰搜索算法和高維特征。FLANN匹配算法記錄下目標圖像與待匹配圖像的特征點，并根據(jù)特征點集合構造特征量，對該特征量進行比較、篩選，最終得到匹配點的映射集合。使用FLANN匹配算法時需要選擇合適的最近鄰搜索算法（如隨機k?d樹算法、優(yōu)先搜索k?means樹算法及層次聚類樹等）和遞歸遍歷次數(shù)。遍歷次數(shù)越多結果越準確，但是相應的搜索時間也越長，因而需要進行參數(shù)的合理優(yōu)化與選擇［17］。

3 雙目測距算法

雙目視覺定位根據(jù)視差理論，以照像機平面和待識別物體間的幾何圖形關系為基礎，通過“特征匹配”和“三角法原理”獲取物體的三維位置信息。為了壓減計算負荷并適當緩和匹配難度，需要將雙目相機采集的圖像在極線方向上進行校準，使其成為理想雙目視覺系統(tǒng)。通過立體多維匹配技術，確定左右圖像中點的對照關系，從而得到視差，再依照投影模型獲取待辨識圖像的深度和三維信息。立體匹配因受到失真、噪聲、鏡面反射及投影縮減等因素的影響，成為立體視覺技術中關鍵但也較為困難的問題。

立體匹配方法通常由匹配代價的計算、代價的聚合、視差的獲取及視差的細化4個過程組成。匹配代價的求取是整個立體匹配算法的基礎，即在不同視差下的灰度相似性檢測。常見檢測指標有灰度差的平方、絕對值等。相應地，不同的匹配代價則對應不同的代價聚合算法。匹配代價相加后，局部算法視差計算中選取一定范圍內(nèi)匹配代價之和最小點為匹配點，而全局算法則直接針對原始匹配代價計算，求取評價函數(shù)能量的最小值。此外，在一些精度要求較高的場合，還需要進行視差的細化處理，如圖像濾波、分割及匹配代價曲線擬合等。

SGM是一種半全局匹配算法，在OpenCV中以模塊化表示為Semi?Global Block Matching，即SGBM。算法通過選取像素點的差異構成差異圖，設置和差異圖相關的全局代價函數(shù)，并使其最小化，以求解任一像素最優(yōu)差異［18］。SGBM立體匹配的效果較局部算法更優(yōu)，但與此同時也更為復雜。算法具體流程如下：

a. 預處理。采用水平Sobel算子進行圖像處理，將圖像像素點映射成新圖像。

b. 代價計算。預處理圖像基于采樣方法得到梯度代價，原圖像基于采樣方法得到SAD代價，并與梯度代價疊加。

c. 動態(tài)規(guī)劃。建立全局馬爾科夫能量方程，疊加全路徑信息計算像素匹配代價；多方向匹配代價相加獲取總匹配代價。

d. 后處理。進行唯一性檢測、亞像素插值、左右一致性檢測。

4 實驗驗證

為驗證所提出的基于SIFT特征提取算法和SGBM算法的充電孔圖像特征識別及深度計算的可行性與有效性，依次進行了圖像特征識別實驗和雙目測距實驗，得到了高精度匹配與測距結果。實驗采用雙目相機，型號為DUAL?200M?030T160，在獲取充電孔圖像前，首先需要對雙目相機進行標定與校正。

4.1 相機標定與立體校正實驗

綜合考慮標定成本、精度及魯棒性等因素，選取“張氏標定”法對項目使用的雙目相機進行標定。首先打印一張棋盤格，將它貼在平面上作為標定物；其次調(diào)整標定物或攝像機的方位，獲取6對左、右鏡頭拍攝的標定板圖片；最后送入MATLAB中的Camera Calibrator標定工具，從照片中提取棋盤格角點，估算理想無畸變的情況下5個內(nèi)參和6個外參，并用最小二乘法估算實際畸變系數(shù)，利用求取參數(shù)進行畸變校正和立體校正（圖4）。相機標定與立體校正完成后，可進行SIFT圖像特征提取和特征匹配相關實驗。

4.2 基于SIFT的圖像識別實驗

4.2.1 圖像預處理

充電樁一般工作于戶外，并處于強電磁場景中，攝像機獲取的圖像會有噪聲，因此需要進行圖像濾波預處理，在盡可能保留圖像細節(jié)特征的條件下抑制圖像的噪聲，以保證圖像特征順利提取。常使用的濾波算法有均值濾波、中值濾波、高斯濾波，圖5展示的3種濾波處理結果中，中值濾波對充電孔圖像噪聲的處理效果最好，因而實驗采用中值濾波。

4.2.2 圖像特征提取與匹配

在OpenCV中使用SIFT算法提取充電孔特征。為增強特征匹配的穩(wěn)健性，每個關鍵點用16個種子點描述，產(chǎn)生128個數(shù)據(jù)，即最終形成不受尺度變化和幾何形變影響的128維SIFT特征向量。進一步將長度歸一化，則可消除光照變化的影響。

SIFT算法參數(shù)設置見表1。

生成SIFT特征向量之后，采用歐式距離法作為關鍵點的相似判據(jù)。為排除因背景混亂或遮擋而產(chǎn)生的無匹配關系的關鍵點，采用一種機器學習算法——K最近鄰算法（K?Nearest Neighbor，KNN），比較最近鄰距離與次近鄰距離，若其比率小于設定的閾值，則判定匹配結果無誤。降低閾值，匹配點數(shù)目會減少，但更加穩(wěn)定。

圖6為使用SIFT算法提取的充電孔特征，從圖中可以看出，SIFT算法能夠很好地提取出充電孔的特征點。在得到提取的特征后使用FLANN匹配器，將SIFT提取的圖像中充電孔特征點與預存的充電孔特征進行特征匹配，并將特征匹配結果可視化（圖7）。由圖7可以看出FLANN匹配器能夠較準確地將SIFT提取的模板特征點與目標特征點進行匹配。

4.3 雙目測距實驗

在完成充電孔特征匹配后，需要進行充電孔的三維重建工作，以識別充電孔空間三維坐標?？刹捎肂M算法和SGBM算法獲取視差圖。

4.3.1 視差圖比對

圖8第1行為使用SGBM算法計算獲得的視差圖。算法通過選取每個像素點的差異組成差異圖，定義與差異圖相關的全局能量函數(shù)，并使該函數(shù)最小化以求取每個像素的最優(yōu)差異。圖8第2行為BM算法計算獲得的視差圖，BM算法將兩個攝像頭的幀精細方塊化進行機型匹配，通過方塊移動、對應并結合攝像頭的關系數(shù)據(jù)（標定參數(shù)）生成相應的深度圖。

對比兩種算法獲取的視差圖可以看出，采用SGBM算法處理得到的視差圖較BM算法更加精細，立體匹配效果更好，因此筆者采用SGBM算法進行立體匹配和視差計算。

4.3.2 距離測量

表2為使用SGBM算法在不同光強下對充電孔進行多組測距實驗的結果。表中前6組數(shù)據(jù)為隨機緩變光線下雙目相機測試數(shù)據(jù)，最后一組為過度曝光下測試數(shù)據(jù)。測試結果前3列為充電孔相對左相機的世界坐標，分別為拍攝圖像水平方向x、拍攝圖像豎直方向y、相機與充電孔距離z。由表2可以看出，在當前相機標定狀態(tài)與緩變光線下，實際距離為200 mm時（刻度尺測量距離），測試深度距離誤差約為0.56～1.67 mm。

需要說明的是，在過度曝光下雙目相機測試誤差較大（最后一組數(shù)據(jù)），這也是雙目視覺測距的缺點，但由于一般充電設施通常置于室內(nèi)（如地下車位充電樁）或裝有防雨棚，且頂棚系所研究自動充電系統(tǒng)的必備裝置，因而可以排除過度曝光的情況。圖9為可視化測距與刻度尺測距方式的對比。

5 結束語

提出了一種造價較低，適用于工程應用的高精度充電孔識別與定位方法。該方法采用雙目視覺圖像識別技術，將SIFT特征提取算法、最近鄰搜索特征匹配算法及半全局匹配視差計算方法進行了深度協(xié)同應用，通過相機標定、尺度空間構建、空間極值點檢測、穩(wěn)定關鍵點定位、方向信息分配、機器學習特征匹配及視差計算等，得到適用于不同光強、背景及任意形狀的充電插孔識別定位方法。為驗證方法的可行性，進行了完整的充電孔識別與定位實驗，通過相機標定與立體校正實驗、基于SIFT的圖像識別實驗和雙目測距實驗，得到了較為理想的充電孔識別效果，為后續(xù)驅(qū)動機械臂完成充電插口與插頭對接研究工作奠定了理論與技術基礎。

參 考 文 獻

［1］? ?劉永東.構建電動汽車充電設施發(fā)展新格局——充電設施“十四五”規(guī)劃需考慮的六個問題和五個關系［J］.中國電力企業(yè)管理，2020（34）：24-27.

［2］? ?于東民，楊超，蔣林洳，等.電動汽車充電安全防護研究綜述［J］.中國電機工程學報，2022，42（6）：2145-2164.

［3］? ?盛銳，唐忠，薛佳誠.多指標下EV充電站服務能力動態(tài)評價方法［J］.中國電機工程學報，2021，41（14）：4891-4904.

［4］? ?鄒大中，李勛，黃建鐘.基于圖像識別的交流充電樁誤差檢定方法研究［J］.電子測量技術，2021，44（7）：13-18.

［5］? ?趙凌宇.基于深度學習的電動汽車充電口分類識別及去模糊算法研究［D］.哈爾濱：哈爾濱工業(yè)大學，2021.

［6］? ?張輝，金俠挺.基于曲率濾波和反向P?M電動車充電孔檢測方法［J］.儀器儀表學報，2016，37（7）：1626-1638.

［7］? ?孫成.復雜環(huán)境下電動汽車充電口識別與定位方法研究［D］.蘇州：蘇州大學，2019.

［8］? ?PAN Q，SUN C，LIU Z，et al.Automatic recognition and location system for electric vehicle charging port in complex environment［J］.IET Image Processing，2020，14（10）：2263-2272.

［9］? ?RATHGEB C，WAGNER J，BUSCH C.SIFT?based iris recognition revisited：prerequisites，advantages and improvements［J］.Pattern Analysis and Applications，2019，22（3）：889-906.

［10］? ?王昕平，張森林，劉妹琴，等.基于多尺度圖像融合和SIFT特征的水下圖像拼接研究［J］.計算機應用與軟件，2021，38（5）：213-217；230.

［11］? ?張俞晴，何寧，魏潤辰.基于卷積神經(jīng)網(wǎng)絡融合SIFT特征的人臉表情識別［J］.計算機應用與軟件，2019，36（11）：161-167.

［12］? ?蔡天旺，付勝.基于改進的SIFT算法的紅外圖像配準［J］.測控技術，2021，40（7）：40-45.

［13］? TAREEN S，SALEEM Z.A comparative analysis of SIFT，SURF，KAZE，AKAZE，ORB，and BRISK［C］//2018 International Conference on Computing，Mathematics and Engineering Technologies.IEEE，2018.

［14］? ?肖英楠，孫抒雨.基于改進SIFT圖像匹配的無人機高精度避障算法設計［J］.機械制造與自動化，2022，51（1）：237-240.

［15］? ?焦揚，楊傳穎，石寶.基于SIFT、K?means和BOF的鞋底痕跡檢索［J］.計算機應用與軟件，2020，37（5）：238-242.

［16］? ?閔曹文，石斌斌.基于改進SIFT的傾斜無人機影像匹配策略研究［J］.電子質(zhì)量，2021（12）：100-104.

［17］? ?徐明，刁燕.基于SURF算子與FLANN搜索的圖像匹配方法研究［J］.現(xiàn)代計算機，2020（14）：49-52；57.

［18］? ?LIN X H，WANG F H，YANG B S，et al.Autonomous vehicle localization with prior visual point cloud map constraints in GNSS?challenged environments［J］.Remote Sensing，2021，13（3）：506.

（收稿日期：2022-07-04，修回日期：2023-03-03）

Binocular Visual Recognition Technology for Electric?Vehicle Charging Holes Based on SIFT Algorithm

YU Ming， LI Xue?wei

（School of Engineering， Beijing Forestry University）

Abstract? ?Based on binocular vision theory，? a high?precision identification and positioning method for the various charging holes which complying with different light intensity and backgrounds was proposed. in which， the SIFT feature extraction algorithm was adopted to generate a differential Gaussian pyramid for scale space construction， and the nearest neighbor search feature matching algorithm which belongs to machine learning was used to obtain the matching point map set. In addition， the disparity calculation was performed with the semi?global matching method to obtain high?precision matching and positioning results of charging hole. The experimental? results verify the effectiveness of the algorithm? proposed along with ideal matching and distance measurement results.

Key words? ?identification and localization of charging hole， SIFT feature extraction， nearest neighbor search feature matching， semi?global matching method， disparity calculation