王 康 陸生華 陳 潮 陳澤波 強 晟 陳 波

(1. 河海大學 水利水電學院， 南京 210098； 2. 紹興市越城區(qū)城市發(fā)展建設(shè)集團有限公司， 浙江 紹興 312000)

大壩廊道在運行和維護期間，為了監(jiān)測廊道結(jié)構(gòu)內(nèi)部的裂縫和滲水情況，在廊道內(nèi)部會安裝各種監(jiān)測儀表．由于部分儀表沒有設(shè)置通信接口或者遠程通信故障，無法遠程獲取數(shù)據(jù)，在大壩廊道巡檢過程中，巡檢機器人需要觀測定位儀表位置，對儀表和監(jiān)測儀器運行狀態(tài)進行評估，進而讀取儀表示數(shù)．因此，針對適用于巡檢機器人的大壩廊道指針式儀表檢測與讀數(shù)識別研究，具有十分重要的工程意義．

基于機器視覺的指針式儀表識別已經(jīng)積累了很多相關(guān)經(jīng)驗，國內(nèi)外學者的研究大致可以分為基于傳統(tǒng)圖像處理技術(shù)和基于深度學習算法的儀表識別兩大類．在傳統(tǒng)圖像處理方面：張文杰等[1]利用指針式儀表的視覺顯著性區(qū)域構(gòu)建儀表檢測模型，并使用無向圖排序算法抑制非指針圖像的干擾，很好地提取到了儀表指針；Han等[2]使用改進的自適應(yīng)中值濾波處理儀表圖像，利用刻度盤轉(zhuǎn)角與刻度的線性關(guān)系提出一種改進的霍夫變換指針式儀表讀數(shù)算法；張志鋒等[3]對比不同表盤圖像建立讀數(shù)識別參考系，利用幀差分法定位指針，進而采用角度法進行讀數(shù)識別．在深度學習算法方面：Liu等[4]使用基于區(qū)域的卷積網(wǎng)絡(luò)檢測(R-CNN)目標儀表位置，通過特征對應(yīng)算法和透視變換消除鏡面反射和圖像失真，最終使用霍夫變換檢測指針的位置，得到讀數(shù)；Liu等[5]對儀表圖像進行非局部去噪、深度去噪等超分辨率預(yù)處理，然后利用實例分割算法Mask-RCNN對指針進行分割和定位，最后采用角度法進行讀取操作；李金紅等[6]在使用Faster R-CNN算法檢測指針表盤區(qū)域的基礎(chǔ)上，再采用此算法檢測指針，在得到的指針區(qū)域上再根據(jù)霍夫變換進行指針提取，很好地避開了復雜儀表區(qū)域的干擾．但是大部分基于深度學習的儀表識別模型因其網(wǎng)絡(luò)的復雜性導致推理速度受限，在嵌入式開發(fā)平臺上的運用并不好．

基于機器視覺的儀表檢測和讀數(shù)識別研究雖然已經(jīng)取得了較大的進步，但在大壩廊道巡檢中儀表讀數(shù)常常依賴人工，所以需在前人研究的基礎(chǔ)上研發(fā)適用于巡檢機器人的大壩廊道指針式儀表檢測與讀數(shù)識別算法．為了監(jiān)測大壩廊道指針式儀表狀態(tài)和讀取儀表示數(shù)，提出一種基于YOLOv5的指針式儀表檢測和讀數(shù)識別算法，并將其應(yīng)用到基于樹莓派的巡檢機器人上，通過訓練好的YOLOv5模型進行儀表檢測，對不同儀表分類并截取儀表圖像，然后采用數(shù)字圖像處理技術(shù)進行儀表讀數(shù)識別，測試結(jié)果表明讀數(shù)識別相對誤差均小于2.1%．

1 系統(tǒng)總體設(shè)計方案

本文設(shè)計了基于YOLOv5s的指針式儀表檢測與讀數(shù)識別系統(tǒng)，系統(tǒng)總設(shè)計方案如圖1所示．首先通過實驗室和網(wǎng)絡(luò)搜集建立數(shù)據(jù)集，通過服務(wù)器訓練YOLOv5s模型，然后將訓練好的模型文件移植到樹莓派上，通過攝像頭進行實時指針式儀表檢測，當檢測到儀表圖像后，截取儀表圖像區(qū)域，直接調(diào)用儀表識別算法讀取示數(shù)．樹莓派和攝像頭均可以部署在智能小車、無人機和滑動軌道等巡檢機器人上．

圖1 系統(tǒng)總體實際方案

2 基于YOLOv5的指針式儀表檢測

由Redmon等[7]提出的YOLO算法把目標檢測歸納為一個回歸問題，回歸到空間上分離的邊界框和相關(guān)的類概率問題，該算法基于一個單獨的端到端的網(wǎng)絡(luò)，完成從原始圖像的輸入到物體位置和類別的輸出．隨著算法的深化和完善，YOLO系列算法經(jīng)歷了從V1到V5的發(fā)展，被廣泛地應(yīng)用到目標檢測領(lǐng)域，且YOLOv5也于2021年4月更新到5.0版本[8]．

YOLOv5在2020年被Ultralytics公司推出，該算法具有精度高、文件內(nèi)存占用小、速度快等優(yōu)點，且能夠部署在PyTorch環(huán)境中[9]．YOLOv5更容易部署在樹莓派等的嵌入式開發(fā)板上，適應(yīng)于無人車等的移動終端．YOLOv5包括s、m、l、x等4個模型，其中YOLOv5s體積最小，最新的5.0版本權(quán)重僅僅14 MB，本文儀表檢測采用最新的YOLOv5s 5.0版本．

2.1 YOLOv5s網(wǎng)絡(luò)模型

YOLOv5s網(wǎng)絡(luò)結(jié)構(gòu)包括Input、Backbone、Neck、Prediction這4個部分，網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示[10]．

圖2 YOLOv5s網(wǎng)絡(luò)結(jié)構(gòu)

Input：采用隨機縮放、隨機裁剪、隨機排布的Mosaic數(shù)據(jù)增強，可以很好地適應(yīng)小目標檢測，豐富了數(shù)據(jù)集，減小了訓練GPU的算力要求；自適應(yīng)計算不同訓練集中的最佳錨框值；采用自適應(yīng)圖片縮放，減少了圖片兩端黑邊的填充，減小了計算量，提升了目標檢測速率．

Backbone：采用Focus結(jié)構(gòu)和CSP結(jié)構(gòu)．Focus結(jié)構(gòu)采用切片操作，切片操作如圖3所示，原始608×608×3的圖像經(jīng)過切片操作和一次32卷積核的卷積操作，變成304×304×32的特征圖；YOLOv5s中設(shè)計了兩種CSP結(jié)構(gòu)，Backbone主干網(wǎng)絡(luò)使用CSP1_X結(jié)構(gòu)，Neck使用CSP2_X結(jié)構(gòu)．

圖3 切片操作示意圖(4×4×3到2×2×12)

Neck：采用FPN+PAN結(jié)構(gòu)，如圖4所示，F(xiàn)PN自頂向下傳達強語義特征，F(xiàn)PN后面添加含有兩個PAN結(jié)構(gòu)的特征金字塔，自底向上傳達強定位特征，從不同的主干層對不同的檢測層進行特征聚合，加強網(wǎng)絡(luò)特征的融合能力[11]．

圖4 FPN+PAN結(jié)構(gòu)

Prediction：采用GIOU_Loss作為邊界框的損失函數(shù)，評價預(yù)測值與真實值的誤差，解決了邊界沒有重合的問題；采用非極大值抑制(NMS)，舍棄得分較低的預(yù)測框[12]．

2.2 數(shù)據(jù)集介紹

實驗自制了一個指針式儀表數(shù)據(jù)集，從實驗室采集和網(wǎng)絡(luò)搜集的1 000張指針式儀表圖片(900張訓練集和100張測試集)，部分數(shù)據(jù)集如圖5所示．根據(jù)指針式儀表刻度線圓弧所對應(yīng)角度大小分為兩類，大于180°為Circular instrument，其他為Arc instrument，用labelImg工具對圖片中指針式儀表進行了標注，如圖6所示．

圖5 儀表數(shù)據(jù)集

圖6 數(shù)據(jù)集標注示意圖

2.3 YOLOv5s訓練參數(shù)設(shè)置

網(wǎng)絡(luò)訓練參數(shù)設(shè)置見表1，總迭代次數(shù)為300次．

表1 訓練參數(shù)設(shè)置

2.4 評價指標

實驗的評價指標為精確率P(Precious)、召回率R(Recall)、平均精度均值(mA@0.5)以及調(diào)和均值(mAP@P0.5:0.95)．

1)精確率和召回率

精確率是檢測為儀表的樣本中為真儀表的占比，見公式(1)；召回率是在全部儀表樣本中被檢測出來的占比，見公式(2)．二者的值越大，表示該模型的儀表識別效果越好．

(1)

(2)

式中：TP表示目標為儀表，檢測為儀表；FP表示目標不是儀表，檢測不是儀表；FN表示目標是儀表，檢測不是儀表．

精確率和召回率隨迭代次數(shù)變化如圖7所示，從圖中看出，YOLOv5s模型在訓練200輪左右準確率和召回率趨于穩(wěn)定，精確率和召回率在訓練300次左右均穩(wěn)定保持在95%以上．

圖7 精確率和召回率

2)平均精度均值以及調(diào)和均值

精度均值為以精確率和召回率所圍成的曲線面積值，平均精度均值即為學習的所有類別精度均值的平均值[13]．從圖8中看出，YOLOv5s在訓練200輪左右mAP趨向穩(wěn)定，其中平均精度均值穩(wěn)定在1.0附近，模型訓練結(jié)果比較理想．

圖8 精度均值

2.5 測試結(jié)果分析

為了測試模型的效果，進行多個、多類儀表圖片的目標檢測測試，測試效果如圖9～10所示，圖中數(shù)字為置信度．從圖9所知，簡單儀表目標檢測效果很好，從圖10可知，左圖檢測出5個Circular instrument，小目標檢測效果良好，右圖檢測出4個Arc instrument，被部分遮擋的Arc instrument也被檢測出來．本次訓練的模型檢測精度高，為儀表讀數(shù)識別奠定了基礎(chǔ)，適用范圍廣．

圖9 簡單儀表檢測效果圖

圖10 多目標檢測效果圖

3 指針式儀表讀數(shù)識別

指針式儀表目標檢測任務(wù)完成后，進行讀數(shù)識別，主要包括表盤區(qū)域提取、刻度線提取及指針回轉(zhuǎn)中心確定、零刻度線確定及讀數(shù)識別．

3.1 表盤區(qū)域提取

指針式儀表經(jīng)過YOLOv5檢測儀表種類和位置，根據(jù)檢測結(jié)果裁剪儀表區(qū)域，目標檢測完成后已經(jīng)剔除部分背景，為了更加準確地讀取儀表示數(shù)，進行表盤區(qū)域提取工作，本文采用霍夫圓環(huán)變換提取表盤區(qū)域[14]．首先對儀表圖片進行均值濾波和灰度轉(zhuǎn)換工作，再經(jīng)過霍夫圓環(huán)變換篩選圓心位置和圓半徑，得到儀表圓區(qū)域，最后在儀表裁剪圖像上提取儀表圓區(qū)域得到表盤ROI區(qū)域，表盤區(qū)域提取過程如圖11所示．

圖11 表盤區(qū)域提取過程

3.2 刻度線提取及指針回轉(zhuǎn)中心的確定

在實際工作條件下，霍夫圓環(huán)變換找到圓心位置往往與指針回轉(zhuǎn)中心存在較大偏差，本文利用刻度線輪廓連通區(qū)域特點提取其輪廓，通過刻度線擬合，求其交點的方法確定指針回轉(zhuǎn)中心．表盤區(qū)域圖像經(jīng)過高斯濾波、灰度化、自適應(yīng)閾值分割后得到二值圖像；然后通過刻度線連通域區(qū)域面積、長寬比和位置特征篩選刻度線輪廓；再使用最小二乘法用于擬合刻度線的輪廓區(qū)域，最后求擬合直線兩兩交點，其均值即為指針回轉(zhuǎn)中心．流程如圖12所示．

圖12 指針回轉(zhuǎn)中心的確定

3.3 指針提取

儀表表盤二值圖像在去除刻度線區(qū)域以后，表盤文字、陰影、儀表圖案等仍不能直接提取指針輪廓．本文采用霍夫直線檢測提取儀表指針，然后通過骨架細化和最小二乘法線性擬合得到指針直線，指針提取流程如圖13所示．霍夫直線變換利用點與線的對偶性，運用兩個坐標空間之間的變換，將在笛卡爾坐標系的所有直線映射到霍夫空間上一個點上形成峰值，從而轉(zhuǎn)換為峰值統(tǒng)計問題．

產(chǎn)品價格也是影響顧客滿意的一個重要因素。顧客在進行產(chǎn)品選擇的時候，首先關(guān)注的就是產(chǎn)品的外觀和質(zhì)量，其次就是關(guān)注產(chǎn)品的價格。只有顧客認為產(chǎn)品的質(zhì)量符合這個價格，性價比比較高時才會選擇購買。因此，企業(yè)要對其產(chǎn)品制定合理的價格，既能實現(xiàn)產(chǎn)品的商業(yè)價值，又在顧客的承受范圍之內(nèi)，從而促進顧客購買該產(chǎn)品，實現(xiàn)顧客滿意，提高企業(yè)的經(jīng)濟效益。

圖13 指針提取流程

3.4 零刻度線的確定及讀數(shù)

指針式儀表零刻度線確定方法有人工選擇法、最大最小刻度線確定法[15]，人工選擇法浪費人力、最大最小刻度線確定法無法滿足圓形滿刻度線儀表，本文提出一種基于零刻度線標記的儀表示數(shù)讀取算法，本方法適應(yīng)于讀取固定和少量易于標記的儀表．在攝像頭拍照前，用綠色小圓標記指針式儀表零刻度線，如圖11(a)所示．儀表讀數(shù)計算有角度法、距離法，本文采用角度法，讀取結(jié)果如圖14所示．

圖14 儀表讀數(shù)識別圖

以圖像左下角為原點，建立如圖15所示的坐標系．

圖15 指針旋轉(zhuǎn)角度示意圖

則：

(3)

(4)

式中：(x0，y0)為零刻度線端點坐標；(x1，y1)為指針回轉(zhuǎn)中心坐標；(x2，y2)為指針端點坐標；θ1為零刻度線端點與指針回轉(zhuǎn)中心連線與x軸正方向夾角(°)；θ2為指針端點與指針回轉(zhuǎn)中心連線與x軸正方向夾角(°)；atan2為math庫的一個函數(shù)，其公式為：

(5)

儀表示數(shù)計算公式為：

(6)

式中：D為儀表讀數(shù)；θ為指針相對于零刻度線的回轉(zhuǎn)角度；R為儀表量程對應(yīng)的最大回轉(zhuǎn)角度；l為儀表量程．當θ1×θ2≥0時，θ=|θ1-θ2|；當θ1×θ2<0時，θ=|θ1+θ2|．

3.5 讀數(shù)識別誤差測試

為了測試算法的準確性，本文采集了20張不同示數(shù)的儀表圖像，進行儀表讀數(shù)識別實驗，其中YOLOv5模型檢測結(jié)果均為Circular instrument，儀表讀數(shù)識別結(jié)果見表2．本文的算法對清晰的指針式儀表圖像具有較高的識別能力，其讀數(shù)識別相對誤差均小于2.1%，平均相對誤差為1.2%，具有較強的識別能力和準確性．

表2 指針式儀表讀數(shù)識別結(jié)果

4 結(jié) 論

針對當前大壩廊道巡檢以及指針式儀表識別特點，設(shè)計一套適用于巡檢機器人的基于YOLOv5的大壩廊道指針式儀表檢測與讀數(shù)識別算法，采用基于機器視覺的指針式儀表自動識別及讀數(shù)方法，大大地減輕了人工負擔，避免了巡檢人員的主觀錯誤，更加準確和高效．主要成果如下：

1)提出一種基于YOLOv5的指針式儀表自動識別和數(shù)據(jù)采集方法．通過自制儀表數(shù)據(jù)集，訓練YOLOv5s網(wǎng)絡(luò)模型，該模型能夠自動識別儀表類型，定位圖像中儀表位置，經(jīng)測試該模型精確度高．

2)通過目標檢測算法識別出儀表后，完成一種基于圖像處理技術(shù)的指針式儀表讀數(shù)識別算法，主要包括表盤區(qū)域提取、刻度線提取及指針回轉(zhuǎn)中心的確定、指針提取、零刻度線的確定和讀數(shù)，測試結(jié)果表明讀數(shù)識別相對誤差均小于2.1%．