李東璐 蔡喜昌 謝國棟 侯夢龍 馮文崳
摘要:隨著紅外圖像采集和圖像識別技術(shù)的發(fā)展,蓄能電站裝置狀態(tài)的日常巡檢逐漸向智能化方式轉(zhuǎn)變,基于無紅外設(shè)備的自動巡檢技術(shù)應(yīng)用也愈加廣泛;但隨著紅外設(shè)備采集圖像的大量增長,依靠傳統(tǒng)人工方式進(jìn)行裝置設(shè)備的故障識別已經(jīng)難以滿足日常巡檢工作的需求。鑒于紅外圖像數(shù)據(jù)的復(fù)雜背景和樣本不均衡等問題,研究基于YOLOv5模型提出了改進(jìn)措施,具體包括引入SE 注意力機(jī)制、優(yōu)化定位損失函數(shù)和改進(jìn)標(biāo)簽分配策略。結(jié)果表明:提出的改進(jìn)YOLOv5模型在檢測精度上提高了約15%,大大降低了蓄能電站裝置故障漏檢誤檢的概率。
關(guān)鍵詞:紅外圖像;電站裝置;YOLOv5;故障識別;仿真
中圖分類號:TP391.9;TM623.7文獻(xiàn)標(biāo)志碼:A文章編號:1001-5922(2023)05-0147-05
Comparisonof simulationresultsbasedonYOLOv5 modelimprovementtechnology
LI Donglu,CAI Xichang,XIE Guodong,HOU Menglong,F(xiàn)ENG Wenyu
(CSGES Operation Management Company,Qingyuan 511500,Guangdong China)
Abstract:With the development of infrared image acquisition and image recognition technology,the daily inspec? tion of the state of storage power plant devices has gradually shifted to intelligent methods,and the application of equipment automatic inspection technology based on non-infrared devices has become increasingly widespread. However,with the massive growth of infrared device image acquisition,relying on traditional manual methods to identify device equipment failures has become difficult to meet the needs of daily inspection work. Due to the com? plex background and sample imbalance of infrared image data,improvement measures based on the YOLOv5 mod? el was proposes in this paper,including the introduction of SE attention mechanism,optimization of location loss function,and improvement of label allocation strategy. The experimental results showed that the improved YOLOv5 model proposed in this paper improved the detection accuracy by about 15%,greatly reducing the probability of missed detection and false detection of energy storage power plant equipment.
Keywords:infrared image;Power plant devices;YOLOv5;Fault identification
由于蓄能電站的設(shè)備工作場景環(huán)境復(fù)雜多變,但電站運(yùn)行安全性方面又有著非常嚴(yán)苛的需求。因此,在日常巡檢中不僅要有較高的檢測精度,還要有盡可能快的檢測速度。有研究了基于歷史記錄信息來規(guī)避層次分析法在設(shè)備柱上開關(guān)運(yùn)行狀態(tài)較為主觀的問題[1]。在設(shè)備工作監(jiān)測方面,引入了基于自適應(yīng)溫度修正機(jī)制進(jìn)行電力設(shè)備紅外圖像特征的抓取,降低了測量距離、風(fēng)速等因素的干擾[2]。在目標(biāo)檢測算法領(lǐng)域也出現(xiàn)了如R-CNN 系列和YOLO 系列[3],它們都是在一般場景下和復(fù)雜環(huán)境下的目標(biāo)檢測,并不能完全滿足蓄能電站運(yùn)行環(huán)境下目標(biāo)檢測的性能要求,同時也需要人工對紅外圖像進(jìn)行分級標(biāo)識,且在復(fù)雜背景下目標(biāo)特征識別精度低、訓(xùn)練樣本不平衡和模型泛化能力差等問題。為了提高蓄能電站基于紅外攝像機(jī)采集圖像的故障檢測性能,以YO? LOv5目標(biāo)檢測算法為基礎(chǔ)進(jìn)行改進(jìn)。
1 改進(jìn)YOLOv5的紅外圖像故障診斷
1.1引入SE 注意力機(jī)制
蓄能電站中設(shè)備故障檢測中的注意力機(jī)制針對的是輸入的紅外圖像信息,通過對不同位置的特征施加不同的權(quán)重,把有限的注意力資源放在待檢測的目標(biāo)上,而非無關(guān)的背景信息上[4-5]。為提升 YO? LOv5模型的設(shè)備故障檢測性能,引入了基于SENet的SE 注意力機(jī)制,從通道域的角度賦予紅外圖像不同位置不同的權(quán)重,以得到更重要的特征信息;SENet網(wǎng)絡(luò)原理如圖1所示。
SENet算法分3個步驟,首先是 Squeeze 壓縮過程,即對經(jīng)過卷積網(wǎng)絡(luò)后得到的特征圖 U 進(jìn)行全局平均池化生成一個1×1× C 的向量,這樣每個通道用一個數(shù)值表示,這個數(shù)值擁有該通道的全局感受野。其次是Excitation 激勵過程,這一步通過2個全連接層完成,第1層全連接層的激活函數(shù)為ReLU;第2層全連接層的激活函數(shù)為Sigmoid,通過權(quán)重W 生成表示不同通道的權(quán)重信息的權(quán)重向量,其中 W 是通過學(xué)習(xí)得到的。最后是Scale 過程,用上一步生成權(quán)重向量對特征圖U 進(jìn)行權(quán)重賦值,。
將 SE 注意力模塊融入到Y(jié)OLOv5主干網(wǎng)絡(luò)的 CSP1_n模塊中,改進(jìn)后的模塊命名為CSP1SE_n。用融入了SE 注意力機(jī)制的CSP1SE_n 結(jié)構(gòu)替換掉原YO? LOv5骨干網(wǎng)絡(luò)中的CSP1_n結(jié)構(gòu),具體如圖2所示。
1.2優(yōu)化定位損失函數(shù)
邊界框回歸是目標(biāo)檢測中的關(guān)鍵步驟,它直接影響了紅外圖像中異常目標(biāo)檢測模型的精度,而邊界框回歸的效果是由定位損失函數(shù)決定的,因而定義良好的損失函數(shù)能為模型帶來性能提升。
YOLOv5-6.0采用定位損失函數(shù)CIoU Loss。CI? oU Loss 是在DIoU的基礎(chǔ)上增加了檢測框尺度損失,這樣就會使預(yù)測框收斂加快且定位精度更高[6-7]。這包括CIoU Loss在內(nèi)的大多數(shù)現(xiàn)有的定位損失函數(shù)關(guān)注的是邊界框回歸中的幾何因素(如重疊面積、中心點距離和縱橫比);但這有個前提,就是訓(xùn)練樣本是高質(zhì)量的、理想化的。實際上訓(xùn)練樣本存在不平衡的問題,即由于圖像中目標(biāo)對象的稀疏性,具有小回歸誤差的高質(zhì)量樣例(錨框)的數(shù)量遠(yuǎn)遠(yuǎn)少于低質(zhì)量樣本。有研究表明,異常值會產(chǎn)生過大的梯度,這對訓(xùn)練過程是不利的。如果盲目的在低質(zhì)量的樣本上進(jìn)行邊界框回歸訓(xùn)練,會使得訓(xùn)練的目標(biāo)檢測模型性能下降。因此,為了提升YOLOv5模型的性能,引入 Wise CIoU損失函數(shù),用來取代原模型中的CIoU Loss 損失函數(shù)。
Wise IoU v1[8]構(gòu)造了基于注意力的邊界框損失; Wise IoU v3是在此基礎(chǔ)上通過構(gòu)造梯度增益即聚焦系數(shù)的計算方法來附加聚焦機(jī)制,其損失函數(shù)計算公式:
式中:LWIoUv1、LWIoUv3分別為Wise IoUv1、Wise IoUv3的
損失計算公式;β= L(L) oU(oU) e[0.+偽)為離群度,描述的是預(yù)測錨框的質(zhì)量;LIoU =1一IoU,x 、y 、xgt、ygt分別為預(yù)測框的中心坐標(biāo)和真實框的中心坐標(biāo);Wg、Hg 分別為預(yù)測框和真實框的最小外接矩形的寬、高。CIoU、Wise IoU的邊界框回歸損失在YOLOv5訓(xùn)練過程中的收斂情況如圖3所示。
1.3改進(jìn)標(biāo)簽分配策略
YOLOv5及其之前的YOLO 系列目標(biāo)檢測模型,在對所有Anchor 進(jìn)行正負(fù)樣本匹配時都按照“一刀切”的人工匹配規(guī)則進(jìn)行取舍,所以并非每個有用的 Anchor 都能被分配到GT 標(biāo)簽[9-10]。一些框因為物體大小、形狀遮擋等原因而被劃為模糊框,這些特殊框正是能提高模型泛化能力的要素。然而,由于在訓(xùn)練過程中采取暴力舍棄的手段,這些框并沒有得到有效的利用,所以訓(xùn)練完成的模型泛化能力有限。為了解決以上問題,提高YOLOv5紅外圖像裝置故障檢測模型的性能,引入了最優(yōu)運(yùn)輸分配(OTA)標(biāo)簽分配策略。 OTA從全局角度重新審視標(biāo)簽分配,并提出將分配過程表述為優(yōu)化理論中的最優(yōu)傳輸(OT)問題。具體而言,將每個需求方(Anchor)和供應(yīng)方(GT)對之間的單位運(yùn)輸成本定義為它們的分類損失和回歸損失的加權(quán)和,將最優(yōu)分配解轉(zhuǎn)化為求解運(yùn)輸成本最小的最優(yōu)運(yùn)輸方案,再通過Sinkhorn-Knopp算法迭代求解[11-15]。給定一張圖片,假設(shè)有 m 個GT 目標(biāo)和 n 個An? chors,將每個GT 視為一個持有 k 個正標(biāo)簽單位的供應(yīng)方(即si = k . i =1.2.….m),每個 Anchor 作為需要一個標(biāo)簽單位的需求者(即dj =1. i =1.2.….n),則將一個正標(biāo)簽從GTi運(yùn)到 Anchoraj的成本為,其計算公式如下:
式中:θ為模型參數(shù);Pjcls、Pjbox分別為對Anchoraj所預(yù)測的類別和邊界框;Gi(c)ls 、Gi(b)ox 分別為GTi所對應(yīng)的類別和邊界框;Lcls、Lreg為交叉熵?fù)p失和邊界框IoU損失;a 為2種損失間的平衡系數(shù)。
此外,大量Anchor 是負(fù)樣本,所以還有一個負(fù)樣本供應(yīng)者,將一個負(fù)標(biāo)簽從負(fù)樣本供應(yīng)者運(yùn)到An?choraj的成本為cj(b)g ,計算公式為:
式中:⑦為背景類。將cij(f)g 和cj(b)g 聯(lián)立起來可以得到運(yùn)送代價矩陣 c eR(m+1)xn,有了代價矩陣就可以通過現(xiàn)有的Sinkhorn-Knopp迭代來解決這個OT 問題,通過將每個錨框分配給運(yùn)送標(biāo)簽最多的GT 供應(yīng)商,可以得到標(biāo)簽分配的最優(yōu)解[16-18]。
2 實驗分析
2.1實驗環(huán)境搭建
卷積神經(jīng)網(wǎng)絡(luò)模型都是在特定的軟硬件環(huán)境的支持下才能進(jìn)行訓(xùn)練和推理的,文中提出模型的軟硬件環(huán)境配置如表1所示。
2.2仿真結(jié)果對比
通過在自由數(shù)據(jù)集上進(jìn)行仿真分析得到引入SE 注意力機(jī)制、優(yōu)化定位損失函數(shù)和改進(jìn)標(biāo)簽分配策略的性能對比,對比的性能指標(biāo)采用平均精度(meanAverage Precision,mAP),其中引入 SE 注意力機(jī)制、優(yōu)化定位損失函數(shù)和改進(jìn)標(biāo)簽分配策略的實驗結(jié)果依次如表2~表4所示。
由表2~表4可知,在原YOLOv5模型上融入了 SE 注意力機(jī)制,并采用Wise IoU作為定位損失函數(shù)且引入了OTA 標(biāo)簽分配策略后,在自建驗證集和測試集上的檢測效果都得到了顯著提升,不過訓(xùn)練時間(300 epochs)要比原模型多出0.69 h,但不影響推理速度。
2.3訓(xùn)練結(jié)果對比
2.3.1參數(shù)設(shè)置
為驗證基于紅外攝像機(jī)圖像的蓄能電站裝置故障檢測模型算法改進(jìn)的效果,在自制的數(shù)據(jù)集上進(jìn)行了一系列的對比實驗,數(shù)據(jù)集的劃分比例也都是7∶2∶1,訓(xùn)練集、驗證集、測試集圖片數(shù)量分別為1384、396、199;各模型訓(xùn)練過程的主要參數(shù)設(shè)置如表5所示。
另外,為了網(wǎng)絡(luò)的訓(xùn)練過程,使用了遷移學(xué)習(xí)的方法,各模型訓(xùn)練時都采用了相同的預(yù)訓(xùn)練權(quán)重,這樣各模型都從同樣的起點開始訓(xùn)練[19-20]。
2.3.2 結(jié)果分析
以YOLOv5l(r6.1)為基礎(chǔ)模型,在自建數(shù)據(jù)集上進(jìn)行了一系列實驗,最終的對比結(jié)果如表6、圖4所示。
由表6、圖4可知,改進(jìn)后的YOLOv5l 模型在幾乎不增加模型參數(shù)量的基礎(chǔ)上使檢測精度顯著提升。在測試集上IoU閾值為0.5時的平均精度 mAP50達(dá)到了83.86%,相比原YOLOv5l 模型提升了3.45%;在測試集上IoU閾值為0.5~0.95時的平均精度均值 mAP50:95達(dá)到了56.90%,相比原YOLOv5l 模型提升了2.99%。不過相比原模型,改進(jìn)后的模型推理速度略有下降,平均每張圖片的推理時間從4.1 ms增加到了4.4 ms,但是推理速度仍有227 fps,這足夠滿足紅外圖像下的設(shè)備故障檢測速度需求了。
YOLOv5l 改進(jìn)前后對比在各類別AP 值在c-nuI? mages驗證集上的對比情況如表7所示。
由表7可知,各個類別的檢測精度均有不同程度的提高,說明了改進(jìn)后的YOLOv5l 檢測性能有了顯著提升。
圖5展示了不同場景下原YOLOv5l 和改進(jìn)后的紅外圖像故障檢測效果對比,左側(cè)為原YOLOv5l 故障檢測效果,右側(cè)為改進(jìn)后效果。
從圖5可以看出,上部絕緣子檢測中原YOLOv5l 出現(xiàn)了漏檢情況,而改進(jìn)后的算法則完成了2個異常故障點的識別;圖下部原YOLOv5l 出現(xiàn)了故障位置誤檢情況,改進(jìn)后的YOLOv5l 算法則更加精確的識別出故障區(qū)域。
3 結(jié)語
針對蓄能電站裝置狀態(tài)在紅外圖像下的故障檢測問題,研究基于YOLOv5進(jìn)行了紅外圖像故障檢測模型的優(yōu)化。首先為了把有限的注意力資源放在待檢測的目標(biāo)上,而非無關(guān)的背景信息上引入了基于SENet的SE 注意力機(jī)制,從通道域的角度賦予紅外圖像不同位置不同的權(quán)重,以得到更重要的特征信息,其次由于實際上訓(xùn)練樣本存在不平衡和小回歸誤差的高質(zhì)量樣例(錨框)的數(shù)量遠(yuǎn)遠(yuǎn)少于低質(zhì)量樣本的問題,提出了Wise CloU定位損失函數(shù),最后因此改進(jìn)標(biāo)簽分配策略以提高模型泛化能力。最終通過仿真對比和實驗分析,文中提出的改進(jìn)YOLOv5模型在檢測性能上得到了較大提升,相比較于原生YOLOv5模型降低了蓄能電站裝置故障漏檢誤檢的概率。
【參考文獻(xiàn)】
[1] 衛(wèi)少華,申曉波.變電站電氣設(shè)備在線監(jiān)測的方法[J].陜西電力,2005,33(2):60-61.
[2] 陳化軍,張萍,賈寅飛,等.基于BP 神經(jīng)網(wǎng)絡(luò)的電力設(shè)備運(yùn)行溫度預(yù)測方法研究[J].電子世界,2018(10):40-41.
[3] 蘇志剛,付新陽,陳兵.基于紅外熱成像原理的變電設(shè)備在線監(jiān)測系統(tǒng)[J].科技視界,2012(25):40-41.
[4] 蘆竹茂,王天正,俞華,等.基于紅外圖像分析的電力設(shè)備熱故障檢測技術(shù)研究[J].現(xiàn)代電子技術(shù),2017(11):123-126.
[5] 張凱元.基于紅外成像技術(shù)的輸電線路劣化瓷質(zhì)絕緣子檢測[D].保定:華北電力大學(xué)(保定校區(qū)),2017.
[6] 王鵬朝.變電設(shè)備在線測溫故障診斷系統(tǒng)設(shè)計及應(yīng)用[D].北京:華北電力大學(xué),2015.
[7] 劉健,張志華,陳宜凱,等.適用于含 DG 配電網(wǎng)故障處理性能測試的主站注入測試技術(shù)[J].電力系統(tǒng)自動化,2017,41(13):119-124.
[8] 王彥國,涂崎,孫天甲,等.基于對等通信的分散式配電網(wǎng)保護(hù)與自愈控制系統(tǒng)[J].供用電,2019,36(9):9-17.
[9] 趙振兵,金思新,劉亞春.基于NSCT的航拍絕緣子圖像邊緣提取方法[J].儀器儀表學(xué)報,2012,33(9):2045-2052.
[10] 裴少通,劉云鵬,陳同凡,等.基于BOA-SVM的劣化絕緣子紅外圖譜診斷方法[J].電測與儀表,2018,55(24):11-16.
[11] 馬臨超,齊山成,劉毅,等.考慮分布式可再生能源的配電網(wǎng)電力調(diào)度優(yōu)化模型研究[J].可再生能源,2022,40(5):703-710.
[12] 周俊宇,陳岳,駱國銘,等.基于非線性優(yōu)化的儲能系統(tǒng)調(diào)度方法[J].微型電腦應(yīng)用,2021,37(11):94-96.
[13] 張旭,李陽,劉曉,等.含高滲透率新能源的新型交直流儲能系統(tǒng)的配電網(wǎng)規(guī)劃[J].南方電網(wǎng)技術(shù),2022,16(4):60-67.
[14] 謝珂,齊巖,李琛,等.基于測量阻抗加速的反時限過流保護(hù)新方案研究[J].能源與節(jié)能,2022(2):109-112.
[15] 盧操,管霖,陳恒安,等.考慮儲能調(diào)度的可再生能源獨立微電網(wǎng)電源規(guī)劃[J].電測與儀表,2021,58(4):84-91.
[16] 汪偉,于洋.基于ASON 的電力系統(tǒng)調(diào)度數(shù)據(jù)網(wǎng)業(yè)務(wù)體系設(shè)計[J].機(jī)械與電子.2022,40(3):17-20.
[17] 王立峰,馬超,牛永光,等.基于大數(shù)據(jù)背景下電站設(shè)備狀態(tài)監(jiān)測及故障檢修管理系統(tǒng)仿真設(shè)計[J].粘接.2022,49(10):176-179.
[18] 張銘澤,李亦農(nóng),李新聰,等.含DG的主動配電網(wǎng)規(guī)劃研究[J].電子測量技術(shù),2019,42(20):51-57.
[19] 董新濤,李文偉,李寶偉,等.基于補(bǔ)償零序壓差原理的110 kV線路縱向故障保護(hù)方案[J].智慧電力,2022,50(9):110-117.
[20] 袁滌非,吳涵,范元亮,等.基于熱電耦合模型的儲能電站預(yù)制艙艙內(nèi)熱環(huán)境數(shù)值計算[J].粘接.2022,49(6):163-167.