裴澤林 趙曙光 王建強(qiáng)

摘 要：隨著我國(guó)經(jīng)濟(jì)發(fā)展，高質(zhì)量的穩(wěn)定電網(wǎng)變得愈發(fā)重要。在負(fù)荷逐漸加重的今天，對(duì)變壓器紅外圖像識(shí)別已經(jīng)成為一個(gè)研究方向。本文基于小樣本學(xué)習(xí)方法Meta-Network（即MetaNet），通過(guò)微調(diào)原理改進(jìn)VGG19模型，使用GRU替代傳統(tǒng)的LSTM網(wǎng)絡(luò)，增強(qiáng)了小樣本情況下的學(xué)習(xí)效果。其中數(shù)據(jù)集包含600多張變壓器紅外圖像，初步實(shí)現(xiàn)了減少訓(xùn)練樣本與時(shí)間、提升分類(lèi)器性能的效果。

關(guān)鍵詞：圖像識(shí)別;小樣本學(xué)習(xí);微調(diào)原理;Meta-Network;GRU;LSTM

1 緒論

社會(huì)經(jīng)濟(jì)不斷發(fā)展，巨大的用電壓力下，為了滿(mǎn)足供電需求，各種變電站中的變壓器將長(zhǎng)時(shí)間處于大負(fù)荷乃至超負(fù)荷運(yùn)轉(zhuǎn)中，極易出現(xiàn)非人為故障，這將對(duì)電力系統(tǒng)安全平穩(wěn)運(yùn)行產(chǎn)生巨大挑戰(zhàn)。因此，尋找一個(gè)可以及時(shí)發(fā)現(xiàn)故障的方法就顯得尤為重要。

針對(duì)這個(gè)問(wèn)題，傳統(tǒng)解決辦法是采用定期人工巡檢的方案，每隔一段時(shí)間人工檢查變壓器運(yùn)行狀態(tài)，從20世紀(jì)50年代開(kāi)始，國(guó)內(nèi)企業(yè)就開(kāi)始對(duì)電力設(shè)備進(jìn)行定期檢修維護(hù)。

20世紀(jì)末開(kāi)始，隨著傳感器技術(shù)的不斷發(fā)展，電力設(shè)備紅外檢測(cè)方法開(kāi)始在我國(guó)得到廣泛應(yīng)用，利用紅外圖像識(shí)別技術(shù)對(duì)電力設(shè)備溫度異常的故障進(jìn)行診斷也逐漸成為行業(yè)內(nèi)研究的新方向。

本文所研究的紅外圖像故障主要針對(duì)變壓器溫度異常，這是變壓器最基本，最常見(jiàn)的故障類(lèi)型。傳統(tǒng)的圖像識(shí)別通常采用監(jiān)督學(xué)習(xí)方法，基于大量的訓(xùn)練數(shù)據(jù)對(duì)模型進(jìn)行訓(xùn)練，例如k近鄰算法（k-Nearest Neighbors，KNN），決策樹(shù)（Decision Trees）等;或者使用無(wú)監(jiān)督學(xué)習(xí)方法，例如經(jīng)典的k均值聚類(lèi)算法。監(jiān)督學(xué)習(xí)準(zhǔn)確度較高，但是需要大量有標(biāo)簽的樣本。無(wú)監(jiān)督學(xué)習(xí)不需要有標(biāo)簽樣本，但是在識(shí)別準(zhǔn)確度上不盡如人意。為了在兩者間取得平衡，我們采用小樣本學(xué)習(xí)方法，基于Meta-Network方法通過(guò)少量已知樣本對(duì)新輸入的圖像進(jìn)行分類(lèi)識(shí)別。

我們首先搭建Meta-Network模型，分析該模型在變壓器紅外圖像識(shí)別上的不足之處，然后對(duì)訓(xùn)練過(guò)程中表征函數(shù)的學(xué)習(xí)進(jìn)行優(yōu)化改進(jìn)，并增加新的卷積層，實(shí)現(xiàn)對(duì)紅外圖像的有效分類(lèi)識(shí)別。

2 Meta-Network介紹

Meta-Network作為一種基于元學(xué)習(xí)思想的小樣本學(xué)習(xí)方法，與MANN類(lèi)似，Meta-Network也包含有一個(gè)外部的memory部分，并且相似于其他元學(xué)習(xí)，也是對(duì)一系列的task進(jìn)行訓(xùn)練，具有泛化的體系結(jié)構(gòu)和訓(xùn)練流程，通過(guò)相對(duì)較少的參數(shù)迭代步數(shù)，快速自適應(yīng)各種不同的任務(wù)。

如圖1所示，Meta-Network的訓(xùn)練包括三個(gè)主要過(guò)程：

（1）meta information的獲取;

（2）fast weight的生成和slow weight的優(yōu)化;

（3）base learner和meta learner的共同執(zhí)行。

在這之中，訓(xùn)練數(shù)據(jù)主要包含兩種數(shù)據(jù)集即支持集（support setx1i，y1iNi=1）與訓(xùn)練集（train setxi，yiLi=1）。權(quán)重上，分為樣例級(jí)別的權(quán)重（Example-level Weight）和任務(wù)級(jí)別的權(quán)重（Task-level Weight），分別基于兩個(gè)層級(jí)的學(xué)習(xí)：基學(xué)習(xí)器和元學(xué)習(xí)器。其中元學(xué)習(xí)器由動(dòng)態(tài)表征函數(shù)u和兩個(gè)快速權(quán)重生成函數(shù)m和d構(gòu)成。具體學(xué)習(xí)過(guò)程下所示：

（1）首先從support set中采樣t例樣本，隨后通過(guò)動(dòng)態(tài)表征學(xué)習(xí)函數(shù)u（權(quán)重參數(shù)為慢速權(quán)重Q）對(duì)這些樣本預(yù)測(cè)，計(jì)算得到表征損失和梯度信息即元信息。

（2）根據(jù)計(jì)算所得梯度值，通過(guò)快速權(quán)重fast-weight生成函數(shù)d（權(quán)重參數(shù)為G）生成任務(wù)級(jí)別的快速權(quán)重Q*。

（3）使用基學(xué)習(xí)器b（權(quán)重參數(shù)為樣例級(jí)別的slow-weight W）對(duì)support set中N個(gè)樣本進(jìn)行預(yù)測(cè)，計(jì)算得到任務(wù)損失以及梯度（元信息）。

（4）通過(guò)快速權(quán)重生成函數(shù)m（權(quán)重參數(shù)為Z），利用得到的梯度生成樣例級(jí)別快速權(quán)重W*。

（5）將每個(gè)樣本分別對(duì)應(yīng)的快速權(quán)重值存儲(chǔ)到外部?jī)?chǔ)存器M里，通過(guò)u計(jì)算得到對(duì)應(yīng)的表征r*i并放入外部索引R中。

（6）使用u計(jì)算得到訓(xùn)練集中L個(gè)樣本各自相對(duì)的ri。

（7）計(jì)算表征ri與R中放入的表征r*i之間余弦距離，使用sofmax函數(shù)轉(zhuǎn)化成權(quán)重，再將M里面的值進(jìn)行加權(quán)求和，得到當(dāng)前樣本的快速權(quán)重值。

（8）通過(guò)基學(xué)習(xí)器b對(duì)train set中的樣本進(jìn)行預(yù)測(cè)，并得到任務(wù)損失，將所有的任務(wù)損失losstask累加得到訓(xùn)練損失losstrain，同時(shí)利用梯度下降更新網(wǎng)絡(luò)中參數(shù)Θ={W，Q，Z，G}。

3 改進(jìn)措施

傳統(tǒng)的Meta-Network學(xué)習(xí)器中u和b采用卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，學(xué)習(xí)器m和d使用的是LSTM網(wǎng)絡(luò)。

首先，針對(duì)學(xué)習(xí)器u和b所用的卷積神經(jīng)網(wǎng)絡(luò)，我們選取VGG19作為初始模型，并通過(guò)微調(diào)原理，在不改變模型池化層和卷積層的情況下增加全連接層參數(shù)個(gè)數(shù)，通過(guò)support set中的樣本進(jìn)行訓(xùn)練，生成自己的模型文件，以便模型更加貼合任務(wù)需要，提高識(shí)別精度。

學(xué)習(xí)器m、d所采用的LSTM作為一種改進(jìn)后的循環(huán)神經(jīng)網(wǎng)絡(luò)，可以通過(guò)門(mén)結(jié)構(gòu)（Sigmoid神經(jīng)網(wǎng)絡(luò)層和一個(gè)元素級(jí)相乘）選擇性添加或刪除信息，通過(guò)繞過(guò)單元記住更長(zhǎng)時(shí)間步驟的方法，一定程度上減輕了梯度消失的問(wèn)題，在圖像處理上得到了廣泛的應(yīng)用。但是，本質(zhì)上LSMT仍然是一個(gè)循環(huán)網(wǎng)絡(luò)，記憶通道容納量有限，不支持過(guò)長(zhǎng)的輸入序列，而且不能并行訓(xùn)練，計(jì)算量過(guò)大，過(guò)于消耗時(shí)間。因此，我們使用GRU替代LSTM網(wǎng)絡(luò)。

GRU也是循環(huán)神經(jīng)網(wǎng)絡(luò)的一種，不同的是，使用同一個(gè)門(mén)控Z就可以進(jìn)行遺忘和選擇記憶操作，相比LSTM減少了一個(gè)門(mén)控，參數(shù)也更少，在相同的功能下計(jì)算能力和時(shí)間成本上更加出色。

4 實(shí)驗(yàn)結(jié)果及分析

關(guān)于實(shí)驗(yàn)，設(shè)置參數(shù)為：迭代次數(shù)num_epoch=50，初始學(xué)習(xí)率為0.03，批數(shù)量為4，改進(jìn)后的NetWork訓(xùn)練過(guò)程中Train loss損失值變化曲線和準(zhǔn)確度變化曲線如圖2所示。

如下圖3所示是輸入測(cè)試圖像，原圖與灰度化處理后圖像對(duì)比。訓(xùn)練集一共480余張圖片，測(cè)試集120張圖片，隨機(jī)測(cè)試無(wú)標(biāo)簽樣本70余個(gè)，共計(jì)36個(gè)溫度故障變壓器紅外圖片和23個(gè)無(wú)故障變壓器紅外圖片分類(lèi)正確，準(zhǔn)確度達(dá)到約84%。

5 結(jié)論

本文基于NetWork模型提出了一種變壓器紅外圖像識(shí)別分類(lèi)方法，首先對(duì)VGG19網(wǎng)絡(luò)進(jìn)行微調(diào)，以便模型更加適合我們的識(shí)別訓(xùn)練。隨后使用GRU網(wǎng)絡(luò)替代LSMT網(wǎng)絡(luò)，以便得到更好的計(jì)算能力和更快的反應(yīng)速度，最后的準(zhǔn)確度變化曲線表明該方法有不錯(cuò)的應(yīng)用效果和應(yīng)用前景。

紅外圖像識(shí)別分類(lèi)在電力系統(tǒng)維護(hù)中有著獨(dú)特的作用，未來(lái)可以對(duì)所用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行改進(jìn)，使用泛化能力更強(qiáng)、運(yùn)算量更小的Inception、Faster-RCN等模型，進(jìn)一步提升整體運(yùn)算速度和準(zhǔn)確度。

參考文獻(xiàn)：

[1]Chung J，Gulcehre C，Cho K，et al.Empirical evaluation of gated recurrent neural networks on sequence modeling[J].arXiv：Neural and Evolutionary Computing，2014.

[2]張?jiān)?，夏鴻?基于弱監(jiān)督預(yù)訓(xùn)練CNN模型的情感分析方法[J].計(jì)算機(jī)工程與應(yīng)用，2018，54（13）：27-33.

[3]段萌，王功鵬，牛常勇.基于卷積神經(jīng)網(wǎng)絡(luò)的小樣本圖像識(shí)別方法[J].計(jì)算機(jī)工程與設(shè)計(jì)，2018，39（1）：224-229.

[4]潘崇煜，黃健，郝建國(guó)，等.融合零樣本學(xué)習(xí)和小樣本學(xué)習(xí)的弱監(jiān)督學(xué)習(xí)方法綜述[J].系統(tǒng)工程與電子技術(shù)，2020，42（10）：2246-2256.

[5]楊洋.電氣設(shè)備紅外圖像分析與處理[D].北京交通大學(xué)，2015.

作者簡(jiǎn)介：裴澤林（1997— ），男，漢族，安徽人，東華大學(xué)碩士研究生在讀，研究方向：電力設(shè)備紅外圖像處理，深度學(xué)習(xí);趙曙光（1965— ），男，漢族，上海人，東華大學(xué)教授，研究方向：圖像處理與模式識(shí)別，量子邏輯設(shè)計(jì)自動(dòng)化，可進(jìn)化硬件（EHW）等;王建強(qiáng)（1987— ），男，漢族，山東煙臺(tái)人，碩士，上汽大眾汽車(chē)有限公司中級(jí)工程師，研究方向：整車(chē)電子電器與電器檢測(cè)系統(tǒng)。