池招榮，樊云鵬，覃顯南，賴璐璐，黃雅琴，盧晶晶

（廣西電網(wǎng)公司崇左供電局，廣西 崇左 532299）

0 引 言

安全問題一直是電力系統(tǒng)中的首要問題。當(dāng)前我國電力系統(tǒng)中利用深度學(xué)習(xí)系統(tǒng)進行安全帶佩戴檢測的方法具有一定科學(xué)性，但是深度學(xué)習(xí)系統(tǒng)在實際操作過程中存在嚴重的數(shù)據(jù)依賴問題，導(dǎo)致深度學(xué)習(xí)無法適應(yīng)各種情境，而遷移學(xué)習(xí)正是解決這一問題的重要手段[1-4]。本文主要探討將深度遷移學(xué)習(xí)運用到電力行業(yè)安全帶佩戴檢測中，提高檢測準(zhǔn)確率，為電力行業(yè)安全帶佩戴檢測提供新的思路[5]。

1 遷移學(xué)習(xí)的概念和分類

遷移學(xué)習(xí)是1種機器學(xué)習(xí)方法，是把已經(jīng)學(xué)習(xí)到的知識從源領(lǐng)域，遷移到1個新的目標(biāo)領(lǐng)域，促使目標(biāo)領(lǐng)域有更好更快的學(xué)習(xí)效果，類似于日常學(xué)習(xí)中的舉一反三。一般情況下，源領(lǐng)域有大量的數(shù)據(jù)集可以提供訓(xùn)練，但是目標(biāo)領(lǐng)域所需要的數(shù)據(jù)量很少，遷移學(xué)習(xí)就很適合解決此類問題[6]。

遷移學(xué)習(xí)分類如下文所述。

（1）樣本遷移。當(dāng)目標(biāo)領(lǐng)域和源領(lǐng)域之間有較多數(shù)據(jù)特征重疊時，樣本遷移利用大數(shù)據(jù)在源領(lǐng)域中找到與目標(biāo)領(lǐng)域相同的數(shù)據(jù)，加大該樣本的權(quán)值，對于重疊特征較少的數(shù)據(jù)，樣本遷移會降低權(quán)值。樣本遷移操作簡單，但是在具體樣本數(shù)據(jù)選取權(quán)重和判斷源領(lǐng)域與目標(biāo)領(lǐng)域數(shù)據(jù)的相似度上仍需要經(jīng)驗，在實際工作中需特別注意。

（2）模型遷移。模型遷移的情況是源領(lǐng)域的神經(jīng)網(wǎng)絡(luò)同目標(biāo)領(lǐng)域的神經(jīng)網(wǎng)絡(luò)共享了1層或幾層的權(quán)值參數(shù)，理論上可以將源領(lǐng)域中已經(jīng)訓(xùn)練好的大量數(shù)據(jù)模型遷移至目標(biāo)領(lǐng)域中，但是在實際工作過程中只取訓(xùn)練好的模型前幾層。該類型遷移的優(yōu)點是只需要訓(xùn)練少量的數(shù)據(jù)就能夠達到很好的工作效果，缺點就是直接遷移過來的模型參數(shù)不易收斂[6]。

2 深度遷移學(xué)習(xí)

2.1 Resnet50卷積神經(jīng)網(wǎng)絡(luò)

Resnet很好地解決了深度學(xué)習(xí)在層數(shù)加深時帶來的梯度消失與梯度爆炸的問題,是目前學(xué)習(xí)性能最好的卷積神經(jīng)網(wǎng)絡(luò)之一。Resnet50 卷積神經(jīng)網(wǎng)絡(luò)圖如圖1所示，ResNet50 包括 5 個階段，其 STAGE1 是對輸入數(shù)據(jù)的卷積與池化預(yù)處理，STAGE2 由 3 個Bottleneck 塊組成，Bottleneck 塊包含 3 個卷積核分別為 1×1，3×3，1×1 的卷積層，2個1×1的卷積核分別對輸入輸出數(shù)據(jù)進行降維與升維操作，較大程度地減少了計算資源的消耗[7]。

圖1 Resnet50卷積神經(jīng)網(wǎng)絡(luò)圖

2.2 Fine-tuning 遷移學(xué)習(xí)方法

Fine-tuning 遷移學(xué)習(xí)方法如圖2所示。方法1初始化全連接層參數(shù)，根據(jù)目標(biāo)任務(wù)重構(gòu) Softmax 的輸出分類，其余層參數(shù)初始化為預(yù)訓(xùn)練模型的參數(shù)，在訓(xùn)練目標(biāo)數(shù)據(jù)集時，預(yù)訓(xùn)練模型參數(shù)也會隨之微調(diào)。方法2與方法1的區(qū)別在于第1階段到第5階段的預(yù)訓(xùn)練模型參數(shù)將會被凍結(jié)，訓(xùn)練目標(biāo)數(shù)據(jù)集時僅改變?nèi)B接層參數(shù)。方法3在方法1的基礎(chǔ)上對STAGE5的卷積層進行初始化，引入超參數(shù)m對初始化卷積層個數(shù)進行控制，當(dāng)m=0時方法3退化到方法1[4]。

圖2 Fine-tuning 遷移學(xué)習(xí)方法

3 深度遷移模型的超參數(shù)優(yōu)化

3.1 差分動態(tài)哈里斯鷹優(yōu)化算法

本文提出1種哈里斯鷹優(yōu)化算法來優(yōu)化超參數(shù)。Harris Hawk優(yōu)化算法是1種元啟發(fā)式算法，Harris Hawk與其他家庭成員進行獨特的合作覓食活動。因此，哈里斯鷹種群的獨特捕食行為非常適合作為1個智能種群優(yōu)化過程來模擬[3]。

3.1.1 全局搜索階段

當(dāng)q＜0.5時，哈里斯鷹會根據(jù)其他成員和獵物的位置進行棲息表達式為

式中：q、r1、r2、r3、r4均為 [0，1] 內(nèi)的隨機數(shù)；ub、lb為搜索空間上、下限；Xrand為一隨機個體位置；Xrabbit為獵物位置；Xave為種群內(nèi)所有個體的平均位置；r2是一個比例系數(shù)；一旦r4的值接近1，就會進一步增加該策略的隨機性；絕對值中的內(nèi)容可看作兩個體間的相對距離；r1為隨機的比例系數(shù)。

3.1.2 局部開發(fā)階段

在獵物的逃脫過程中，其逃逸能量E將大大降低，其表達式為

當(dāng)E0由0減小至-1時（E0＜0），此時獵物不斷逃跑耗費了很多能量，所以越來越虛；當(dāng)E0由0增加至1時（E0>0），獵物處于恢復(fù)能量階段。當(dāng)|E|≥1時，此時對應(yīng)全局搜索階段；當(dāng)|E|<1時，哈里斯鷹進行局部勘探，對應(yīng)局部開發(fā)階段[7-10]。

3.1.3 開發(fā)階段

假設(shè)r為獵物逃脫概率，r<0.5時為成功逃脫，相反r≥0.5為逃脫失敗。假設(shè)|E|≥0.5時，進行輕柔圍攻；當(dāng)|E|<0.5時，進行強硬圍攻。

當(dāng)r≥0.5且|E|≥0.5時，獵物仍然有足夠的能量，因此哈里斯鷹：

式中，J為獵物逃跑過程中的跳躍距離，J=2*(1-rand)。

當(dāng)r≥0.5且|E|<0.5時，獵物非常疲憊。此時哈里斯鷹公式為

3.2 優(yōu)化方法

將適應(yīng)度值最優(yōu)個體作為目標(biāo)個體，再使用DHHO/ DE 更新種群位置即超參數(shù)，最后使用更新后的超參數(shù)配置深度學(xué)習(xí)模型，開始下一輪迭代。滿足最大迭代次數(shù)時，輸出的最優(yōu)個體位置就是最優(yōu)超參數(shù)[8]。計算個體的適應(yīng)度值公式為式中：TP為真正類樣本，即正確檢測到安全帶的樣本；TF為真負類樣本；NP為假正類樣本；FN為假負類樣本。

4 基于深度遷移學(xué)習(xí)的電力系統(tǒng)安全帶佩戴檢測模型

4.1 優(yōu)化層

基于DHHO/DE實現(xiàn)深度遷移模型的超參數(shù)尋優(yōu)，根據(jù)目標(biāo)函數(shù)優(yōu)化得到最優(yōu)適應(yīng)度值，在種群中挑選最優(yōu)適應(yīng)度的個體作為下一次迭代的目標(biāo)個體，然后根據(jù)公式確定下一代目標(biāo)個體位置，當(dāng)?shù)_到最多次數(shù)或者滿足測評指標(biāo)時即可輸出最優(yōu)個體位置，與此對應(yīng)的就是最優(yōu)超參數(shù)。

4.2 訓(xùn)練層

在采集了大量用于電力作業(yè)安全帶的圖像后，經(jīng)過預(yù)處理，將這些圖像轉(zhuǎn)化為1組具有超參數(shù)設(shè)置的深度偏移模型進行訓(xùn)練，然后在訓(xùn)練好的模型上進行測試。訓(xùn)練層通常模型參數(shù)穩(wěn)定，其目的是提高神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)精度，在一定程度上提高數(shù)據(jù)集的處理能力。

4.3 應(yīng)用層

應(yīng)用層當(dāng)中首先要經(jīng)過YOLOv3網(wǎng)絡(luò)檢測，確定工人位置，目的是實現(xiàn)準(zhǔn)確率更高的檢測，隨后將檢測到的工人圖像預(yù)處理后傳入最優(yōu)超參數(shù)配置的深度遷移學(xué)習(xí)模型，進行安全帶佩戴檢測后即可以獲得結(jié)果。

5 實驗結(jié)果

本文采用預(yù)訓(xùn)練的YOLOv3進行工人檢測，將檢測的工人圖像傳入到安全帶佩戴檢測模型，輸出佩戴概率[9]。

結(jié)果可知，當(dāng)工人未佩戴安全帶時，檢測模型輸出的置信度較低，受工人穿戴衣物的影響在一定數(shù)值內(nèi)波動但不會超過檢測閾值;檢測模型輸出的置信度較高，可以判斷工人已佩戴安全帶[10]。

6 結(jié) 論

本文主要介紹了3種方法建立的模型參數(shù)優(yōu)化的DHHO/DE算法，然后在2 000個自建數(shù)據(jù)集上建立了3個超參數(shù)優(yōu)化配置模型。結(jié)果表明，本文提出的檢測方法有很好的實用性，在缺乏傳動裝置的情況下對安全帶磨損的檢測也能達到99%的準(zhǔn)確率。本文提出的方法旨在解決電力行業(yè)高處作業(yè)安全檢查的難點，為這些問題提供了可行的方法。