蔡曉敏,成 超,秦緒彬

(1.南京郵電大學(xué)通達學(xué)院,江蘇 揚州 225000;2.揚州環(huán)銳科技有限公司,江蘇 揚州 225000)

0 引言

由于煤炭開采會導(dǎo)致土地塌陷,開采出的矸石堆滲浸對土地會造成污染,所以越來越多的煤礦將矸石回填采礦區(qū)。矸石充填時,判斷搗實機構(gòu)和后部輸送刮板機的相對位置至關(guān)重要。這對于控制搗實機構(gòu)上下和伸縮的動作,使搗實結(jié)構(gòu)把矸石搗實壓密具有重要作用。搗實機構(gòu)太高會和后部輸送刮板機發(fā)生機械干涉;太低會把矸石帶回,從而造成搗實機構(gòu)撞斷傳送帶的事故[1-2]。傳統(tǒng)的矸石充填搗實系統(tǒng)靠操作人員用眼睛判斷位置。這一方面會造成人力資源的耗費,另一方面由于煤礦工作環(huán)境復(fù)雜、人眼觀察不清晰,在操作過程中不可避免地會產(chǎn)生失誤和疏漏。因此,業(yè)內(nèi)迫切需要用計算機和傳感器替代人眼對充填位置進行檢測,從而判斷安全距離、防止碰撞。

近年來,深度學(xué)習(xí)在計算機視覺、圖像處理方面取得了巨大的成功。其中,你只看一遍(you only look once,YOLO)算法是目前比較流行的一種目標(biāo)檢測算法。YOLO算法指只需要看一遍圖片就能預(yù)測出物體的類別和位置。YOLOv3是繼YOLO和YOLOv2之后,YOLO系列的又一目標(biāo)檢測算法。YOLOv3具有速度更快、精度更高的特點。

深度學(xué)習(xí)的性能在很大程度上取決于其結(jié)構(gòu)和超參數(shù)設(shè)置。因此,本文提出1種基于實數(shù)和整數(shù)混合編碼的粒子群優(yōu)化(particle swarm optimization,PSO)算法來優(yōu)化YOLOv3超參數(shù)獲取過程,并把該算法應(yīng)用于矸石充填搗實視覺系統(tǒng)中,以獲得對應(yīng)的充填溜子和橫截面的對應(yīng)位置,從而保證搗實機構(gòu)不會和后部輸送刮板機發(fā)生干涉并避免碰撞。同時,搗實機構(gòu)能將矸石壓實、沒有回矸,從而達到保護安全、最大程度處理矸石固廢且實現(xiàn)最大程度回填充實率的目的。根據(jù)調(diào)研,本文提出的智能方法在國內(nèi)外矸石充填領(lǐng)域鮮有研究。

1 YOLOv3算法概述

近年來,深度學(xué)習(xí)領(lǐng)域獲得了長足的發(fā)展,特別是卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)的方法取得了廣泛的應(yīng)用。和傳統(tǒng)模式識別最大的不同是,深度學(xué)習(xí)可以從大量帶有標(biāo)簽的數(shù)據(jù)中準確、自動地學(xué)習(xí)到特征,提升了算法應(yīng)用速度和自動化程度[3-4]。深度學(xué)習(xí)中的YOLO算法先將目標(biāo)邊界位置的問題直接轉(zhuǎn)換為回歸問題,然后通過CNN對其進行處理,在具有高精度的同時保證了實時性。因此,YOLO算法近年來得到了廣泛的重視。

YOLOv3模型可分為特征提取層和處理輸出層。特征提取層是Darknet-53和ResNet-like網(wǎng)絡(luò)的組合。處理輸出層類似于特征金字塔網(wǎng)絡(luò)。YOLOv3模型還可以具體劃分為106層全卷積體系結(jié)構(gòu),包括卷積層、批標(biāo)準化(batch normalization,BN)層、shortcut層、路由層、上采樣層和YOLO層。其中:shortcut層借鑒了深度殘差網(wǎng)絡(luò);路由層索引到前面的特征映射;上采樣層是雙線性上采樣層;YOLO層是特征映射解析層[5]。在卷積層中主要使用1×1和3×3濾波器。3×3卷積層用于減小寬度和高度以及增加通道數(shù)。1×1卷積層用于表示壓縮特征。網(wǎng)絡(luò)體系結(jié)構(gòu)的復(fù)雜性往往伴隨著模型訓(xùn)練難度和收斂速度的雙重挑戰(zhàn)。因此,基于復(fù)雜的底層結(jié)構(gòu),YOLOv3采用了快捷層,大大降低了訓(xùn)練難度、提高了訓(xùn)練精度。跨層連接是通過路由層實現(xiàn)的,有助于多個不同特征的融合,以實現(xiàn)多層聯(lián)動學(xué)習(xí)。上采樣層采用2次上采樣,將大分辨率特征圖和小分辨率特征圖有機地聯(lián)系起來,以增強對小目標(biāo)的識別能力。YOLO層用于輸出預(yù)測對象的坐標(biāo)和類別。YOLOv3結(jié)構(gòu)如圖1所示。

圖1 YOLOv3結(jié)構(gòu)示意圖

圖1中:DBL表示Darknetconv2d_BN_Leaky是YOLOv3的基本組件;resn中的n代表數(shù)字,包括res1,res2,… ,res8等,表示這個res_block里含有多少個res_unit;concat表示張量拼接;add表示張量相加;conv表示卷積。

2 改進PSO方法

合理的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和超參數(shù)設(shè)置能夠極大地提高YOLOv3的性能。通常,這些超參數(shù)的設(shè)置由在這方面有豐富經(jīng)驗的研究人員手動調(diào)制。1個性能良好的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)會依賴于問題的特征,因此在過去的幾十年里,許多研究者都在研究如何自動識別合適的網(wǎng)絡(luò)結(jié)構(gòu)。進化算法是1類基于群體的元啟發(fā)式優(yōu)化算法,已被證明在識別合適的網(wǎng)絡(luò)模型方面是有效的,因而被廣泛應(yīng)用到各種工業(yè)生產(chǎn)和實際生活領(lǐng)域,并有望解決深度學(xué)習(xí)領(lǐng)域超參數(shù)調(diào)試難的問題。大衛(wèi)等[6]介紹了1種在修改的美國國家標(biāo)準與技術(shù)研究院(Modified National Institute of Standards and Technology,MNIST)數(shù)據(jù)集上基于遺傳算法改進深度自動編碼器性能的深度學(xué)習(xí)算法。Suganuma等[7]提出利用笛卡爾遺傳規(guī)劃(Cartesian genetic programming, CGP)算法建立CNN結(jié)構(gòu)及其連通性。為了減少搜索空間,該算法以卷積塊、張量級聯(lián)等高級功能模塊作為CGP的節(jié)點函數(shù)。為此,本文利用改進PSO獲得YOLOv3的超參數(shù),使得優(yōu)化后的算法更利于矸石充填搗實系統(tǒng)中的防碰撞檢測?；诟倪MPSO的YOLOv3超參優(yōu)化算法流程如圖2所示。

圖2 基于改進PSO的YOLOv3超參優(yōu)化算法流程圖

2.1 PSO算法

PSO算法是1995年由Kenndy等依據(jù)鳥群和魚群的覓食合作行為而提出的[8]。在PSO算法中,每個在定義域內(nèi)的可行解被看作1個粒子,而被求解的優(yōu)化問題被看作適應(yīng)度函數(shù),通過迭代運行把每個粒子代入適應(yīng)度函數(shù)計算,從而求得最終的近似解。相對于其他群體優(yōu)化算法而言,PSO算法提出了群體和個體歷史經(jīng)驗解的概念,分別代表全體和個體在搜索歷史中獲得的最優(yōu)位置。群體在迭代過程中向這2個歷史最優(yōu)解的不間斷學(xué)習(xí)加速了尋優(yōu)過程,從而獲得相對于其他群體算法更快的收斂速度。PSO算法的迭代如式(1)、式(2)所示。

vid(t+1)=wvid(t)+c1r1×[pid-xid(t)]+c2r2×[pgd-xid(t)]

(1)

式中:i為粒子序號,i=1,2,...,N,N為粒子個數(shù);d為粒子維度序號,d=1,2,...,D,D為粒子維度;t為迭代次數(shù);w為慣性權(quán)重;c1為個體學(xué)習(xí)因子;c2為所有粒子的學(xué)習(xí)因子;r1和r2為兩個服從分布U(0,1)的隨機數(shù),可增加搜索的隨機性;vid為第i個粒子第d維的速度;xid為第i個粒子第d維的位置;pid為第i個粒子第d維的最優(yōu)解;pgd為到第d次迭代為止,所有粒子第d維的最優(yōu)解。

xid(t+1)=xid(t)+vid(t+1)

(2)

2.2 PSO算法個體初始化和編碼

PSO算法在搜索空間中隨機選擇對應(yīng)的超參數(shù)組合初始化群體。學(xué)習(xí)率(learning_rate,LR)、LR從 0 上升到LR的樣本數(shù)burn_in(簡稱“BI”)、動量(momentum,MO)、學(xué)習(xí)率更新迭代步數(shù)1(step1,ST1)和LR更新迭代步數(shù)2(step2,ST2)這些超參數(shù)分別以實數(shù)和整數(shù)的形式進行編碼。優(yōu)化的超參數(shù)及其變化范圍如表1所示。

表1 優(yōu)化的超參數(shù)及其變化范圍

由表1可知,待優(yōu)化的超參數(shù)分別為離散值和整數(shù)值。因此,本文針對這2種數(shù)值分別采用不同的初始化和更新方法。針對離散值,本文定義離散值的初始范圍為[1,n]。其中,n為離散值的數(shù)目。在使用PSO迭代式進行計算的過程中,本文通過向下取整獲得個體更新以后的位置。例如:針對超參數(shù)LR,本文定義的范圍為[1,4]。在迭代計算過程中,假如x取值為3.4,則向下取整為3,代入網(wǎng)絡(luò)對應(yīng)的LR為0.001。針對整數(shù)值,則只使用向下取整概念更新個體。

表1所示的這些超參數(shù)在本文定義的取值范圍內(nèi)(該取值范圍是經(jīng)驗值)可以取不同的數(shù)值。隨機選擇這些超參數(shù)后,本文基于層數(shù)和特征圖的數(shù)目,根據(jù)以下所述的規(guī)則創(chuàng)建網(wǎng)絡(luò)。

①當(dāng)YOLOv3模型首次訓(xùn)練時,LR的初始值為0.001。一般而言,LR的范圍在0.001～0.1之間,在對數(shù)范圍均勻分布。隨著迭代次數(shù)的增加,學(xué)習(xí)速度降低,損失函數(shù)的收斂加速。在整個培訓(xùn)期間,從訓(xùn)練開始到結(jié)束,LR應(yīng)降低至原來的1%。

②批次表示一批訓(xùn)練樣本的樣本數(shù)。每批樣本更新1次參數(shù),以保證訓(xùn)練速度和計算能力。通常選擇樣本數(shù)為8或64。

③隨著訓(xùn)練迭代的進行,損失函數(shù)將在訓(xùn)練后期的迭代過程中緩慢收斂。BI可以更好地解決這個問題[9]。BI的范圍一般在0.85～0.95之間,不能大于1。

④當(dāng)?shù)螖?shù)達到BI時,LR的更新方法將改變。初始網(wǎng)絡(luò)值為500,范圍限制在400～700之間。

⑤當(dāng)?shù)絊T1和ST2時,LR將變?yōu)樵瓉淼?0%。初始網(wǎng)絡(luò)值分別設(shè)置為400和700,并且范圍有限。

2.3 適應(yīng)度函數(shù)

YOLOv3的平均分類精度被用作個體的適應(yīng)度得分,即從每個粒子上構(gòu)建YOLOv3模型并將其存儲在個體中。訓(xùn)練數(shù)據(jù)集的90%用于訓(xùn)練網(wǎng)絡(luò)、10%用于驗證。本文采用隨機梯度下降(stochastic gradient descent, SGD)算法對所構(gòu)造的網(wǎng)絡(luò)進行訓(xùn)練。訓(xùn)練時間為固定的迭代數(shù)e(e=50)。本文將驗證階段的平均分類精度作為適應(yīng)度得分。對于每個網(wǎng)絡(luò)的訓(xùn)練,本文將交叉熵損失作為損失函數(shù)。每20個e的LR降低至10%。損失函數(shù)Loss如式(3)所示。

Loss=-yi×log(pi)-(1-yi)×log(1-pi)

(3)

式中:yi為樣本i的標(biāo)簽,正類為1、負類為0;pi為樣本i預(yù)測為正類的概率。

3 試驗結(jié)果及分析

本試驗使用視覺目標(biāo)分類(visual object class,VOC)2007的官方數(shù)據(jù)集來預(yù)訓(xùn)練網(wǎng)絡(luò),使用矸石真實數(shù)據(jù)來訓(xùn)練和測試網(wǎng)絡(luò)。VOC包含2種類型的標(biāo)簽數(shù)據(jù),分別為檢測和語義。所有的數(shù)據(jù)均有檢測標(biāo)簽,有些還包括語義標(biāo)簽。VOC數(shù)據(jù)集目前被廣泛應(yīng)用于網(wǎng)絡(luò)算法性能的判斷。許多研究人員報告了他們的訓(xùn)練和測試在這些數(shù)據(jù)集上的表現(xiàn)。數(shù)據(jù)集對象包括20個類別,共9 963幅圖像,分為訓(xùn)練、驗證、測試這3個部分,共有24 640個對象被標(biāo)記[10]。本文涉及的YOLOv3網(wǎng)絡(luò)的代碼和架構(gòu)都從YOLO官網(wǎng)中獲得。調(diào)試代碼使用的顯卡為英偉達2080TI 圖形處理器。

本文主要介紹了1種利用PSO迭代求解YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)最優(yōu)超參數(shù)組合的方法,以獲得較低的損失函數(shù)值和精度[11-12]。

PSO的初始化參數(shù)設(shè)置如下:最大迭代次數(shù)為10次;初始粒子數(shù)為10個;搜索維數(shù)d=5;初始慣性權(quán)重w=0.8、c1=2、c2=2。

試驗采用PSO對YOLOv3的一些超參數(shù)進行優(yōu)化,而其他超參數(shù)(如歸一化等)則保持不變。實際上,為了保證在訓(xùn)練中損失函數(shù)不會產(chǎn)生梯度爆炸,這些需要優(yōu)化的超參數(shù)應(yīng)在有限的范圍內(nèi)迭代。

本試驗選擇YOLOv3的損失函數(shù)作為適應(yīng)度函數(shù)。每次調(diào)整超參數(shù)后,試驗將超參數(shù)輸入YOLOv3網(wǎng)絡(luò)進行完整的訓(xùn)練。YOLOv3的初始迭代次數(shù)是520 000次。由于在實際矸石數(shù)據(jù)訓(xùn)練中發(fā)現(xiàn)模型經(jīng)過1 000次迭代后基本收斂,過大的訓(xùn)練迭代只會消耗計算資源,因此試驗的訓(xùn)練周期設(shè)定為1 000次迭代。1次試驗獲得的粒子群10個個體超參值如表2所示。

表2 1次試驗獲得的粒子群10個個體超參值

在表2的試驗中,粒子數(shù)是10。首先,在表1的范圍內(nèi)隨機生成10個粒子的位置,并將這10個粒子的初始超參數(shù)進行YOLOv3訓(xùn)練,得到1組初始局部最優(yōu)值。然后在第一次迭代后,根據(jù)式(1)、式(2)得到了10個粒子的1組新的超參數(shù),并將它們重新輸入YOLOv3進行訓(xùn)練。如果有更好的適應(yīng)值,則更換相應(yīng)位置的參數(shù)。通過這種往復(fù)運動,經(jīng)過10次迭代,得到1組新的局部最優(yōu)值。隨著粒子的迭代,具有最佳適應(yīng)度函數(shù)值的粒子被稱為全局最佳粒子,即試驗結(jié)束時的最佳超參數(shù)粒子。

為了展示PSO與YOLOv3網(wǎng)絡(luò)集成后的優(yōu)點、防止誤差導(dǎo)致的數(shù)據(jù)失真,在相同的試驗環(huán)境下,本文將標(biāo)準超參數(shù)和算法改進優(yōu)化后獲得的全局最優(yōu)超參數(shù)分別輸入YOLOv3 5次。本文將5次運行改進后的PSO算法優(yōu)化后獲得的網(wǎng)絡(luò)損失函數(shù)與網(wǎng)絡(luò)預(yù)測值進行比較。標(biāo)準YOLOv3和改進YOLOv3的5次損失函數(shù)值如圖3所示。

圖3 標(biāo)準YOLOv3和改進YOLOv3的5次損失函數(shù)值

標(biāo)準YOLOv3算法運行后獲得的平均損失函數(shù)為0.315 54。改進后YOLOv3的平均損失函數(shù)為0.137 3。由此可知,改進YOLOv3的預(yù)測精度大大提高。

4 結(jié)論

針對煤礦系統(tǒng)中的矸石回填機構(gòu)防碰撞問題,本文提出了1種基于整數(shù)和實數(shù)混合編碼的PSO算法的YOLOv3解決方案。本文提出的PSO算法用于解決網(wǎng)絡(luò)超參數(shù)選擇問題,進而使得優(yōu)化后的網(wǎng)絡(luò)具有更優(yōu)的性能,從而有效地優(yōu)化選擇網(wǎng)絡(luò)的超參數(shù)、精確地檢測出搗實機構(gòu)在圖片中的精確位置。該方案應(yīng)用于矸石充填搗實系統(tǒng)中,以獲得對應(yīng)的充填溜子和橫截面的對應(yīng)位置?？刂破魍ㄟ^反饋,驅(qū)動電液控閥組執(zhí)行搗實機構(gòu)的上下和伸縮動作,保證搗實機構(gòu)不會和后部輸送刮板機發(fā)生干涉,以保障安全,提高防碰撞效率。同時,搗實機構(gòu)能將矸石壓實,沒有回矸,以達到最大化處理矸石固廢且最大化回填充實率的目的。平均損失函數(shù)對比結(jié)果表明,改進后YOLOv3的預(yù)測精度大大提高。本文所提算法具有更加良好的性能,可以進一步優(yōu)化和推廣。