楊清翔，呂晨，馮晨晨，王振宇

(1.山西中煤華晉能源有限責(zé)任公司 王家?guī)X煤礦， 山西 河津 043300;2.中國(guó)礦業(yè)大學(xué) 信息與控制工程學(xué)院， 江蘇 徐州 221116)

0 引言

基于計(jì)算機(jī)視覺的行人檢測(cè)方法采用攝像裝置獲取視頻圖像，通過圖像處理算法對(duì)目標(biāo)信息進(jìn)行檢測(cè)和分析，并用于后續(xù)跟蹤任務(wù)[1]，在智能視頻監(jiān)控[2]、無(wú)人汽車駕駛[3]、智能機(jī)器人[4]等領(lǐng)域發(fā)揮了重要作用。在智能化礦井建設(shè)中[5]，采用計(jì)算機(jī)視覺技術(shù)對(duì)長(zhǎng)距離膠帶沿線、封閉巷道入口、斜巷等危險(xiǎn)區(qū)域進(jìn)行行人檢測(cè)，對(duì)于提高煤礦安全生產(chǎn)管理水平、防范人身傷亡事故具有重要的意義。但井下光照不均勻、行人特征與背景的相似度高[6]等問題導(dǎo)致基于計(jì)算機(jī)視覺的行人檢測(cè)技術(shù)在井下應(yīng)用面臨很大挑戰(zhàn)。

鑒于基于深度學(xué)習(xí)的行人檢測(cè)方法在復(fù)雜環(huán)境下的應(yīng)用優(yōu)勢(shì)[7]，本文采用Faster RCNN(Region Convolutional Neural Networks，區(qū)域卷積神經(jīng)網(wǎng)絡(luò))[8]進(jìn)行煤礦井下行人檢測(cè)(Faster RCNN行人檢測(cè))，并通過池化因子設(shè)計(jì)了一種動(dòng)態(tài)自適應(yīng)池化方法，實(shí)現(xiàn)了針對(duì)不同池化域的自適應(yīng)池化操作，從而提高了檢測(cè)準(zhǔn)確性。實(shí)驗(yàn)結(jié)果驗(yàn)證了Faster RCNN行人檢測(cè)算法針對(duì)不同環(huán)境下圖像中的行人均具有較好的檢測(cè)效果。

1 Faster RCNN行人檢測(cè)算法

基于深度學(xué)習(xí)的行人檢測(cè)算法主要思想是利用卷積和池化等操作對(duì)行人圖像進(jìn)行處理，獲取卷積特征，采用全連接層作為分類器完成分類檢測(cè)。Faster RCNN行人檢測(cè)算法引入RPN(Region Proposal Network，區(qū)域建議網(wǎng)絡(luò))生成候選區(qū)域，采用Fast RCNN[9]檢測(cè)目標(biāo)，如圖1所示。采用卷積層提取圖像特征，在特征提取過程中進(jìn)行動(dòng)態(tài)自適應(yīng)池化操作。RPN通過柔性最大值傳輸函數(shù)softmax判斷錨點(diǎn)屬于前景還是背景，再利用邊框回歸修正錨點(diǎn)，以獲取精確的候選區(qū)域。感興趣區(qū)域池化層根據(jù)輸入的特征圖和候選區(qū)域，采用動(dòng)態(tài)自適應(yīng)池化方法提取候選特征圖并將其送入分類器(全連接層)。分類器計(jì)算候選區(qū)域類別，再次使用邊框回歸獲得檢測(cè)框作為檢測(cè)結(jié)果。

圖1 Faster RCNN行人檢測(cè)算法

Faster RCNN行人檢測(cè)算法中RPN和Fast RCNN可共享卷積層，大幅提高了網(wǎng)絡(luò)訓(xùn)練和檢測(cè)速度,同時(shí)采用動(dòng)態(tài)自適應(yīng)池化方法，提高了行人檢測(cè)準(zhǔn)確性。

2 RPN與Fast RCNN共享卷積層

Faster RCNN行人檢測(cè)算法中RPN目標(biāo)是實(shí)現(xiàn)與Fast RCNN共享卷積層，主要思想為將輸入圖像轉(zhuǎn)換為矩形目標(biāo)建議框集合，并計(jì)算各框得分，該過程建模通過全卷積網(wǎng)絡(luò)完成。

RPN只含有卷積層，最后一層輸出的卷積特征為圖像特征圖。對(duì)其進(jìn)行窗口滑動(dòng)，在每個(gè)位置滑動(dòng)時(shí)利用錨點(diǎn)機(jī)制按照3種尺寸和3種比例要求生成9種不同的錨點(diǎn)，并根據(jù)邊框回歸機(jī)制對(duì)位置進(jìn)行修正。針對(duì)每個(gè)候選區(qū)域，RPN為其設(shè)置置信度，表明其可檢測(cè)到行人目標(biāo)的概率，并根據(jù)置信度選擇合理的候選區(qū)域輸入分類器進(jìn)行分類檢測(cè)。

RPN與Fast RCNN是獨(dú)立訓(xùn)練的，卷積層修改方法不同。本文提出學(xué)習(xí)RPN和Fast RCNN的共享卷積層，而不是分別學(xué)習(xí)網(wǎng)絡(luò)。在學(xué)習(xí)共享卷積層時(shí)采用交替訓(xùn)練算法，步驟如下。

(1) 對(duì)RPN進(jìn)行訓(xùn)練。采用ImageNet預(yù)訓(xùn)練模型初始化RPN。RPN訓(xùn)練中采用端到端的微調(diào)。

(2) 利用RPN生成的矩形目標(biāo)建議框，通過Fast RCNN訓(xùn)練得到檢測(cè)網(wǎng)絡(luò)。該網(wǎng)絡(luò)采用步驟(1)中方法生成，但獨(dú)立于RPN。此時(shí)RPN和檢測(cè)網(wǎng)絡(luò)未建立共享卷積層。

(3) 使用檢測(cè)網(wǎng)絡(luò)初始化RPN訓(xùn)練。此時(shí)不修改共享卷積層，只對(duì)RPN中獨(dú)有的層進(jìn)行微調(diào)。之后便可實(shí)現(xiàn)RPN和Fast RCNN共享卷積層。

(4) 在不改動(dòng)RPN和Fast RCNN共享卷積層前提下，對(duì)Fast RCNN獨(dú)有的層進(jìn)行微調(diào)。之后RPN和Fast RCNN構(gòu)成一個(gè)統(tǒng)一網(wǎng)絡(luò)。

3 動(dòng)態(tài)自適應(yīng)池化

對(duì)于一幅行人圖像，對(duì)可能包含行人的區(qū)域提取特征時(shí)，通常會(huì)對(duì)所獲取的特征進(jìn)行分析統(tǒng)計(jì)，以獲取區(qū)域總體特征。圖像中這個(gè)特定區(qū)域叫做池化域，對(duì)其進(jìn)行的操作為池化。池化后得到的特征圖維度與分辨率都有所下降，可有效避免過擬合現(xiàn)象發(fā)生。常用的池化方法有平均池化和最大池化。平均池化即計(jì)算池化域的像素平均值，并把該值作為子采樣樣本的特征值；最大池化即選取池化域中像素最大值作為特征值。

設(shè)F為輸入圖像特征圖中大小為c×c的子采樣池化域，其偏移量為b。在池化操作過程中核的每一次移動(dòng)步長(zhǎng)為c，則采用平均池化和最大池化得到的子采樣特征圖分別如式(1)、式(2)所示。

(1)

Sm=maxfij+b

(2)

式中fij為F中(i,j)處像素。

常用的平均池化和最大池化操作對(duì)所有的池化域采用相同池化方式，缺乏靈活性。本文提出一種動(dòng)態(tài)自適應(yīng)池化方法，根據(jù)特定區(qū)域的特征圖動(dòng)態(tài)自適應(yīng)調(diào)整池化操作過程，同時(shí)根據(jù)每個(gè)池化域內(nèi)容，對(duì)相應(yīng)的池化權(quán)值進(jìn)行自適應(yīng)調(diào)整。如果池化域中只有1個(gè)值或所有值相同，則將該值作為該池化域的特征表示。設(shè)池化因子為μ，則采用動(dòng)態(tài)自適應(yīng)池化方法得到的子采樣特征圖為

Sd=μmaxfij+b

(3)

可見動(dòng)態(tài)自適應(yīng)池化方法是在最大池化基礎(chǔ)上，通過池化因子μ對(duì)提取的子采樣特征圖進(jìn)行優(yōu)化，從而更加精確地表達(dá)圖像的高層次抽象特征。

(4)

式中：ρ為特征系數(shù)；α為池化域中去除最大值后，其他像素的平均值；fmax為池化域中像素最大值,fmax=maxfij；θ為誤差矯正項(xiàng)。

(5)

式中ne為訓(xùn)練過程中迭代次數(shù)。

根據(jù)式(3)—式(5)可知，如果確定了池化域大小，并保持迭代次數(shù)不變，就可根據(jù)池化域的不同特點(diǎn)，自適應(yīng)選取當(dāng)前池化域的池化因子，從而獲得最佳檢測(cè)性能。如果存在池化域相同的情況，可通過調(diào)節(jié)迭代次數(shù)動(dòng)態(tài)調(diào)節(jié)池化因子，最大程度上達(dá)到檢測(cè)性能最優(yōu)。池化因子取值范圍為(0，1)，這樣可包含平均池化和最大池化，保證池化域含有較明顯的像素最大值時(shí)輸出準(zhǔn)確結(jié)果，且在對(duì)其他池化域進(jìn)行池化操作時(shí)提高最大池化提取特征信息時(shí)的準(zhǔn)確度。

4 實(shí)驗(yàn)與結(jié)果分析

采用Caltech數(shù)據(jù)集，將本文算法與ACF[10]，DeepCascade[11]，SCF+AlexNet[12]，Katamari[13]，SpatialPooling+[14]，TA-CNN[15]，ACF++[16]，LDCF[17]，MS-CNN[18]算法的檢測(cè)性能進(jìn)行比較。

設(shè)置標(biāo)準(zhǔn)環(huán)境下圖像中行人高度均超過50像素，沒有或有少部分遮擋，采用不同算法時(shí)實(shí)驗(yàn)結(jié)果如圖2所示。根據(jù)行人檢測(cè)評(píng)價(jià)原則，將誤檢率為0.1時(shí)對(duì)應(yīng)的漏檢率和平衡點(diǎn)作為評(píng)價(jià)標(biāo)準(zhǔn)。圖2各算法中的數(shù)值為其漏檢率或平衡點(diǎn)。

(a) 漏檢率-誤檢率曲線

(b) 精確度-查全率曲線

從圖2可看出，本文算法漏檢率最低，僅為9%，較基于卷積神經(jīng)網(wǎng)絡(luò)的TA-CNN和MS-CNN算法分別降低了12%和1%；平衡點(diǎn)最大,為87%，說(shuō)明本文算法的查全率和精確度均優(yōu)于其他算法。另外，本文算法的精確度-查全率曲線向右上角凸起的程度較其他算法大，說(shuō)明本文算法的檢測(cè)效果最優(yōu)。

為驗(yàn)證本文算法針對(duì)不同背景的檢測(cè)效果，選取6種參數(shù)環(huán)境進(jìn)行實(shí)驗(yàn)，分別為部分遮擋(遮擋范圍為1%～35%)、嚴(yán)重遮擋(遮擋范圍為35%～80%)、大尺寸(行人高度大于80像素)、中小尺寸(行人高度為30～80像素)、標(biāo)準(zhǔn)寬高比和非標(biāo)準(zhǔn)寬高比，實(shí)驗(yàn)結(jié)果如圖3所示。

從圖3可看出，對(duì)于遮擋范圍較小、尺寸較大的圖像，各算法的檢測(cè)效果較好，而對(duì)于遮擋嚴(yán)重、尺寸較小的圖像，各算法的檢測(cè)效果急劇下降，這與實(shí)際情況一致；在6種參數(shù)環(huán)境下，本文算法的漏檢率均最低，證明本文算法對(duì)于不同遮擋范圍、尺寸、寬高比情況的圖像均能有效檢測(cè)出行人。

5 結(jié)語(yǔ)

煤礦井下行人檢測(cè)算法即Faster RCNN行人檢測(cè)算法采用RPN生成候選區(qū)域，并與Fast RCNN共享卷積層，提高了網(wǎng)絡(luò)訓(xùn)練和檢測(cè)速度；采用動(dòng)態(tài)自適應(yīng)池化方法對(duì)不同特點(diǎn)的池化域進(jìn)行自適應(yīng)池化操作，提高了檢測(cè)準(zhǔn)確性。通過Caltech數(shù)據(jù)集驗(yàn)證了該算法對(duì)于不同環(huán)境下圖像中行人均具有較好的檢測(cè)效果。

(a) 部分遮擋

(b) 嚴(yán)重遮擋

(c) 大尺度

(d) 中小尺度

(e) 標(biāo)準(zhǔn)寬高比

(f) 非標(biāo)準(zhǔn)寬高比