李曉娜

（廣東工業(yè)大學(xué)，廣東 廣州 510006）

引言

近年來，大多數(shù)企業(yè)在工業(yè)現(xiàn)場安裝了生產(chǎn)監(jiān)控系統(tǒng)，用于實(shí)時監(jiān)測現(xiàn)場人員的位置、動作和防護(hù)裝備的穿戴情況[1]。其中通過實(shí)時監(jiān)控并檢測現(xiàn)場人員是否佩戴安全帽[2]，對于實(shí)現(xiàn)安全生產(chǎn)事故的預(yù)測預(yù)判具有著重要的現(xiàn)實(shí)意義。

此前，本人對于工業(yè)現(xiàn)場安全帽佩戴檢測提出了2 個方案，這2 個方案都主要分為三個模塊：人體檢測，人員目標(biāo)跟蹤，安全帽檢測。首先使用HOG（Histogram of Orientedd Gradient）特征以及支持向量機(jī)（Support Vector Machine，SVM）訓(xùn)練了行人目標(biāo)分類器[3]，對工業(yè)現(xiàn)場的視頻圖像幀行人目標(biāo)進(jìn)行檢測和定位。接著使用跟蹤算法進(jìn)行目標(biāo)關(guān)聯(lián)，執(zhí)行目標(biāo)追蹤任務(wù)，避免發(fā)生重復(fù)報警[4]。最后對頭部圖像區(qū)域進(jìn)行安全帽的目標(biāo)檢測。

這2 個方案的區(qū)別在于使用的跟蹤算法不同：方案一使用sort（Simple Online and Realtime Tracking）物體跟蹤算法[5]進(jìn)行行人目標(biāo)跟蹤。sort 算法通過匈牙利算法建立損失矩陣進(jìn)行目標(biāo)關(guān)聯(lián)。方案二使用deep-sort（Simple Online and Realtime Tracking with a Deep Association Metric）物體跟蹤算法[6]進(jìn)行人體目標(biāo)跟蹤。由于sort 算法僅利用了物體的運(yùn)動信息進(jìn)行關(guān)聯(lián)匹配，而沒有利用物體的外觀信息，當(dāng)視頻圖像幀中兩人重疊時，位置會發(fā)生交換，即出現(xiàn)了ID-Switch 現(xiàn)象。deep-sort 利用預(yù)先設(shè)計的CNN 網(wǎng)絡(luò)，提取出一個描述目標(biāo)框內(nèi)物體外觀的向量，并將這一向量融入損失矩陣，從而使得匈牙利算法的匹配結(jié)果更可靠，大大較低了ID-Switch 發(fā)生的頻率。

以上2 個方案中的跟蹤算法都使用目標(biāo)檢測和目標(biāo)關(guān)聯(lián)兩個獨(dú)立的模型完成，因?yàn)橛玫搅藘蓚€模型，所以往往跟蹤的執(zhí)行效率不太理想。因此本文提出了使用單個共享模型同時完成目標(biāo)檢測和目標(biāo)關(guān)聯(lián)的方法，并結(jié)合安全帽檢測模塊，實(shí)現(xiàn)工業(yè)現(xiàn)場安全帽佩戴高效率的檢測方案。

1 基于Harr 級聯(lián)訓(xùn)練的安全帽檢測

1.1 Harr-like 特征

利用Harr 對安全帽進(jìn)行特征提取。Harr-like 是一種非常經(jīng)典的特征提取算法。Harr-like 特征提取過程就是利用滑動窗口在圖像中滑動和放大，當(dāng)滑動到一個位置的時候，可通過公式（1）計算Harr 特征值，weight 為權(quán)重，為整個Harr 區(qū)域內(nèi)像素和，為Harr黑色區(qū)域像素。

1.2 Adaboost 級聯(lián)分類器

得到安全帽計算的特征后，利用Adaboost 進(jìn)行識別。Adaboost 級聯(lián)分類是樹狀結(jié)構(gòu)，其中每一個stage 都代表一級強(qiáng)分類器。檢測窗口在通過所有強(qiáng)分類器時被視為目標(biāo)，否則將被拒絕。

2 行人多目標(biāo)檢測和跟蹤

當(dāng)前多目標(biāo)跟蹤系統(tǒng)通常結(jié)合了用于目標(biāo)定位的檢測模型和用于數(shù)據(jù)關(guān)聯(lián)的外觀嵌入模型，導(dǎo)致集成兩個模型的目標(biāo)跟蹤任務(wù)的執(zhí)行效率低。本文系統(tǒng)使用的是一種基于目標(biāo)檢測和外觀嵌入共享結(jié)構(gòu)的多目標(biāo)跟蹤模型，該模型的骨干結(jié)構(gòu)是FPN（Feature Pyramid Networks for Object Detection）[7]，使用 anchorbox 進(jìn)行檢測學(xué)習(xí)，使用交叉熵?fù)p失函數(shù)進(jìn)行表觀特征學(xué)習(xí)，以便該模型可以同時輸出檢測結(jié)果和相應(yīng)的嵌入。

2.1 FPN 網(wǎng)絡(luò)結(jié)構(gòu)

FPN 是一種結(jié)合了低層和高層語義，同時兼顧大、小尺度對象的多尺度對象檢測和提取方法。該網(wǎng)絡(luò)結(jié)構(gòu)可分為三部分：自底向上采樣、自頂向下采樣和大尺度特征圖合成。FPN 網(wǎng)絡(luò)結(jié)構(gòu)具體如圖1 所示，上采樣將空間尺寸最小的特征圖，和尺寸第二小的特征圖橫向連接融合，對其他的尺度也進(jìn)行相同操作。最后將基于三個尺寸融合的特征圖的預(yù)測頭進(jìn)行相加。

圖1 FPN 網(wǎng)絡(luò)骨架

2.2 學(xué)習(xí)檢測

首先，針對行人目標(biāo)設(shè)計了anchor。根據(jù)先驗(yàn)知識，所有的anchor 的寬高比設(shè)置為1：3，各尺度包含4 個anchor，3 個尺度的anchor 數(shù)量為12。其次，使用雙重閾值進(jìn)行前景與背景的匹配。若某anchor 和ground truth 的IOU 大于0.5 則視為前景；如果某anchor 和任意ground truth 的IOU 都小于0.4，則認(rèn)為該anchor 為背景。通過這樣設(shè)置閾值，可以有效抑制虛假警報。

檢測的目標(biāo)函數(shù)是由分類損失和定位損失組成，分類損失使用交叉熵?fù)p失，定位損失使用smooth-L1 損失，這與Faster R-CNN[8]是一致。

2.3 學(xué)習(xí)表觀特征

學(xué)習(xí)表觀特征的目的是使得同一目標(biāo)表觀特征的差異小于不同目標(biāo)的表觀特征的差異，交叉熵?fù)p失函數(shù)可以作為特征學(xué)習(xí)的損失訓(xùn)練外觀特征，以達(dá)到這一目的。通過學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的參數(shù)，得到高質(zhì)量的目標(biāo)圖片編碼，使得同一目標(biāo)的編碼相似，而不同目標(biāo)的編碼差異較大。交叉熵?fù)p失函數(shù)定義如公式（2）所示。

這里，A 是mini-batch 被選為anchor 的一個實(shí)例，anchor 屬于正類的概率表示為g+，屬于負(fù)類的概率表示為g-，即交叉熵?fù)p失使用的是樣本屬于某類別的概率，而不是直接使用樣本的特征向量。

2.4 實(shí)時關(guān)聯(lián)

對于輸入的圖像視頻，本文的模型輸出每一幀目標(biāo)的目標(biāo)框和表觀特征，以便計算出當(dāng)前幀的表觀特征和歷史追蹤軌跡中的表觀特征之間的關(guān)聯(lián)矩陣。與deepsort 的物體跟蹤算法相似，該系統(tǒng)使用卡爾曼濾波器進(jìn)行軌跡平滑和目標(biāo)位置預(yù)測，并使用匈牙利算法檢測目標(biāo)和歷史追蹤軌跡的關(guān)聯(lián)。如果某個被關(guān)聯(lián)的檢測框和預(yù)測框空間位置相距很遠(yuǎn)，則刪除該關(guān)聯(lián)。

3 檢測系統(tǒng)方案設(shè)計與實(shí)現(xiàn)

3.1 檢測系統(tǒng)方案設(shè)計

基于目標(biāo)檢測和外觀嵌入共享結(jié)構(gòu)的MOT（Multi-Object Tracking）模型的檢測系統(tǒng)方案主要分為三個模塊，樣本采集與訓(xùn)練，人體檢測與跟蹤，安全帽檢測。對于安全帽的樣本，采集了1500 張正樣本和1000 張負(fù)樣本，逆行規(guī)格統(tǒng)一化處理樣本后，采用Harr 級聯(lián)訓(xùn)練。人體檢測與跟蹤模塊以FPN 為骨干結(jié)構(gòu)，使用anchor 進(jìn)行檢測學(xué)習(xí)，使用交叉熵?fù)p失函數(shù)進(jìn)行表觀特征學(xué)習(xí)，訓(xùn)練得到的模型可以同時輸出檢測結(jié)果和相應(yīng)的嵌入結(jié)果。

3.2 檢測系統(tǒng)方案的實(shí)現(xiàn)

3.2.1 安全帽檢測的訓(xùn)練

收集 1500 張正樣本和 1000 張負(fù)樣本，使用OpenCV4.3.0 自帶的opencv_traincascade.exe 進(jìn)行級聯(lián)分類器訓(xùn)練，訓(xùn)練后在指定目錄下生成cascade.xml 文件，即為包含當(dāng)前檢測目標(biāo)Harr 特征值的文件。在系統(tǒng)中只需引入cascade.xml 文件即可進(jìn)行安全帽的目標(biāo)檢測。

3.2.2 行人檢測與目標(biāo)跟蹤的實(shí)現(xiàn)

首先對視頻的圖像幀作為輸入進(jìn)行跟蹤器的初始化。由跟蹤器對圖片中的行人進(jìn)行檢測和跟蹤，使用行人檢測與跟蹤模塊得到的行人目標(biāo)信息、跟蹤標(biāo)識信息與安全帽檢測信息來初始化系統(tǒng)檢測結(jié)果序列集合trackers。

接著，對于后續(xù)的每一幀，調(diào)用跟蹤器的更新方法。利用檢測與跟蹤算法估算并更新行人目標(biāo)的位置，對新的一幀中行人目標(biāo)框區(qū)域的頂部三分之一區(qū)域進(jìn)行安全帽檢測，并更新系統(tǒng)檢測結(jié)果序列集合trackers。

4 檢測系統(tǒng)結(jié)果展示與分析

4.1 系統(tǒng)檢測結(jié)果展示

安全帽檢測系統(tǒng)檢測結(jié)果如圖2 所示。

圖2 安全帽檢測系統(tǒng)結(jié)果展示

安全帽檢測系統(tǒng)通過檢測結(jié)果序列集合trackers 進(jìn)行記錄，若系統(tǒng)檢測到目標(biāo)行人連續(xù)五次及以上未佩戴安全帽，且結(jié)果序列集合顯示未報警過，則進(jìn)行報警警告，從而避免發(fā)生誤報和重復(fù)報警。

4.2 系統(tǒng)檢測結(jié)果分析

表1 安全帽檢測結(jié)果分析

由表1 分析可得，基于目標(biāo)檢測和外觀嵌入共享結(jié)構(gòu)的MOT 模型的安全帽檢測系統(tǒng)，即方案三的優(yōu)勢在于：

（1）與基于sort 跟蹤算法+HOG 行人檢測的安全帽檢測系統(tǒng)方案，即方案一比較，當(dāng)視頻圖像幀中兩行人目標(biāo)重疊時，不會發(fā)生位置交換，即ID-Switch 現(xiàn)象，同時檢測的成功率有一定的提高，系統(tǒng)的檢測幀率也有著大幅度的提高。

（2）與基于deep-sort 跟蹤算法+HOG 行人檢測的安全帽檢測系統(tǒng)方案，即方案二比較，成功率有一定的提高，系統(tǒng)檢測幀也得到了提升。

5 結(jié)論

通過樣本采集與訓(xùn)練，人體檢測與跟蹤，安全帽檢測等模塊的組合，我們能夠在一定誤差的基礎(chǔ)上對于視頻監(jiān)控的輸入圖像幀進(jìn)行一定速度上的人體安全帽佩戴實(shí)時檢測。

基于目標(biāo)檢測和外觀嵌入共享結(jié)構(gòu)的MOT 模型的安全帽檢測系統(tǒng)在檢測成功率、幀率上都有著明顯的提高，且能夠避免ID-Switch 現(xiàn)象的出現(xiàn)。然而，該系統(tǒng)的設(shè)計還存在著不足之處，對于較復(fù)雜的環(huán)境，該系統(tǒng)的誤差率會有大幅度的提升；此外，系統(tǒng)的實(shí)時性還需要進(jìn)一步的提升。因此下一步將圍繞著算法的穩(wěn)定性和實(shí)時性開展深入的研究。