程淑紅, 馬曉菲, 張仕軍, 張 麗

(1.燕山大學(xué) 電氣工程學(xué)院, 河北 秦皇島 066004; 2.秦皇島技師學(xué)院, 河北 秦皇島 066004)

1 引 言

吸煙是危害人類(lèi)身體健康的重要因素之一,二手煙造成的危害尤為嚴(yán)重。2014年,國(guó)家衛(wèi)生和計(jì)劃生育委員會(huì)起草了《公共場(chǎng)所控制吸煙條例(送審稿)》[1],明確所有室內(nèi)公共場(chǎng)所一律禁止吸煙。控制吸煙衛(wèi)生監(jiān)督管理工作一般的監(jiān)督措施是人力監(jiān)督或高精度的傳感器煙霧檢測(cè)設(shè)備,但存在人力財(cái)力大量流失以及實(shí)時(shí)性差、易受外界因素干擾等缺點(diǎn)?；谝曨l的吸煙檢測(cè)通過(guò)將光學(xué)攝像頭采集的圖像信息輸入計(jì)算機(jī),根據(jù)事先預(yù)定的算法對(duì)序列圖像進(jìn)行模式識(shí)別和信息處理判斷,更具實(shí)時(shí)性和高效性。文獻(xiàn)[2]提出將混合高斯模型與幀差法相結(jié)合根據(jù)煙霧特性分離動(dòng)態(tài)煙霧區(qū)域的算法,雖靈敏度較高,但稀薄煙霧運(yùn)動(dòng)性不太明顯易受疑似煙霧物體的干擾;文獻(xiàn)[3]提出基于視頻序列中的運(yùn)動(dòng)信息與兩次膚色檢測(cè)相結(jié)合的分割方法,實(shí)時(shí)性較強(qiáng),但在復(fù)雜背景中對(duì)手勢(shì)圖像的分割效果還不夠好;文獻(xiàn)[4]通過(guò)分析人臉和手部樣本之間的接觸時(shí)間、煙霧檢測(cè)和手持物體檢測(cè)這3個(gè)特征,利用決策樹(shù)對(duì)人的行為進(jìn)行分類(lèi),能適用于多種復(fù)雜環(huán)境但不能單一地對(duì)吸煙行為進(jìn)行檢測(cè)。吸煙行為期間香煙必須移動(dòng)到嘴里,只識(shí)別嘴部范圍內(nèi)的相關(guān)信息,可以排除無(wú)用圖像數(shù)據(jù)的干擾,降低計(jì)算的復(fù)雜性,避免誤判。

本文提出了一種基于多任務(wù)分類(lèi)的吸煙行為檢測(cè)算法,通過(guò)多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)(multi-task convolution neural network, MTCNN)[5]判別人臉并獲得人臉區(qū)域[6,7],然后建立一個(gè)級(jí)聯(lián)的殘差回歸樹(shù)(GBDT)[8]回歸嘴部形狀從而定位感興趣區(qū)域(region of interest,ROI),在有效減少識(shí)別時(shí)間、提高檢測(cè)精度的基礎(chǔ)上通過(guò)殘差網(wǎng)絡(luò)[9]對(duì)ROI內(nèi)香煙特征學(xué)習(xí)來(lái)達(dá)到檢測(cè)吸煙行為的目的。同時(shí),針對(duì)不同場(chǎng)景不同人員的吸煙行為進(jìn)行檢測(cè),并對(duì)比了支持向量機(jī)(SVM)[10]和殘差網(wǎng)絡(luò)對(duì)不同ROI香煙識(shí)別準(zhǔn)確性,進(jìn)而驗(yàn)證了本文算法的有效性和可行性。

2 算法原理

本文算法首先采用多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)對(duì)采集到的圖像進(jìn)行人臉的判斷和識(shí)別,然后在定位的人臉區(qū)域中利用級(jí)聯(lián)的殘差回歸樹(shù)方法,估計(jì)68個(gè)人臉特征點(diǎn)坐標(biāo),按照一定的規(guī)律框定嘴部ROI,最終通過(guò)殘差網(wǎng)絡(luò)獲取ROI吸煙特征并對(duì)有無(wú)吸煙行為做出判定。具體算法框圖如圖1所示。

圖1 算法框圖Fig.1 Algorithm block diagram

2.1 臉部區(qū)域定位

進(jìn)行吸煙行為檢測(cè),首先要判別并定位臉部區(qū)域?；诙嗳蝿?wù)框架的深度卷積網(wǎng)絡(luò),采用3個(gè)深度卷積網(wǎng)絡(luò)級(jí)聯(lián)結(jié)構(gòu),通過(guò)將人臉判別、定位和面部標(biāo)識(shí)定位同時(shí)作為網(wǎng)絡(luò)目標(biāo)函數(shù),端到端地訓(xùn)練整個(gè)深度卷積網(wǎng)絡(luò)。其結(jié)構(gòu)如圖2所示。

圖2 多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Multitasking convolution neural network structure

利用3個(gè)任務(wù)來(lái)訓(xùn)練此級(jí)聯(lián)的卷積神經(jīng)網(wǎng)絡(luò):

1) 人臉判別:這是一個(gè)二分類(lèi)問(wèn)題。對(duì)于每個(gè)樣本,使用交叉熵?fù)p失函數(shù):

(1)

2) 人臉定位:對(duì)于每個(gè)候選框,學(xué)習(xí)目標(biāo)被表述為一個(gè)回歸問(wèn)題,預(yù)測(cè)它與最近的背景真實(shí)坐標(biāo)在特征空間中的歐氏距離計(jì)算回歸損失:

(2)

3) 面部標(biāo)識(shí)定位:將面部標(biāo)識(shí)檢測(cè)表示為回歸問(wèn)題,計(jì)算網(wǎng)絡(luò)預(yù)測(cè)的標(biāo)識(shí)位置和真實(shí)標(biāo)識(shí)的歐式距離,并使其最小化:

(3)

針對(duì)多個(gè)輸入源的訓(xùn)練,總的訓(xùn)練目標(biāo)可以表述為:

(4)

2.2 ROI準(zhǔn)確定位

為了定位更精確的ROI,要進(jìn)行人臉對(duì)齊[11]。獲得人臉區(qū)域后,基于梯度提高學(xué)習(xí)的回歸樹(shù)方法(ERT級(jí)聯(lián)回歸算法)首先估計(jì)一個(gè)大致的特征點(diǎn)位置,然后采用梯度提升算法優(yōu)化損失函數(shù)和手工數(shù)據(jù)標(biāo)點(diǎn)錯(cuò)誤的總和,用最小二乘法來(lái)最小化誤差,得到每一級(jí)的級(jí)聯(lián)回歸因子。如式(5)所示。

(5)

圖3 基于人臉特征點(diǎn)的ROI定位Fig.3 Mouth region localization based on face feature points

利用人臉特征點(diǎn)定位ROI,定位規(guī)則為:

(6)

式中:w、h分別為特征點(diǎn)檢測(cè)中嘴部區(qū)域的長(zhǎng)和寬,W、H分別為本文算法定位ROI的長(zhǎng)和寬。

2.3 殘差網(wǎng)絡(luò)

獲得ROI后,構(gòu)建一個(gè)殘差網(wǎng)絡(luò)以獲得的ROI圖像作為輸入,自動(dòng)學(xué)習(xí)圖像特征及數(shù)據(jù)內(nèi)部的隱含關(guān)系,利用全局平均池化(GAP)[12]取代全連接層(FC)[13]來(lái)融合學(xué)習(xí)的深度特征,實(shí)現(xiàn)有無(wú)吸煙行為的分類(lèi)。

為了解決深層網(wǎng)絡(luò)優(yōu)化的問(wèn)題,通過(guò)在輸入與輸出之間引入捷徑連接(shortcut connection),解決由于網(wǎng)絡(luò)很深出現(xiàn)梯度消失的問(wèn)題,將網(wǎng)絡(luò)轉(zhuǎn)換為對(duì)應(yīng)的殘差版本,即殘差網(wǎng)絡(luò),定義如下:

y=F(x,{W}i)+Wsx

(7)

式中:x,y分別為殘差塊的輸入與輸出;F(x,{Wi})為要學(xué)習(xí)的殘差映射;當(dāng)需要對(duì)輸入和輸出維數(shù)進(jìn)行變化時(shí),可以利用線性投影Ws來(lái)匹配大小。

圖4 殘差基本結(jié)構(gòu)Fig.4 Residual block

殘差塊基本結(jié)構(gòu)如圖4所示,表達(dá)式為:

y=F(x,{Wi})+x

(8)

式中:F(x)=W2σ(W1x),σ為非線性函數(shù)ReLU;W1為第一層連接權(quán)值;W2為第二層連接權(quán)值,為了簡(jiǎn)化寫(xiě)法忽略了偏置項(xiàng),然后通過(guò)捷徑連接和第二個(gè)非線性函數(shù)ReLU得到殘差塊輸出y。

設(shè)H(x)作為幾個(gè)堆疊層(不必是整個(gè)網(wǎng)絡(luò))期望的基礎(chǔ)映射,x表示這些層中第一層的輸入,殘差網(wǎng)絡(luò)學(xué)習(xí)的是殘差函數(shù)F(x)=H(x)-x(輸入輸出是相同維度),原始函數(shù)變?yōu)镕(x)+x。如果F(x)=0,添加的層就可以被構(gòu)建為恒等映射,殘差函數(shù)更易擬合。

3 實(shí)驗(yàn)結(jié)果與分析

本文實(shí)驗(yàn)數(shù)據(jù)來(lái)自于手動(dòng)采集的Smoke數(shù)據(jù)集(不同室內(nèi)場(chǎng)景下吸煙/未吸煙圖片24 000張)、Test數(shù)據(jù)集(含8段視頻序列,分別由8名不同的測(cè)試人員在不同場(chǎng)景下進(jìn)行采集,其中包括2名女性測(cè)試者和6名男性測(cè)試者,以30 幀/s的速度進(jìn)行視頻采集,每段測(cè)試視頻序列約為20 s)。通過(guò)對(duì)本文算法ROI定位效果和吸煙行為檢測(cè)分類(lèi)效果分析,驗(yàn)證本文檢測(cè)算法的可行性與有效性。實(shí)驗(yàn)中所有數(shù)據(jù)分析和結(jié)果均基于同一初始條件和實(shí)驗(yàn)環(huán)境,實(shí)驗(yàn)環(huán)境:Ubuntu14.04+python+opencv3.3+mxnet;intel i7-6700K處理器;GTX1080顯卡;8G運(yùn)行內(nèi)存;HD720P攝像頭。

3.1 本文算法ROI定位效果驗(yàn)證

對(duì)Test數(shù)據(jù)集的視頻序列進(jìn)行ROI定位實(shí)驗(yàn),將8段測(cè)試視頻進(jìn)行抽幀分析。分別對(duì)每段視頻抽取200幀進(jìn)行測(cè)試,定位準(zhǔn)確幀為1 522幀,ROI定位準(zhǔn)確率為95.13%,部分視頻幀定位ROI效果如圖5所示。

圖5 ROI定位效果Fig.5 Region of interest positioning effect

由圖5可知,本文所提出的算法對(duì)ROI效果較好。訓(xùn)練過(guò)程最后生成的ROI權(quán)重在融合算法中進(jìn)行調(diào)用并用于最終的吸煙行為檢測(cè)。

3.2 本文算法檢測(cè)效果驗(yàn)證

3.2.1 殘差網(wǎng)絡(luò)模型訓(xùn)練效果

1) Smoke數(shù)據(jù)集預(yù)處理:由于圖像采集環(huán)境的不同,如光照明暗程度以及設(shè)備性能的優(yōu)劣等,手動(dòng)采集的圖像往往存在有噪聲、對(duì)比度不夠等缺點(diǎn),在進(jìn)行模型訓(xùn)練之前,對(duì)數(shù)據(jù)集進(jìn)行包括圖像增強(qiáng)、灰度取值范圍相同、大小歸一化為等預(yù)處理,并對(duì)數(shù)據(jù)集進(jìn)行Normal、Smoking類(lèi)別標(biāo)記,部分訓(xùn)練樣本如圖6所示。對(duì)其順序進(jìn)行打亂,生成含有圖像信息的數(shù)據(jù)文件。訓(xùn)練和測(cè)試數(shù)據(jù)集比例為4:1。

圖6 數(shù)據(jù)集部分訓(xùn)練樣本Fig.6 Some data set training samples

2) 吸煙數(shù)據(jù)模型訓(xùn)練:為了使模型對(duì)吸煙有較好的檢測(cè)效果,經(jīng)過(guò)多次網(wǎng)絡(luò)訓(xùn)練和調(diào)節(jié)參數(shù),參數(shù)設(shè)置:選用的樣本大小為32,標(biāo)簽數(shù)為2,基準(zhǔn)學(xué)習(xí)率為0.000 1,學(xué)習(xí)策略為隨機(jī)下降法,執(zhí)行回合為500。訓(xùn)練結(jié)果如圖7、圖8所示。

圖7 訓(xùn)練、驗(yàn)證準(zhǔn)確率Fig.7 Train, Validation accuracy

圖8 訓(xùn)練、驗(yàn)證損失函數(shù)Fig.8 Train, validation cross entropy

在訓(xùn)練500回合后,訓(xùn)練準(zhǔn)確率達(dá)到99.13%,交叉驗(yàn)證準(zhǔn)確率達(dá)到98.44%。隨著迭代輪數(shù)的增加,損失函數(shù)逐漸減小,并最終控制在有效范圍之內(nèi)。這意味著預(yù)測(cè)值和真實(shí)值在特征空間中的距離越來(lái)越小,即模型分類(lèi)效果越來(lái)越好。

3.2.2 吸煙行為檢測(cè)效果

針對(duì)本文所提出的吸煙行為檢測(cè)算法,對(duì)采集到的Test數(shù)據(jù)集中的視頻序列進(jìn)行抽幀分析。

在實(shí)際應(yīng)用中,混淆矩陣[14,15]可以有效地評(píng)估有監(jiān)督學(xué)習(xí)分類(lèi)算法。將8段測(cè)試視頻的平均預(yù)測(cè)效果用可視化工具混淆矩陣表示如圖9,其中列是模型預(yù)測(cè)的分類(lèi)結(jié)果,行是測(cè)試集的真實(shí)標(biāo)簽?？芍庇^地看出,將正常狀態(tài)做出“Smoking”判斷(假陽(yáng)性)的概率為0.01,將吸煙行為做出“Normal”判斷(假陰性)的概率為0.16,混淆矩陣區(qū)分了假陽(yáng)性和假陰性這2種不同的錯(cuò)誤判斷。

將本文算法的平均測(cè)試評(píng)估指標(biāo)與其它常見(jiàn)的目標(biāo)物體檢測(cè)方法相比較,驗(yàn)證本文算法的準(zhǔn)確性。其中,算法1是應(yīng)用多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)和殘差網(wǎng)絡(luò)僅對(duì)人臉區(qū)域進(jìn)行檢測(cè),算法2是利用多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)、級(jí)聯(lián)回歸和SVM對(duì)嘴部區(qū)域用傳統(tǒng)SVM分類(lèi)器檢測(cè)。使用準(zhǔn)確率(RAcc)、誤分類(lèi)率(RE)、召回率(RCall)、命中率(RPPV)4個(gè)指標(biāo)對(duì)模型分類(lèi)效果的精確性進(jìn)行度量。

(9)

式中:Pt為正確檢測(cè)到正常狀態(tài)的視頻幀數(shù),Nt為正確檢測(cè)到吸煙狀態(tài)的視頻幀數(shù),Nf為錯(cuò)誤檢測(cè)為吸煙狀態(tài)的視頻幀數(shù),Pf為錯(cuò)誤檢測(cè)為正常狀態(tài)的視頻幀數(shù),P為檢測(cè)到正常狀態(tài)的總幀數(shù),N為檢測(cè)到吸煙狀態(tài)的總幀數(shù)。結(jié)果如表1所示。

圖9 本文算法測(cè)試混淆矩陣Fig.9 This algorithm test Normalized confusion matrix

表1 不同算法平均測(cè)試評(píng)估指標(biāo)
Tab.1 Different algorithms average test evaluation index

(%)

由表1可以看出,本文算法的分類(lèi)效果較好。相較于算法1的評(píng)估指標(biāo),可以驗(yàn)證,定位精確的ROI,可以更加準(zhǔn)確地檢測(cè)到吸煙行為并做出狀態(tài)判斷;相較于算法2,可以驗(yàn)證,在定位相同ROI的情況下,殘差網(wǎng)絡(luò)比L-SVM分類(lèi)器的分類(lèi)效果更好。

本文算法可以完成對(duì)吸煙行為的檢測(cè),輸出幀率約為25幀/s,基本能完成實(shí)時(shí)性要求。綜上所述,本文算法能夠定位精確的目標(biāo)區(qū)域并得到較好的檢測(cè)效果,可以實(shí)時(shí)檢測(cè)出吸煙者的行為并作出狀態(tài)的判斷,有較好的實(shí)時(shí)性與準(zhǔn)確性。

4 結(jié) 論

為了響應(yīng)控制吸煙衛(wèi)生監(jiān)督管理工作的開(kāi)展,及時(shí)準(zhǔn)確地發(fā)現(xiàn)吸煙行為,本文設(shè)計(jì)了一種基于多任務(wù)分類(lèi)的吸煙行為檢測(cè)算法。該算法主要工作包括ROI定位和目標(biāo)吸煙行為檢測(cè),通過(guò)人臉識(shí)別和人臉對(duì)齊任務(wù)定位精確的ROI,大大縮短行為檢測(cè)的處理時(shí)間,提高狀態(tài)判斷檢測(cè)準(zhǔn)確率,ROI定位準(zhǔn)確率可達(dá)95.13%。

通過(guò)訓(xùn)練帶有殘差結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)可以解決隨著網(wǎng)絡(luò)加深梯度消失的問(wèn)題,提高了訓(xùn)練的速度和精度,使得網(wǎng)絡(luò)深層的構(gòu)建和分類(lèi)達(dá)到了更好的效果,分類(lèi)模型驗(yàn)證準(zhǔn)確率可達(dá)98.44%。多算法的融合使得本文基于多任務(wù)分類(lèi)的吸煙行為檢測(cè)算法有較好的實(shí)時(shí)性準(zhǔn)確性,輸出約為25幀/s,準(zhǔn)確率可達(dá)87.5%。后續(xù)研究將進(jìn)一步提高算法在復(fù)雜場(chǎng)景下目標(biāo)區(qū)域獲取以及通過(guò)更多的吸煙動(dòng)作數(shù)據(jù)不斷優(yōu)化模型,提高識(shí)別率。