魏京天， 王 軍， 王玉楠2， 薄煜明

(1.南京理工大學(xué) 先進發(fā)射協(xié)同創(chuàng)新中心，江蘇 南京 210094； 2.東北大學(xué) 計算機科學(xué)與工程學(xué)院，遼寧 沈陽 110819)

近些年來，國防、安防、消防等高?；袠I(yè)的崗位執(zhí)勤工作日益受到重視，因此設(shè)計并實現(xiàn)一套可用于檢測值班室人員是否脫崗的系統(tǒng)具有十分現(xiàn)實的意義[1-2]。由于值班人員的“空崗”往往會造成不可估量的損失，脫崗檢測就顯得尤為重要。早期一般是通過指派專人不定期地查崗來進行脫崗檢測[3]，但這種方式實時性很差，難以第一時間處理突發(fā)狀況并且查崗耗費太多不必要的時間。隨著目標(biāo)檢測領(lǐng)域的不斷發(fā)展，一套基于視頻監(jiān)控平臺的值班室人員脫崗檢測系統(tǒng)應(yīng)運而生。

脫崗檢測的方法論是基于機器學(xué)習(xí)中統(tǒng)計學(xué)習(xí)的方法[4]，設(shè)計一個完整成熟的脫崗檢測系統(tǒng)必須要解決一些關(guān)鍵問題，包括適應(yīng)行人姿態(tài)變化的多樣性、單一場景下對行人和背景的分辨性和檢測的準(zhǔn)確性和實時性等，其中在工程化和商業(yè)化的過程中最需要解決的問題就是如何同時兼顧檢測的準(zhǔn)確率和檢測速度，設(shè)計并實現(xiàn)一種特定場景下滿足特定需求的脫崗檢測算法。在解決檢測速度和檢測準(zhǔn)確度方面，由于對檢測準(zhǔn)確性的高要求通常使得算法處理的過程中消耗了大量時間，而對于脫崗檢測這種單一場景下單一目標(biāo)檢測的情況，對于區(qū)分有人和沒人的情況不需要使用很復(fù)雜的訓(xùn)練過程和算法，因此，主要需要解決的問題就是檢測速度的問題，這也是目前所有的脫崗檢測應(yīng)用急需解決的問題。

針對以上問題，為了降低算法的復(fù)雜度，沒有采用基于深度學(xué)習(xí)的方法，而是采用傳統(tǒng)的脫崗檢測的算法，對基于Haar特征和分類器的算法進行了改進，提出了一種基于Haar-NMF特征和級聯(lián)分類器的算法。

脫崗檢測系統(tǒng)一般分為外觀特征提取和分類學(xué)習(xí)兩個部分，常用的外觀特征有Haar特征、形狀特征、顏色特征、以及方向梯度直方圖等[5-6]。常用的分類方法有人工神經(jīng)網(wǎng)絡(luò)、聚類算法以及集成算法[7-8]。本文重點研究基于Haar特征，提出利用非負矩陣分解Haar特征進行降維，提取出訓(xùn)練樣本的Haar-NMF特征，得到基于人體特征的弱分類器，級聯(lián)得到14級的強分類器。針對分類器所產(chǎn)生的錯誤檢測進行噪聲消除等優(yōu)化措施[9]。實驗表明，經(jīng)過降維的Haar特征的訓(xùn)練時間要短于普通的Haar特征，通過級聯(lián)得到分類器的檢測效果也比單一分類器的檢測效果好，整個基于Haar-NMF特征和級聯(lián)分類器組成的系統(tǒng)實現(xiàn)了檢測速度和準(zhǔn)確率的折中，對脫崗檢測場景有較強的適用性。

1 基于Haar-NMF特征和級聯(lián)AdaBoost的脫崗檢測基本原理

1.1 Haar-NMF特征

Haar-NMF特征分為邊緣特征、線性特征、中心特征和對角線特征[10-11]，可由白色矩形和黑色矩形經(jīng)過不同的組合得到不同的特征模板。Haar-NMF特征可以很好地表征圖像中局部區(qū)域的特征，如在崗人員的頭部和肩部特征，并且可以滿足高精度的要求。具體計算方法如下。

(1) 設(shè)T是長度為L的Haar特征向量，將其取絕對值后轉(zhuǎn)化為m×n的矩陣A，文中將訓(xùn)練樣本歸一化后，得到L=122512，為便于后續(xù)進行低秩矩陣分解運算，需將向量T中的特征量放進矩陣A中存放，對于m、n的取值，沒有原則性的要求，但需滿足L=m×n與m>n，經(jīng)查閱相關(guān)資料[12]，一般列數(shù)n的取值較小，本文取m=4712，n=26。

(2) 對轉(zhuǎn)化后的矩陣A進行秩為r的NMF分解：

A=W×KT

(1)

式中，W和K分別為m×r和n×r的非負的基矩陣和系數(shù)矩陣，應(yīng)滿足r<

(3) 對W和K的每一個列向量進行歸一化處理，即

(2)

(4) 將所有的ia級聯(lián)成Haar-NMF特征。Haar-NMF特征通過低秩分解得到的基矩陣和系數(shù)矩陣很好地保留了Haar特征的特性，并且減少了算法的計算時間。

1.2 級聯(lián)AdaBoost算法

在得到Haar-NMF特征后，需要送入Cascade AdaBoost分類器進行訓(xùn)練，目的是生成結(jié)果文件cascade.xml，以便被程序在進行實際檢測時調(diào)用。通常情況下，AdaBoost算法示意圖如圖1所示。

圖1 AdaBoost算法示意圖

算法流程如下：給定一個訓(xùn)練數(shù)據(jù)集T={(x1,y1),(x2,y2),…,(xN,yN)}，其中實例xi∈X，實例空間x?Rn，yi屬于標(biāo)記集合{-1,+1}。

(1) 首先對訓(xùn)練數(shù)據(jù)的權(quán)重進行初始化，給每一個訓(xùn)練樣本賦予同樣的權(quán)值：1/N。

D1=(w11,w12,…,w1i,…,w1N)

(3)

(4)

(2) 接著進行多次迭代運算，其中m表示迭代的輪數(shù)(m=1，2，…，M)。

① 使用具有權(quán)值分布Dm的訓(xùn)練數(shù)據(jù)集學(xué)習(xí)，選取讓誤差率最低的閾值來設(shè)計基本分類器：

Gm(x):x→{-1,+1}

(5)

② 計算Gm(x)在訓(xùn)練數(shù)據(jù)集上的分類誤差率em：

(6)

式中，Gm(x)在訓(xùn)練數(shù)據(jù)集上的誤差率em就是被Gm(x)誤分類樣本的權(quán)值之和，I為單個樣本的代價函數(shù)，取值為“0”或“1”，當(dāng)樣本的預(yù)測結(jié)果和真實結(jié)果相同時，代價函數(shù)的值為“0”，反之代價函數(shù)值為“1”。

③ 計算Gm(x)的系數(shù)，αm表示Gm(x)在最終分類器中的重要程度，該步驟的目的在于計算出基本分類器在最終分類器中所占的權(quán)重αm：

(7)

式中，em≤1/2時，αm≥0，且αm隨著em的減小而增大，即分類誤差率越小，基本分類器在最終分類器中的作用越大。

④ 更新訓(xùn)練數(shù)據(jù)集的權(quán)值分布，目的是得到樣本新的權(quán)值分布，用于下一輪迭代：

Dm+1=(wm+1,1,wm+1,2,…，wm+1,N)

(8)

(9)

式中i=1,2,…N。AdaBoost是通過增大基本分類器Gm(x)誤分類樣本的權(quán)值以及減小正確分類樣本的權(quán)值來重點關(guān)注那些比較難區(qū)分的樣本，式(10)中Zm是規(guī)范化因子，使得Dm+1成為一個概率分布：

(10)

(3) 組成各弱分類器f(x)。

(11)

得到的最終強分類器如下：

(12)

實際應(yīng)用中，一般將上述訓(xùn)練得到的強分類器AdaBoost串聯(lián)起來構(gòu)成級聯(lián)分類器，即Cascade AdaBoost。概括來說，Cascade AdaBoost就是一簇包含若干層的強分類器AdaBoost的集合[13]。

由于AdaBoost本身由多個弱分類器構(gòu)成，故級聯(lián)的AdaBoost本質(zhì)上來說是由若干簇弱分類器層層疊加所構(gòu)成的，其中每一簇的弱分類器構(gòu)成一個AdaBoost分類器，多個AdaBoost分類器串聯(lián)組成一個Cascade AdaBoost，之后提取每個平滑窗上的不同特征，并把這些特征依次放進不同的AdaBoost的弱分類器里進行判斷，如果所有的弱分類器都判斷為正標(biāo)簽，則表示該平滑窗內(nèi)檢測到目標(biāo)，接下來就送到下一級AdaBoost的弱分類器里繼續(xù)進行判斷，分類器結(jié)構(gòu)圖如圖2所示。

圖2 級聯(lián)分類器結(jié)構(gòu)圖

采用級聯(lián)分類器的好處主要有兩點：一是通過多個弱分類器的級聯(lián)形成一個強的級聯(lián)分類器，能夠提高檢測的準(zhǔn)確率[14]；二是可以減少運算量，比如采用一個包含400個弱分類器的AdaBoost和采用20級包含20個弱分類器的Cascade AdaBoost檢測效果相同，但是當(dāng)一個平滑窗第一個特征沒有通過第一個分類器，那么Cascade AdaBoost就沒有必要繼續(xù)運算下去，直接拒絕掉當(dāng)前平滑窗，轉(zhuǎn)而處理下一個平滑窗。Cascade AdaBoost的級聯(lián)思想保證了可以快速拋棄掉沒有目標(biāo)的平滑窗，從而提高了檢測效率，滿足了系統(tǒng)實時性的需求。

2 實驗設(shè)計與過程

2.1 基本思想

脫崗檢測的本質(zhì)是分類問題，即檢測目標(biāo)圖像是“有人？”還是“沒人？”?；诖?，本項目所設(shè)計的檢測系統(tǒng)，其狀態(tài)機共4種狀態(tài)，分別是“有人？”、“確認有人？”、“沒人？”、“確認沒人？”。該狀態(tài)機可形象地用圖3來表示。

圖3 脫崗檢測狀態(tài)機

檢測視頻圖像幀序列，當(dāng)檢測不到人時，首先在圖像中找人，當(dāng)檢測到一幀圖像中有人時，繼續(xù)檢測進行確認，當(dāng)檢測到與該幀圖像相鄰的連續(xù)5幀圖像中有3幀中有人或者連續(xù)5幀有3幀畫面中存在移動時，則判定畫面中有人，即值班人員在崗，否則確認有人失敗，值班人員脫崗；當(dāng)連續(xù)檢測到有人狀態(tài)，突然某一幀無法檢測到人，則繼續(xù)在視頻序列中找人確認是否的確沒人，當(dāng)接下來的連續(xù)5幀圖像中有2幀檢測不到有人或者連續(xù)5幀有4幀沒有檢測到存在移動時，則認定視頻中沒有人，否則值班人員在崗。實際檢測結(jié)果中當(dāng)屏幕顯示AffirmNoPeople(確認沒人)、PeopleInPic(有人)狀態(tài)時字幕都呈綠色，而顯示AffirmPeople(確認有人)、NoPeopleInPic(沒人)狀態(tài)時字幕則呈橘色，當(dāng)NoPeopleInPic(沒人)狀態(tài)持續(xù)超過1 min時，字幕變成紅色，系統(tǒng)自動報警，同時系統(tǒng)自動將此時的脫崗圖片存放到程序中指定的報警圖片文件夾。

2.2 分類器訓(xùn)練流程

3 實驗測試與分析

本文樣本集由3000張正樣本和4000張負樣本組成，正樣本由人的頭部和肩部等上半身特征組成，負樣本由復(fù)雜的環(huán)境特征和其他無關(guān)特征構(gòu)成，選用的部分正負樣本集分別如圖4、圖5所示。

圖4 部分正樣本集

圖5 部分負樣本集

系統(tǒng)整體的訓(xùn)練及檢測流程圖如圖6所示。

圖6 系統(tǒng)訓(xùn)練和測試流程圖

在系統(tǒng)測試過程中，畫面中出現(xiàn)在崗行人運動時，系統(tǒng)通過檢測相鄰畫面的幀的差值來判斷是否有運動的行人，即是否在崗。當(dāng)在崗人員處于坐立狀態(tài)時，除了像普通人臉識別對人體面部進行檢測外，還因人體坐姿的不確定性，對頭部的側(cè)方和后方的特征進行檢測。

本文的測試平臺為Visual Studio 2012和OpenCV 3，編程語言為C++，測試計算機配置為Intel Core i7-7700K，內(nèi)存為16 GB，GPU為6 GB的GTX1060。

分別對提取的Haar特征和Haar-NMF特征進行分類訓(xùn)練，分類器均為10級的AdaBoost分類器，計算訓(xùn)練時間和檢測率。其中檢測子窗口的大小為30×30，步長為8，單幀圖片的平均檢測時間為33 ms。使用Haar-NMF特征訓(xùn)練的時間明顯小于Haar特征的訓(xùn)練時間。對比結(jié)果如表1所示。

表1 特征訓(xùn)練時間與檢測率對比

由表1可以得出，使用Haar-NMF特征與使用Haar特征進行訓(xùn)練相比，訓(xùn)練時間大大降低，但是訓(xùn)練的結(jié)果(檢測率)并沒有大幅下降。因此可以得出結(jié)論，使用Haar-NMF特征可以有效地降低算法的復(fù)雜度，提升系統(tǒng)訓(xùn)練和檢測的速度。

啟動程序調(diào)用訓(xùn)練好的級聯(lián)分類器文件cascade.xml，加載入多個測試視頻，測試視頻的幀率為60 f/s，清晰度為720p，圖片的分辨率為1816像素×988像素，檢測效果如圖7、圖8所示。

圖7 初步測試結(jié)果(1)

圖8 初步測試結(jié)果(2)

測試時發(fā)現(xiàn)有時會有誤檢的情況，誤檢目標(biāo)一般為桌面上的小物件，如圖9所示。

圖9 部分誤檢結(jié)果

本設(shè)計進行了多次正負樣本的補充，最終使用的正樣本數(shù)為4000個，負樣本數(shù)為5000張，當(dāng)然分類器自行分割的負樣本數(shù)遠不止于此，部分補充后的樣本如圖10所示。

圖10 部分補充后的樣本

增加正負樣本訓(xùn)練后檢測效果有所提升，實驗證明補充樣本后的檢測效果有所改善，檢測率由原來的88.1%提升為90.7%，最終測試結(jié)果如圖11所示。

圖11 最終測試結(jié)果

為了進一步改善分類性能，本設(shè)計對級聯(lián)分類器也進行了多次調(diào)試，級數(shù)由原來的10級提高至12級并最終增至14級，其對比結(jié)果如表2所示。

表2 不同分類器級數(shù)訓(xùn)練時間與檢測率對比

采用14級分類器分別對Haar特征和Haar-NMF特征進行訓(xùn)練，得到的檢測時間與檢測率如表3所示。

表3 14級分類器訓(xùn)練時間與檢測率對比

通過表2和表3的實驗結(jié)果可以得出，提高分類器計數(shù)能在一定程度上提升檢測率，對分類性能有所改善。運用Haar-NMF特征進行檢測時，在檢測率很好的同時，大大降低了訓(xùn)練時間。

4 結(jié)束語

本文針對傳統(tǒng)的脫崗檢測技術(shù)和理論進行了一定的改進并加以實現(xiàn)，提出了一種基于Haar-NMF特征和級聯(lián)分類器的算法。

采用低維Haar-NMF特征代替?zhèn)鹘y(tǒng)的Haar特征，Haar-NMF特征可以很好地表征圖像中局部區(qū)域的特征，如在崗人員的頭部和肩部特征，滿足系統(tǒng)對檢測準(zhǔn)確率的要求；采用級聯(lián)AdaBoost分類器代替AdaBoost分類器，提高了檢測的準(zhǔn)確率并減少了運算量，滿足系統(tǒng)對檢測速度的要求。實驗表明，此算法在保證檢測成功率的基礎(chǔ)上，縮短了樣本的訓(xùn)練和檢測的時間，并且通過增加分類器的級數(shù)提高了系統(tǒng)的部分性能，驗證了本文理論的正確性和實現(xiàn)的可行性。