周利杰，郝瑞林，蔡國慶，孫迎建,劉 輝

(1.河北水利電力學(xué)院機(jī)械工程系，河北省滄州市黃河西路49號 061001；2.河北省工業(yè)機(jī)械手控制與可靠性技術(shù)創(chuàng)新中心，河北省滄州市黃河西路49號 061001)

智能視頻監(jiān)控采用機(jī)器視覺技術(shù)，在不需人為干預(yù)的情況下實(shí)時分析視頻圖像，并提取關(guān)鍵信息，實(shí)現(xiàn)對場景中目標(biāo)的定位、識別和跟蹤。在視頻監(jiān)控過程中，最重要的環(huán)節(jié)就是進(jìn)行人形探測?？焖倏煽康娜诵翁綔y方法是智能視頻監(jiān)控的核心。常用的人形探測方法有紅外報(bào)警法[1]、微波探測法[2]、機(jī)器視覺法等[3]。紅外報(bào)警法和微波探測法對人體和動物都具有敏感性，探測誤差較高。機(jī)器視覺法能夠利用一定的人體輪廓成像特征，并通過圖像處理，最終發(fā)現(xiàn)和定位人形目標(biāo)，具有較高的魯棒性和實(shí)用性。基于機(jī)器視覺的人形識別技術(shù)是機(jī)器視覺、圖像處理以及計(jì)算機(jī)技術(shù)的融合，是安防和監(jiān)控系統(tǒng)的重要研究方向，能夠應(yīng)用于安防監(jiān)控、人機(jī)交互、交通控制、目標(biāo)跟蹤等多個領(lǐng)域。

目前較為成熟的人形識別技術(shù)有卡爾曼濾波算法[4]、YOLO(You Only Look Once)算法[5]、粒子濾波算法[6]、相關(guān)濾波算法[7]、深度學(xué)習(xí)算法[8]、haar特征算法[9]等。其中，卡爾曼濾波算法、YOLO算法、粒子濾波算法、相關(guān)濾波算法、深度學(xué)習(xí)算法由于計(jì)算量較大，通常需要配備運(yùn)算速度較快的計(jì)算機(jī)平臺，不適合集成到體積小、處理能力低的嵌入式平臺中；Haar特征算法數(shù)據(jù)處理量較小，能夠集成到嵌入式平臺中[10]。人形識別準(zhǔn)確率是評價人形識別性能的重要指標(biāo)，常規(guī)的特征識別方法只能夠識別單一特征，當(dāng)人形目標(biāo)身體姿態(tài)變化后會導(dǎo)致準(zhǔn)確率較低。本文采用haar特征+adaboost算法，并結(jié)合OpenMV(Open Machine Vision)機(jī)器視覺模塊，設(shè)計(jì)了一種多特征組合人形識別方法，能夠識別人形的多個特征，提高人形識別的準(zhǔn)確率。快速跟蹤性能也是評價人形識別跟蹤性能的重要指標(biāo)，跟蹤性能較差會導(dǎo)致丟失人形目標(biāo)的現(xiàn)象發(fā)生。本文采用PID控制算法實(shí)時控制步進(jìn)電機(jī)和舵機(jī)，能夠快速跟蹤視野內(nèi)的人形目標(biāo)。

1 系統(tǒng)整體方案設(shè)計(jì)

人形識別安防攝像機(jī)主要由OpenMV機(jī)器視覺模塊、錄像模塊、WiFi模塊、步進(jìn)電機(jī)、步進(jìn)電機(jī)驅(qū)動器、舵機(jī)、手機(jī)端APP組成。系統(tǒng)組成方案如圖1所示?；趆aar特征+adaboost算法，提出了一種多特征檢測方法，用于識別視野內(nèi)的人形特征，并定位人形特征在視野內(nèi)的位置，同時計(jì)算出人形特征的中心點(diǎn)坐標(biāo)和視野中心與人形特征中心點(diǎn)的差值。隨后，OpenMV機(jī)器視覺模塊采用PID算法將差值轉(zhuǎn)換為驅(qū)動步進(jìn)電機(jī)和舵機(jī)的驅(qū)動信號，從而控制步進(jìn)和舵機(jī)運(yùn)動，帶動攝像機(jī)追蹤視野內(nèi)的人形。當(dāng)OpenMV機(jī)器視覺模塊檢測到視野內(nèi)的人形后，發(fā)出控制信號開啟錄像模塊，錄像模塊將錄制好的視頻存儲到內(nèi)存卡中；當(dāng)OpenMV機(jī)器視覺模塊未檢測到人形時，發(fā)出控制信號關(guān)閉錄像模塊。人形識別攝像機(jī)的航向角度由步進(jìn)電機(jī)驅(qū)動改變，可實(shí)現(xiàn)360°跟蹤拍攝。人形識別攝像機(jī)的俯仰角度由舵機(jī)驅(qū)動改變，可實(shí)現(xiàn)180°跟蹤拍攝。

圖1 系統(tǒng)組成方案圖Fig.1 System composition scheme diagram

為更方便地使用人形識別攝像機(jī)，本文開發(fā)了手機(jī)端APP。通過APP不僅能夠遠(yuǎn)程下載內(nèi)存卡中的錄像文件，而且可以控制人形識別攝像機(jī)的工作模式。攝像機(jī)有3種工作模式，分別為：手動模式、搜索模式和跟蹤模式。切換為手動模式時，攝像機(jī)不具有人形跟蹤功能。攝像機(jī)的拍攝角度由使用者通過APP手動調(diào)整。切換為搜索模式時，攝像機(jī)能夠在360°視野自動搜索人形，搜索到人形后停止搜索，并進(jìn)行跟蹤攝像。切換為跟蹤模式時，攝像機(jī)停留在一個初始的固定觀測角度，當(dāng)視野內(nèi)發(fā)現(xiàn)人形后，進(jìn)行跟蹤攝像，人形特征丟失后返回初始的固定觀測角度。其中，工作在搜索模式時，步進(jìn)電機(jī)控制攝像機(jī)以30°的步長完成360°視野搜索。舵機(jī)控制攝像機(jī)以36°/s的速率實(shí)現(xiàn)0～180°視野內(nèi)目標(biāo)搜索。攝像機(jī)的運(yùn)動路徑如圖2所示。攝像機(jī)整體工作流程如圖3所示。

圖2 搜索模式運(yùn)動路徑Fig.2 Search mode motion path

圖3 攝像機(jī)整體工作流程圖Fig.3 The overall work flow chart of the camera

2 人形識別攝像機(jī)結(jié)構(gòu)設(shè)計(jì)

人形識別攝像機(jī)要求能夠在360°的全范圍視野內(nèi)進(jìn)行跟蹤拍攝，所以要求攝像機(jī)不僅能夠360°旋轉(zhuǎn)，而且能夠?qū)崿F(xiàn)俯仰運(yùn)動。根據(jù)攝像機(jī)的功能要求，本文進(jìn)行了攝像機(jī)的結(jié)構(gòu)設(shè)計(jì)，設(shè)計(jì)結(jié)構(gòu)如圖4所示。

圖4 人形識別攝像機(jī)結(jié)構(gòu)圖Fig.4 Humanoid recognition camera structure diagram

攝像機(jī)的結(jié)構(gòu)主要由底座、步進(jìn)電機(jī)、航向支架、電池倉、電池蓋、舵機(jī)、前蓋、后蓋和底蓋組成。步進(jìn)電機(jī)的輸出軸與底座固定連接，步進(jìn)電機(jī)的機(jī)身內(nèi)嵌在航向支架內(nèi)部。當(dāng)步進(jìn)電機(jī)轉(zhuǎn)動時，由于底座是固定的，即可實(shí)現(xiàn)航向支架的360°旋轉(zhuǎn)。航向支架上設(shè)計(jì)有電池倉，可以容納鋰電池。前蓋、后蓋和底蓋裝配在一起形成可俯仰運(yùn)動的攝像機(jī)殼體結(jié)構(gòu)。舵機(jī)殼體與航向支架固定連接，舵機(jī)臂與攝像機(jī)殼體結(jié)構(gòu)固定連接。當(dāng)舵機(jī)轉(zhuǎn)動時，即可實(shí)現(xiàn)攝像機(jī)殼體結(jié)構(gòu)的俯仰運(yùn)動。攝像機(jī)殼體結(jié)構(gòu)內(nèi)部裝配OpenMV機(jī)器視覺模塊、攝像頭、錄像模塊、WiFi模塊、步進(jìn)電機(jī)驅(qū)動器。結(jié)構(gòu)參數(shù)如表1所示。

表1 攝像機(jī)結(jié)構(gòu)參數(shù)

3 人形識別攝像機(jī)控制系統(tǒng)設(shè)計(jì)

本文基于haar特征+adaboost算法，提出一種多特征人形目標(biāo)識別方法，并將該方法在OpenMV機(jī)器視覺模塊中實(shí)現(xiàn)。本文通過OpenCV(Open Source Computer Vision Library)計(jì)算機(jī)視覺庫訓(xùn)練人形正負(fù)樣本，得到XML類型文件，再將其轉(zhuǎn)換為OpenMV機(jī)器視覺模塊能夠使用的cascade類型文件。進(jìn)而，OpenMV機(jī)器視覺模塊能夠在圖像視野內(nèi)實(shí)現(xiàn)人形目標(biāo)識別，并定位人形目標(biāo)以及計(jì)算出人形目標(biāo)的中心點(diǎn)坐標(biāo)。人形目標(biāo)中心點(diǎn)坐標(biāo)和圖像視野中心點(diǎn)的差值再通過PID算法生成控制步進(jìn)電機(jī)和舵機(jī)的信號，從而驅(qū)動攝像機(jī)航向運(yùn)動和俯仰運(yùn)動。

3.1 多特征人形目標(biāo)識別方法

本文采用haar特征+adaboost算法進(jìn)行人形目標(biāo)識別。haar特征又稱為haar-like特征，該算法是一種常用的機(jī)器視覺算法，主要包括：邊緣特征、線性特征、中心環(huán)繞特征、對角線特征[11]，如圖5所示。haar特征將白色矩形和黑色矩形的像素差作為特征值，計(jì)算方法如公式(1)，通過不同的特征值描述圖像中灰度值的變化規(guī)律，完成對圖像中目標(biāo)的檢查和識別。

圖5 haar特征Fig.5 haar features

(1)

式中，RecSum(ri)代表矩形ri內(nèi)像素點(diǎn)的灰度值之和；ωi表示像素點(diǎn)的權(quán)重，白色矩形的權(quán)重為1，黑色矩形的權(quán)重為-1。

在實(shí)際應(yīng)用中，為更加高效的計(jì)算出haar特征，常采用積分圖法解決重復(fù)計(jì)算和計(jì)算量大的問題[12]。積分圖像的計(jì)算公式如公式(2)所示。使用積分圖法只需進(jìn)行一次積分運(yùn)算，構(gòu)造出圖像的積分圖，之后即可通過簡單的查表和加減運(yùn)算既可以得到任何子窗口的haar特征值[13]。矩形區(qū)域積分圖像法計(jì)算公式如公式(3)所示。

(2)

RecSum(r)=ii(x-1,y-1)+ii(x+w-1,

y+h-1)-ii(x-1,y+h-1)-

ii(x+w-1,y-1)

(3)

式中，ii(a,b)表示積分圖像數(shù)值；i(x,y)表示原始圖像(x,y)處的像素灰度值。

采用單一特征進(jìn)行人形識別時，誤差率較高[14]，因此本文采用adaboost級聯(lián)算法將單個弱分類器組合訓(xùn)練為強(qiáng)分類器。該算法的基本步驟為：訓(xùn)練樣本(x1,y1)，(x2,y2)，…，(xn,yn)，其中xi表示第i個人形，yi為1時表示人形，為0時表示非人形；初始化樣本權(quán)重Ot,j為n-1，并進(jìn)行歸一化權(quán)重計(jì)算，如公式(4)所示；對于每個特征，訓(xùn)練出對應(yīng)的弱分類器hj(x)，并計(jì)算弱分類器的權(quán)重誤差，如公式(5)所示；將弱分類器進(jìn)行組合，并更換概率分布，如公式(6)(7)所示；最終生成強(qiáng)分類器，如公式(8)(9)所示。以上步驟可概括為圖6所示的過程。

圖6 采用adaboost級聯(lián)分類器檢測人形過程Fig.6 Humanoid detection process by using adaboost cascade classifier

(4)

(5)

(6)

(7)

(8)

αt=-logβj

(9)

人形識別攝像機(jī)在工作過程中，人員闖入攝像機(jī)視野時的身體姿態(tài)是不確定的，為了更好的識別人形目標(biāo)，本文提出一種多特征組合人形識別方法，通過構(gòu)建了3分類器，每個分類器采用25級級聯(lián)，分別識別人形正身、人形背身和人形側(cè)身。當(dāng)任何一個分類器識別成功即認(rèn)為識別到了人形目標(biāo)，多特征人形檢測方法工作原理如圖7所示。在構(gòu)建樣本數(shù)據(jù)集過程中，每個分類器收集1500張正樣本和3000張負(fù)樣本，樣本主要來源于實(shí)際采集和網(wǎng)絡(luò)圖片。樣本收集完成后，統(tǒng)一進(jìn)行歸一處理，批量處理為24×24像素灰度圖片?；叶然幚頃r，采用公式(10)進(jìn)行處理，權(quán)重值0.3、0.59和0.11為人眼對RGB顏色的敏感程度[15]。

圖7 多特征人形檢測方法工作原理Fig.7 Working principle of multi-feature humanoid detection method

0.11B(x,y)

(10)

本文通過OpenCV計(jì)算機(jī)視覺庫中的opencv_traincascade.exe進(jìn)行級聯(lián)分類器的訓(xùn)練，并生成.xml類型文件，再通過Python腳本轉(zhuǎn)換工具cascade_convert.py轉(zhuǎn)換為.cascade文件，并將文件存儲到OpenMV機(jī)器視覺模塊的內(nèi)存卡中，以供OpenMV機(jī)器視覺模塊相關(guān)函數(shù)的調(diào)用。通過對OpenMV機(jī)器視覺模塊的編程，即可實(shí)現(xiàn)視野內(nèi)的人形目標(biāo)識別和定位，識別情況如圖8所示。識別幀率(FPS)可以維持在20～27Hz，能夠滿足攝像機(jī)的檢測需求。

圖8 人形目標(biāo)識別和定位Fig.8 Humanoid target recognition and positioning

為了驗(yàn)證多特征組合人形識別方法的魯棒性和實(shí)時性，將多特征組合人形識別方法和單特征人形識別方法進(jìn)行對比實(shí)驗(yàn)。實(shí)驗(yàn)過程中，將兩種人形識別方法對準(zhǔn)同一段視頻錄像，識別視頻中的人形目標(biāo)。同時輸出并記錄兩種人形檢測方法能夠正確識別人形的幀數(shù)。實(shí)驗(yàn)結(jié)果如表2所示。

表2 識別準(zhǔn)確率對比

由實(shí)驗(yàn)結(jié)果可知：多特征組合人形識別方法準(zhǔn)確率比單特征人形識別方法高27.3%，這主要因?yàn)閱翁卣魅诵巫R別方法只能夠識別人形正身特征，而多特征組合人形識別方法能夠識別人形正身、背身和側(cè)身，當(dāng)人形目標(biāo)姿態(tài)變化后，單特征人形識別方法無法有效識別人形特征，同時顯示出多特征組合人形識別方法具有較好的魯棒性和實(shí)時性。

3.2 攝像機(jī)追蹤攝像運(yùn)動控制

為了更加精準(zhǔn)的追蹤人形目標(biāo)，采用PID算法控制步進(jìn)電機(jī)和舵機(jī)的運(yùn)動。步進(jìn)電機(jī)采用兩相四線步進(jìn)電機(jī)，步距角1.8°，12V供電。步進(jìn)電機(jī)驅(qū)動器采用A3967驅(qū)動器，8細(xì)分。舵機(jī)采用SG90舵機(jī)，5V供電。在人形目標(biāo)追蹤時，人形目標(biāo)中心點(diǎn)坐標(biāo)與視野中心點(diǎn)坐標(biāo)的差值作為PID控制算法的輸入，經(jīng)PID算法輸出步進(jìn)電機(jī)的驅(qū)動步數(shù)和舵機(jī)的角度。為了避免步進(jìn)電機(jī)和舵機(jī)的頻繁動作，分別設(shè)置了3個像素的差值閾值，當(dāng)中心點(diǎn)差值大于3像素時才進(jìn)行PID運(yùn)算?？刂屏鞒倘鐖D9所示。

圖9 人形目標(biāo)跟蹤流程圖Fig.9 Humanoid target tracking flowchart

為測試人形目標(biāo)的追蹤性能，本文開展了目標(biāo)追蹤測試。首先，調(diào)整攝像機(jī)的角度，將待識別的人形目標(biāo)調(diào)整到攝像頭視野右下角的位置；然后，開啟攝像機(jī)的人形目標(biāo)識別和追蹤功能；最后，輸出人形目標(biāo)和視野中心的的差值數(shù)據(jù)。步進(jìn)電機(jī)和舵機(jī)的差值波動測試曲線如圖10所示。測試結(jié)果表明：步進(jìn)電機(jī)和舵機(jī)能夠快速跟蹤人形目標(biāo)，追蹤相應(yīng)時間不超過1.7s。

圖10 中心點(diǎn)差值波動曲線Fig.10 Center point difference fluctuation curve

3.3 人形識別攝像機(jī)錄像模塊與WiFi模塊

錄像模塊和攝像頭安裝在攝像機(jī)內(nèi)部，在步進(jìn)電機(jī)和舵機(jī)的帶動下實(shí)時對準(zhǔn)人形目標(biāo)，實(shí)現(xiàn)人形目標(biāo)的錄像功能。攝像頭采用索尼IMX322，200萬像素，最低照度可達(dá)0.01lux。錄像模塊采用NOVATEK公司的NT96658芯片，該芯片最高頻率可達(dá)432MHz，內(nèi)置1Gb DDR3 SDRAM，可支持500萬像素CCD或者CMOS圖像傳感器，支持高速串口接口和SD卡接口，能夠滿足本文的功能需求。攝像頭和錄像模塊如圖11所示。

圖11 攝像頭和錄像模塊實(shí)物圖Fig.11 Physical map of camera and video module

為使攝像機(jī)具備遠(yuǎn)程控制和傳輸視頻功能，人形識別攝像機(jī)中設(shè)計(jì)有WiFi模塊。WiFi模塊采用RTL8189芯片。該芯片是一款高性能、低功耗、體積小SDIO接口無線模組，符合IEEE802.11N標(biāo)準(zhǔn)，支持IEEE 802.11安全協(xié)議，能夠快速、方便的與無線設(shè)備互相聯(lián)通，支持64/128位WEP數(shù)據(jù)加密，支持WPA-PSK/WPA2-PSK安全機(jī)制，無線傳輸速率高達(dá)150Mb/s，WiFi模塊如圖12所示。

圖12 WiFi模塊實(shí)物圖Fig.12 Physical map of WiFi module

3.4 手機(jī)端APP設(shè)計(jì)

為方便用戶使用人形識別攝像機(jī)，本文開發(fā)了手機(jī)APP。通過WiFi將手機(jī)APP與攝像機(jī)連接起來，實(shí)現(xiàn)控制命令和視頻流的傳輸。APP使用Android Studio開發(fā)平臺，采用Java語言開發(fā)。APP設(shè)計(jì)有WiFi登錄、工作模式選擇、攝像機(jī)運(yùn)動控制、視頻下載、錄像控制等功能，運(yùn)行主界面如圖13所示。通過模式選擇按鍵可以設(shè)置攝像機(jī)在手動模式、搜索模式和跟蹤模式之間切換。通過界面中間偏右側(cè)的方向按鍵可以調(diào)整攝像機(jī)的航向和俯仰角度。通過最右側(cè)的功能按鍵可以下載錄制在內(nèi)存卡中的視頻文件，通過設(shè)置按鍵可以設(shè)置攝像機(jī)的單文件錄像時長、攝像機(jī)名稱、WiFi密碼等功能。通過最底部的按鍵可以設(shè)置畫面亮度、拍照、暫停/開始錄像、播放音量等功能。

圖13 APP運(yùn)行主界面Fig.13 APP running main interface

4 結(jié)語

本文設(shè)計(jì)了一款基于機(jī)器視覺的人形識別安防攝像機(jī)?；趆aar特征+adaboost算法提出了一種多特征組合人形識別方法，能夠識別人形正身、側(cè)身和背身，與單特征人形識別方法相比，識別準(zhǔn)確率提高了27.3%，并且人形識別幀率在20～27Hz之間，滿足安防攝像機(jī)對魯棒性和實(shí)時性的要求。步進(jìn)電機(jī)和舵機(jī)采用PID算法實(shí)現(xiàn)人形跟蹤功能，經(jīng)測試，追蹤時間不超過1.7s，滿足安防攝像機(jī)對跟蹤快速性的要求。利用Android Studio開發(fā)平臺開發(fā)了手機(jī)APP。具有體積小、功能豐富、操作便捷、性價比高的優(yōu)點(diǎn)，適合應(yīng)用于家庭、商場、倉庫、病房等場所。