王博文 宗碧 雷鎧伊 伍明亮 郭鑫偉

摘? 要：文章對(duì)于一種基于Linux系統(tǒng)和樹莓派開(kāi)發(fā)的智能監(jiān)控?cái)z像頭進(jìn)行了研究。面對(duì)人員情況復(fù)雜，布置環(huán)境多種多樣的應(yīng)用條件，這種攝像頭具有無(wú)線化、小型化、智能化的特點(diǎn)，減少了對(duì)布置環(huán)境的要求以及對(duì)相關(guān)人員的需求;結(jié)合視覺(jué)信息處理、云臺(tái)舵機(jī)控制，可以自動(dòng)進(jìn)行人臉識(shí)別、人臉驗(yàn)證、識(shí)別顏色等;并且在識(shí)別特征的基礎(chǔ)上持續(xù)跟拍目標(biāo)，適合緊急布置，識(shí)別特定目標(biāo)并跟拍的任務(wù)。

關(guān)鍵詞：監(jiān)控;人臉識(shí)別;特征檢測(cè)

中圖分類號(hào)：TP277? ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2096-4706（2020）07-0089-04

Research on Intelligent Monitoring Camera

——Based on Dlib，OpenCV and Pan Tilt Camera with Double Steering Engines

WANG Bowen，ZONG Bi，LEI Kaiyi，WU Mingliang，GUO Xinwei

（China University of Mining and Technology，Xuzhou? 221116，China）

Abstract：This paper studies an intelligent surveillance camera based on Linux system and Raspberry Pi. In the face of the complex personnel situation and various application conditions of the layout environment，this kind of camera has the characteristics of wireless，miniaturization and intelligence，which reduces the requirements of the layout environment and related personnel requirements;combined with the visual information processing and the control of the pan tilt steering gear，it can automatically carry out face recognition，face verification，recognition color，etc.;and on the basis of recognition features，it can continue to following target，suitable for emergency arrangement，identification of specific target and following task.

Keywords：monitoring;face recognition;feature detection

0? 引? 言

隨著我國(guó)城市化進(jìn)程的不斷加快，城市人口不斷增加，安防工作的重要性不斷提高。面對(duì)著更復(fù)雜的治安情況，傳統(tǒng)攝像頭已經(jīng)不能滿足使用需要。在大數(shù)據(jù)和人工智能技術(shù)的發(fā)展下，“智慧城市”需要全新的“感知層”——智能攝像頭，來(lái)實(shí)現(xiàn)對(duì)整個(gè)城市運(yùn)轉(zhuǎn)情況的數(shù)據(jù)化。新型的攝像頭需要具備回傳有效數(shù)據(jù)、分布式計(jì)算、存儲(chǔ)、自主追蹤特征物體等能力。文章描述了一種新型智能攝像頭的設(shè)計(jì)方案。

此方案中采用Linux系統(tǒng)。Linux系統(tǒng)有以下優(yōu)點(diǎn)：（1）工作穩(wěn)定。Linux的內(nèi)核相當(dāng)穩(wěn)定，可以常年工作而不宕機(jī);（2）病毒免疫。Linux系統(tǒng)自帶安全監(jiān)測(cè)、防火墻等安全設(shè)

置，從固定的軟件源安裝和下載程序，并且可以很容易地進(jìn)行補(bǔ)丁升級(jí)，所以二進(jìn)制病毒難以在系統(tǒng)中傳播;（3）跨平臺(tái)能力強(qiáng)。Linux一方面采用了可移植的Unix標(biāo)準(zhǔn)應(yīng)用程序接口，可以支持許多系統(tǒng)平臺(tái);另一方面其網(wǎng)絡(luò)功能相當(dāng)完善，可以方便地收發(fā)數(shù)據(jù)。在圖像處理方面，主要采用機(jī)器視覺(jué)庫(kù)OpenCV以及深度學(xué)習(xí)Dlib庫(kù)進(jìn)行處理。OpenCV是一個(gè)功能強(qiáng)大的機(jī)器視覺(jué)庫(kù)，底層代碼使用C++編寫，運(yùn)算速度快，處理性能好。Dlib庫(kù)是集機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺(jué)、圖像處理為一體的函式庫(kù)，提供Python的API，便于開(kāi)發(fā)。在控制方面，采用了較為常用的PI算法。

1? 國(guó)內(nèi)外研究情況

國(guó)際上，相關(guān)研究討論開(kāi)展得較早。在2000年左右，計(jì)算機(jī)視覺(jué)方面的權(quán)威期刊IJCV和IEEE T-PAMI就開(kāi)始關(guān)注利用計(jì)算機(jī)視覺(jué)進(jìn)行視頻監(jiān)控的技術(shù)，并且相繼出版了相關(guān)?？?。而在實(shí)際應(yīng)用方面，英國(guó)雷丁大學(xué)計(jì)算機(jī)系的VIEWS項(xiàng)目組研究出一種可用于監(jiān)控系統(tǒng)的新技術(shù)，該技術(shù)依靠監(jiān)視反常行為來(lái)識(shí)別嫌疑人，例如扒手、搶劫犯等等，這種技術(shù)的應(yīng)用有助于消除公共場(chǎng)所的安全隱患。美國(guó)國(guó)防部于1997年成立了VSAM項(xiàng)目，該系統(tǒng)可以實(shí)現(xiàn)對(duì)戰(zhàn)爭(zhēng)以及民用區(qū)域的軍事安全監(jiān)控。英國(guó)Reading大學(xué)和法國(guó)INRIA科研院合作開(kāi)發(fā)出名為“AVITRAC”的智能視頻監(jiān)控系統(tǒng)，該系統(tǒng)應(yīng)用于人流量極大的機(jī)場(chǎng)，通過(guò)分析機(jī)場(chǎng)行人的異常行為，可以提前預(yù)警，有助于提升機(jī)場(chǎng)的安防能力。除此之外，國(guó)外的VisioWave、ObjectVideo和Vident等公司不斷推出市場(chǎng)化的智能監(jiān)控產(chǎn)品，擠占新興市場(chǎng)智能監(jiān)控的份額。

在國(guó)內(nèi)，對(duì)于智能監(jiān)控的研究討論也有了很大進(jìn)展。2002年5月在北京召開(kāi)了第一屆全國(guó)智能視覺(jué)監(jiān)控學(xué)術(shù)會(huì)議，該會(huì)議可以說(shuō)是國(guó)內(nèi)重視智能監(jiān)控的開(kāi)端;中科院自動(dòng)化研究所成立了智能視覺(jué)監(jiān)控研究組，致力于研究視覺(jué)監(jiān)控技術(shù)并推向?qū)嵱肹1];截至2018年9月，中國(guó)已在20多個(gè)省市實(shí)現(xiàn)了“天網(wǎng)系統(tǒng)”和公安系統(tǒng)的對(duì)接，該監(jiān)控系統(tǒng)基于人臉識(shí)別和大數(shù)據(jù)，可以在3 s內(nèi)完成嫌疑人的身份確認(rèn)，進(jìn)一步保障了城市治安。除此之外，百度、華為集團(tuán)等企業(yè)也推出了智能監(jiān)控系統(tǒng)，促進(jìn)了智能監(jiān)控技術(shù)的商品化。

2? 系統(tǒng)總述

2.1? 硬件平臺(tái)

該系統(tǒng)采用Raspberry Pi 3B+作為圖像處理與控制云臺(tái)的核心。Raspberry Pi 3B+是一款微型計(jì)算機(jī)，計(jì)算能力較強(qiáng)，并且配有I/O口，可以實(shí)現(xiàn)對(duì)小功率器件的直接控制。在攝像頭方面，本系統(tǒng)采用大景深攝像頭，通過(guò)USB2.0接口直接接入樹莓派，具有傳輸穩(wěn)定、抗干擾能力強(qiáng)的優(yōu)點(diǎn)。與攝像頭相配合的云臺(tái)為兩自由度雙舵機(jī)云臺(tái)，采用PWM波占空比對(duì)應(yīng)轉(zhuǎn)軸角度的設(shè)計(jì)，例如輸入占空比為12.5的PWM波，可以使舵機(jī)轉(zhuǎn)軸轉(zhuǎn)至180°方向。云臺(tái)可實(shí)現(xiàn)在水平方向旋轉(zhuǎn)180°、豎直方向旋轉(zhuǎn)90°，該結(jié)構(gòu)使用D-H方法，在控制方法部分會(huì)進(jìn)行詳細(xì)分析。以上由Raspberry Pi 3B+、云臺(tái)、攝像頭構(gòu)成的系統(tǒng)通過(guò)無(wú)線局域網(wǎng)相連，可以與監(jiān)控臺(tái)通信，顯示實(shí)時(shí)畫面。

2.2? 軟件平臺(tái)

Raspberry Pi支持Linux系統(tǒng)，在該項(xiàng)目中采用官方優(yōu)化版Raspbian系統(tǒng)。Raspbian是由Mike Thompson與Peter Green基于Debian系統(tǒng)重建而成的[2]，正是他們完成了巨大的工作量，才有了這款性能強(qiáng)大、用戶友好度高的微型計(jì)算機(jī)。在此方案中，利用Raspbian系統(tǒng)部署Python-OpenCV-Dlib環(huán)境，為圖像處理的過(guò)程帶來(lái)了優(yōu)化與便利，并利用深度學(xué)習(xí)的工具，實(shí)現(xiàn)了對(duì)目標(biāo)的檢測(cè)。在控制程序中，主要采用Rpi.Gpio庫(kù)編程，該庫(kù)函數(shù)提供了Python接口，可以通過(guò)程序直接控制樹莓派的I/O口輸出PWM波，通過(guò)改變PWM波的占空比來(lái)控制舵機(jī)的角度，從而實(shí)現(xiàn)對(duì)目標(biāo)物體的追蹤;然而攝像頭反饋的坐標(biāo)差并不能直接用于調(diào)整占空比的大小，該問(wèn)題的解決將在控制算法部分詳述。另外，為了與監(jiān)控臺(tái)實(shí)現(xiàn)回傳畫面的功能，本系統(tǒng)使用了MJPG-Streamer流視頻項(xiàng)目的局域網(wǎng)視頻流服務(wù)。

2.3? 系統(tǒng)實(shí)現(xiàn)

通過(guò)圖像處理算法，我們可以獲取目標(biāo)的特征信息，例如臉部特征以及身體的顏色特征，建立一個(gè)獨(dú)立文件來(lái)標(biāo)定目標(biāo);在接收到被標(biāo)定目標(biāo)的坐標(biāo)后，云臺(tái)控制算法使攝像頭持續(xù)自動(dòng)跟蹤目標(biāo)，將信息回傳監(jiān)控臺(tái)并發(fā)出警告。通過(guò)軟件平臺(tái)與硬件平臺(tái)的配合，從而實(shí)現(xiàn)整個(gè)系統(tǒng)，智能監(jiān)控系統(tǒng)整體結(jié)構(gòu)圖如圖1所示。

3? 圖像處理方法

3.1? 圖像預(yù)處理

在Raspbian系統(tǒng)中，利用Python+OpenCV可以輕松地對(duì)攝像頭捕捉到的圖片進(jìn)行預(yù)處理以及讀取、存儲(chǔ)。圖片的預(yù)處理由降噪、圖片的形態(tài)學(xué)變換、色彩空間的轉(zhuǎn)化等部分組成[3]，預(yù)處理后的圖片可以讓后續(xù)的檢測(cè)與識(shí)別進(jìn)行得更好。降噪的一般方法有線性的均值濾波、高斯濾波以及非線性的中值濾波、雙邊濾波[4]。在該系統(tǒng)中，采用高斯濾波進(jìn)行降噪。高斯濾波使用離散化窗口滑窗卷積的方式對(duì)圖片進(jìn)行平滑化處理，在平滑去噪的同時(shí)又盡可能地保留了圖像的總體灰度分布特征，能夠更好地配合人臉檢測(cè)中基于Dlib機(jī)器視覺(jué)庫(kù)的HOG算法的實(shí)現(xiàn)。圖片的形態(tài)學(xué)變換主要利用了腐蝕操作。腐蝕操作利用了OpenCV中的erode函數(shù)，該函數(shù)可以將一像素點(diǎn)替換為對(duì)應(yīng)鄰域上最小的像素值，可以讓圖片的輪廓更鮮明。另外，由于攝像頭返回了RGB格式的圖像，這種格式并不能良好地展示圖片的全部特征，因此利用OpenCV的cvtColor函數(shù)可以將RGB圖像轉(zhuǎn)化為HSV格式，通過(guò)色調(diào)、飽和度、明度更好地展現(xiàn)圖片的特點(diǎn)。另外，該方法也可用于得到灰度化圖片。另外，由于樹莓派的計(jì)算能力限制，如果處理數(shù)據(jù)過(guò)大，其實(shí)時(shí)性就會(huì)不可避免地受到影響。在該系統(tǒng)中，為了減小計(jì)算量，采用了resize函數(shù)中的雙線性內(nèi)插值方式縮小圖片，可以保證圖像盡量不失真，并且大大減小了計(jì)算量。

3.2? 色彩識(shí)別

色彩檢測(cè)的算法利用了inRange函數(shù)，通過(guò)限定三個(gè)通道的閾值，只通過(guò)想要的顏色，就可以得到去除掉背景的圖像。得到目標(biāo)色彩的圖像后再利用threshold函數(shù)獲取輪廓檢測(cè)的最佳閾值，從而使用findContours函數(shù)找到該物體的輪廓，在fingContours中采用cv2.CHAIN_APPROX_SIMPLE模式，即可迅速地獲取目標(biāo)物體的矩特征點(diǎn)。再進(jìn)行簡(jiǎn)單處理即可標(biāo)識(shí)出物體。該方法在實(shí)際運(yùn)用中識(shí)別性能好，對(duì)樹莓派計(jì)算量要求不高。但其缺點(diǎn)也顯而易見(jiàn)：沒(méi)有足夠的智能可以識(shí)別具體的行人，因此可以在緊急情況下與行人檢測(cè)配合使用，從而更精確地識(shí)別行人。

3.3? 人臉檢測(cè)、編碼與識(shí)別

人臉檢測(cè)、編碼和識(shí)別算法是基于優(yōu)化后的Dlib庫(kù)實(shí)現(xiàn)的。Dlib是一個(gè)領(lǐng)先的開(kāi)源深度學(xué)習(xí)庫(kù)。該深度學(xué)習(xí)庫(kù)具備了快速、精確的特點(diǎn)。在算法選擇上，由于CNN的運(yùn)算需求過(guò)大，樹莓派的計(jì)算能力無(wú)法滿足，因此采用較為成熟且準(zhǔn)確度較高的HOG算法來(lái)進(jìn)行檢測(cè)。HOG算法的步驟為：（1）歸一色彩空間。由于求取方向梯度不需要彩色圖片，因此使用灰度圖片即可，并且為了盡量放大圖片特點(diǎn)，在色彩空間歸一化之后應(yīng)進(jìn)行一次校正。圖片預(yù)處理的方法已在圖像預(yù)處理部分說(shuō)明，此處不再贅述;（2）梯度運(yùn)算。對(duì)于歸一化后的圖片進(jìn)行梯度計(jì)算，即找出圖片的變暗的程度與方向，就得到了梯度及其梯度方向;（3）對(duì)雜亂的梯度值進(jìn)行標(biāo)準(zhǔn)化，也就是將一個(gè)區(qū)域以中心為原點(diǎn)劃分為多個(gè)區(qū)域，將每個(gè)小區(qū)域中的梯度向量標(biāo)準(zhǔn)化，這樣就將每個(gè)小區(qū)域中的梯度向量化為了9個(gè)特征向量（bin）;（4）此時(shí)利用滑窗（block）再將上述小區(qū)域中的特征向量進(jìn)行標(biāo)準(zhǔn)化，就得到了原始圖片的HOG特征圖。那么將此特征圖與大量人臉數(shù)據(jù)提取出的HOG特征圖進(jìn)行對(duì)比，即可找出人臉。在圖像預(yù)處理部分，我們提到了圖像的縮小，所以在這里找到的人臉數(shù)據(jù)相比于原圖像中的人臉也正好相差了縮小的比例，因此我們?cè)賹⑺业娜四樧鴺?biāo)乘以相應(yīng)的比例，就可以在原圖像中標(biāo)出人臉。

將得到的人臉圖與由DCNN（Deep Convolutional Neural Networks）即深度卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練好的模型進(jìn)行對(duì)比，可以在圖中找出128個(gè)特征點(diǎn)，根據(jù)這128個(gè)特征點(diǎn)，在向量機(jī)（SVM）的幫助下，即可找出與之最接近的人臉，從而實(shí)現(xiàn)人臉識(shí)別的功能。該思路也可用于識(shí)別行人。

4? 控制方法

首先，我們對(duì)云臺(tái)結(jié)構(gòu)進(jìn)行簡(jiǎn)要說(shuō)明。該云臺(tái)裝配了兩個(gè)舵機(jī)，形成了兩個(gè)轉(zhuǎn)動(dòng)自由度，分別為水平轉(zhuǎn)動(dòng)180°以及豎直向上轉(zhuǎn)動(dòng)90°。在對(duì)其結(jié)構(gòu)的研究過(guò)程中采用D-H坐標(biāo)系（Denavit-Hartenberg）標(biāo)準(zhǔn)版進(jìn)行建模。該建模方法可以方便地計(jì)算出每個(gè)關(guān)節(jié)的角度參數(shù)變化對(duì)于末端執(zhí)行器（攝像頭）的影響。圖2為MATLAB建模結(jié)果。

控制算法采用穩(wěn)定性好、動(dòng)態(tài)響應(yīng)迅速、可消除靜差的PI算法即比例積分算法實(shí)現(xiàn)，控制系統(tǒng)結(jié)構(gòu)框圖如圖3所示。

通過(guò)視覺(jué)處理部分反饋，即目標(biāo)物體與攝像頭Z軸（D- H坐標(biāo)系中）的坐標(biāo)差，就得到了偏差量e（k），但控制系統(tǒng)中云臺(tái)的控制信號(hào)必須為一定占空比的PWM波，因此我們必須將e（k）轉(zhuǎn)化為相應(yīng)的占空比變化量再進(jìn)行控制。

在實(shí)際使用時(shí)，由于不希望舵機(jī)抖動(dòng)造成磨損，在控制算法中加入了死區(qū)環(huán)節(jié)。死區(qū)環(huán)節(jié)表現(xiàn)在實(shí)際過(guò)程中即為當(dāng)目標(biāo)物體中心坐標(biāo)處于攝像頭拍攝畫面中間部分一個(gè)固定大小的圓內(nèi)時(shí)，云臺(tái)舵機(jī)停止運(yùn)行。

5? 實(shí)驗(yàn)仿真及結(jié)果分析

作者利用圖4中的完整硬件系統(tǒng)完成了本次試驗(yàn)，并利用無(wú)線網(wǎng)傳輸了監(jiān)控畫面。圖5中采用OpenCV中的Haar級(jí)聯(lián)器實(shí)現(xiàn)快速的人臉識(shí)別，實(shí)時(shí)性可以滿足，但精度不高;在圖6中配合Dilb與HOG算法，我們得到了十分準(zhǔn)確的人臉驗(yàn)證。

6? 結(jié)? 論

本文介紹了基于Dlib與OpenCV的智能攝像頭，以及其硬件及軟件平臺(tái)的搭建，該系統(tǒng)可以實(shí)現(xiàn)人臉的檢測(cè)、識(shí)別，以及對(duì)于特定物體的持續(xù)跟蹤拍攝。該系統(tǒng)基于Linux系統(tǒng)，以Raspberry Pi 3B+作為處理核心，采用無(wú)線連接的方式。實(shí)現(xiàn)了無(wú)線布置監(jiān)控、實(shí)時(shí)回傳畫面的功能。

在研究過(guò)程中，也發(fā)現(xiàn)了該方案存在的一些問(wèn)題。首先，由于處理器性能的限制，在處理過(guò)程中必須降低圖片質(zhì)量，較少運(yùn)算量才可以得到比較流暢地處理圖片流。第二，在舵機(jī)的控制過(guò)程中，由于舵機(jī)本身的性能和算法誤差的影響，非常容易產(chǎn)生抖動(dòng)，導(dǎo)致拍攝畫面不好，難以識(shí)別。最后，由于未進(jìn)行防水處理等措施，不能裸機(jī)在特殊天氣工作。

安防措施是保證人民人身財(cái)產(chǎn)安全的重要屏障。在智慧城市的建設(shè)過(guò)程中，智能攝像頭應(yīng)該擁有更快的運(yùn)算速度，并且以更高的網(wǎng)速進(jìn)行信息回傳，并結(jié)合主機(jī)進(jìn)行大數(shù)據(jù)挖掘、數(shù)據(jù)分析，對(duì)整個(gè)城市的安防狀況包括人流量、車流量等，作出統(tǒng)計(jì)、分析與預(yù)測(cè)，并采取相關(guān)預(yù)防措施。我們相信，通過(guò)安防人的不懈努力，未來(lái)這些問(wèn)題都將得到解決。

參考文獻(xiàn)：

[1] 葉克秋.基于全景攝像機(jī)的智能視頻監(jiān)控系統(tǒng)研究 [D].杭州：浙江大學(xué)，2012.

[2] 付靜飛.健康監(jiān)測(cè)與服務(wù)系統(tǒng)研究與開(kāi)發(fā) [D].西安：西安理工大學(xué)，2017.

[3] 張齊.圖像處理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn) [D].南京：南京郵電大學(xué)，2018.

[4] 黃窈蕙.智能駕駛汽車視覺(jué)圖像處理技術(shù) [J].公路交通科技（應(yīng)用技術(shù)版），2018，14（8）：323-326.

作者簡(jiǎn)介：王博文（1998.05—），男，漢族，內(nèi)蒙古敖漢旗人，本科，主要研究方向：自動(dòng)化。