冀燕麗 段海濤

隨著互聯(lián)網(wǎng)信息技術(shù)的飛速發(fā)展，人類進入了網(wǎng)絡(luò)信息化的新時代。具有時代特征的“互聯(lián)網(wǎng)+”，大數(shù)據(jù)和云計算等技術(shù)影響著高等教育的發(fā)展。而大數(shù)據(jù)包含大量信息資產(chǎn)，這給教育領(lǐng)域帶來了希望和挑戰(zhàn)。2011年，教育部下發(fā)了《關(guān)于做好國家教育考試標準化考點建設(shè)工作的通知》，明確規(guī)定，?。ㄗ灾螀^(qū)，直轄市）中央部屬高等學校標準化考點的建設(shè)任務(wù)應(yīng)納入地方規(guī)劃和綜合實施，標準化電子考場系統(tǒng)的建設(shè)應(yīng)符合相應(yīng)的技術(shù)規(guī)范和標準。在這一背景下，我校于2012年完成了本校標準化考場的基本建設(shè)，這也是我校視頻監(jiān)控系統(tǒng)的雛形。

隨著高清視頻技術(shù)的發(fā)展和高等教育本科教育教學審核評估的發(fā)展，已建有的視頻監(jiān)控系統(tǒng)已不能滿足實際教學需求。于是，我校于2018年，在已有的傳統(tǒng)視頻監(jiān)控系統(tǒng)的基礎(chǔ)上做了升級改造，全校公共教室里配備了高清網(wǎng)絡(luò)攝像機、現(xiàn)代教育技術(shù)中心機房配備了和部署了高清視頻監(jiān)控管理平臺、高清視頻存儲系統(tǒng)、高清NVR和高清解碼器等，這些構(gòu)成了我校目前以高清視頻技術(shù)和視頻圖像分析技術(shù)為支撐的高清智能視頻監(jiān)控系統(tǒng)。隨著高清視頻監(jiān)控的逐步推廣和普及應(yīng)用，視頻監(jiān)控市場朝著“視野清晰，清晰可見”的方向發(fā)展。與此同時，隨著政府和企業(yè)對平安校園和視頻監(jiān)控建設(shè)的不斷投入，視頻和視頻數(shù)據(jù)可謂大規(guī)模增長。這使得我們身處一個數(shù)據(jù)爆炸性增長的“大數(shù)據(jù)”時代，也為我們的數(shù)據(jù)處理和駕馭能力帶來了新的挑戰(zhàn)和機遇。

大數(shù)據(jù)時代的到來帶來了大量的視頻圖像數(shù)據(jù)存儲，如何更好地挖掘，利用和分析這些視頻圖像數(shù)據(jù)是我們的關(guān)鍵思考和研究的方向。智能視頻圖像分析技術(shù)要具備根據(jù)分析結(jié)果控制整套視頻監(jiān)控系統(tǒng)的能力，就必須借助一系列關(guān)鍵技術(shù)來實現(xiàn)，如計算機視覺技術(shù)、圖像智能分析技術(shù)和人工智能技術(shù)，借助于這些技術(shù)對視頻中的序列圖像進行檢測，分析和理解。它融合了眾多領(lǐng)域的先進技術(shù)和核心理念，如圖像處理，模式識別，人工智能，自動控制和計算機視覺。隨著網(wǎng)絡(luò)，通信和微電子技術(shù)的迅速發(fā)展，數(shù)字視頻監(jiān)控技術(shù)已經(jīng)越來越成熟，并已廣泛應(yīng)用于多領(lǐng)域。因此，研究視頻圖像智能分析技術(shù)具有特殊重要意義。

一、視頻圖像智能分析技術(shù)的內(nèi)容

被稱為第四代視頻監(jiān)控技術(shù)的智能視頻分析技術(shù)是未來視頻監(jiān)控發(fā)展的方向，也是視頻監(jiān)控領(lǐng)域最先進的應(yīng)用模式之一。智能視頻監(jiān)控使用智能視頻分析技術(shù)來處理，分析和理解視頻信號。 IVS結(jié)合了多學科研究成果，包括圖像處理，目標檢測和跟蹤技術(shù)，模式識別，軟件工程和數(shù)字信號處理（DSP）。圖1為智能視頻監(jiān)控系統(tǒng)的工作流程圖。實時的或歷史的視頻數(shù)據(jù)流通過視頻基礎(chǔ)管理單元傳輸?shù)揭曨l數(shù)據(jù)中心，然后再通過配置管理服務(wù)器，將任務(wù)分發(fā)到智能分析服務(wù)器，經(jīng)分析后，將分析結(jié)果傳輸至智能監(jiān)控客戶端。

在該視頻監(jiān)控系統(tǒng)中，目標的獲取、檢測，目標特征的提取、目標的跟蹤、分類和識別以及對目標行為的分析和理解是智能視頻圖像分析技術(shù)研究的主要內(nèi)容，但由于攝像機安裝位置、功能的不同以及場景的差異都會對分析結(jié)果產(chǎn)生一定的影響。這些都會影響到攝像機對目標的識別準確度。下面我們具體闡述視頻圖像智能分析技術(shù)的研究內(nèi)容。

（一）目標獲取

大多數(shù)視頻智能分析算法基于未壓縮的圖像格式，例如RGB或YUV。因此，圖像信號被直接發(fā)送到視頻分析單元而不被壓縮。幾乎所有的視頻分析系統(tǒng)都帶有圖像采集功能，通常通過BNC（Bayonet Neill Concelman）輸入圖像信號。我?，F(xiàn)有的視頻監(jiān)控系統(tǒng)中的圖像信號通常是以壓縮圖像流的形式存在，可以將圖像流解壓還原成原始圖像格式后再進行分析。

（二）目標檢測

實現(xiàn)視頻智能監(jiān)控系統(tǒng)智能化，首先要完成對目標的檢測。它通過使用相關(guān)的目標檢測算法將視頻序列中的移動像素和靜止像素自動分離。現(xiàn)實環(huán)境中，很多目標不是靜止不動的，對于移動的目標就要使用“運動”的特征來檢測，移動目標檢測不注重靜態(tài)的背景，通過快速的運動檢測來提取移動目標，以達到對目標檢測的快速和實時。

目前，最常用的檢測運動目標的方法有光流法，幀差法和背景差分法。光流法的基本原理是首先對圖像中每個像素分配一個速度矢量，在一個特定的運動時刻，被分配速度矢量的像素形成的圖像運動場上的點與三維物體上的點一一對應(yīng)，用于動態(tài)分析圖像；幀差法的基本原理是檢測目標圖像中相鄰幀或隔幀之間的圖像改變，并且利用閾值方法提取圖像中的運動區(qū)域以進行區(qū)分視頻序列中的圖像；背景差分法，該方法具有較高的魯棒性，它首先提取基于圖像序列的當前圖像，然后將圖像和實時得到的背景模型或者預先存儲的背景圖像進行差分，再經(jīng)過閾值分割提取出運動目標。

具體到我校智能視頻監(jiān)控系統(tǒng)中，目標檢測就是教室內(nèi)學生的人臉檢測。這個問題非常復雜，主要是因為檢測工作會受到人臉照明，化妝品，頭發(fā)和光等諸多因素的影響。人臉檢測的最終目標是在完整圖像中找到人的面部區(qū)域，并將輸入圖像合理地分成兩部分，一部分是面部區(qū)域，另一部分是非面部區(qū)域。

（三）目標跟蹤

目標跟蹤的本質(zhì)是按時間順序連接在每個幀之間找到的相同對象，即跟蹤每個運動對象的運動軌跡。在不同場景中由于光照、遮擋、視覺和雜波等干擾就會引起監(jiān)控系統(tǒng)檢測到感興趣的目標，并對目標在姿勢、位置、形狀、運動等方面進行匹配，進而達到對動態(tài)目標的運動跟蹤。

根據(jù)運動目標的表達和對先驗知識的依賴，常用的跟蹤方法如下幾種類型：基于區(qū)域的目標跟蹤。該方法將感興趣的運動目標的區(qū)域與目標模板進行比較，并比較跟蹤對象與候選對象之間的相似度，以計算相似度測量函數(shù)，以準確定位運動目標；基于活動輪廓的目標跟蹤。該方法基于能量最小化原理，能夠準確地跟蹤目標的輪廓，并且對圖像的微小變化具有很強的依賴性，但它對噪聲非常敏感，并且當跟蹤快速移動的目標時，跟蹤效果不是很好；基于特征的目標跟蹤。該方法的主要思想是依靠最優(yōu)匹配原則，專注于對象的多個特征點的集合。它的最大優(yōu)點是對同一對象多個特征的跟蹤，當一個特征被遮擋時，還能通過其他特征來跟蹤目標對象。

（四）目標行為識別

目標行為識別的目的是判斷檢測目標在運動中的行為是否異常，主要檢測視頻圖像中移動，物體行為的變化，從靜態(tài)目標的姿態(tài)識別，運動行為的識別和復雜事件的分析三個方面來對運動目標進行識別，然后進一步對目標行為特征進行分析。目前，典型目標行為識別應(yīng)用主要有如下幾方面：目標分類，缺陷檢測，殘留檢測，人口統(tǒng)計和報警聯(lián)動等。

二、視頻圖像智能分析技術(shù)的應(yīng)用難點

雖然視頻智能分析技術(shù)已經(jīng)得到了廣泛而深入的研究，但在實際應(yīng)用中仍存在許多困難。它主要包括視頻智能監(jiān)控的實時性，魯棒性和場景規(guī)則確定。

（一）實時性

監(jiān)控系統(tǒng)自身存在采集，編碼和傳輸?shù)妊舆t的缺陷，因此要達到對視頻場景實時監(jiān)控的要求，就必須提高對整個智能監(jiān)控算法系統(tǒng)的實踐復雜度的要求。在高分辨率的視頻中，雖然視頻中的每個像素的處理時間非常短，但一幀圖像通常有數(shù)十萬甚至百萬像素，因此目標檢測還是整個分析算法中最耗時的部分，為了滿足實時監(jiān)控，智能分析的需要，就要求系統(tǒng)每秒處理十幀以上的圖像，每幀的目標檢測時間限于幾十毫秒，如果沒有特殊硬件的幫助很難實現(xiàn)實時的要求，許多目標檢測的算法也只能停留在理論層面上。

（二）魯棒性

由于受到實際環(huán)境的影響，視頻智能分析相關(guān)算法的魯棒性也是一個亟待解決的問題，其算法參數(shù)是以實際環(huán)境參數(shù)為基礎(chǔ)，因此圖像本身的清晰度，是否為夜間模式，是否使用廣角鏡頭等復雜的外在因素都會影響智能分析的結(jié)果。在室內(nèi)外不同的環(huán)境中，目標檢測會受到天氣、照明、燈光的反射、陰影，圖像噪聲等外在因素的影響，甚至由于攝像機安裝的位置，拍攝的角度，和焦距的差異都會導致智能監(jiān)控系統(tǒng)對目標特征的分析判斷產(chǎn)生偏差。

如何降低實際環(huán)境對視頻智能分析的影響是一個魯棒的視頻監(jiān)控系統(tǒng)需要解決的難題，但我們在提高視頻監(jiān)控系統(tǒng)的魯棒性的同時，就會增加建模和計算的復雜性，這就一定程度上降低了系統(tǒng)的實時性，因此要求系統(tǒng)設(shè)計者要平衡兩者之間的關(guān)系。

（三）場景規(guī)則的確定

在不同的場景中，有些運動目標的行為是正常的，而有些目標的行為是異常的，如何區(qū)分不同場景，不同區(qū)域的目標行為是否正常，這要求視頻智能分析系統(tǒng)依據(jù)不同的場景規(guī)則來判斷。這就需要系統(tǒng)設(shè)計者提前在視頻智能分析平臺中設(shè)置好可以作為判斷依據(jù)的場景規(guī)則。

三、我校智能視頻監(jiān)控系統(tǒng)中視頻圖像分析技術(shù)的應(yīng)用

我校目前建成的智能視頻監(jiān)控系統(tǒng)，全面支持百萬像素圖像質(zhì)量和16：9寬屏，使視頻更清晰，更開放。同時，該系列高清產(chǎn)品均基于H.264高效編碼技術(shù)，可占用較少的帶寬和存儲空間，節(jié)省投資。圖2為我校建成后的智能高清視頻監(jiān)控系統(tǒng)網(wǎng)絡(luò)拓撲圖。

建成的智能視頻監(jiān)控系統(tǒng)中利用到的視頻圖像分析技術(shù)主要有視頻圖像采集技術(shù)和視頻圖像目標檢測技術(shù)。

（一）視頻圖像采集技術(shù)

視頻圖像采集主要依靠前端設(shè)備高清攝像機，它是整個系統(tǒng)的信號源，用于采集每個教室的視頻信號，并將信號傳輸?shù)揭曨l處理設(shè)備。 攝像機每天24小時監(jiān)控，因此使用高清晰度，低照度的攝像機。使用在亮度差異較大的區(qū)域支持寬動態(tài)功能的攝像機可確保監(jiān)視場景的任何部分都不會太亮或太暗。

圖3即為實時采集到的各個教室視頻圖像數(shù)據(jù)信息。

（二）視頻圖像目標檢測技術(shù)

通過目標檢測來捕獲的視頻圖像中的學生面部檢測。通過加載到相應(yīng)的面部分類器來檢測面部，并輸出檢測到的面部（矩形框標記）和檢測到的面部編號。如圖4所示：

我們知道人的面部固定特征包括膚色，輪廓，灰度分布，器官的對稱性等。 膚色是面部的重要組成部分。在中國，人臉膚色是一種單調(diào)的黃色。它不依賴于其他面部細節(jié)，具有相對穩(wěn)定性。無論面部表情如何變化都適用，所以膚色特征是面部檢測所需的最常見功能。

首先，根據(jù)膚色模型進行膚色檢測。在檢測到膚色區(qū)域之后，根據(jù)色度和空間相關(guān)性的相似性對可能的面部區(qū)域進行分割，然后使用該區(qū)域的幾何特征或灰度特征來驗證該區(qū)域是否是一個人的臉，其目的是排除相似膚色的物體。在一些情況下，根據(jù)色度和空間距離的一致性將膚色像素聚集成區(qū)域，然后逐漸合并，直到獲得符合某一先驗知識的橢圓區(qū)域，最后形成暗區(qū)域或空隙。檢查該區(qū)域的眼睛，嘴巴等，確定它是否是人臉。

人臉的輪廓和灰度分布特征在人臉檢測中也起著重要作用。人的面部和面部器官具有典型的邊緣和形狀特征，例如面部輪廓，眉毛邊緣，眼瞼輪廓，虹膜輪廓，鼻子線和唇部輪廓，其可近似為簡單的橢圓形，圓形，弧形或線段等幾何單元?？梢曰谶@些幾何特征值來檢測人的面部。在實踐中，還使用Sobel，Laplacian和Canny等算子，并使用小波變換來提取邊緣特征。

四、結(jié)語

智能視頻監(jiān)控系統(tǒng)已在許多領(lǐng)域得到廣泛應(yīng)用，其核心技術(shù)視頻圖像分析受到了研究界的高度重視。對視頻圖像內(nèi)容分析中包括的目標檢測，目標跟蹤，目標分類和識別等關(guān)鍵技術(shù)進行了廣泛而深入的研究，取得了許多成果。然而，在視頻分析的高級目標識別和目標跟蹤行為分析的研究工作中，仍存在許多實際困難。而且，這些問題仍值得進一步研究和討論。