張海波,劉遠(yuǎn)仲
(南充職業(yè)技術(shù)學(xué)院 四川 南充 637000)
隨著IT產(chǎn)業(yè)的不斷發(fā)展,視頻監(jiān)控不僅應(yīng)用在安防系統(tǒng),而且在交通系統(tǒng)、防洪系統(tǒng)、教育系統(tǒng)和醫(yī)療系統(tǒng)等方面都有著廣泛應(yīng)用。但在普通的視頻監(jiān)控系統(tǒng)中,許多監(jiān)控系統(tǒng)只是對普通的目標(biāo)物體進(jìn)行簡單攝像與記錄,無法對我們一些感興趣的目標(biāo)物體進(jìn)行有效追蹤與記錄,譬如在交通監(jiān)控系統(tǒng)中要對某些重要車輛進(jìn)行跟蹤,在校園安防中要對某些可疑人員進(jìn)行跟蹤與記錄等,所以如何低成本的設(shè)計一個系統(tǒng)能對所感興趣的移動目標(biāo)進(jìn)行有效捕捉的智能監(jiān)控系統(tǒng)是一個非常有價值的課題。
文中在考慮現(xiàn)有網(wǎng)絡(luò)攝像頭的發(fā)展情況、4G和各種WiFi信號的覆蓋率以及無線路由器技術(shù)發(fā)展的前提下,充分利用現(xiàn)有資源,提出了一種基于單片機(jī)的移動監(jiān)控系統(tǒng)。該系統(tǒng)直接利用現(xiàn)有的網(wǎng)絡(luò)攝像機(jī)作為監(jiān)控攝像頭,以4G信號或各種WiFi信號為網(wǎng)絡(luò),將采集到的圖像通過無線網(wǎng)絡(luò)直接上傳給單片機(jī)系統(tǒng)進(jìn)行處理。文中重點(diǎn)給出了系統(tǒng)硬件設(shè)計方案以及系統(tǒng)軟件算法思想并在最后給出了該方法在MATLAB環(huán)境中的仿真。
單片機(jī)(MCU)是一種計算機(jī)微處理器,發(fā)展的初始階段多用于控制領(lǐng)域。隨著電子產(chǎn)業(yè)的發(fā)展,目前51系列單片機(jī)已擁有了快速的處理速度、強(qiáng)大的運(yùn)算能力以及更大的尋址范圍,廣泛應(yīng)用在智能儀表、實(shí)時控制和分布式多機(jī)系統(tǒng)中。嵌入式單片機(jī)系統(tǒng)是單片機(jī)的發(fā)展的一個重要方向,它與其他設(shè)備相結(jié)合,使整個設(shè)備發(fā)揮出特有的功能。在本系統(tǒng)設(shè)計中,本系統(tǒng)采用AT89S52來作為我們的核心控制器件。
文中以我市內(nèi)車輛移動目標(biāo)為例來介紹本系統(tǒng)的優(yōu)越性并給出了系統(tǒng)仿真結(jié)果。系統(tǒng)首先是對移動目標(biāo)進(jìn)行捕捉,然后采用網(wǎng)絡(luò)攝像機(jī)將現(xiàn)場的視頻信號通過TCP/IP網(wǎng)絡(luò)將信號發(fā)送至視頻信號接收器端并接收主控制板發(fā)來的指令對移動目標(biāo)控制,最后將捕捉到的移動目標(biāo)信號傳送給主控制板,由單片機(jī)進(jìn)行圖像數(shù)據(jù)的處理與運(yùn)算并將結(jié)果送至終端輸出觀察。系統(tǒng)結(jié)構(gòu)圖如圖1所示。
圖1 系統(tǒng)結(jié)構(gòu)圖Fig.1 System structure diagram
首先初始化程序,包括中斷向量設(shè)置、定時器設(shè)置、串口設(shè)置等。當(dāng)系統(tǒng)檢測到移動圖像時,首先判斷是否需要標(biāo)定當(dāng)前圖像。如果需要鎖定,則立即對作為參考圖像中的參數(shù)進(jìn)行比較計算,進(jìn)行閾值自適應(yīng)的設(shè)定等,此項(xiàng)工作主要是尋找參考幀的圖像。當(dāng)移動目標(biāo)圖像鎖定后,系統(tǒng)則立即進(jìn)入實(shí)時監(jiān)控與跟蹤,使用單片機(jī)來計算當(dāng)前幀和鎖定幀的相似度,判斷圖像是否移動,并且將視頻信息實(shí)時地輸出并存儲。當(dāng)定時器完成定時后,中斷程序?qū)⒏淖兿鄳?yīng)的標(biāo)志位,使系統(tǒng)重新進(jìn)行圖像的檢測,以保證參考幀數(shù)據(jù)的實(shí)時性。圖2為本系統(tǒng)軟件算法主流程圖。
圖2 系統(tǒng)軟件算法流程圖Fig.2 The flow chart of system software algorithm
目前,Itti模型在感興趣圖像追蹤過程中的應(yīng)用日益增多。其主要理論是提取圖像在顏色,亮度,方向方面與背景的對比值,該模型主要包括兩個步驟:一是特征的提取,二是顯著圖的生成[1]。他提取圖像像素點(diǎn)的原理可簡單描述為:設(shè)有一尺度為S的移動目標(biāo)圖像,用R、G、B分別來表示該圖像上某個像素點(diǎn)三基色分量,根據(jù)圖像亮度計算公式,則該像素點(diǎn)的亮度特征可表示為:
由于Itti顯著圖是一種模擬生物體視覺的選擇性注意模型,所以要得到移動目標(biāo)圖像的顯著圖首先要對目標(biāo)圖像像素點(diǎn)進(jìn)行特征圖歸一化,以消除圖像間的幅值差異,然后采用高斯卷積算法對圖像S進(jìn)行卷積并把運(yùn)算結(jié)果疊加回原特征圖最后以消除噪聲對圖像的干擾,通過對圖像像素點(diǎn)的多次迭代與卷積,最后可以使圖像少數(shù)幾個最顯著點(diǎn)均勻的分布在顯著特征圖上。接下來通過對圖像像素點(diǎn)計算值分類、歸一化并逐點(diǎn)求和處理就得到了圖像S的顯著特征圖[2]。
本文采用紅綠顏色對(RG)和藍(lán)黃顏色對(BY)來度量移動目標(biāo)圖像的顏色特征,則在計算一幅尺度為S圖像某象素點(diǎn)的顏色特征時,RG(S)和 BY(S)可分別描述為[3]:
同理公式(1),為了得到圖像顏色特征顯著圖,需先對圖像顏色特征進(jìn)行高斯求和與歸一化運(yùn)算,然后得到多幅顏色特征圖。根據(jù)Itti顯著圖合成原理,當(dāng)分割出圖像的亮度特征圖與顏色特征圖后,采用不同的權(quán)重分量疊加圖像便可得到圖像的顯著圖,這里我們用ω1和ω2來分別表示圖像的顏色特征分量與亮度特征分量,用T(S)來表示圖像的顯著特征圖,則 T(S)可表示為[4]:
本系統(tǒng)圖像處理部分采用單片機(jī)AT89S52來作為主控芯片,通過網(wǎng)絡(luò)攝像機(jī)捕捉圖像,對采集到的圖像通過視頻信號接收器編解碼芯片將圖像直接轉(zhuǎn)換為YCrCb格式圖像,其中Y為圖像亮度,Cr和Cb分別為圖像的色度,根據(jù)彩色圖像像素點(diǎn)三基色合成原理(如公式(5))可計算得到RGB 格式圖像,根據(jù)公式(1)~(4),分別提取出圖像的的顏色特征與亮度特征,最終得到我們感興趣目標(biāo)物的顯著特征圖[5]。
為了提高單片機(jī)的工作效率,減小單片機(jī)的運(yùn)算量,現(xiàn)設(shè)置圖像S的尺度為1,3,7。則在這3個尺度上先分別提取出圖像的亮度特征與顏色特征,然后對特征圖分別用二維高斯差函數(shù)進(jìn)行卷積運(yùn)算,并把卷積結(jié)果疊加回原特征圖,最后使用閾值分割算法來提取移動目標(biāo)物體。為了檢驗(yàn)該方法的有效性,文中使用MATLAB軟件對本系統(tǒng)進(jìn)行了模擬仿真,仿真如圖4所示。該仿真表明使用本文簡化的Itti算法,能夠滿足系統(tǒng)對移動目標(biāo)的提取要求。
要想有效的跟蹤到目標(biāo)物,最重要的是要檢測出目標(biāo)物在圖像畫面中的位置變化,本文采用計算目標(biāo)物的質(zhì)心來鎖定目標(biāo)的位置,當(dāng)目標(biāo)物發(fā)生移動時,則當(dāng)前幀圖像質(zhì)心將會與前一參考幀圖像質(zhì)心發(fā)生較明顯的偏移。根據(jù)圖像區(qū)域幾何特征不變矩描述理論,圖像的質(zhì)心計算可表示為[5]:
圖3 算法仿真實(shí)驗(yàn)結(jié)果Fig.3 Algorithm simulation results
(式中,N 為非負(fù)整數(shù),(xdz,ydz)分別為第 z幅圖像中移動目標(biāo)圖像的橫縱質(zhì)心坐標(biāo))
在處理動態(tài)的視頻圖像時,由于移動目標(biāo)圖像要受到外部的環(huán)境影響(例如灰塵,噪聲,光照等)導(dǎo)致計算出的質(zhì)心點(diǎn)位置不穩(wěn),所以在計算前一參考幀的圖像質(zhì)心十分重要,本系統(tǒng)采用捕獲前n幀視頻圖像并進(jìn)行差值處理來作為當(dāng)前畫面感興趣移動目標(biāo)的基準(zhǔn)質(zhì)心坐標(biāo)。
令Δx為目標(biāo)圖像中質(zhì)心橫坐標(biāo)的差值,Δxmax為目標(biāo)圖像質(zhì)心橫坐標(biāo)的最大差值,則Δx,Δxmax可表示為=med(,,…,);Δxmax=max(||,…,|);同樣定義縱坐標(biāo)和Δymax,則當(dāng)前幀值移動目標(biāo)與前一幀值移動目標(biāo)的質(zhì)心坐標(biāo)可表示為:
在計算當(dāng)前圖像與前一幅圖像的相似度時,可根據(jù)公式(8)先算出當(dāng)前畫面中移動目標(biāo)的質(zhì)心坐標(biāo),然后調(diào)整質(zhì)心坐標(biāo)差值,根據(jù)相似度計算公式(9)計算出兩幅圖像的相似度值Sim[7]。
式中,wz為圖像中第z個移動目標(biāo)的權(quán)值,ydz)前一幀值第z個移動目標(biāo)的質(zhì)心坐標(biāo),()為當(dāng)前幀中圖像第z個移動目標(biāo)的質(zhì)心坐標(biāo)。σ為特征方差調(diào)整系數(shù),取常值0.5。則移動目標(biāo)的移動閾值Ts可表示為:
當(dāng)當(dāng)前畫面中所跟蹤的移動目標(biāo)與前一幅畫面移動目標(biāo)的相似度Sim大于移動閾值Ts則主控制板立即修改當(dāng)前質(zhì)心坐標(biāo),一邊跟進(jìn)新的移動目標(biāo)物。
為了檢驗(yàn)系統(tǒng)的有效性,系統(tǒng)在Windows7 Professional微機(jī)上運(yùn)行,軟件算法仿真環(huán)境為Matlab2009a。
1)移動目標(biāo)檢測。為了得到先驗(yàn)統(tǒng)計數(shù)據(jù),我們先使用Matlab軟件對100幅前期采集圖像進(jìn)行運(yùn)算與記錄,也就是說,將圖像面積為12096控制在監(jiān)控設(shè)備(面積720576)的畫面中,這樣可得到一組較為理想的先驗(yàn)統(tǒng)計數(shù)據(jù)。為了降低運(yùn)算量和提高系統(tǒng)處理效率,在計算監(jiān)控畫面時這里去除了移動目標(biāo)以外的區(qū)域。
設(shè)定移動目標(biāo)檢測圖像幀數(shù)n為10幀,對公路上100個真實(shí)目標(biāo)物進(jìn)行檢測并調(diào)整上式(4)不同的顏色特征分量與亮度特征分量值。檢測結(jié)果如表l所示。
表1 實(shí)驗(yàn)檢測統(tǒng)計表Tab.1 The experimental test statistics
以上數(shù)據(jù)表明:由于外界環(huán)境的干擾,在實(shí)驗(yàn)室條件下,移動目標(biāo)物的分割正確比較理想。當(dāng)取特征分量權(quán)值w1=0.7和w2=0.3時,采集到的視頻畫面中移動目標(biāo)檢測分割正確率最高,平均可達(dá)到87.7%。
2)圖像實(shí)時跟蹤部分。如前所述,現(xiàn)實(shí)監(jiān)控環(huán)境中存在諸多干擾,系統(tǒng)有可能會出現(xiàn)誤判與跟丟目標(biāo)物的現(xiàn)象,為了解決這種情況,必須調(diào)整上位機(jī)定時時間Ti,當(dāng)本次跟蹤定時結(jié)束時,立即更新數(shù)據(jù),重新加載目標(biāo)物檢測與分割。
為了檢驗(yàn)數(shù)據(jù)的的正確性,我們對攝像機(jī)采集到的圖像進(jìn)行了分析,系統(tǒng)在60 s中共采集了1 420幀圖像,差不多每幀圖像處理時間為24 ms左右,每秒處理23幀圖像,基本上可以滿足實(shí)時圖像處理。實(shí)驗(yàn)記錄結(jié)果如表2所示。
表2 實(shí)驗(yàn)檢測時間記錄Tab.2 The Record of test time
從表2可以看出,在規(guī)定的時間段中,系統(tǒng)對跟蹤的移動目標(biāo)物正確分割維持在81%以上。
3)系統(tǒng)整體測試。在本系統(tǒng)中,系統(tǒng)以我市內(nèi)公路上移動的汽車為例進(jìn)行了跟蹤測試。首先根據(jù)公式(10)設(shè)定移動閾值Ts,然后采集圖像并對圖像進(jìn)行區(qū)域檢測與分割,得到圖像顯著圖,然后計算圖像的質(zhì)心坐標(biāo)與相似度Sim,當(dāng)移動閾值Ts有變動時,立即更新芯片數(shù)據(jù),重新計算質(zhì)心坐標(biāo)與相似度Sim。下面是我市拍攝到的監(jiān)控圖像,圖5(a)雙向前進(jìn)中的汽車,當(dāng)我們所感興趣的4輛汽車移動到(b)所在的位置時,由于(a)圖中左邊的第1輛汽車跨越了監(jiān)控區(qū),系統(tǒng)則立即更新數(shù)據(jù)跟蹤到隨后而來的第2輛汽車,而在(a)圖中右邊的2輛汽車一直在系統(tǒng)的監(jiān)控范圍,只是畫面中的移動目標(biāo)質(zhì)心發(fā)生了變化,所以系統(tǒng)跟新數(shù)據(jù)后有效的鎖定了目標(biāo)。
圖4 MATLAB對移動目標(biāo)跟蹤處理結(jié)果Fig.4 The moving target tracking processing results
圖5 系統(tǒng)對移動目標(biāo)實(shí)物跟蹤處理結(jié)果Fig.5 The moving target tracking results based on this system
圖6為本系統(tǒng)對實(shí)物小汽車移動目標(biāo)的監(jiān)控與跟蹤,從圖6(a)(b)結(jié)果可以看出,只要設(shè)定好系統(tǒng)移動目標(biāo)閾值T(s),當(dāng)我們對當(dāng)前畫面感興趣的移動目標(biāo)進(jìn)行跟蹤鎖定后,只要移動目標(biāo)不超出攝像頭的監(jiān)控范圍,那么圖像就會一直在控制范圍類鎖定并追蹤,當(dāng)移動目標(biāo)超出監(jiān)控范圍后,系統(tǒng)調(diào)整立即更新數(shù)據(jù)已對下一目標(biāo)重新進(jìn)行檢測與分割并能迅速鎖定目標(biāo),具有較強(qiáng)的自適應(yīng)性,靈敏性和可靠性。
文中設(shè)計的這一款基于單片機(jī)的移動目標(biāo)監(jiān)控系統(tǒng),該系統(tǒng)直接利用現(xiàn)有的網(wǎng)絡(luò)攝像機(jī)作為監(jiān)控攝像頭,以3G信號或各種WiFi信號為網(wǎng)絡(luò),將采集到的圖像通過無線網(wǎng)絡(luò)直接上傳給單片機(jī)系統(tǒng)進(jìn)行處理。該系統(tǒng)充分利用了現(xiàn)有的各種資源,系統(tǒng)制作簡單,維護(hù)方便,同時采用模塊化設(shè)計,可移植性很強(qiáng),在危險、未知環(huán)境的探測、監(jiān)控等領(lǐng)域有很好的應(yīng)用價值。
[1]Osama Masoud,Nikolaos P.Papanikolopoulos A novel method for tracking and counting pedestrians in real-time using a single camera[J].IEEE Transactions on Vehicular Technology,2001,20(5):1267-1278.
[2]喬鴻海,薛靜,徐繼偉,等.基于DSP的車載智能移動報警監(jiān)控系統(tǒng)設(shè)計與實(shí)現(xiàn)[J].西北工業(yè)大學(xué)學(xué)報,2013,31(2):189-194.QIAO Hong-hai,XUE Jing,XU Ji-wei,et al.Implementation and design of vehicle movement intelligent monitoring system based on DSP[J].Journal of Northwestern Polytechnical University,2013,31(2):189-194.
[3]張德豐著.MATLAB數(shù)字圖像處理[M].北京:機(jī)械工業(yè)出版社,2009.
[4]阮秋琦.數(shù)字圖像處理學(xué)[M].北京:電子工業(yè)出版社,2004.
[5]Kenneth R.Castleman著.數(shù)字圖像處理[M].朱志剛,等譯.北京:電子工業(yè)出版社,2002.
[6]Cucchiara R,Grana C,Piccardi M,et al.Statistic and knowledge-based moving object detection in traffic scenes intelligent transportation systems[J].Proceedings,2000:27-32.
[7]梁振濤,樊澤明,任永亮,等.基于單片機(jī)的移動監(jiān)控系統(tǒng)硬件設(shè)計[J].微型機(jī)與應(yīng)用,2014,33(22):25-27.LIANG Zhen-tao,F(xiàn)AN Ze-ming,REN Yong-liang,et a.The Mobile monitoring system design based on single chip microcomputer[J].Micro Computer and Application,2014,33(22):25-27.