石貴民
(武夷學院 數(shù)學與計算機系,福建 武夷山 354300)
濕地是自然界中豐富的生物多樣性生態(tài)系統(tǒng),具有洪水調(diào)蓄、氣候調(diào)節(jié)、水源涵養(yǎng)、水質(zhì)凈化等重要的生態(tài)功能,被稱為“自然之腎”[1-2]。生物多樣性是所有生物物種、種內(nèi)遺傳變異和它們的生存環(huán)境的總稱[3]。鳥類是濕地生態(tài)系統(tǒng)的重要組成部分,在能量流動和維持生態(tài)系統(tǒng)穩(wěn)定性中起重要作用[4]。近年來,濕地研究在國內(nèi)外越來越重要,一些學者研究了河流型濕地的鳥類物種[5-6]。
武夷山風景區(qū)位于福建省武夷山市西南部,地理位置介于117°35′~117°48.79′E,27°35′~27°47′N,總面積43.400hm2。九曲溪生態(tài)保護區(qū),位于武夷山風景名勝區(qū)和武夷山自然保護區(qū)之間,是生態(tài)保護區(qū)的水資源涵養(yǎng)地,濕溫度的差異較大。
近年來,隨著全球環(huán)境的惡化,鳥類棲息地持續(xù)被破壞,導致許多鳥類瀕臨滅絕。唐兆圓等人于2006-12—2008-03采用“點樣線法”,對九曲溪生態(tài)保護區(qū)濕地鳥類群落進行了調(diào)查。但該鳥類識別方法存在一系列的問題,例如,數(shù)據(jù)龐大,跟蹤效率低,非季節(jié)性采集信息等。本文旨在保護九曲溪水生鳥類的前提下,提出了利用移動互聯(lián)網(wǎng)技術(shù)和圖形分析技術(shù)構(gòu)建鳥類實時監(jiān)測[7]及識別系統(tǒng),該系統(tǒng)還能實現(xiàn)人機協(xié)同鑒別鳥類。人機協(xié)作具有較強的互補性,能避免人工識別的局限性及機器識別造成的不準確性等問題。
濕地鳥類聯(lián)網(wǎng)監(jiān)測及識別系統(tǒng)的硬件有:網(wǎng)絡攝像機、應用服務器、網(wǎng)絡服務器以及其它構(gòu)件,系統(tǒng)構(gòu)架及網(wǎng)絡拓撲結(jié)構(gòu)見圖1。
圖1 系統(tǒng)構(gòu)架及網(wǎng)絡拓撲結(jié)構(gòu)Fig.1 System architecture and network topology
濕地鳥類聯(lián)網(wǎng)監(jiān)測及識到系統(tǒng)通過無線傳感器網(wǎng)絡,不僅能獲得鳥類圖像及飛行視頻信息,并能對鳥類進行實時監(jiān)控,還能在網(wǎng)絡分布區(qū)內(nèi)收集各種鳥類棲息情況,然后將這些信息發(fā)送到視頻服務器,從而達到在指定范圍內(nèi)對鳥類進行偵探和追蹤的目的。
通過移動互聯(lián)網(wǎng),網(wǎng)絡攝像機收集現(xiàn)場濕地鳥類信息,監(jiān)控中心服務器和視頻服務器進行鳥類分類及識別,儲存視頻圖像;視頻監(jiān)控網(wǎng)站將這些鳥類信息圖像數(shù)據(jù)和視頻以流媒體形式發(fā)送到網(wǎng)站;以移動網(wǎng)絡為基礎(chǔ),通過移動視頻技術(shù)實現(xiàn)人機協(xié)作識別功能,且能提供可靠的識別驗證服務。
本文設(shè)計了一個方便用戶訪問、基于Web的多場景監(jiān)控的遠程視頻監(jiān)控系統(tǒng)。應用網(wǎng)站監(jiān)控系統(tǒng)統(tǒng)一管理分散的監(jiān)控點。Web服務器和基于平臺的Web訪問,使用戶可在任何能夠連接Internet的地點對鳥類進行視頻監(jiān)控。
遠程視頻監(jiān)控系統(tǒng)是由監(jiān)控中心服務器、視頻服務器和客戶端組成的一個有機整體,通過互聯(lián)網(wǎng)連接,如圖2所示。
監(jiān)控中心服務器起中心節(jié)點的作用,可對不同監(jiān)控地區(qū)的監(jiān)測點進行監(jiān)測。其主要功能是連接視頻服務器,記錄視頻監(jiān)控點的具體地址、當前狀態(tài)等信息,還可將鳥類圖像和視頻信息進行分類,以便進一步分析和識別鳥類物種。
視頻服務器主要由PC機構(gòu)成。其主要功能是視頻采集、定時錄像、視頻文件的存儲和備份、監(jiān)測和控制(如云臺和鏡頭控制報警)、系統(tǒng)設(shè)置等。
客戶端的主要功能是為用戶提供控制和操作平臺,可直接訪問監(jiān)控中心服務器,對多個監(jiān)控點進行監(jiān)測,也可通過監(jiān)控中心服務器完成對視頻服務器的點對點連接。
圖2 遠程視頻監(jiān)控系統(tǒng)圖Fig.2 The architecture for remote video monitoring system
圖像分割前,需采取措施預先處理圖像數(shù)據(jù)。預處理的主要措施有:光補償、去除背景以及將圖像正?;萚7]。
鳥類識別的初步工作就是自動分割圖像,這樣利于隨后的鳥類圖像的特征抽取、鳥類識別和濕地監(jiān)控。首先,根據(jù)濕地的形狀特征,采用圖像閾值分割法將圖像進行預分割,得到可能的鳥類區(qū)域;然后,將這些區(qū)域由二維坐標射影變換轉(zhuǎn)換得到二維圖像,再以二維圖像的一行或一列的圖像數(shù)據(jù)作為所需的一維圖像數(shù)據(jù),通過圖像數(shù)據(jù)分解,有效減少了圖像HSB (hues saturation brightness)信息;最后利用模糊C-均值聚類算法得到圖像的模糊信息。結(jié)合這兩種分割法進行一系列的后加工,以達到對濕地鳥類圖像的分割。
1)顏色特征抽取與選擇:對分割的模糊圖像信息,通過鳥類本身顏色來抽取其顏色特征,這能反應鳥類本身的總體特性,但是由于鳥類顏色存在很多相似性,若只選取顏色特征識別鳥類,則識別效果欠佳。
2)形狀特征抽取與選擇:根據(jù)模糊鳥類圖像信息本身的形狀特征識別鳥類,例如周長、面積、方形角度等,這些都是自動識別不同鳥種的重要依據(jù)。
3)紋理特征抽取與選擇:鳥類的羽毛有清晰的紋理,因此可利用該特征來鑒別鳥類。有很多方法可用來抽取該特征,其鑒別度也高,本文主要用伽柏濾波器抽取紋理特征。
SVM(support vector machine)決策樹是將SVM和二叉決策樹方法結(jié)合起來構(gòu)成的多類分類器[8]。因此,本文采用SVM決策樹構(gòu)建鳥類自動分類器。SVM決策樹逐級把輸入內(nèi)容最終劃分到所屬類別,決策樹的每個結(jié)點分類器將類的集合劃分為兩個子類集合,底層結(jié)點分類器將某一類或某兩類劃分開,如圖3所示。
圖3 SVM決策樹分類器Fig.3 SVM Decision tree classifier
SVM決策樹包括4層分類法,分別是特殊顏色分類法、顏色統(tǒng)計特征分類法、形狀分類法和紋理分類法。
2.3.1 特殊顏色分類法
特殊顏色分類法屬于非監(jiān)督分類法。例如,將藍綠色特征抽取出來進行粗略分類,計算該顏色像素點數(shù),并算出所占鳥類像素的比例,可將藍綠色鳥類與其它鳥類區(qū)分開來。藍綠色特征參數(shù)范圍是0.3≤H≤0.55,S≥0.30,V≥0.13。該顏色所占比例的閾值為1%,如果大于1%,說明該圖有藍綠色,否則,說明其沒有藍綠色,如圖4所示。
圖4 鳥類顏色柱狀圖Fig.4 Color histogram for birds
2.3.2 顏色統(tǒng)計特征分類法
顏色統(tǒng)計特征分類法構(gòu)成SVM分類器,通過求圖像H,S,V的平均值及其方差對鳥類圖像中的顏色進行分類。該方法不僅對圖像識別有效,還能說明鳥類顏色的分布情況。
2.3.3 形狀分類法
形狀分類法是一種以已有信息為基礎(chǔ)的分類法,主要通過鳥類自身的形狀特征進行分類。通過實驗分析,筆者算出某類別每個鳥種邊框矩形的密度和方差,該結(jié)果顯示:通過提取密度這一參數(shù),可進一步分析并得到更好的分類效果。不同鳥類物種的矩形平均密度和差異如圖5所示。
圖5 鳥外部矩形密度分析圖Fig.5 Density analysis chart of outside rectangle of individual bird
2.3.4 紋理分類法
由于伽柏濾波器具有良好的空間域和頻率域特性,因此可通過伽柏濾波器提取鳥類的紋理特征構(gòu)建伽柏濾波器組,過濾局部信息中的不同頻率、空間和方向等信息。一幅圖像通過多渠道的伽柏濾波器能得到不同的結(jié)果。通過伽柏濾波器組得到16個子頻帶,其中一個用來計算其顏色圖像,而紋理特征用子帶能量的平均值和方差表示,總共抽取了96個紋理特征。通過訓練集中的紋理特征訓練紋理分類器,形成SVM分類器,即根據(jù)紋理特征將鳥類圖像進行分類。
人機協(xié)同識別的物質(zhì)基礎(chǔ)可分為兩部分:一個是硬件,如網(wǎng)絡攝像機、計算機、3G網(wǎng)絡等;另一個是軟件,包括鳥類監(jiān)測及辨識程序(通過訪問服務器獲得視頻/聲音,實現(xiàn)遠程監(jiān)控與識別),無線應用程序等。
人機協(xié)同識別是人可參與到機器自動識別鳥類的過程中,以彌補機器識別的不足。它是一種鑒定識別,是應用現(xiàn)代移動網(wǎng)絡技術(shù)實現(xiàn)鳥類識別的雙重模式。通過網(wǎng)絡將各站點的視頻圖像儲存到視頻服務器,計算機對收集的實時鳥類信息進行分類和識別;再根據(jù)識別程序的工作流程,進入人機協(xié)同模式,對鳥類進行定期識別,或在緊急事件預先報警時,根據(jù)應急移動終端監(jiān)測進行識別。人機協(xié)同識別的主要過程如圖6所示。
圖6 人機協(xié)同識別流程圖Fig.6 The human-computer synergetic recognition flowchart
圖7為人機協(xié)同識別的用戶界面。
圖7 人機協(xié)同識別的用戶界面Fig.7 The user interface of human-computer symergetic recognition
移動監(jiān)控系統(tǒng)主要由兩部分組成:一個是視頻網(wǎng)站,這部分有兩個模塊,其中一個用來構(gòu)建框架,處理應用程序,另外一個是WAP(wireless application protocol)地址;另一部分是移動PTZ(pan tilt zoom)控制,該部分由PTZ控制服務程序所控制[9]。
服務器應用設(shè)計的主要處理步驟如圖8所示,其減少了WAP客戶的壓力,能快速處理視頻圖像。
圖8 移動監(jiān)控系統(tǒng)Fig.8 Mobile monitoring system
以移動網(wǎng)絡技術(shù)為基礎(chǔ),本系統(tǒng)能準確識別鳥類的類型,其實驗過程如下:首先,使用網(wǎng)絡傳感器從信息源處收集鳥類信息,如顏色、聲音及其它生物學特征;然后將這些信息進行預處理(包括實際處理、智能加強、數(shù)字處理及提煉加工等),再通過SVM決策樹提取鳥類圖像特征信息,并將其分類;人機協(xié)同識別九曲溪濕地范圍內(nèi)鳥類棲息的具體位置和鳥類物種的模板圖像。
九曲溪濕地有65種鳥類[10],本文隨機選取了其中20種鳥類作為實驗對象。為了提高識別準確率,每種鳥類從3個角度拍攝,共選取60(3*20)幅圖像,人機協(xié)同識別準確率達98.34%,如表1所。
表1 識別鳥類圖像情況表Table1 Tableof birds image recognition
通過上述分析,人機協(xié)作識別鳥類圖像,有效提高了系統(tǒng)的識別效率,且該系統(tǒng)的實際應用較廣泛。
近年來,許多鳥類瀕臨滅絕,保護鳥類迫在眉睫。因此,提高鳥類保護意識,豐富鳥類保護方法以及加強鳥類保護的能力,將圖像識別技術(shù)與鳥類保護相結(jié)合,對鳥類物種識別研究具有深遠的社會及生態(tài)意義。
本文提出了人機協(xié)作檢測和識別武夷山九曲溪濕地鳥類系統(tǒng)。通過發(fā)送視頻、框架截圖以及監(jiān)控臺收集到的聲音數(shù)據(jù),采用優(yōu)化設(shè)計方法,機器能自動將鳥類圖片分類和識別;通過訪問網(wǎng)絡的方式將圖像識別與視頻相結(jié)合,人可進一步監(jiān)控和識別鳥類;通過可靠云安全技術(shù),提高了鳥類物種識別的可信度,最終達到準確識別鳥類的目標。經(jīng)過實驗分析,證實了本系統(tǒng)的識別可信度、精確度及準確度較高。
[1] 楊義彬. 濕地生態(tài)環(huán)境監(jiān)測方法探討[J]. 四川氣象,2005(2):24-26.Yang Yibin. The Investigation for Wetland Ecological Environment Monitoring[J]. Journal of Sichuan Meteorology,2005(2):24-26.
[2] 程 馳,牟瑞芳. 九寨溝森林生態(tài)系統(tǒng)水源涵養(yǎng)量計算分析[J]. 河南科技大學學報:自然科學版,2007,28(3):69-72.Cheng Chi,Mou Ruifang. Calculation Analysis of Jiuzhaigou Forest Ecosystem Headwaters Conservation[J].Journal of Henan University of Science & Technology:Natural Science,2007,28(3):69-72.
[3] 劉吉平,楊 青,呂憲國,等. 三江平原典型環(huán)型濕地生物多樣性[J]. 農(nóng)村生態(tài)環(huán)境,2005,21(3):1-5.Liu Jiping,Yang Qing,LXianguo,et al. Biodiversity of Annular Wetlands in Sanjiang Plain[J]. Rural Eco-Environment,2005,21(3):1-5.
[4] 周保林,李國柱,陳光祿,等. 信陽南灣鳥島濕地鳥類資源的調(diào)查及保護[J]. 河南農(nóng)業(yè)大學學報,1996,30(4):384-389.Zhou Baolin,Li Guozhu,Chen Guanglu,et al. The Investigation and Protection of Brid Resources of Damp Land at Nanwan Bird Island in Xinyang[J]. Acta Agriculturae Universitatis Henanensis,1996,30(4):384-389.
[5] 李永民,吳效兵. 蕪湖市冬夏季鳥類多樣性分析[J]. 應用生態(tài)學報,2006,17(2):269-274.Li Yongmin,Wu Xiaobing. Avian Diversity in Wuhu City in Summer and Winter[J]. Chinese Journal of Applied Ecology,2006,17(2):269-274.
[6] 趙天樑. 運城濕地自然保護區(qū)生物多樣性及其保護[J]. 山西大學學報:自然科學版,2005,28(1):101-105.Zhao Tianliang. Study on the Biodiversity of Yuncheng Wetland Natural Reserves and Its Conservation in Shanxi[J]. Journal of Shanxi University:Natural Science Edition,2005,28(1):101-105.
[7] 林宏基,葉政春,歐 靜. 彩色序列圖像中實時運動目標跟蹤方法[J]. 中國圖像圖形學報,2008,13(11):2181-2186.Lin Hongji,Ye Zhengchun,Ou Jing. Real-Time Object Tracking in Color Image Sequences[J]. Journal of Image and Graphics,2008,13(11):2181-2186.
[8] 孫昌爾,劉秉瀚. 一種新的SVM決策樹[J]. 福州大學學報:自然科學版,2007,35(3):361-364.Sun Changer,Liu Binghan. A New SVM Decision Tree[J].Journal of Fuzhou University:Natural Science Edition,2007,35(3):361-364.
[9] 林宏基. 網(wǎng)絡開發(fā)教程:ASP/ASP.NET/JSP程序[M]. 北京:清華大學出版社,2005:123-125.Lin Hongji. Network Development Tutorials:ASP/ASP.NET/JSP Program[M]. Beijing:Tsinghua University Press,2005:123-125.
[10]陳家玉. 武夷山風景名勝區(qū)夏季鳥類群落結(jié)構(gòu)初步研究[J]. 福建林業(yè)科技,2001,28(3):74-77.Chen Jiayu. Preliminary Study on the Bird Community Structure in Wuyishan Scenic Resort in Summer[J]. Journal of Fujian Forestry Science and Technology,2001,28(3):74-77.