張曉偉 王建凱 酈希墨
(湖北遠(yuǎn)安沮河國家濕地公園管理處,湖北 宜昌 444200)
鳥類是對環(huán)境質(zhì)量最敏感的指示物種,在維護生態(tài)平衡、豐富全球及地區(qū)生物多樣性方面具有重要作用。我國雖發(fā)布了相關(guān)野生動物管理的法律、法規(guī),但對于野生動物特別是鳥類保護管理等方面投入少,基礎(chǔ)設(shè)備設(shè)施缺乏,保護技術(shù)和措施仍不健全。在野生鳥類的遷徙和棲息地的研究方面,傳統(tǒng)的人工觀測和生物腳環(huán)傳感器的方法(劉堅,2019),主要依靠人工和經(jīng)驗積累開展鳥類的識別和管理,深受野外環(huán)境惡劣、人工工作任務(wù)繁重等因素的影響,不利于鳥類的保護和監(jiān)管。隨著人工智能的進步,以及在現(xiàn)在大數(shù)據(jù)的背景下,深度學(xué)習(xí)技術(shù)迅速發(fā)展,計算機視覺領(lǐng)域取得了顯著的成果,有研究者將計算機視覺應(yīng)用在了鳥類識別中,通過訓(xùn)練可以準(zhǔn)確識別鳥類。采取人工智能實時進行鳥類監(jiān)控識別,減少人工工作量,提高鳥類保護效率。為加快濕地公園信息化建設(shè),湖北遠(yuǎn)安沮河國家濕地公園與成都勝維四通電子科技有限公司合作,開發(fā)野生動物保護監(jiān)測智能識別系統(tǒng)。本研究將闡述野生動物保護監(jiān)測智能識別系統(tǒng)中的主要人工智能技術(shù)以及該系統(tǒng)的應(yīng)用,為人工智能技術(shù)在鳥類保護方面提供了新嘗試和新方向。
人工智能領(lǐng)域的應(yīng)用和相關(guān)理論研究迅速發(fā)展,促進了計算機視覺中圖像識別這一領(lǐng)域的發(fā)展。目前,研究人員已經(jīng)使用深度學(xué)習(xí)實現(xiàn)了高精度的人臉面部識別,并廣泛應(yīng)用到日常生活中,因此有研究人員將這些技術(shù)應(yīng)用到鳥類識別中。
深度學(xué)習(xí)是一種機器學(xué)習(xí)技術(shù),為了模擬數(shù)據(jù)之間的復(fù)雜關(guān)系?;诒碚鲗W(xué)習(xí),利用機器學(xué)習(xí)技術(shù)自動獲取每個實體或者關(guān)系的向量化表達(dá),即模仿人類大腦,建立和模擬神經(jīng)網(wǎng)絡(luò)進行分析學(xué)習(xí),然后用某種機制解釋數(shù)據(jù)。它是通過模仿大腦神經(jīng)元之間傳遞和處理信息的方式實現(xiàn)的,每個神經(jīng)元在收到信息后進行處理,然后傳遞給相鄰的數(shù)據(jù),如圖1所示。通過模仿人類大腦的神經(jīng)元結(jié)構(gòu),構(gòu)建網(wǎng)絡(luò),并結(jié)合海量的數(shù)據(jù),解釋數(shù)據(jù)的內(nèi)在聯(lián)系最后實現(xiàn)分類或回歸等(智緒曄, 2019)。
圖1 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Neural network structure
卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks, CNN)是目前圖像特征提取的主流方式,目前主流的卷積神經(jīng)網(wǎng)絡(luò),比如VGG、ResNet都是由簡單的CNN調(diào)整而來。卷積神經(jīng)網(wǎng)絡(luò)由卷積層、池化層和全連接層(可選)等構(gòu)成,網(wǎng)絡(luò)的卷積層每個節(jié)點同上一層的某個區(qū)域通過卷積核連接,CNN輸出的結(jié)果是每幅圖像的特定特征空間。處理圖像分類任務(wù)時,可以將CNN輸出的特征空間作為全連接層的輸入,用全連接層完成從輸入圖像到標(biāo)簽集的映射(楊春蘭, 2020),即分類。整個過程中最重要的工作就是如何通過訓(xùn)練數(shù)據(jù)迭代調(diào)整網(wǎng)絡(luò)權(quán)重,即后向傳播算法。
智能監(jiān)測識別技術(shù)開發(fā)的目標(biāo)是在基本的鳥類數(shù)據(jù)基礎(chǔ)上,針對在國家濕地公園、國家自然保護區(qū)、國家森林公園等野生動物經(jīng)常出沒或偷獵、盜獵發(fā)生的重點區(qū)域,開展實施野生動物保護與檢測工作,保障數(shù)據(jù)測量的有效性、準(zhǔn)確性、可追溯,區(qū)域入侵、重點監(jiān)測動物即時上報,人員入侵軌跡跟蹤。
鳥類檢測和鳥類識別部分是本技術(shù)的重要部分,首先通過攝像機對圖像進行采集,精準(zhǔn)定位鳥類頭部、身體部位(翅膀、羽毛、顏色等特征),將檢測到的鳥類圖像傳到前端IP Camera(IPC),圖像信息存到云端。對于鳥類識別分類部分,對拍攝采集到的鳥類圖片進行預(yù)處理后,對目標(biāo)物體進行邊緣的提取、圖片降噪和歸一化等處理,然后通過訓(xùn)練好的模型進行特征提取,完成識別。最后將結(jié)果實時返回到客戶端,整體流程圖如圖2所示。
圖像的預(yù)處理包含灰度化、圖像對齊、幾何變換、圖像增強等操作。在RGB模型中,R=G=B時彩色表示灰度顏色,彩色處理時通常需要對這3個通道依次處理,灰度化可以達(dá)到提高應(yīng)用系統(tǒng)處理速度的目的。幾何變換通過平移、旋轉(zhuǎn)、縮放等對圖像進行處理,用來修正圖像采集系統(tǒng)的誤差和儀器位置的誤差,通常采用最近鄰插值、雙線性插值的方法。圖像增強可以有針對性地突出感興趣區(qū)域,輔助目標(biāo)任務(wù)。
系統(tǒng)如果檢測到鳥類的局部特征更有助于鳥類識別,因此有些研究除了上述的基本預(yù)處理之外,還進行了局部特征的標(biāo)記。公開的鳥類數(shù)據(jù)集Caltech-USCD Birds包含200種鳥類,一共11 788張圖片,每張圖片都有相應(yīng)的標(biāo)簽文件,同時還具有局部特征的類別和屬性標(biāo)簽,包含鳥類的眼睛、喙、翅膀、雙爪、尾巴等局部特征。數(shù)據(jù)集中提供的局部特征在一定程度上推動了鳥類檢測和識別的研究。
鳥類行為的分析、識別是一項復(fù)雜的工作,在識別之前需要確定是否存在鳥類。通常目標(biāo)檢測需要使用算法來判斷圖片中是否有目標(biāo),以及在圖片中檢測出目標(biāo)的具體位置并標(biāo)記出來。輸入一張圖片,通過指定的算法從圖片中提取多個類別的目標(biāo)區(qū)域,對候選區(qū)域使用卷積神經(jīng)網(wǎng)絡(luò)獲取特征向量(閆賀等, 2021),然后進行分類,簡單的流程圖如圖3所示。
圖2 鳥類識別系統(tǒng)流程圖Fig.2 Flowchart of bird identification system
圖3 鳥類檢測流程圖Fig.3 Flowchart of bird detection
針對傳統(tǒng)運動目標(biāo)檢測方法存在的幀間配準(zhǔn)難度大、快速運動目標(biāo)陰影特征不明顯等問題,有研究者提出了一種基于改進快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(Faster R-CNN)的運動目標(biāo)檢測方法(齊延榮等,2021)。該方法結(jié)合Faster R-CNN深度學(xué)習(xí)算法,利用K-means聚類方法對anchor box的長寬及長寬比進行預(yù)處理,并采用特征金字塔網(wǎng)絡(luò)(Feature Pyramid Networks, FPN)架構(gòu)對視頻SAR運動目標(biāo)的“亮線”特征進行檢測。與傳統(tǒng)方法相比,該方法具有實現(xiàn)簡單、檢測概率高、虛警概率低等優(yōu)勢。
本文中的智能監(jiān)測識別系統(tǒng),利用了經(jīng)典的目標(biāo)檢測算法并有針對性地進行了改進(Juha Niemi,2018),實現(xiàn)了對鳥類的實時檢測和跟蹤。
圖像識別技術(shù)作為當(dāng)前計算機領(lǐng)域發(fā)展的熱門技術(shù)之一,在醫(yī)療、交通運輸、生物識別等領(lǐng)域廣泛應(yīng)用,進一步說明了圖像識別技術(shù)逐漸成熟,圖像識別技術(shù)主要包括如下4個階段:圖像采集、預(yù)處理、特征提取和圖像識別(易中輝等, 2020)。
使用各種流行框架訓(xùn)練一個卷積神經(jīng)網(wǎng)絡(luò)進行鳥類識別,例如PyTorch、Caffe等。輸入圖像經(jīng)過設(shè)計的網(wǎng)絡(luò)進行卷積、池化等運算,提取特征,得到特征映射。研究者提出了很多經(jīng)典的特征提取網(wǎng)絡(luò),例如VGGNet,每層卷積層使用3×3卷積核,利用多個卷積核進行組合,更好地提取特征信息。翁雨辰(2018)通過VGG16和殘差網(wǎng)絡(luò)Resnet,實現(xiàn)網(wǎng)絡(luò)的特征提取功能,采用端到端的網(wǎng)絡(luò)訓(xùn)練方法,在訓(xùn)練過程中,可以通過驗證集查看是否過擬合,有沒有達(dá)到預(yù)期訓(xùn)練效果。測試的方式之一是查看1:1的驗證率,即將測試集劃分正負(fù)樣本對,在FAR為1%、0.1%和0.01%時求閾值和驗證率,以此觀察訓(xùn)練效果。
在對鳥類進行分類時,本研究中的智能監(jiān)測系統(tǒng)的識別算法利用了鳥類身體的整體特征和局部特征,如頭部、身體部位等,分別提取特征然后融合進行分類,最后輸出鳥類的類別。結(jié)合前述的目標(biāo)檢測模塊,網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。
圖4 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 Convolutional neural network structure
該系統(tǒng)可以針對季節(jié)變化,實時監(jiān)測記錄濕地公園鳥類及其它野生動物種類和種群數(shù)量變化、覓食和棲息繁殖情況、生活習(xí)性和規(guī)律、周圍環(huán)境因素對野生動物的影響及致病情況等,由此了解濕地公園生態(tài)系統(tǒng)野生動物資源及生態(tài)平衡影響因素和動態(tài)變化規(guī)律。在合作的一年半時間里,湖北遠(yuǎn)安沮河國家濕地公園通過人工智能技術(shù)實現(xiàn)的鳥類保護監(jiān)測系統(tǒng)取得了良好效果,目前監(jiān)測到沮河濕地范圍鳥類種類已增加至165種,其中國家Ⅰ級保護鳥類2種,國家Ⅱ級保護鳥類14種。
本系統(tǒng)在湖北遠(yuǎn)安沮河國家濕地公園已投入測試和應(yīng)用,系統(tǒng)架構(gòu)包含設(shè)備及服務(wù)端、管理及服務(wù)端,通過前端IPC和人工智能及物聯(lián)網(wǎng)系統(tǒng)對環(huán)境實施監(jiān)測,同時進行鳥類識別、入侵檢測、人體識別、車輛識別和實時預(yù)警。IPC部署在視野開闊、偽裝隱蔽、避免潮濕的環(huán)境,設(shè)備采集數(shù)據(jù)效果更好。其中濕地公園監(jiān)測情況和野生動物保護識別實時檢測平臺分別如圖5、圖6所示。圖5展示了在琵琶州、洪家灣等水域的環(huán)境監(jiān)測圖片,圖6展示了近一周鳥類活動和種類等信息。
該系統(tǒng)將人工智能技術(shù)和流媒體技術(shù)整合,形成完整的個體或群體的快速識別方案,在實時監(jiān)控大屏中可以觀測到濕地公園內(nèi)重點保護動物和環(huán)境的情況,發(fā)現(xiàn)重點檢測鳥類后主動語音并彈窗提醒,系統(tǒng)報警以彈窗及語音方式在系統(tǒng)Web界面展示,后臺推送消息到管理員移動端設(shè)備,系統(tǒng)界面如圖7所示。在測試中,此系統(tǒng)在200 ms內(nèi)完成鳥類、人體、車輛等識別,最小識別像素為200*200,識別率達(dá)到95%以上,準(zhǔn)確率在90%以上,同時系統(tǒng)在100 ms內(nèi)完成區(qū)域入侵警報,最小識別像素為100*100,誤報率小于1%,在不降低識別準(zhǔn)確率的前提下,能夠高效地檢測重點鳥類。
圖5 遠(yuǎn)安濕地公園監(jiān)測情況Fig.5 Monitoring of Yuan 'an wetland park
圖6 野生動物保護識別實時檢測平臺Fig.6 Real-time detection platform for wildlife protection and identification
圖7 系統(tǒng)Web頁面展示拍攝信息Fig.7 Display of the system Web page
遠(yuǎn)安沮河國家濕地公園中應(yīng)用鳥類智能識別系統(tǒng)方便了對鳥類的監(jiān)測和保護,促進了人工智能技術(shù)在生物多樣性保護方面的應(yīng)用。目前對鳥類的檢測和識別取得了突破性的進展,但依然存在一些技術(shù)難點。在實際場景中拍攝到的鳥類圖像往往背景和圖像結(jié)構(gòu)較為復(fù)雜,簡單的特征在表達(dá)圖像信息存在一定的困難。現(xiàn)有的大多數(shù)算法均采用CNN作為特征提取器,但CNN特征對鳥類圖像識別來說,其表達(dá)能力依然有限,這將是后續(xù)改進的方向之一。在檢測之后要對圖像關(guān)鍵特征精準(zhǔn)提取來實現(xiàn)鳥類識別,其難點在于圖像類間差異較小,鳥類特征的區(qū)分主要在圖像的細(xì)微局部區(qū)域。神經(jīng)網(wǎng)絡(luò)的精準(zhǔn)表征是未來研究的主要方向。