楊銘倫,于新文,張 旭,歐陽萱,侯亞男,高家軍

(中國林業(yè)科學(xué)研究院資源信息研究所,北京 100091)

鳴叫是動物不同個體之間進(jìn)行信息傳遞的重要手段,包含著重要和豐富的生物學(xué)含義[1]。對動物鳴聲的分析可以提供包括個體、物種、種群、群落、景觀水平[2-6]在內(nèi)的多尺度信息,以應(yīng)用于種群數(shù)量估算,動物活動區(qū)域估測,動物聲源定位,物種識別等[7-10]多個領(lǐng)域的研究。野外聲音自動采集技術(shù)是目前獲取長時間序列動物鳴聲數(shù)據(jù)的主要手段,通過部署在監(jiān)測區(qū)域內(nèi)的一系列聲音采集設(shè)備自動獲取野生動物鳴聲數(shù)據(jù)[11],具有人為干擾小、準(zhǔn)確性高,可形成長時間序列和更高空間分辨率的數(shù)據(jù)的優(yōu)勢[12]。從長時間序列數(shù)據(jù)中可以發(fā)掘野生動物聲學(xué)活動在不同季節(jié)乃至不同年份的變化特征,為生態(tài)完整性的長期評估提供支持。然而,隨著采集的鳴聲數(shù)據(jù)的逐漸積累,如果沒有有效的數(shù)據(jù)管理方法,一方面會造成數(shù)據(jù)混亂,難以挖掘出蘊含在海量數(shù)據(jù)中的信息；另一方面,每項特定的應(yīng)用任務(wù)都需要重新進(jìn)行數(shù)據(jù)處理,增大了重復(fù)工作量,不利于數(shù)據(jù)處理結(jié)果的重復(fù)利用。這些問題對利用聲音數(shù)據(jù)進(jìn)行野生動物研究帶來很大不便,也就使得野外聲音采集技術(shù)的優(yōu)勢無法得到充分發(fā)揮。

本文建立有效的野生動物鳴聲管理系統(tǒng),通過鳴聲管理系統(tǒng)實現(xiàn)海量聲音數(shù)據(jù)的存儲、數(shù)據(jù)處理過程方法及結(jié)果的記錄與管理功能；通過建立原始數(shù)據(jù)與分析處理結(jié)果之間的關(guān)聯(lián)關(guān)系,將始數(shù)據(jù)與結(jié)果數(shù)據(jù)的綜合查詢與檢索,科學(xué)有效地實現(xiàn)海量鳴聲數(shù)據(jù)及其分析處理結(jié)果的存儲管理,充分發(fā)揮野外聲音采集技術(shù)的優(yōu)勢,使得利用鳴聲數(shù)據(jù)進(jìn)行野生動物方面的研究更加便捷高效。

1 野外聲音數(shù)據(jù)采集與管理的特點

1) 聲音數(shù)據(jù)具有時間和空間位置信息。在一定的監(jiān)測區(qū)域內(nèi)通常布設(shè)有多個聲音采集設(shè)備,這些設(shè)備在不同地點和不同生境條件下采集野生動物鳴聲數(shù)據(jù),因而野外采集的鳴聲數(shù)據(jù)包含明確的空間位置信息,通過分析多個聲音采集點的數(shù)據(jù),可以得到野生動物活動的空間規(guī)律和生物多樣性信息的空間分布情況。此外,時間信息也是動物鳴聲數(shù)據(jù)的重要信息,長期野外觀測形成較長時間序列的數(shù)據(jù),研究人員可以從時間序列數(shù)據(jù)中獲得生物多樣性信息隨時間的變化規(guī)律[13]。顯然,聲音數(shù)據(jù)自身攜帶的時間和空間屬性是探索生物多樣性信息分布及變化規(guī)律的基礎(chǔ)。系統(tǒng)應(yīng)維護(hù)音頻數(shù)據(jù)的時間信息和空間信息,并提供基于時間和空間位置的數(shù)據(jù)檢索功能,以便讓用戶獲取到特定時間段和特定采集點的音頻數(shù)據(jù)。

2) 聲音數(shù)據(jù)的高通量特性。野外聲音采集設(shè)備不間斷采集聲音數(shù)據(jù),使得數(shù)據(jù)量比較大,會加重數(shù)據(jù)存儲和處理分析的負(fù)擔(dān),因此需要以一種合適的文件格式存放在系統(tǒng)中,在具有較小文件體積的同時要保證音頻質(zhì)量,高效率實現(xiàn)野外原真性聲音信息的完整保存。此外,還需要能夠相對容易地實現(xiàn)與其他常見格式之間的數(shù)據(jù)轉(zhuǎn)換。

3) 對原始數(shù)據(jù)和處理結(jié)果數(shù)據(jù)應(yīng)進(jìn)行統(tǒng)一管理。對數(shù)據(jù)處理結(jié)果的管理是野生動物鳴聲管理系統(tǒng)的關(guān)鍵任務(wù)之一,旨在重復(fù)利用聲音數(shù)據(jù)處理分析結(jié)果,使每次使用數(shù)據(jù)時不必重新進(jìn)行數(shù)據(jù)處理。所以系統(tǒng)在管理音頻文件的同時也應(yīng)實現(xiàn)對處理分析結(jié)果的有效管理,記錄數(shù)據(jù)的處理方法、流程、參數(shù)等信息,并建立原始數(shù)據(jù)與分析處理結(jié)果數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系,實現(xiàn)對處理后的結(jié)果數(shù)據(jù)與原始數(shù)據(jù)的統(tǒng)一管理。這樣一來,在相關(guān)的研究中就可以充分利用已有的結(jié)果數(shù)據(jù)進(jìn)行各種應(yīng)用,提高數(shù)據(jù)的復(fù)用性。

2 系統(tǒng)設(shè)計

2.1 系統(tǒng)總體架構(gòu)

系統(tǒng)按照多層體系結(jié)構(gòu)的思路進(jìn)行設(shè)計,有利于提升系統(tǒng)的靈活性和可擴展性。系統(tǒng)架構(gòu)主要分為網(wǎng)絡(luò)通訊層、數(shù)據(jù)存儲層、應(yīng)用支撐層、業(yè)務(wù)應(yīng)用層、應(yīng)用交互層五層和標(biāo)準(zhǔn)及管理體系、信息安全體系兩個體系。系統(tǒng)總體框架如圖1所示。

1) 網(wǎng)絡(luò)通訊層。位于系統(tǒng)最下層,主要負(fù)責(zé)數(shù)據(jù)的傳輸與匯聚,數(shù)據(jù)可以通過WiFi網(wǎng)絡(luò)自動上傳,無網(wǎng)絡(luò)環(huán)境時也可人工取數(shù)據(jù)上傳至服務(wù)器。

2) 數(shù)據(jù)存儲層。主要進(jìn)行數(shù)據(jù)存儲管理及維護(hù),確保數(shù)據(jù)的安全性和穩(wěn)定性,系統(tǒng)管理的數(shù)據(jù)主要包括原始采集的音頻文件、數(shù)據(jù)處理方法、數(shù)據(jù)處理分析結(jié)果、采集點等內(nèi)容,數(shù)據(jù)文件在磁盤陣列中存放,在關(guān)系型數(shù)據(jù)庫中建立和維護(hù)數(shù)據(jù)的屬性信息,檢索方便,易于維護(hù)。

3) 應(yīng)用支撐層。位于數(shù)據(jù)和業(yè)務(wù)邏輯之間,主要進(jìn)行數(shù)據(jù)庫訪問并對上層提供統(tǒng)一的調(diào)用接口,避免因不同業(yè)務(wù)邏輯對同一數(shù)據(jù)進(jìn)行操作而可能導(dǎo)致的數(shù)據(jù)混亂和錯誤等情況的發(fā)生。

4) 業(yè)務(wù)應(yīng)用層。提供音頻內(nèi)容管理、音頻設(shè)置、用戶管理等多個功能模塊,實現(xiàn)各項業(yè)務(wù)應(yīng)用,各個功能模塊之間相對獨立,可以很容易地添加新的功能。

5) 應(yīng)用交互層。為用戶提供基于圖形界面的訪問接口,用戶可以通過客戶端應(yīng)用程序方便地訪問系統(tǒng)。

2.2 高通量音頻數(shù)據(jù)格式選擇

當(dāng)前流行的音頻文件格式主要分為有損和無損2種。有損格式通過降低音頻采樣率和比特率來達(dá)到更小的文件體積,常見的有MP3,WMA,RA,AAC,VQF等。有損格式具有較高的壓縮率,但會造成信息丟失,通常會降低高頻部分的音質(zhì),不利于對野生動物鳴聲數(shù)據(jù)高頻信息的保存。本系統(tǒng)選用FLAC作為系統(tǒng)中原始音頻文件的存儲格式。FLAC格式是一套自由音頻壓縮編碼,是一種無損的存儲格式,具有免費、開源的優(yōu)勢,且具有較強的容錯性,部分片段的損壞不會對音頻的其他部分產(chǎn)生影響,能夠較好地滿足高通量動物鳴聲數(shù)據(jù)存儲管理的需求。

2.3 數(shù)據(jù)管理方案

系統(tǒng)管理的數(shù)據(jù)文件包括原始采集的音頻文件和經(jīng)過處理的結(jié)果文件。

1) 在邏輯組織上,將各項數(shù)據(jù)文件按照樹狀方式進(jìn)行組織。按采集點、采集日期、原始采集文件、處理結(jié)果文件、指數(shù)結(jié)果這幾個層次分級管理。以采集點作為根節(jié)點,每個采集點下包含不同采集日期,每個采集日期下包含若干個原始音頻文件。另外,系統(tǒng)將處理之后的結(jié)果文件視為原始文件的子文件,所以原始文件下又包含多個子文件。由于在某些應(yīng)用中,涉及到采用不同處理方法對原始文件進(jìn)行多層處理,例如,經(jīng)過降噪預(yù)處理后再進(jìn)行多種的聲音指數(shù)的計算,所以按照處理次數(shù)的不同,將文件劃分為不同的級別,原始文件級別為1級,經(jīng)過一次數(shù)據(jù)處理之后輸出的結(jié)果文件被視為該原始文件的子文件,文件級別設(shè)定為2級,對2級文件再次處理后生成的結(jié)果被設(shè)定為該文件的3級子文件,依次類推,這樣就可以建立原始文件與處理結(jié)果之間的樹狀組織關(guān)系。

2) 在物理存儲上,將音頻文件以及指數(shù)計算得到的數(shù)值型文件存儲在計算機的磁盤陣列中,并在關(guān)系型數(shù)據(jù)庫中建立索引表,維護(hù)數(shù)據(jù)文件的屬性信息。在進(jìn)行數(shù)據(jù)訪問時,先通過關(guān)系數(shù)據(jù)庫中的索引找到文件的存儲位置,然后對文件進(jìn)行訪問。

3) 在聲音文件命名上,采用“采集點_采集時間”的規(guī)則來命名原始采集文件,而對于處理后的結(jié)果文件,則采用“原始采集文件名+下劃線+處理方法標(biāo)識”的規(guī)則進(jìn)行命名,其中,每增加一次處理,在原文件名的后面增加下劃線+處理方法標(biāo)識。例如:“01_20190101210000.flac”表示01采集點在2019年01月01日21點00分00秒采集的聲音文件,“01_20190101210000_ methodA .wav”表示對該文件使用A方法處理后得到的結(jié)果文件,如要對結(jié)果文件繼續(xù)使用B方法處理,輸出文件則被命名為“01_20190101210000_methodA_ methodB.wav”。這種命名規(guī)則使音頻文件的層次關(guān)系清晰,易于檢索。文件組織結(jié)構(gòu)如圖2所示。

圖2 文件組織結(jié)構(gòu)Fig.2 File organization structure

2.4 系統(tǒng)主要功能

根據(jù)業(yè)務(wù)場景需要,野生動物鳴聲管理系統(tǒng)可分為3個功能模塊,分別是音頻內(nèi)容管理模塊、音頻設(shè)置模塊以及用戶管理模塊,每個模塊各自包含多個不同的功能。其中,音頻內(nèi)容管理模塊是系統(tǒng)的核心模塊,提供海量野生動物音頻文件的管理、數(shù)據(jù)處理流程的基本信息的管理、聲音指數(shù)計算結(jié)果管理、數(shù)據(jù)可視化展示功能；音頻設(shè)置模塊保存和管理聲音數(shù)據(jù)的輔助信息,提供聲音采集地點的管理、數(shù)據(jù)處理及聲音指數(shù)計算方法基本信息的管理功能；用戶管理模塊則主要負(fù)責(zé)保障系統(tǒng)安全,提供管理員管理、普通用戶管理、管理日志功能。系統(tǒng)主要功能如圖3所示。

圖3 系統(tǒng)主要功能Fig.3 Main functions of the system

3 系統(tǒng)建設(shè)與實現(xiàn)

系統(tǒng)采用HTML5技術(shù)構(gòu)建系統(tǒng)客戶端,通過雙向的數(shù)據(jù)通道和數(shù)據(jù)推送降低客戶端和服務(wù)器之間通訊壓力并提高數(shù)據(jù)實時性；采用B/S結(jié)構(gòu)構(gòu)建野生動物鳴聲數(shù)據(jù)及其分析處理數(shù)據(jù)管理系統(tǒng),保障系統(tǒng)的網(wǎng)絡(luò)在線服務(wù)模式；采用C#作為后端開發(fā)語言,進(jìn)行系統(tǒng)各項業(yè)務(wù)邏輯的開發(fā)；采用MVC模式設(shè)計程序,保證展現(xiàn)和業(yè)務(wù)邏輯的分離；利用Web Service技術(shù)實現(xiàn)系統(tǒng)跨平臺；采用用戶認(rèn)證技術(shù),保證信息的安全性。

3.1 采集點管理

采集點管理功能負(fù)責(zé)管理各采集點的信息。系統(tǒng)中不同采集點的信息以列表的方式顯示,每條采集點的記錄具有名稱、別名、經(jīng)緯度、描述信息等屬性信息。本模塊提供采集點的編輯功能,如果野外部署了新的聲音采集設(shè)備,在系統(tǒng)中可以方便地添加新的采集點信息。在文件管理功能中也可以通過采集點這一篩選條件檢索出某一采集點收集到的所有鳴聲數(shù)據(jù)。

3.2 文件管理

文件管理功能主要對系統(tǒng)中的各個數(shù)據(jù)文件進(jìn)行管理,并提供數(shù)據(jù)檢索和編輯功能,是系統(tǒng)的核心功能。數(shù)據(jù)既包括原始采集和預(yù)處理之后的的音頻數(shù)據(jù),也包括聲音指數(shù)計算結(jié)果這類數(shù)值型數(shù)據(jù)。通過文件管理功能可實現(xiàn)對海量野生動物鳴聲采集音頻文件的列表展示和查詢及播放,也可以實現(xiàn)原始文件和結(jié)果文件的關(guān)聯(lián)查詢。系統(tǒng)中的所有原始音頻和結(jié)果數(shù)據(jù)均顯示在列表中。用戶可以通過篩選音頻文件對應(yīng)的處理/計算方法類別、文件級別、所屬采集點、采集時間,快速查找系統(tǒng)中的文件。

3.3 方法管理

方法管理功能主要對不同的數(shù)據(jù)處理方法進(jìn)行管理和編輯。對野生動物鳴聲數(shù)據(jù)的處理通常包括音頻降噪、增強、聲音指數(shù)的計算等多種方法,有些處理方法又可包含多種子級方法,例如,α聲音指數(shù)下可以分為NDSI指數(shù)、ACI指數(shù)、H指數(shù)等多個子級方法。本系統(tǒng)對這些處理方法進(jìn)行分級管理,在方法管理頁面中可建立不同處理方法之間的層次關(guān)系,能夠在一種方法下快速添加其子級方法。

3.4 指數(shù)計算結(jié)果管理

在生態(tài)聲學(xué)的研究中,聲音指數(shù)通?？梢杂脕砻枋鲆欢▍^(qū)域內(nèi)的生物多樣性,是聲音數(shù)據(jù)分析的核心,近年來聲音指數(shù)已經(jīng)廣泛應(yīng)用于聲學(xué)群落的強度、相對豐度、豐富度等評估等方面的研究[14]。指數(shù)計算結(jié)果管理功能負(fù)責(zé)保存管理聲音指數(shù)計算結(jié)果文件,并提供檢索、導(dǎo)出、可視化功能。通過篩選計算方法類別、方法級別、計算時間,可以查找相應(yīng)指數(shù)結(jié)果。聲音指數(shù)計算結(jié)果屬于數(shù)值型文件,在系統(tǒng)中可以導(dǎo)出為“.csv”格式的文件并保存在客戶端。

此外,系統(tǒng)提供聲音指數(shù)可視化顯示功能,各項聲音指數(shù)的計算結(jié)果在指數(shù)圖表頁面中以折線圖或柱狀圖的形式呈現(xiàn),也可以導(dǎo)出為圖片形式保存在客戶端。指數(shù)圖表可以直觀地反映出聲音指數(shù)隨時間的變化趨勢以及不同聲音指數(shù)之間的差異情況,便于生物多樣性變化規(guī)律的研究。

3.5 數(shù)據(jù)處理記錄

數(shù)據(jù)處理記錄功能主要是對數(shù)據(jù)處理流程中的基本信息的記錄,包括記錄編號、處理時間、處理方法、參數(shù)圖片、參數(shù)說明、輸入文件、輸出文件等。

3.6 用戶管理

用戶管理模塊的主要實現(xiàn)用戶權(quán)限管理和查看操作日志的功能,系統(tǒng)將用戶分為管理員和普通用戶兩種角色,系統(tǒng)管理員可編輯角色信息,并根據(jù)需要為不同用戶設(shè)置訪問權(quán)限,從而保證系統(tǒng)的安全性。

4 討論

野生動物聲學(xué)活動是自然生態(tài)系統(tǒng)中比較活躍的要素,是野生動物生活狀態(tài)和自然生態(tài)系統(tǒng)狀態(tài)的綜合反映。在近年來引入的國家公園政策中,突出強調(diào)了對自然生態(tài)系統(tǒng)原真性和完整性的保護(hù)[15],盡量避免人為干擾,維護(hù)生態(tài)系統(tǒng)的原始自然狀態(tài)。而野外聲音采集作為一種新的野生動物監(jiān)測手段,具有侵入性低的特點,對野生動物和自然環(huán)境不會造成明顯影響,順應(yīng)了自然保護(hù)地環(huán)境的原真性和完整性保護(hù)的要求,對野外自然生境聲音進(jìn)行記錄和保存,也是對自然生態(tài)系統(tǒng)原真性特征的記錄和保存。

野外聲音采集技術(shù)為自然保護(hù)地智慧監(jiān)管提供了一條新的有效的途徑,未來與物聯(lián)網(wǎng)、大數(shù)據(jù)、云計算技術(shù)相結(jié)合,將有望實現(xiàn)自然保護(hù)地野生動物的全面監(jiān)測,成為天空地一體化林業(yè)監(jiān)測體系中地基物聯(lián)網(wǎng)監(jiān)測的一項重要技術(shù)手段。

建立野生動物鳴聲管理系統(tǒng)對長期積累下來的野生動物聲音信息實行合理有效的保存和管理,一方面,可為開展基于聲音指數(shù)的生物多樣性監(jiān)測技術(shù)研究奠定基礎(chǔ),實現(xiàn)快速生物多樣性評價,避免大量的野外標(biāo)本采集、物種鑒定等耗時耗力的繁瑣工作,大大降低生物多樣性監(jiān)測和調(diào)查的成本；另一方面,也為今后采用深度學(xué)習(xí)技術(shù)進(jìn)行野生動物智能識別工作積累數(shù)據(jù),實現(xiàn)基于聲紋特征的野生動物快速識別,獲取野生動物個體、種群、群落的關(guān)鍵信息。

5 總結(jié)

本文設(shè)計了野生動物鳴聲數(shù)據(jù)管理系統(tǒng)的體系架構(gòu)和主要功能,提出了原始數(shù)據(jù)與結(jié)果數(shù)據(jù)在建立關(guān)聯(lián)關(guān)系前提下的統(tǒng)一管理方案,并依托相關(guān)的開發(fā)環(huán)境完成了系統(tǒng)的研發(fā)工作。

系統(tǒng)主要針對海量長時間序列野生動物鳴聲數(shù)據(jù)存儲管理的目標(biāo)而建立,是有效發(fā)揮野外聲音采集技術(shù)優(yōu)勢與聲音數(shù)據(jù)價值的平臺基礎(chǔ)。通過將鳴聲數(shù)據(jù)實行分級管理,條理關(guān)系明確,方便檢索,便于對數(shù)據(jù)處理結(jié)果進(jìn)行重復(fù)利用,避免重復(fù)計算。對不同采樣點、不同采集時間、不同處理方法的數(shù)據(jù)進(jìn)行分級分類檢索,為野生動物活動及生物多樣性規(guī)律等相關(guān)領(lǐng)域的研究工作提供了便利。