段德鑫,姜 瑩,劉宗偉,楊春梅,呂連港,4*

(1.自然資源部 第一海洋研究所,山東 青島 266061;2.自然資源部 海洋環(huán)境科學(xué)與數(shù)值模擬重點(diǎn)實(shí)驗(yàn)室,山東 青島 266061;3.山東省海洋環(huán)境科學(xué)與數(shù)值模擬重點(diǎn)實(shí)驗(yàn)室,山東 青島 266061;4.青島海洋科學(xué)與技術(shù)試點(diǎn)國家實(shí)驗(yàn)室 區(qū)域海洋動(dòng)力學(xué)與數(shù)值模擬功能實(shí)驗(yàn)室,山東 青島 266237)

鯨豚類海洋哺乳動(dòng)物普遍可以發(fā)出回聲定位信號(hào),該信號(hào)是一種短時(shí)脈沖信號(hào)[1],可應(yīng)用于海洋哺乳動(dòng)物的定位、覓食等活動(dòng)[2]。相比通訊交流信號(hào),回聲定位信號(hào)的發(fā)聲頻率較高[3]。若能準(zhǔn)確檢測鯨豚類海洋哺乳動(dòng)物的回聲定位信號(hào),有助于確定該種動(dòng)物的存在及出現(xiàn),有利于研究其種群和生物生態(tài)學(xué)[4]。針對(duì)海洋哺乳動(dòng)物回聲定位信號(hào)檢測方法的研究有助于更快速、準(zhǔn)確地檢測海洋哺乳動(dòng)物發(fā)聲,進(jìn)而為海洋哺乳動(dòng)物保護(hù)提供技術(shù)支撐。

目前,回聲定位信號(hào)的檢測方法可以分為三大類:第一類方法是基于頻域的算法,通過測量短時(shí)間內(nèi)超過頻率閾值的信號(hào)能量,將其瞬時(shí)能量與長期平均值進(jìn)行比較來判斷是否為回聲定位信號(hào)[5],但該方法中的頻率閾值和長期平均值等參數(shù)均依賴于觀測物種以及現(xiàn)場情況,參數(shù)選擇的適應(yīng)能力差。第二類方法是基于時(shí)域的算法,即Teager-Kaiser能量算子算法(簡稱TK算法)[6-7],其通過計(jì)算時(shí)域信號(hào)的Teager-Kaiser能量峰值檢測并獲取回聲定位信號(hào)位置,對(duì)屬于脈沖信號(hào)類型的回聲定位信號(hào)檢測效果較好。但其性能取決于信噪比,在低信噪比時(shí)表現(xiàn)較差。第三類方法是基于時(shí)頻分析的回聲定位信號(hào)檢測算法[8],在快速傅里葉變換后將高于閾值分貝的脈沖信號(hào)檢為回聲定位信號(hào),相較頻域檢測,增加了時(shí)間維度的信息,找全能力有所提高。但其對(duì)閾值的選擇仍然依賴于物種,對(duì)噪聲干擾的排除能力仍然較弱。因此,需要一種在低信噪比條件下抗干擾能力強(qiáng)且能夠自適應(yīng)地進(jìn)行參數(shù)選擇的算法以檢測回聲定位信號(hào)。

為了更準(zhǔn)確地檢測鯨豚類海洋哺乳動(dòng)物的回聲定位信號(hào),本文提出了一種基于圖像處理的回聲定位信號(hào)檢測方法。該方法首先對(duì)采集到的信號(hào)進(jìn)行分幀,獲得每幀信號(hào)的時(shí)頻圖,隨后對(duì)時(shí)頻圖進(jìn)行濾波以凸顯線條狀信號(hào);然后在濾波后對(duì)圖像進(jìn)行直線檢測并提取特征;最后利用信號(hào)特征訓(xùn)練了一個(gè)參數(shù)自適應(yīng)選擇的隨機(jī)森林分類器生成檢測模型以檢測鯨豚類動(dòng)物的回聲定位信號(hào),以期為鯨豚類海洋哺乳動(dòng)物的研究提供技術(shù)支撐,更準(zhǔn)確地研究并檢測海洋哺乳動(dòng)物的發(fā)聲。

1 研究對(duì)象和數(shù)據(jù)來源

本文選取柏氏中喙鯨(Mesoplodon densirostris)、領(lǐng)航鯨(Globicephalamelas)、露脊鯨(Eubalaena japonica)和伊洛瓦底海豚(Orcaella brevirostris)四種動(dòng)物的聲信號(hào)數(shù)據(jù)作為實(shí)驗(yàn)數(shù)據(jù)。柏氏中喙鯨屬鯨目,齒鯨亞目,喙鯨科動(dòng)物。領(lǐng)航鯨與伊洛瓦底海豚同屬鯨目,齒鯨亞目,海豚科動(dòng)物。露脊鯨屬鯨目,須鯨亞目,露脊鯨科動(dòng)物。這4種動(dòng)物均屬于鯨目下典型的鯨豚類海洋哺乳動(dòng)物,且均能發(fā)出回聲定位信號(hào)。

柏氏中喙鯨、領(lǐng)航鯨和露脊鯨的聲數(shù)據(jù)來自MobySound數(shù)據(jù)庫[9]。該數(shù)據(jù)庫是一個(gè)開源的動(dòng)物聲學(xué)數(shù)據(jù)庫,提供在全球不同海域采集到的多種海洋哺乳動(dòng)物的聲音數(shù)據(jù)。柏氏中喙鯨的聲數(shù)據(jù)源于2005年10月在西班牙耶羅島與加那利群島附近海域采集的數(shù)據(jù)[9],領(lǐng)航鯨的聲數(shù)據(jù)源于2005年9月在巴哈馬群島附近海域采集的數(shù)據(jù)[9],露脊鯨的聲數(shù)據(jù)源于2001年在ORCAWALE航次調(diào)查期間采集的數(shù)據(jù)[10]。伊洛瓦底海豚的回聲定位信號(hào)數(shù)據(jù)來自2017年1月至5月在文萊灣實(shí)測的信號(hào)數(shù)據(jù)[11]。

4種動(dòng)物的數(shù)據(jù)文件均為24 bit的WAV格式音頻文件,每種動(dòng)物的數(shù)據(jù)文件均只含有單一物種的回聲定位信號(hào)數(shù)據(jù)(圖1),且均已通過前期的人工處理獲取了回聲定位信號(hào)的起始位置信息。所有的數(shù)據(jù)信息如表1所示。實(shí)驗(yàn)使用數(shù)據(jù)首先經(jīng)過歸一化處理,隨后通過控制幅值系數(shù)向原始數(shù)據(jù)中加入高斯白噪聲以獲取不同信噪比的測試數(shù)據(jù)。

圖1 4種鯨豚類海洋哺乳動(dòng)物的回聲定位信號(hào)波形Fig.1 Waveform examples of echolocation signals from four odontocetes animals

表1 實(shí)驗(yàn)所用數(shù)據(jù)信息Table 1 Data used in the experiment

2 方 法

2.1 基于圖像處理的自適應(yīng)檢測方法

2.1.1 圖像處理

首先,將4種哺乳動(dòng)物聲數(shù)據(jù)按照1 s的固定幀長切分成若干段短時(shí)幀,隨后用短時(shí)傅里葉變換做出分幀時(shí)頻圖,存為灰度圖。然后,使用Frangi濾波器對(duì)圖像進(jìn)行濾波[12]。Frangi濾波器在檢測管狀信號(hào)方面效果較好,主要應(yīng)用于醫(yī)學(xué)方面如醫(yī)學(xué)影像中的血管檢測等[13],但未應(yīng)用于鯨豚類海洋哺乳動(dòng)物回聲定位信號(hào)的檢測。實(shí)驗(yàn)時(shí)使用該濾波器對(duì)每一幅圖像的Hessian矩陣H計(jì)算出其特征值λ1和λ2,并約定λ2＞λ1。最后,根據(jù)特征值計(jì)算出濾波器的輸出值V0(σ),即濾波后圖像的灰度值,具體計(jì)算公式為:

式中,RB為圖像弧立點(diǎn)的響應(yīng),在弧立點(diǎn)時(shí),值較大,;S為圖像背景的響應(yīng),在背景點(diǎn)處,值比較小,;β和C均為參數(shù),β=1,c=12。

濾波前的時(shí)頻圖像像素點(diǎn)以不同灰度值顯示(圖2a),濾波后的時(shí)頻圖中灰度為0的像素點(diǎn)顯示為黑色(圖2b),非0像素點(diǎn)以不同灰度值顯示。濾波后時(shí)頻圖中的孤立噪點(diǎn)被濾除,但由于回聲定位信號(hào)與脈沖型噪聲在時(shí)頻圖像中均近似為一條直線段,故脈沖型噪聲在時(shí)頻圖中仍未去除,需要對(duì)數(shù)據(jù)中的信號(hào)與殘留噪聲進(jìn)行進(jìn)一步的檢測區(qū)分。因此對(duì)濾波后的圖像進(jìn)行直線檢測,能夠精確確定信號(hào)的起始位置,便于提取出頻域特征信息。直線檢測是利用式(2)將x-y平面中的點(diǎn)(x i,y i)映射至r-θ坐標(biāo)平面中[14],計(jì)算公式為:

x-y平面中的一個(gè)點(diǎn)在r-θ平面中為一條曲線,x-y平面中位于一條直線上的多個(gè)點(diǎn)映射到r-θ平面中為相交于一個(gè)點(diǎn)的多條曲線。設(shè)定r-θ平面中曲線在一點(diǎn)相交次數(shù)的閾值,當(dāng)相交次數(shù)超過閾值時(shí),認(rèn)為檢測到了x-y平面中的一條直線[14-15]。若閾值過低,大量噪聲將被判定為直線檢出,增加了樣本量與模型的計(jì)算成本,將使模型生成時(shí)間增加。而部分信噪比較低的回聲定位信號(hào)在時(shí)頻圖中并不連續(xù),若閾值過高,此部分低信噪比信號(hào)將被漏檢,從而導(dǎo)致召回率降低。因此,需要嘗試不同的閾值以在計(jì)算成本與召回率中取得平衡。在本文實(shí)驗(yàn)中,經(jīng)過調(diào)整優(yōu)化參數(shù),將直線檢測的最優(yōu)交匯閾值選擇設(shè)置為50。得到模型后,檢測測試數(shù)據(jù)時(shí)仍固定閾值為50。

將濾波后時(shí)頻圖(圖2b)中灰度非0的像素點(diǎn)映射到r-θ平面中進(jìn)行直線檢測,結(jié)果如圖2c所示。本文中4種動(dòng)物的回聲定位信號(hào)持續(xù)時(shí)長均不超過0.002 s,在時(shí)頻圖像中均不超過2像素寬度,當(dāng)直線檢測時(shí)出現(xiàn)相鄰2條檢測直線時(shí),取2條直線的橫縱坐標(biāo)均值作為檢測到的目標(biāo)直線。根據(jù)回聲定位信號(hào)的聲學(xué)特點(diǎn),本文定義了8種特征并給出相應(yīng)的計(jì)算公式(表2),根據(jù)各特征對(duì)應(yīng)的計(jì)算公式提取時(shí)頻圖中的檢測信號(hào)。

圖2 圖像處理過程示例Fig.2 Example of image process procedure

表2 回聲定位信號(hào)的特征Table 2 Features of echolocation clicks

根據(jù)表2中的定義從原始灰度時(shí)頻圖中(圖2a)提取每一條檢測到的直線對(duì)應(yīng)的特征值。與人工標(biāo)注回聲定位起始位置的正確標(biāo)簽比較,進(jìn)行0/1分類,即回聲定位信號(hào)標(biāo)注為1,非回聲定位信號(hào)標(biāo)注為0。將此分類信息添加至特征矩陣的最后一列,最終形成維度為N×9(N為檢測到的直線的數(shù)量)的數(shù)據(jù)集以檢測自適應(yīng)特征。

2.1.2 自適應(yīng)特征檢測

本文使用隨機(jī)森林分類器對(duì)實(shí)驗(yàn)數(shù)據(jù)中的回聲定位信號(hào)進(jìn)行自適應(yīng)檢測。隨機(jī)森林分類器是一種典型的機(jī)器學(xué)習(xí)算法,是在決策樹分類器的基礎(chǔ)之上,通過隨機(jī)、有放回的采樣隨機(jī)選取數(shù)據(jù)集中的樣本和特征,構(gòu)造多個(gè)決策樹,并由各決策樹分類結(jié)果的眾數(shù)決定最終的類別劃分,從而降低單個(gè)決策樹的過擬合風(fēng)險(xiǎn),得到一個(gè)魯棒性較強(qiáng)的分類模型[16]。其能根據(jù)樣本自動(dòng)調(diào)整不同特征在進(jìn)行分類時(shí)的權(quán)重,具有自適應(yīng)的特點(diǎn)。

一組數(shù)據(jù)集D在原始的決策樹模型下的基尼指數(shù)g(D)為[17]:

式中,C k為D中屬于第k類的樣本子集,K為類的總數(shù)。

數(shù)據(jù)集中包含若干個(gè)不同特征,若根據(jù)特征A的某一取值將D分割為集合D1和集合D2,則在特征A的條件下,集合D的基尼指數(shù)g(D,A)為[17]:

在每個(gè)節(jié)點(diǎn)上計(jì)算不同樣本點(diǎn)的基尼指數(shù),并選擇基尼指數(shù)最小的特征值及其對(duì)應(yīng)的切分點(diǎn)作為最優(yōu)特征與最優(yōu)切分點(diǎn)。據(jù)此,在現(xiàn)結(jié)點(diǎn)生成2個(gè)子節(jié)點(diǎn),將訓(xùn)練數(shù)據(jù)集分配至子節(jié)點(diǎn)并遞歸地循環(huán)以上步驟,便可生成決策樹。

為了減少過擬合,隨機(jī)森林分類器在數(shù)據(jù)集的不同子集上訓(xùn)練若干棵決策樹,并對(duì)它們的決策進(jìn)行平均。在給定一個(gè)輸入后,隨機(jī)森林分類器內(nèi)通過不同的決策樹投票表決產(chǎn)生分類結(jié)果,給出最后的輸出值。

隨機(jī)森林分類器對(duì)數(shù)據(jù)分類的過程中,可以通過基尼指數(shù)評(píng)估不同特征的權(quán)重。令X j為數(shù)據(jù)集第j個(gè)特征,那么特征X j在節(jié)點(diǎn)m上的權(quán)重,即節(jié)點(diǎn)m分枝前后基尼指數(shù)的變化量VIM jm為[17]:

式中,g I l和g I r分別表示分枝后兩個(gè)新節(jié)點(diǎn)的基尼指數(shù)。

如果特征X j在決策樹i中出現(xiàn)的節(jié)點(diǎn)在集合M中,那么X j在第i棵樹的權(quán)重為[17]:

假設(shè)隨機(jī)森林分類器中一共有n棵決策樹,那么

式(7)即為特征X j在隨機(jī)森林分類器中的權(quán)重評(píng)分。歸一化后,可以通過權(quán)重評(píng)分得到不同的特征在決策分類中的重要程度[17]。

在實(shí)驗(yàn)中,將單一物種數(shù)據(jù)單獨(dú)進(jìn)行實(shí)驗(yàn)。每種動(dòng)物數(shù)據(jù)集的90%作為訓(xùn)練集輸入隨機(jī)森林分類器進(jìn)行訓(xùn)練,通過抽取訓(xùn)練樣本,對(duì)選取特征進(jìn)行節(jié)點(diǎn)分裂,生成隨機(jī)森林。隨后使用網(wǎng)格搜索算法[18]配置隨機(jī)森林最優(yōu)參數(shù),得到隨機(jī)森林檢測模型。最后,將數(shù)據(jù)集的10%作為測試集輸入此隨機(jī)森林檢測模型以測試上述隨機(jī)森林分類算法的檢測性能,即測試本文提出的基于圖像處理鯨豚類動(dòng)物回聲定位信號(hào)檢測方法的準(zhǔn)確率和召回率。

2.2 TK算法

TK算法是目前最常用、最廣泛的回聲定位信號(hào)檢測算法。該算法通常被用于抹香鯨回聲定位信號(hào)的檢測[19],其對(duì)抹香鯨的回聲定位信號(hào)檢測的平均準(zhǔn)確率能夠達(dá)到94.05%,被證明非常有效。

通過人工檢查數(shù)據(jù),針對(duì)不同數(shù)據(jù)的背景噪聲情況設(shè)定不同的信噪比閾值。數(shù)據(jù)通過分幀處理后,計(jì)算每一幀信噪比(Signal-to-Noise Ratio,SNR)。其中高于閾值的幀作為候選幀。TK算法利用利用3個(gè)連續(xù)采樣點(diǎn)進(jìn)行瞬時(shí)能量計(jì)算并檢測回聲定位信號(hào)[19],離散時(shí)域下的TK能量算子Ψ定義為:

在每個(gè)挑選出的候選幀中,可利用式(8)計(jì)算出TK算子輸出值。將每個(gè)候選幀內(nèi)TK算子最大值記為回聲定位信號(hào)并確定其具體位置,進(jìn)而統(tǒng)計(jì)TK算法的檢測性能指標(biāo)即準(zhǔn)確率與召回率。

2.3 實(shí)驗(yàn)平臺(tái)

本次實(shí)驗(yàn)使用的操作系統(tǒng)為Linux,內(nèi)核版本為3.10.0-693.el7.x86_64,CPU為Intel Xeon Silver 4110 CPU@2.10 GHz,GPU為Tesla V100-SXM2-32GB。實(shí)驗(yàn)所用的程序語言為Python,版本為3.7。

3 結(jié)果與討論

比較利用本文提出的基于圖像處理的算法和TK算法開展的實(shí)驗(yàn)的準(zhǔn)確率與召回率結(jié)果(圖3)可知,2種算法的召回率均與信噪比呈正相關(guān)關(guān)系,即召回率隨著信噪比的下降而下降,然而本文算法的召回率均高于TK算法,這是由于TK算法采用了閾值檢測,當(dāng)信噪比低于某一閾值時(shí)召回率降至0,即不能檢出信號(hào),例如:柏氏中喙鯨和伊洛瓦底海豚數(shù)據(jù)的SNR≤0 d B時(shí),以及領(lǐng)航鯨和露脊鯨數(shù)據(jù)的SNR≤6 dB時(shí),TK算法無法檢出回聲定位信號(hào)(圖3)。相反,本文算法在此較低信噪比條件下仍能檢出信號(hào)且具有較高準(zhǔn)確率。

圖3 不同信噪比條件下本文提出的基于圖像處理算法和TK算法的檢測性能Fig.3 Performance of the proposed detection method based on image processing and TK method in different SNR

海洋哺乳動(dòng)物的回聲定位信號(hào)在時(shí)頻圖像中類似一條線段。Frangi濾波器可以過濾掉圖像中的孤立噪點(diǎn)并凸顯線條狀信號(hào)。而直線檢測能在低信噪比條件下檢測到時(shí)頻圖中更多類線段的信號(hào),使得本文所提出的圖像處理算法在低信噪比條件下具有較高的召回率。直線檢測還可以精確確定直線形信號(hào)在圖像中的起始與終止位置,并根據(jù)信號(hào)特征定義計(jì)算相應(yīng)特征值制作數(shù)據(jù)集,訓(xùn)練生成隨機(jī)森林檢測模型,以區(qū)分回聲定位與非回聲定位信號(hào),從而進(jìn)一步提升本文算法的準(zhǔn)確率。

對(duì)于柏氏中喙鯨與領(lǐng)航鯨的數(shù)據(jù),TK算法的準(zhǔn)確率會(huì)在信噪比較高時(shí)出現(xiàn)下降,當(dāng)SNR為18 dB時(shí),準(zhǔn)確率分別降至78%和65%。而基于圖像處理的算法的準(zhǔn)確率隨SNR變化較小(不低于85%)。TK算法準(zhǔn)確率在高信噪比時(shí)出現(xiàn)下降的原因在于:相應(yīng)動(dòng)物的數(shù)據(jù)中存在部分脈沖型噪聲,這些噪聲在低信噪比時(shí)被添加的白噪聲淹沒,未被檢出;在高信噪比時(shí),此部分噪聲被當(dāng)作回聲定位信號(hào)檢出,降低了TK算法的準(zhǔn)確率。而基于圖像處理的算法通過隨機(jī)森林分類器根據(jù)特征對(duì)噪聲與回聲定位信號(hào)進(jìn)行了學(xué)習(xí),能夠?qū)ζ溥M(jìn)行區(qū)分。

在隨機(jī)森林檢測模型訓(xùn)練完成后,根據(jù)式(7)可以計(jì)算出每項(xiàng)特征在檢測模型中所占權(quán)重。將特征權(quán)重歸一化后得到每種動(dòng)物的回聲定位信號(hào)檢測模型的特征權(quán)重百分比(圖4)。色階能量具有最高的權(quán)重,這說明針對(duì)4種動(dòng)物的回聲定位信號(hào)數(shù)據(jù),信號(hào)的色階能量是區(qū)分回聲定位信號(hào)與非回聲定位信號(hào)最重要的特征。

在柏氏中喙鯨、領(lǐng)航鯨和露脊鯨的檢測模型中,色階能量的權(quán)重明顯高于其他7種信號(hào)特征的權(quán)重(均低于15%)。而在伊洛瓦底海豚的檢測模型中,信號(hào)特征“截止頻率”具有較高的權(quán)重(超過20%)。這是因?yàn)榘厥现朽滚L、領(lǐng)航鯨和露脊鯨這3種動(dòng)物回聲定位信號(hào)的截止頻率低于70 k Hz,與干擾噪聲相比差異不顯著;而伊洛瓦底海豚的回聲定位信號(hào)頻率較高,其截止頻率超過160 k Hz,與干擾噪聲信號(hào)有著較明顯區(qū)別。因此,截止頻率對(duì)伊洛瓦底海豚的回聲定位信號(hào)檢測具有較高的權(quán)重(圖4)。

圖4 隨機(jī)森林檢測模型的特征權(quán)重Fig.4 Feature weights of random forest detectors

4 結(jié) 論

本研究首次將Frangi濾波器與直線檢測等圖像處理方法應(yīng)用于鯨豚類海洋哺乳動(dòng)物回聲定位信號(hào)檢測中,對(duì)來自開源數(shù)據(jù)庫中柏氏中喙鯨、領(lǐng)航鯨、露脊鯨的發(fā)聲數(shù)據(jù)和實(shí)測伊洛瓦底海豚的數(shù)據(jù)進(jìn)行加噪處理,在不同信噪比條件下開展本文提出的基于圖像處理算法與傳統(tǒng)TK算法的對(duì)比實(shí)驗(yàn),結(jié)果表明,在低信噪比條件下,基于圖像處理的算法擁有更高的召回率,同時(shí)保持了較高的準(zhǔn)確率,驗(yàn)證了本文所述算法的有效性和魯棒性。在低信噪比條件下基于圖像處理的算法能更好地檢測鯨豚類海洋哺乳動(dòng)物回聲定位信號(hào),能夠?yàn)槲磥眦L豚類海洋哺乳動(dòng)物的聲信號(hào)研究提供一定的技術(shù)支持。

本文所述算法根據(jù)回聲定位信號(hào)的聲學(xué)特點(diǎn)構(gòu)建了“起始頻率”“截止頻率”“頻帶寬度”“色階能量”“質(zhì)心頻率”“中心頻率”“峰值灰度”和“峰值頻率”八個(gè)信號(hào)特征,其在檢測模型中分別具有不同的權(quán)重,代表了這些特征的重要程度。按照權(quán)重的大小,選取部分特征來構(gòu)建模型,能否在保持算法有效性的同時(shí),降低計(jì)算成本,有待進(jìn)一步研究。同時(shí),不同的物種信號(hào)特征的權(quán)重有所不同,比如伊洛瓦底海豚的“截止頻率”特征權(quán)重超過露脊鯨的4倍。因此,或許能夠通過選取不同的信號(hào)特征構(gòu)建模型,實(shí)現(xiàn)發(fā)聲物種的分類識(shí)別,這將是下一步的研究目標(biāo)。