趙鋒 劉茹 彭紅梅 嚴(yán)升 高強(qiáng)

摘 要： 為了實(shí)時準(zhǔn)確地檢測視頻中運(yùn)動魚體的尾頻特征，提出基于魚體關(guān)鍵特征點(diǎn)的尾頻檢測模型。通過計算機(jī)視覺圖像處理算法得到魚體的二值圖像，根據(jù)魚體形體特征及擺尾特征，魚體質(zhì)心、尾點(diǎn)、頭點(diǎn)等特征點(diǎn)坐標(biāo)建立魚體擺尾角度幾何模型。最后通過對連續(xù)視頻幀內(nèi)魚體擺尾角度分析，得到魚體擺尾頻率的變化規(guī)律。實(shí)驗(yàn)結(jié)果表明，該模型能夠?qū)崟r有效地獲取單幀圖像中魚體擺尾特征，且在pH=7（水質(zhì)正常）、pH=5（水質(zhì)異常）、pH=3（水質(zhì)惡化）三種水質(zhì)中的魚體尾頻測試結(jié)果與實(shí)驗(yàn)觀測到的尾頻變化規(guī)律相符合，處理每幀圖像平均耗時93.6 ms，滿足系統(tǒng)實(shí)時性要求。

關(guān)鍵詞： 水質(zhì)污染； 魚體； 尾頻； 特征點(diǎn)； 計算機(jī)視覺； 變化規(guī)律

中圖分類號： TN911.73?34； TP391.41 文獻(xiàn)標(biāo)識碼： A 文章編號： 1004?373X（2018）15?0051?05

A fish tail frequency detection model applied to water quality pollution identification

ZHAO Feng， LIU Ru， PENG Hongmei， YAN Sheng， GAO Qiang

（School of Communications and Information Engineering， Xian University of Posts and Telecommunications， Xian 710121， China）

Abstract： A fish tail frequency detection model based on critical feature points of fish body is proposed to detect the tail frequency characteristics of moving fish in video accurately in real?time. The binary image of the fish is obtained by means of computer vision image processing algorithm， and then the geometric model of the fish?tailing angle is established according to the physical and tail characteristics of fish， and feature points coordinates of fish centroid， tail point and head point. The fish?tailing angles within the continuous video frames are analyzed to obtain the change rule of the fish?tailing frequency. The experimental results show that the model can effectively obtain the fish?tailing characteristics in a single image in real time， the test results of fish tail frequency are consistent with the observed change rules observed in experiment under the conditions of pH=7 （normal water quality）， pH=5 （anomaly water quality） and pH=3 （deteriorated water quality）， and the average processing time of each frame image is 93.6 ms， which meets the real?time requirement of the system.

Keywords： water quality pollution； fish body； tail frequency； characteristic point； computer vision； change rule

0 引 言

魚類對各種水環(huán)境參數(shù)的變化具有較強(qiáng)的感知能力，可以通過其運(yùn)動狀態(tài)、生理特征反映水質(zhì)的污染狀況[1]，其中運(yùn)動狀態(tài)包含了魚類運(yùn)動行為的最主要信息[2?4]。魚體尾鰭擺動頻率（尾頻）是表征魚類生命活性，描述魚體運(yùn)動狀態(tài)進(jìn)而評估水質(zhì)變化的重要參數(shù)[5]。

目前魚類運(yùn)動狀態(tài)分析已成為生物學(xué)、仿生學(xué)、計算機(jī)視覺等領(lǐng)域的熱點(diǎn)問題之一[6?7]。文獻(xiàn)[8]通過曲線擬合的方式獲取魚體骨架中心線，進(jìn)而建立尾頻活動模型，表征魚體在不同監(jiān)測水質(zhì)中的活性程度。文獻(xiàn)[9]提出基于歐氏距離變換的魚體體干線提取方法，獲得體長理論系數(shù)，進(jìn)而建立魚體體干運(yùn)動模型。建立魚體骨架及體干輪廓模型，可以在保持圖像重要拓?fù)涮卣鞯那疤嵯?，減少圖像的冗余信息，但模型建立過程中的多次擬合影響了算法的準(zhǔn)確性。文獻(xiàn)[10?11]基于中軸變換（MAT）思想建立青鳉魚魚體骨架模型，標(biāo)定魚尾參考點(diǎn)及魚尾端點(diǎn)，進(jìn)而計算得到尾鰭擺動頻率和幅值等參數(shù)，該方法能夠快速準(zhǔn)確地獲取魚體骨架，但尾鰭參考點(diǎn)仍然需要探究更加準(zhǔn)確的標(biāo)定方法。文獻(xiàn)[12]基于傅里葉變換輪廓測定法建立魚尾三維運(yùn)動模型，通過魚體運(yùn)動三維位移、時間曲線分析較為準(zhǔn)確地獲取尾頻[12]，但算法模型復(fù)雜、運(yùn)算量大，影響視頻處理的實(shí)時性。

針對上述問題，本文通過實(shí)驗(yàn)研究魚體尾頻檢測方法，建立尾頻計算模型，并探究其在不同水質(zhì)中的變化規(guī)律。通過計算機(jī)視覺相關(guān)算法實(shí)時準(zhǔn)確地獲取視頻中運(yùn)動的魚體目標(biāo)，并檢測到魚體目標(biāo)質(zhì)心、尾點(diǎn)、頭點(diǎn)關(guān)鍵特征點(diǎn)坐標(biāo)，根據(jù)特征點(diǎn)與魚體擺尾角度的關(guān)系建立一種快速有效的魚體尾頻求解模型，實(shí)時獲取尾頻，并研究了不同水質(zhì)環(huán)境中魚體尾頻的變化規(guī)律。

1 魚體目標(biāo)檢測

為了用魚體目標(biāo)特征分析尾頻的變化規(guī)律，首先需要實(shí)時準(zhǔn)確地檢測到魚體目標(biāo)，魚體目標(biāo)檢測即將魚體運(yùn)動目標(biāo)從視頻圖像序列中提取出來。首先進(jìn)行統(tǒng)計學(xué)背景建模，從魚體運(yùn)動視頻圖像中得到背景圖像[13]，使用背景差分法得到灰度目標(biāo)圖像，然后通過最大類間方差得到自適應(yīng)分割閾值[14]，通過圖像分割得到二值化的目標(biāo)圖像。在這期間，因?yàn)樵肼暤母蓴_導(dǎo)致部分噪聲也被當(dāng)做目標(biāo)圖像分割出來，因此，對分割后的圖像作濾波處理。首先采用形態(tài)學(xué)方法濾波，通過腐蝕和膨脹后，區(qū)域重疊、小空洞以及邊緣丟失的問題得到了有效改善，但小部分噪聲區(qū)域仍然存在。因?yàn)槌Ｓ玫臑V波算法針對所有像素點(diǎn)，對魚體目標(biāo)有一定影響且無法保證處理后的噪聲被完全濾除。為了有效濾除所有噪聲并完整地保留魚體運(yùn)動目標(biāo)區(qū)域，本文設(shè)計了面積比較法濾波算法。在存在噪聲區(qū)域的情況下，連通區(qū)域的數(shù)目比魚體目標(biāo)區(qū)域數(shù)目多，且各噪聲區(qū)域的面積遠(yuǎn)小于魚體目標(biāo)區(qū)域面積。該算法的核心思想是計算并比較圖像中所有的連通區(qū)域，將所有面積小于目標(biāo)區(qū)域的連通區(qū)域刪掉，僅保留魚體目標(biāo)區(qū)域。

以實(shí)驗(yàn)采集到的任一視頻圖像為例，檢測魚體目標(biāo)并標(biāo)記編號，處理過程各圖像如圖1所示。

2 尾鰭擺動頻率檢測

每秒內(nèi)尾鰭擺動的次數(shù)即為尾頻，尾鰭擺動角度閾值定義為[βT]，即同一條魚在不同幀中若體尾鰭擺動角度[β≥βT]，則判定為尾鰭擺動且對擺尾次數(shù)更新，否則，擺尾次數(shù)不變。因此，尾頻求解的前提是求解尾鰭擺動的角度。定義魚體頭點(diǎn)和質(zhì)心的連線為中軸線，考慮到實(shí)際中魚體可能為雙尾，若雙尾擺動角度不同，按照偏離中軸線最遠(yuǎn)的點(diǎn)計算，即將雙尾等效為單尾模型，魚體單尾擺動的示意圖如圖2所示。

由圖2可知，尾鰭擺動角度與魚體頭點(diǎn)、質(zhì)心點(diǎn)、尾點(diǎn)有關(guān)，定義質(zhì)心到頭點(diǎn)的距離為：

根據(jù)式（3）～式（6）求解擺尾角度的關(guān)鍵是得到魚體頭點(diǎn)、質(zhì)心和尾點(diǎn)的位置，其中質(zhì)心位置可以根據(jù)連通區(qū)域質(zhì)心算法得到。實(shí)驗(yàn)觀察發(fā)現(xiàn)魚體質(zhì)心更靠近魚頭部分，尾部尖端部分則是所有輪廓中距離質(zhì)心最遠(yuǎn)的點(diǎn)，通過該特性可獲取尾點(diǎn)位置。設(shè)魚體輪廓點(diǎn)集合為：

實(shí)驗(yàn)觀察結(jié)果顯示，魚體在游動過程中，魚頭和魚尾之間的夾角不小于90°，根據(jù)該特征規(guī)律，以左下角為坐標(biāo)原點(diǎn)建立直角坐標(biāo)系，構(gòu)造魚體頭點(diǎn)求解模型。首先，連接魚體質(zhì)心和尾點(diǎn)，然后作該直線的垂線l，則魚頭和魚尾位于直線l的兩側(cè)，如圖3所示為l在不同斜率下魚尾和魚頭的分布情況，虛線一側(cè)為魚頭的分布范圍，則魚頭為該區(qū)域內(nèi)魚體輪廓線上距離質(zhì)心最遠(yuǎn)的點(diǎn)。

在得到魚體頭點(diǎn)、尾點(diǎn)坐標(biāo)后，將其代入式（6），計算出擺尾角度。

定義魚體在第[k]幀視頻中擺尾角度值為：

[Bβ（k）=0， β<βT1， β≥βT] （14）

則在第[n]幀視頻對應(yīng)的時間段內(nèi)尾頻值為（r為幀率）：

[fβ=k=1nBβ（k）*rn] （15）

3 實(shí)驗(yàn)結(jié)果與分析

3.1 魚體尾頻檢測模型實(shí)時性分析

設(shè)計實(shí)驗(yàn)驗(yàn)證方法的可行性和實(shí)時性，通過彩色CCD相機(jī)采集魚體運(yùn)動視頻，每幀圖像大小為1 540×880，視頻幀率為4 f/s。以任意2幀圖像為例，其運(yùn)動狀態(tài)如圖4所示。

假設(shè)[βT]=10，圖4a）中1，2號魚的質(zhì)心坐標(biāo)分別為（809，711）和（1 156，403）；尾點(diǎn)坐標(biāo)分別為（671，572）和（962，297）；頭點(diǎn)坐標(biāo)分別為（894，796）和（1 281，425）；尾鰭擺動角度分別為7.90°和20.89°，則兩條魚的擺動值分別為0和1。圖4b）中1，2號魚的質(zhì)心坐標(biāo)分別為（448，327）和（945，112）；尾點(diǎn)坐標(biāo)分別為（521，520）和（770，169）；頭點(diǎn)坐標(biāo)分別為（364，220）和（1 047，65）；尾鰭擺動角度分別為17.42°和6.70°，則兩條魚的擺動值分別為1和0。通過獲取一段時間內(nèi)尾鰭擺動值，將得到尾鰭擺動頻率的變化規(guī)律，進(jìn)而分析水質(zhì)的變化。

通過LabVIEW實(shí)現(xiàn)算法模型，單幀圖像處理耗時主要集中在圖像形態(tài)學(xué)處理、輪廓提取、質(zhì)心分析等，其余程序處理耗時皆不足1 ms，系統(tǒng)統(tǒng)計耗時為0，總共時間為93.6 ms。系統(tǒng)采集圖像的幀率為4 f/s，即相鄰兩幀圖像的時間間隔為250 ms，時間統(tǒng)計信息如圖5所示。

3.2 視頻序列魚體尾頻分析

通過實(shí)驗(yàn)觀察，在正常水環(huán)境中，魚體自由運(yùn)動，大多數(shù)時刻尾鰭保持一定的擺動速度，呈現(xiàn)一定的規(guī)律，尾頻在一定范圍內(nèi)波動；在污染物脅迫初期，水質(zhì)異常，魚體感受到刺激后急速游竄，擺尾較快，偶爾減速或靜止，尾頻降低，但整個過程總體尾頻較高；當(dāng)水質(zhì)進(jìn)一步惡化，超過魚的耐受范圍時，魚體游動速度減慢，活性下降，尾頻也隨之降低，偶爾竭盡全力快速游動，擺尾突然變快，但整個過程總體尾頻較低。以改變水質(zhì)pH為例，分別測試pH=7（水質(zhì)正常）、pH=5（水質(zhì)異常）、pH=3（水質(zhì)惡化）環(huán)境下魚體尾頻的變化規(guī)律，以各水質(zhì)狀態(tài)下連續(xù)1 200幀視頻為例，實(shí)測結(jié)果如表1所示。

根據(jù)表1得到各水質(zhì)狀態(tài)下不同視頻幀數(shù)區(qū)間內(nèi)魚體擺尾頻率變化趨勢圖，如圖6所示。

在100幀短區(qū)間內(nèi)，魚體運(yùn)動狀態(tài)的隨機(jī)性和偶然性較為明顯，各區(qū)間內(nèi)擺尾頻率均存在較為明顯的波動。pH=3（水質(zhì)惡化）環(huán)境下大部分區(qū)間內(nèi)魚體擺尾頻率較低，僅有少數(shù)區(qū)間內(nèi)的擺尾頻率不小于pH=7（水質(zhì)正常）環(huán)境下魚體擺尾頻率。pH=5（水質(zhì)異常）環(huán)境下大部分區(qū)間內(nèi)魚體擺尾頻率較高，僅有少數(shù)區(qū)間內(nèi)的擺尾頻率不大于pH=7（水質(zhì)正常）環(huán)境下魚體擺尾頻率。同一水質(zhì)環(huán)境下兩條魚的擺尾頻率有較小的差異，總體較為相近，其中pH=3（水質(zhì)惡化）環(huán)境下兩條魚擺尾頻率差異較為明顯，即不同魚體在水質(zhì)嚴(yán)重污染時個體差異表現(xiàn)得更明顯。上述分析與實(shí)際觀察到魚體運(yùn)動狀態(tài)變化特征基本相符合。

魚體運(yùn)動狀態(tài)的隨機(jī)性和偶然性使其擺尾頻率存在波動，通過置信區(qū)間對魚體擺尾頻率測量值的可信程度進(jìn)行評估，在置信度為95%時，對各水質(zhì)狀態(tài)下魚體擺尾頻率的置信區(qū)間進(jìn)行分析，分析結(jié)果如表2所示。

由表2可知，不同水質(zhì)狀態(tài)下魚體擺尾頻率的置信區(qū)間有較為顯著的差異。pH=5時兩條魚擺尾頻率置信區(qū)間下限均高于pH=7時擺尾頻率上限，pH=3時兩條魚擺尾頻率置信區(qū)間上限均低于pH=7時擺尾頻率下限。

4 結(jié) 論

本文在實(shí)時準(zhǔn)確地檢測到魚體目標(biāo)的基礎(chǔ)上，依據(jù)魚體擺尾特性，提出一種魚體尾頻檢測模型。實(shí)驗(yàn)結(jié)果表明：該方法能夠有效地獲取魚體擺尾頻率，且在不同水質(zhì)中的測試結(jié)果與實(shí)驗(yàn)觀察到的魚體擺尾頻率實(shí)際變化特征相符合，即該模型能夠有效識別魚體尾頻規(guī)律，尾頻變化能夠有效地表征水質(zhì)的變化。算法處理每幀圖像的時間不超過93.6 ms，視頻采集相鄰幀圖像時間間隔為250 ms，能夠滿足視頻采集并監(jiān)測處理的實(shí)時性要求。通過對魚體尾頻變化規(guī)律的分析，實(shí)時了解魚體運(yùn)動行為的變化情況，為進(jìn)一步提高魚體行為特征檢測效率、建立生物水質(zhì)監(jiān)測模型提供理論依據(jù)和實(shí)驗(yàn)方法。

參考文獻(xiàn)

[1] 趙小強(qiáng)，彭紅梅，高強(qiáng).一種魚體運(yùn)動特征視頻圖像檢測方法[J].西安郵電大學(xué)學(xué)報，2017，22（2）：38?43.

ZHAO Xiaoqiang， PENG Hongmei， GAO Qiang. A video image detection method for fish motion characteristics [J]. Journal of Xian University of Posts and Telecommunications， 2017， 22（2）： 38?43.

[2] WANG Y H， CHEN J， TAO S F. Wavelet fusion application in water quality warning based on bio?detection technology [J]. Applied mechanics & materials， 2013， 295： 924?927.

[3] JEON W， KANG S H， LEEM J B， et al. Characterization of fish schooling behavior with different numbers of Medaka （Oryzias latipes ） and goldfish （ Carassius auratus ） using a hidden Markov model [J]. Physica A： statistical mechanics & its applications， 2013， 392（10）： 2426?2433.

[4] TAN J S， CHANG T K， OOI P L， et al. Fast and robust zebrafish segmentation and detection algorithm under different spectrum conditions [C]// 2014 IEEE Sensor Applications Symposium. Queenstown， New Zealand： IEEE， 2014： 189?194.

[5] 彭紅梅.基于生物水質(zhì)監(jiān)測的魚體運(yùn)動狀態(tài)檢測系統(tǒng)研究[D].西安：西安郵電大學(xué)，2017.

PENG Hongmei. Research on fish movement state detection system based on biological water quality monitoring [D]. Xian： Journal of Xian University of Posts and Telecommunications， 2017.

[6] 程淑紅，蔡菁，胡春海.基于視頻算法的魚類運(yùn)動跟蹤研究[J].光電工程，2011，38（2）：14?18.

CHENG S H， CAI J， HU C H. Fish motion tracking research based on video algorithm [J]. Opto?electronic engineering， 2011， 38（2）： 14?18.

[7] VASSILISM P， IOANNISE P， FANI L， et al. A computer?vision system and methodology for the analysis of fish behavior [J]. Aquacultural engineering， 2012， 46（1）： 53?59.

[8] 陳久軍，肖剛，應(yīng)曉芳，等.魚體尾頻運(yùn)動模型研究[J].中國圖象圖形學(xué)報，2009，14（10）：2177?2180.

CHEN J J， XIAO G， YING X F， et al. Fish activity model based on tail swing frequency [J]. Journal of image & graphics， 2009， 14（10）： 2177?2180.

[9] 程淑紅，胡春海，蔣振洲，等.動態(tài)圖像序列中魚體體干運(yùn)動建模[J].光電工程，2012，39（3）：125?129.

CHENG S H， HU C H， JIANG Z Z， et al. The motion model for fish′s soma in dynamic image sequences [J]. Opto?electronic engineering， 2012， 39（3）： 125?129.

[10] 張融，鄭宏遠(yuǎn)，李錄，等.一種計量青鳉魚胸鰭和尾鰭擺動頻率和幅值的計算機(jī)視覺算法[J].生態(tài)毒理學(xué)報，2015，10（4）：154?161.

ZHANG Rong， ZHENG Hongyuan， LI Lu， et al. A computer vision algorithm which was used for measuring the oscillation frequency of the Japanese Medaka′s Pectoral fin and Caudal fin [J]. Asian journal of ecotoxicology， 2015， 10（4）： 154?161.

[11] 周振宇，邵振洲，施智平，等.基于機(jī)器視覺的魚類模式生物在線監(jiān)測技術(shù)方法研究[J].生態(tài)毒理學(xué)報，2016，11（1）：217?224.

ZHOU Zhenyu， SHAO Zhenzhou， SHI Zhiping， et al. Study on the method of fish model organism on?line monitoring technology based on machine vision [J]. Asian journal of ecotoxicology， 2016， 11（1）： 217?224.

[12] MING J， SHU Z， HE X Y. Instantaneous three?dimensional profile measurement of tail fin of carp [J]. Optics & precision engineering， 2009， 17（9）： 2165?2169.

[13] 胡江龍，方景龍，王大全.多目標(biāo)跟蹤算法在水質(zhì)監(jiān)測中的應(yīng)用[J].機(jī)電工程，2012，29（5）：613?615.

HU J L， FANG J L， WANG D Q. Water quality monitoring using multi?object tracking algorithm [J]. Journal of mechanical & electrical engineering， 2012， 29（5）： 613?615.

[14] WANG H， LIANG Y， WANG Z. Otsu image threshold segmen?tation method based on new genetic algorithm [J]. Laser technology， 2014， 38（3）： 364?367.