謝忠紅,于 樂,梁敬東,李 飛,王翠花

(1.南京農(nóng)業(yè)大學(xué)信息科學(xué)技術(shù)學(xué)院，江蘇 南京 210095；2.南京農(nóng)業(yè)大學(xué)植物保護(hù)學(xué)院，江蘇 南京 210095)

?

·計算機(jī)軟件理論、技術(shù)與應(yīng)用·

基于視頻的果蠅求偶行為識別和運(yùn)動軌跡跟蹤預(yù)測

謝忠紅1,于 樂1,梁敬東1,李 飛2,王翠花2

(1.南京農(nóng)業(yè)大學(xué)信息科學(xué)技術(shù)學(xué)院，江蘇 南京 210095；2.南京農(nóng)業(yè)大學(xué)植物保護(hù)學(xué)院，江蘇 南京 210095)

針對人工檢測果蠅求偶行為效率低、果蠅軌跡跟蹤困難的問題,提出一種基于視頻的果蠅求偶行為識別和運(yùn)動軌跡跟蹤預(yù)測的方法。首先采用Ostu法實現(xiàn)圖像分割，并使用外接橢圓鎖定果蠅目標(biāo)，根據(jù)果蠅位置關(guān)系和差值圖像灰度均方差進(jìn)行求偶行為誤判篩除；然后提取果蠅輪廓的形狀特征(面積，周長，似圓度等)和7個不變矩特征，并依據(jù)特征信息實現(xiàn)果蠅求偶行為的識別；最后采用卡爾曼濾波和特征匹配的軌跡跟蹤方法實現(xiàn)運(yùn)動果蠅的跟蹤預(yù)測。實驗結(jié)果表明，該方法能夠準(zhǔn)確識別果蠅的求偶行為和運(yùn)動跟蹤預(yù)測。

果蠅；求偶行為；跟蹤；卡爾曼濾波

求偶行為是動物與生俱來的復(fù)雜行為，果蠅作為理想的模式生物被廣泛地用于求偶行為的研究[1]。果蠅求偶時，雄果蠅的行為呈現(xiàn)固定模式：朝向雌蠅，拍打雌蠅，跟隨雌蠅，振動一側(cè)翅膀?qū)Υ葡壋扒笈几琛?，舔雌蠅尾部，試圖交尾和交尾[1-3]。傳統(tǒng)果蠅求偶行為的觀測方式是人工觀測，但這種方法的效率和準(zhǔn)確率都非常低；因此，急須一種新的方法代替。利用計算機(jī)視覺技術(shù)[4-17]實現(xiàn)果蠅求偶行為的自動識別不僅能節(jié)省人力、物力還有助于觀察果蠅的動作細(xì)節(jié)，深入探究果蠅求偶行為的奧秘。吳偉忠等[4]使用微機(jī)技術(shù)對黑腹果蠅求偶歌節(jié)律進(jìn)行測量，首次測量出黑腹果蠅ipi節(jié)律周期平均值約為53 s。后來的研究結(jié)果表明，這一節(jié)律僅表現(xiàn)在部分果繩的求偶歌中[3，5-6]。梁敬東等[3]探討了基于圖形圖像處理技術(shù)的果蠅求偶行為的微機(jī)檢測與識別的方法，設(shè)計了求偶果蠅檢測算法，該方法具有較高的效率和可靠性。謝元澄等[1]設(shè)計了一種機(jī)器學(xué)習(xí)分類算法，實現(xiàn)對果蠅求偶行為的自動識別，檢測正確率達(dá)到了(91.6±0.036)%，其中正樣本的漏檢率為(3.0±0.023)%，負(fù)樣本的誤檢率為( 9.75±0.041)%。從已有的文獻(xiàn)資料看，利用機(jī)器視覺技術(shù)對果蠅求偶行為的研究才剛剛起步，研究工作主要集中在求偶瞬間的果蠅動作上。本文利用機(jī)器視覺技術(shù)實現(xiàn)果蠅運(yùn)動軌跡的自動跟蹤，以再現(xiàn)果蠅運(yùn)動軌跡和求偶行為。

1 果蠅運(yùn)動軌跡再現(xiàn)試驗平臺

1.1 視覺檢測平臺

在南京農(nóng)業(yè)大學(xué)植物保護(hù)學(xué)院試驗室，選擇直徑為35 cm的封閉且透明的昆蟲玻璃培養(yǎng)平皿，并將其倒扣在無菌操作臺上，使用OLYMPUS SZX10體視顯微鏡拍攝，其圖像采集裝置如圖1所示。試驗主要處理工作分為2步：1)選取多只在玻璃培養(yǎng)皿(倒扣、封閉、透氣、透明) 中的運(yùn)動果蠅為研究對象[3]，采集果蠅活動視頻，設(shè)計軌跡跟蹤算法實現(xiàn)果蠅運(yùn)動軌跡的自動跟蹤；2)使用乙醇?xì)怏w持續(xù)不斷地作用于玻璃培養(yǎng)皿(倒扣、封閉、透氣、透明) 中的同性果蠅，使雄性果蠅之間在168 h內(nèi)持續(xù)不斷地發(fā)生同性求偶行為[1]，采用攝像機(jī)拍攝其活動視頻，探討計算機(jī)自動檢測果蠅求偶行為的算法。

圖1 圖像采集裝置

1.2 研究的技術(shù)路線

為能夠從視頻中識別出果蠅的求偶行為，本次研究的基本流程是：首先采用攝像機(jī)拍攝果蠅活動視頻；然后從視頻中按時間順序獲取幀，保存為連續(xù)圖像序列，對每幀圖像進(jìn)行預(yù)處理(增強(qiáng)、去噪)后，分割出果蠅目標(biāo)；接著提取目標(biāo)對象的位置、形狀、灰度等相關(guān)特征；最后基于這些特征進(jìn)行行為判別和軌跡跟蹤。具體的技術(shù)路線如圖2所示。

圖2 技術(shù)路線圖

2 果蠅求偶行為檢測

2.1 生成背景和刷新背景

果蠅為運(yùn)動目標(biāo)，并不是長時間停留在某個點(diǎn)，因此圖像中每個素點(diǎn)的灰度值在多數(shù)時刻為背景灰度。為此，可利用第k幀及其后面連續(xù)多幀的圖像(k+1、k+2、…)生成Δt時間內(nèi)的背景圖像。具體步驟如下。

1)令背景生成的時間間隔為Δt，初始化計時器Time=0。

2)選取當(dāng)前幀記為Framek， Back′(i,j)也記為第k幀的圖像，令視頻第1幀開始時刻為t1,Time=0，Time開始計時。

3)計算Framek的灰度直方圖，找到所有果蠅目標(biāo)，共n個 ，用外接矩形標(biāo)記所有果蠅，外接矩形左上角(x1,y1),右下角(x2,y2)，依據(jù)第k幀和k+1、k+2、…、k+m的連續(xù)幀序列，計算出新的背景圖像 Backk(i,j)。

4)s=1。

5)在Framek選擇第s只果蠅目標(biāo)，設(shè)外接矩形區(qū)域中的像素點(diǎn)坐標(biāo)為Rectk,s(i,j)，依據(jù)式(1)計算該矩形區(qū)域的背景圖像為B-Rectk,s(i,j),將B-Rectk,s(i,j)與已生成的背景Back′(i,j)合并生成新的Back′(i,j) 。

B_Rectk,s(i,j)=max frequency(Rectk,s(i,j))。

(1)

式中frequency 函數(shù)表示像素點(diǎn)(i,j)在k、k+1、k+2、…、k+m連續(xù)幀中出現(xiàn)次數(shù)最多的灰度值。

6)如果∑|Back(i,j)-Back′(i,j)|<θ，則該時間片背景生成結(jié)束轉(zhuǎn)到步驟7)，否則s=s+1, Back(i,j)= Back′(i,j) 轉(zhuǎn)到步驟5)。

7)若視頻已是最后1幀，則算法結(jié)束；若Time=Δt，則轉(zhuǎn)2)；若Time！=Δt，則 Time繼續(xù)計時，轉(zhuǎn)步驟7)。

生成背景圖像的過程，如圖3所示，(a)為第k幀圖像，(b)—(g)為去除背景中間圖像，(h)為生成的背景圖。

(a)

(b)

(c)

(d)

(e)

(f)

(g)

(h)

2.2 輪廓提取

首先將灰度圖Gray與背景圖Back相減得到對應(yīng)的差值圖像Diff；然后通過大津法計算差值圖像Diff的分割閾值T，實現(xiàn)圖像二值化；接著對二值圖像進(jìn)行多次腐蝕操作減少果蠅軀干輪廓的粘連、重疊，其過程如圖4所示。

(a)灰度圖像

((b)差值灰度圖

((c)二值軀干圖

2.3 求偶行為預(yù)篩

2.3.1 果蠅間相對位置的預(yù)篩選

果蠅的求偶行為表現(xiàn)為單側(cè)振翅和尾隨，因此2只果蠅須滿足一定的位置關(guān)系，如圖5所示。圖5中A、B2點(diǎn)為2只果蠅對應(yīng)擬合橢圓的中心，L1和L2分別為2個橢圓的長軸方向的直線，A、B之間的的直線為L3。假設(shè)單只果蠅軀干的平均長度為L(L=10 pixel),則2只發(fā)生求偶行為的果蠅具有如下特征：中心點(diǎn)A、B之間的距離應(yīng)該在[L，2L]之內(nèi)，2只果蠅軀干所在軸線L1、L2間的夾角范圍為[0，π/2]，并且L3與L1之間的夾角范圍為[0，π/4]。

位置預(yù)篩的基本步驟為：1)計算A和B之間的距離，并記為D；2)計算L1、L2間的夾角，并記為θ2；3)計算L3與L1間的夾角，并記為θ1；4)計算D∈[L，2L]&&θ2∈[0，π/2]&&θ1∈[0，π/4]的結(jié)果，若為假就判定為不是求偶行為，提前篩除。

圖5 求偶果蠅間的位置關(guān)系

2.3.2 基于差值圖像灰度均方差的預(yù)篩選

果蠅圖像可分為3類：第1類果蠅數(shù)目多且擁擠，人工識別求偶行為非常困難，應(yīng)提前篩除該類局部圖像，如圖6所示；第2類果蠅翅膀在局部圖像中所占區(qū)域較小，甚至完全收攏，不可能發(fā)生求偶行為，也應(yīng)篩除，如圖7所示；第3類果蠅翅膀在局部圖像中所占區(qū)域較大，其中部分果蠅張開了單側(cè)翅膀，可能發(fā)生求偶行為，如圖8所示。

(a)

(b)

(c)

(d)

(a)

(b)

(c)

(d)

(a)

(b)

(c)

(d)

圖像的灰度均方差是衡量圖像質(zhì)量和均勻度等的重要指標(biāo)。在本研究中，為提前篩除第1類和第2類果蠅，定義了差值圖像的灰度均方差Diff_Mse，為

(2)

表1 果蠅差值圖像的灰度均方差

為有效減少檢索范圍，本文采用基于差值圖像灰度均方差的篩除方法：1)若Diff_MseT2(T2=1.3)時，果蠅翅膀所占比例過小，不可能發(fā)生求偶行為，也提前篩除。

2.4 求偶行為識別

1)幾何形態(tài)識別。

選擇單側(cè)振翅果蠅和未振翅果蠅各30只，計算出各幾何參數(shù)的取值范圍，如表2所示。通過多個幾何參數(shù)的計算發(fā)現(xiàn)，單側(cè)振翅的果蠅與未振翅果蠅在輪廓面積、周長和似圓度上差距較大，其他幾何參數(shù)無明顯差距，如圖9所示。圖中(a)—(c)為單側(cè)振翅，(d)—(f)為未振翅?；诖?，通過多次實驗得到最佳的參數(shù)取值范圍是：面積(220.00,350.00)、周長(70.00,100.00)、似圓度(0.25,0.50)。

(a)

(b)

(c)

(d)

(e)(f)

果蠅類別形狀特征面積/pixel周長/pixel似圓度長軸/短軸單側(cè)振翅224～34678～970．33～0．492．44～3．33未振翅1306～23159～780．44～0．582．46～3．42

2)不變矩。

不變矩具有平移、縮放以及旋轉(zhuǎn)不變性，被廣泛地應(yīng)用在模式識別中。Hu提出p+q≤3的7個不變矩對平移、旋轉(zhuǎn)、鏡面以及尺度變換均具有不變性[18]，因此，本研究以7個不變矩作為果蠅輪廓的特征參數(shù)，如表3所示。研究中分析了30幅果蠅求偶圖片，計算了具有求偶行為的果蠅的7個不變矩參數(shù)的絕對值取值范圍，為：φ1(1.2,1.5，)、φ2(3.8，4.5)、φ3(7.3,8.1)、φ4(8.9,9.6)、φ5(17.3,18.3)、φ6(11.5,12.5)、φ7(17.9,18.5)。

表3 圖9中6只果蠅的7個不變矩特征值

通過2次預(yù)篩選后，剩下來的果蠅圖像可能就是有求偶行為的圖像，再計算圖像中果蠅目標(biāo)的幾何形態(tài)特征和7個不變矩特征，即可找出發(fā)生求偶行為的果蠅。

在多樣本中，通過本文方法判斷識別出4種情況為果蠅求偶行為，其位置如圖10所示，均方差及相關(guān)的特征信息如表4所示。

(a)

(b)

(c)

(d)

特征值圖編號(a)(b)(c)(d)均方差0．980．941．040．92面積325．2270．3324．3320．1周長94．290．394．793．6似圓度0．450．370．440．45φ1-1．3-1．4-1．5-1．3φ2-4．2-4．1-4．1-4．2φ3-7．7-7．7-7．4-7．6φ4-9．4-9．4-9．3-9．4φ5-17．8-17．9-17．9-18．1φ6-12．0-11．7-11．8-11．9φ7-18．2-18．1-18．0-18．1

3 基于卡爾曼濾波的果蠅運(yùn)動軌跡跟蹤預(yù)測

3.1 基于卡爾曼濾波的果蠅跟蹤算法原理

卡爾曼濾波器是一種基于線性最小均方差預(yù)測的最優(yōu)線性遞歸濾波方法[14-15]，卡爾曼濾波器的解為：

(3)

式中：Xk和Xk-1為k和k-1時刻的狀態(tài)向量；Zk為k時刻的觀測向量；Fk為系統(tǒng)狀態(tài)轉(zhuǎn)移矩陣；Hk是觀測矩陣；Wk-1為系統(tǒng)噪聲；Vk為觀測噪聲；Wk-1和Vk均是零均值。

選擇運(yùn)動果蠅的質(zhì)心P(a,b)和外接橢圓(長軸h、短軸s)，進(jìn)行跟蹤。質(zhì)心P的運(yùn)動矢量為(vx, vy)。設(shè)果蠅運(yùn)動狀態(tài)向量為X和觀測向量為Z, 系統(tǒng)的狀態(tài)轉(zhuǎn)移矩陣為F和觀測矩陣為H。

X=(a,b,h,s,vx,vy)T；

(4)

Z=(a,b,h,s)T；

(5)

(6)

(7)

果蠅的初速度和外接橢圓的變化初速度均為0。 對第k幀中所有果蠅利用鄰域軌跡預(yù)測判斷其在第k+1幀中應(yīng)該出現(xiàn)的區(qū)域，計算該區(qū)域中果蠅的個數(shù)n。

若n=1，利用k+1幀中該果蠅的位置進(jìn)行運(yùn)動軌跡的Kalman濾波估計，修正濾波中的狀態(tài)估計值。

若n>1,說明出現(xiàn)軌跡交聯(lián),先用Kalman濾波預(yù)測目標(biāo)的位置，然后與n個目標(biāo)位置進(jìn)行對比，運(yùn)用特征匹配和公式(8)找出δ2最小的位置(xp,yp)，更新為果蠅位置，并繼續(xù)修正狀態(tài)估計值。

δ2=(x-x′)2+(y-y′)2。

(8)

式中：(x,y)表示預(yù)測的果蠅位置；(x′,y′)果蠅當(dāng)前真實的位置。

若n=0,說明跟蹤區(qū)域內(nèi)果蠅可能丟失，使用Kalman濾波預(yù)測出該區(qū)域內(nèi)的原來跟蹤的果蠅在第k+1幀中應(yīng)該出現(xiàn)的位置，同時更新為該果蠅位置，繼續(xù)預(yù)測 ，設(shè)定連續(xù)預(yù)測的次數(shù)不大于T(T取值為3)，若3次預(yù)測后該區(qū)域中果蠅的個數(shù)n依然為0，則判定該果蠅已經(jīng)完全丟失,放棄跟蹤。

最后對第k+1幀中存在的果蠅目標(biāo)區(qū)域到其對應(yīng)的前一幀(第k幀)中尋找匹配的果蠅，如果沒有找到果蠅則說明不存在相應(yīng)的匹配果蠅，反之說明該區(qū)域?qū)?yīng)著第k+1幀中新增果蠅并記錄著這果蠅的位置信息。

3.2 果蠅軌跡跟蹤預(yù)測結(jié)果

對視頻中果蠅的跟蹤過程如圖11所示。綠色和深綠色2只果蠅分別記為1號果蠅和2號果蠅，對2只果蠅在每幀中的坐標(biāo)信息進(jìn)行記錄，繪制其軌跡,如圖12所示，并對10 s內(nèi)果蠅對象的實際坐標(biāo)和預(yù)測坐標(biāo)進(jìn)行定量比較：1號果蠅實際坐標(biāo)和預(yù)測坐標(biāo)x方向的平均誤差為 4 pixel,y方向的平均誤差為5 pixel，如圖13所示；2號果蠅實際坐標(biāo)和預(yù)測坐標(biāo)x方向的平均誤差為 5 pixel,y方向的平均誤差為6 pixel，如圖14所示。圖中(x,y)為實際位置，(x′,y′)為預(yù)測位置。

(a)初始狀態(tài)圖

(b)跟蹤狀態(tài)圖

(c) 跟蹤過程中狀態(tài)圖

(d) 跟蹤最終的狀態(tài)圖

(a)1號果蠅軌跡跟蹤圖

(b) 2號果蠅軌跡跟蹤圖

圖13 1號果蠅的卡爾曼濾波預(yù)測坐標(biāo)與實際位置對比

圖14 2號果蠅的卡爾曼濾波預(yù)測坐標(biāo)與實際位置對比

4 結(jié)論

本文提出一種基于視頻的果蠅求偶行為識別和運(yùn)動軌跡跟蹤預(yù)測方法。首先根據(jù)果蠅位置關(guān)系和差值圖像灰度均方差對圖像進(jìn)行篩選，然后提取果蠅輪廓的形狀特征(面積、周長、似圓度等)和7個不變矩特征，并依據(jù)特征信息識別果蠅求偶行為，最后采用卡爾曼濾波和特征匹配預(yù)測運(yùn)動果蠅的軌跡。

研究中還存在問題，需投入更大的精力進(jìn)行研究。1)在圖像預(yù)處理模塊，因為果蠅的翅膀呈半透明，且經(jīng)常處于振動狀態(tài)，這就使得翅膀與背景差異小，分割結(jié)果有一定誤差；培養(yǎng)皿有時存在刻痕和污漬，也會引入誤差。 2)基于卡爾曼濾波的多目標(biāo)跟蹤算法是基于數(shù)據(jù)關(guān)聯(lián)的，當(dāng)果蠅數(shù)目較多時，計算量巨大；在果蠅發(fā)生遮擋、運(yùn)動方式突然發(fā)生變化時跟蹤會不穩(wěn)定，甚至丟失跟蹤目標(biāo)。

[1]謝元澄，梁敬東，王書平,等.基于特征選擇集成學(xué)習(xí)的果蠅求偶行為識別[J].南京農(nóng)業(yè)大學(xué)學(xué)報,2011,34(6):82.

[2]苗雪霞,黃勇平.果蠅求偶行為的影響因素及其分子基礎(chǔ)[J].昆蟲知識,2008,45(1):5.

[3]梁敬東,余倩倩,謝元澄,等.果蠅求偶行為計算機(jī)檢測識別方法[J].江蘇農(nóng)業(yè)學(xué)報,2011,27(1):209.

[4]吳偉忠,陳暨耀,蔡懷新,等.用微機(jī)技術(shù)測量黑腹果蠅(Drosophila melanogaster)求偶歌節(jié)律[J]．復(fù)旦學(xué)報(自然科學(xué)版),1988,27(4):402．

[5]陳暨耀,吳偉忠,蔡懷新，等.用新的計量方法研究黑腹果蠅的求愛歌[J]. 動物學(xué)研究,1988,9(2):133.

[6]孫吉祥,梁敬東,謝元澄,等.一種自適應(yīng)的運(yùn)動目標(biāo)模糊邊緣檢測方法[J].計算機(jī)與數(shù)字工程,2012,40(10):126.

[7]Ojala T， Pietikinen M， Harwood D.A Comparative Study of Texture Measures with Classification Based on Feature Distributions[J]．Pattern Recognition，1996，29(1):51.

[8]楊耿.運(yùn)動目標(biāo)的圖像識別與跟蹤研究[D]. 鎮(zhèn)江:江蘇大學(xué)，2005.

[9]劉曉麗.基于機(jī)器視覺的異常行為檢測[D]. 鞍山:遼寧科技大學(xué),2011.

[10]蔣戀華，甘朝暉，蔣旻.多目標(biāo)跟蹤綜述[J].計算機(jī)系統(tǒng)應(yīng)用,2010,19(12):10.

[11]邵春福,李娟,趙熠,等.行人交通的視頻檢測方法綜述[J].交通運(yùn)輸系統(tǒng)工程與信息,2008(4):23.

[12]劉軒.基于圖像處理的行人運(yùn)動微觀行為特征實驗研究[D].合肥：中國科學(xué)技術(shù)大學(xué)，2009.

[13]沈濤.基于視頻檢測的行人交通參數(shù)提取技術(shù)研究[D].北京:北京交通大學(xué),2011.

[14]Blanding Wayne R，Wille Peter K, Bar-Shalom Yaakov. Multiple Target Tracking using Maximum Likelihood Probabilistic Data Association[C]//IEEE Aerospace Conference Proceedings, 2007 IEEE Aerospace Conference Digest. Big Sky, MT: IEEE,2007：416-445.

[15]皮燕妮,史忠科,黃金.智能車中基于單目視覺的前車檢測和跟蹤[J]. 計算機(jī)應(yīng)用,2005,25(1):220.

[16]謝忠紅,姬長英. 基于顏色模型和紋理特征的彩色水果圖像分割方法[J]. 西華大學(xué)學(xué)報(自然科學(xué)版),2009,28(4):41.

[17]謝忠紅,蘇堅,郭小清,等. 自然場景下樹上桃子生長形態(tài)的識別[J]. 西華大學(xué)學(xué)報(自然科學(xué)版),2015,34(2):6.

[18]張明恒，韓月林，趙一兵，等.基于改進(jìn)Hu不變矩的路面交通標(biāo)識識別[J].大連理工大學(xué)學(xué)報，2012，52(6):908.

(編校：饒莉)

Drosophila Movement Trajectory andCourtship Behavior Reappearance Based on Video Processing

XIE Zhonghong1,YU Le1,LIANG Jingdong1， LI Fei2,WANG Cuihua2

(1.College of Information Technology, Nanjing Agriculture University, Nanjing 210095 China；2.CollegeofPlantProtection,NanjingAgriculturalUniversity,Nanjing210095China)

A method of drosophila movement trajectory and courtship behavior reappearance based on video processing is proposed to increase the manual detection efficiency of drosophila courtship behavior and track the drosophila movement trajectory more easily. After the image was segmented with Ostu algorithm, the drosophilas were located in circumscribed ellipses. Then shape characters(area, perimeter and roundness) and 7 moment invariant characters were achieved, and fake courtship drosophilas were deleted according to positional relation and gray mean variance of the difference image, and drosophila courtship behavior was recognized with the shape characters and moment invariant characters. Finally Kalman filter and feature matching method were used to predict drosophila movement trace. The experiment result shows that the method presented in this paper could recognize courtship behavior of drosophila and stalk moving drosophila accurately.

drosophila；courtship behavior；movement trajectory；Kalman filter

2016-01-21

中央高校基本科研業(yè)務(wù)費(fèi)項目(KYZ201670)；國家轉(zhuǎn)基因生物新品種培育重大專項(2009ZX08001-002B)。

謝忠紅(1977—)，女，副教授，博士，主要研究方向為計算機(jī)圖像處理、模式識別、農(nóng)業(yè)機(jī)器人視覺。E-mail：xiezh @njau.edu.cn

TP391.41

A

1673-159X(2016)05-0018-7

10.3969/j.issn.1673-159X.2016.05.004