宋懷波，吳頔華，陰旭強(qiáng)，姜 波，何東健

基于Lucas-Kanade稀疏光流算法的奶牛呼吸行為檢測(cè)

宋懷波，吳頔華，陰旭強(qiáng)，姜 波，何東健

（1. 西北農(nóng)林科技大學(xué) 機(jī)械與電子工程學(xué)院，楊凌 712100；2. 農(nóng)業(yè)農(nóng)村部農(nóng)業(yè)物聯(lián)網(wǎng)重點(diǎn)實(shí)驗(yàn)室，楊凌 712100；3. 陜西省農(nóng)業(yè)信息感知與智能服務(wù)重點(diǎn)實(shí)驗(yàn)室，楊凌 712100）

奶牛呼吸行為的智能檢測(cè)對(duì)于奶牛疾病的自動(dòng)診斷及奶牛精準(zhǔn)養(yǎng)殖具有重要意義。該研究基于Lucas-Kanade稀疏光流算法，提出了一種適合于非結(jié)構(gòu)化養(yǎng)殖環(huán)境的無接觸式單目標(biāo)奶牛呼吸行為檢測(cè)方法。通過在HSV顏色空間完成奶牛目標(biāo)的提取，然后通過Canny算子和掩模操作完成奶牛所有花斑邊界的檢測(cè)，再利用 Lucas-Kanade稀疏光流算法計(jì)算提取奶?；ò哌吔绻饬?，最后根據(jù)視頻序列幀中花斑邊界平均光流的方向變化規(guī)律實(shí)現(xiàn)奶牛呼吸行為的檢測(cè)。為了驗(yàn)證本研究算法的有效性，利用不同環(huán)境下獲取的105段共計(jì)25 200幀數(shù)據(jù)進(jìn)行了測(cè)試，并與基于整體Lucas-Kanade光流法、整體Horn-Schunck光流法和基于花斑邊界的Horn-Schunck光流法進(jìn)行了對(duì)比驗(yàn)證。試驗(yàn)結(jié)果表明，該研究算法的幀處理耗時(shí)在0.10～0.13 s之間，在試驗(yàn)視頻上的平均運(yùn)行時(shí)間為14.14 s。奶牛呼吸行為檢測(cè)的準(zhǔn)確率為83.33%～100%之間，平均準(zhǔn)確率為98.58%。平均運(yùn)行時(shí)間較基于整體Lucas-Kanade光流法的呼吸行為檢測(cè)方法慢1.60 s，較Horn-Schunck整體光流的呼吸行為檢測(cè)方法快7.30 s，較基于花斑邊界的Horn-Schunck光流法快9.16 s。呼吸行為檢測(cè)的平均準(zhǔn)確率分別高于3種方法1.91、2.36、1.26個(gè)百分點(diǎn)。研究結(jié)果表明，通過Lucas-Kanade光流法檢測(cè)奶?；ò哌吔缙骄饬鞣较蜃兓瘜?shí)現(xiàn)奶牛呼吸行為檢測(cè)是可行的，該研究可為奶牛熱應(yīng)激行為的自動(dòng)監(jiān)測(cè)及其他與呼吸相關(guān)疾病的遠(yuǎn)程診斷提供參考。

奶牛；算法；呼吸行為檢測(cè)；Lucas-Kanade光流法；花斑邊界

0 引 言

奶牛呼吸行為與其健康狀態(tài)緊密相關(guān)，對(duì)奶牛呼吸行為進(jìn)行自動(dòng)監(jiān)測(cè)有助于養(yǎng)殖人員對(duì)奶牛生理健康狀態(tài)的評(píng)估，便于奶牛疾病的及時(shí)治療[1-6]。奶牛呼吸行為的檢測(cè)主要通過人工計(jì)數(shù)完成，人力和時(shí)間成本高，準(zhǔn)確率低。奶牛呼吸行為的自動(dòng)監(jiān)測(cè)對(duì)大規(guī)模養(yǎng)殖場(chǎng)實(shí)現(xiàn)遠(yuǎn)程診斷、降低奶牛淘汰率以及精準(zhǔn)養(yǎng)殖具有重要意義[7]。

呼吸行為監(jiān)測(cè)研究可大致分為接觸式和非接觸式方法2種[8-9]。Choi等[10]利用一條圍繞著人體胸部或者腹部的導(dǎo)線作為電感傳感器，通過調(diào)頻方式檢測(cè)呼吸周期和頻率，實(shí)現(xiàn)了人體呼吸頻率的準(zhǔn)確檢測(cè)。Chakraborty等[11]提出了一種基于電容式壓力傳感器技術(shù)的人體呼吸頻率檢測(cè)方法，通過測(cè)量呼吸時(shí)電容式壓力傳感器氣體壓力的變化來計(jì)算呼吸頻率。馬俊領(lǐng)等[12]提出了一種基于PPG（photo plethysmo graphy）的呼吸頻率測(cè)量方法，通過反射式光電檢測(cè)法獲取人體動(dòng)脈PPG信號(hào)并解調(diào)出呼吸頻率，檢測(cè)結(jié)果與呼吸監(jiān)護(hù)儀測(cè)量結(jié)果的相關(guān)系數(shù)為0.94。高小強(qiáng)等[13]提出了一種基于霍爾傳感器微陣列的呼吸頻率檢測(cè)方法，通過霍爾傳感器陣列對(duì)呼吸過程中永磁鐵位置的檢測(cè)判斷呼氣和吸氣過程并計(jì)算呼吸頻率，平均準(zhǔn)確率高于95.00%。范霖等[14]提出了一種基于快速響應(yīng)濕度傳感器的呼吸頻率檢測(cè)方法，通過固定在鼻翼附近的濕度傳感器檢測(cè)鼻孔附近濕度的變化來計(jì)量呼吸頻率，平均準(zhǔn)確率為95.57%，但當(dāng)空氣濕度較大時(shí)檢測(cè)靈敏度較低。上述方法利用高精度接觸式傳感器檢測(cè)呼吸行為，但對(duì)于奶牛目標(biāo)，接觸式傳感器會(huì)引起奶牛的應(yīng)激行為，且易受奶牛刮蹭、水分滲入、天氣變化等因素影響，造成元器件損壞，影響檢測(cè)裝置的使用壽命。視頻分析技術(shù)成本低、響應(yīng)速度快，同時(shí)可以避免因與奶牛直接接觸所導(dǎo)致的應(yīng)激問題，是奶牛呼吸行為監(jiān)測(cè)的重要發(fā)展方向[15]。

針對(duì)呼吸行為的非接觸式檢測(cè)，Lee等[16]提出了一種利用多普勒微波雷達(dá)檢測(cè)人體呼吸的方法。通過多普勒微波雷達(dá)的收發(fā)模塊感受腹部起伏時(shí)接收信號(hào)的變化，利用Matlab對(duì)接收信號(hào)進(jìn)行處理，實(shí)現(xiàn)了4種不同類型人體呼吸頻率的檢測(cè)。Benetazzo等[17]提出了一種基于深度圖像的呼吸頻率檢測(cè)方法，利用Kinect深度相機(jī)獲取胸部區(qū)域深度數(shù)據(jù)平均值作為呼吸信號(hào)，經(jīng)傅里葉變換獲得呼吸頻率。紀(jì)濱等[18]通過機(jī)器視覺方法跟蹤豬腹脊線的起伏來獲取呼吸頻率，呼吸識(shí)別精度高于85.00%。趙凱旋等[19]采用Horn-Schunck光流法計(jì)算奶牛腹部起伏光流速度方向的周期變化，據(jù)此獲得奶牛的呼吸頻率，呼吸頻率檢測(cè)準(zhǔn)確率為95.68%。

上述方法中，微波雷達(dá)和深度相機(jī)在養(yǎng)殖場(chǎng)大面積布置成本較高且奶牛體型較大，腹脊線變化不明顯；Horn-Schunck光流法可以較高精度檢測(cè)出奶牛呼吸行為，但其屬于稠密光流，檢測(cè)速度和實(shí)時(shí)性欠佳。本研究擬提出一種基于Lucas-Kanade稀疏光流法的單目標(biāo)奶牛呼吸行為檢測(cè)方法，通過對(duì)奶牛呼吸視頻幀圖像進(jìn)行處理，去除無關(guān)背景并提取出奶牛花斑邊界，再計(jì)算幀圖像中花斑邊界的光流，統(tǒng)計(jì)幀圖像花斑邊界光流方向的變化規(guī)律，以期實(shí)現(xiàn)奶牛呼吸行為的準(zhǔn)確、快速自動(dòng)檢測(cè)，為實(shí)現(xiàn)基于視頻的單目標(biāo)奶牛呼吸行為相關(guān)疾病尤其是熱應(yīng)激行為的自動(dòng)監(jiān)測(cè)和遠(yuǎn)程診斷提供參考。

1 材料與方法

1.1 奶牛呼吸視頻的獲取

試驗(yàn)視頻于2018年9月至11月在陜西省楊凌科元克隆股份有限公司的奶牛養(yǎng)殖場(chǎng)采集，拍攝對(duì)象為側(cè)臥泌乳中期的荷斯坦奶牛。在奶牛側(cè)臥期間，將一臺(tái)SONY HDR-CX290型攝像機(jī)用三腳架固定在距離奶牛垂直距離約3 m處，調(diào)整攝像機(jī)使得奶牛的身體軀干部分占屏幕的80%～90%。試驗(yàn)采集105段奶牛呼吸視頻，共計(jì)25 200幀，每段視頻時(shí)長(zhǎng)為10 s，幀率為24 fps，視頻信息如表1所示。

在目標(biāo)選擇上，105段試驗(yàn)視頻分別采集于3組花斑數(shù)量不同（稀少、較少、較多）的奶牛，以確保算法對(duì)不同奶牛目標(biāo)的適應(yīng)性；在天氣上，包含晴天無風(fēng)、晴天微風(fēng)、晴天大風(fēng)、陰天無風(fēng)、陰天微風(fēng)、陰天大風(fēng)等天氣，以驗(yàn)證算法對(duì)環(huán)境的魯棒性。由于奶牛體型較大，呼吸特征不明顯，在呼吸行為檢測(cè)時(shí)易受奶牛頭部、腿部活動(dòng)的影響，奶牛呼吸特征檢測(cè)難度較大，且干擾因素較多（天氣、風(fēng)力、飛蟲、飛鳥等），導(dǎo)致奶牛呼吸特征獲取困難，且無關(guān)背景存在光照變化，進(jìn)一步增加了奶牛呼吸行為檢測(cè)的難度。

本試驗(yàn)視頻處理平臺(tái)為裝有Windows 8.1專業(yè)版系統(tǒng)的臺(tái)式電腦，配置有Intel E5-1620處理器，處理器主頻為3.50 GHz，32 GB內(nèi)存，算法開發(fā)平臺(tái)為Matlab 2018b。

1.2 基于Lucas-Kanade稀疏光流的奶牛呼吸行為檢測(cè)

1.2.1 總體技術(shù)路線

本研究中擬采用的技術(shù)路線如圖1所示，首先將載入視頻分解成視頻序列幀并轉(zhuǎn)換至HSV顏色空間，在HSV顏色空間中去除各幀圖像無關(guān)背景，提取出奶牛目標(biāo)并進(jìn)行二值化處理，然后對(duì)提取出的奶牛目標(biāo)進(jìn)行邊緣檢測(cè)以獲得奶牛花斑邊界，將邊緣檢測(cè)結(jié)果作為掩模，在原始灰度圖中提取出奶牛花斑邊界灰度圖，再通過Lucas-Kanade光流法求得每幀奶?；ò哌吔缁叶葓D的光流，計(jì)算每幀圖像平均光流方向，根據(jù)平均光流方向變化規(guī)律統(tǒng)計(jì)獲得奶牛的呼吸行為數(shù)據(jù)。

表1 奶牛呼吸視頻信息統(tǒng)計(jì)

圖1 奶牛呼吸行為檢測(cè)技術(shù)路線圖

1.2.2 基于HSV顏色空間的奶牛目標(biāo)提取

為了避免背景光照變化對(duì)奶牛呼吸光流的影響，提高呼吸行為檢測(cè)算法對(duì)環(huán)境的魯棒性，本研究首先去除無關(guān)背景，提取奶牛目標(biāo)。由于奶?；ò哳伾炼容^高，本研究選擇在HSV顏色空間中的亮度通道完成奶牛目標(biāo)提取與去除無關(guān)背景。HSV顏色空間是面向感知的視覺彩色模型，是RGB顏色空間在倒圓錐體中的表示方法，在計(jì)算機(jī)視覺中應(yīng)用廣泛。參數(shù)表示色度（hue），代表飽和度（saturation），代表亮度（value）。RGB顏色空間到HSV顏色空間的公式如式（1）～（3）所示。

式中、、分別表示圖像中的紅色分量、綠色分量和藍(lán)色分量。

因相鄰2幀圖像的光流變化較小，若按照連續(xù)幀來計(jì)算奶牛呼吸時(shí)花斑邊界的光流圖，會(huì)影響算法的實(shí)時(shí)性。由于奶牛嚴(yán)重?zé)釕?yīng)激時(shí)的呼吸頻率上限與以2間隔幀選取視頻幀的采樣頻率滿足香農(nóng)采樣定理，因此可以用離散的2間隔幀表示原視頻序列幀信息[20-21]。為了更好地獲得奶牛呼吸時(shí)花斑邊界光流圖，本研究選取間隔為2幀的序列幀計(jì)算光流。選取第3組中視頻99的序列幀圖像去除無關(guān)背景并提取奶牛目標(biāo)，部分結(jié)果如圖2所示。

圖2 奶牛目標(biāo)提取結(jié)果

其中，圖2a至2c分別為視頻99的第3幀、第5幀和第7幀。首先，將按照2幀間隔讀取的幀圖像轉(zhuǎn)換至HSV顏色空間得到圖2d-2f，然后在HSV顏色空間中選取亮度通道，將分量二值化并擴(kuò)展至正?；叶确秶玫侥膛Ｄ繕?biāo)提取的掩模如圖2g-2i所示。受到糞污等干擾的影響，在奶牛目標(biāo)提取的掩模中花斑邊界周圍存在較多的細(xì)小噪聲以及細(xì)小連通域，對(duì)目標(biāo)提取掩模2g-2i利用3×3的高斯模板進(jìn)行濾波去除細(xì)小噪聲后，再用半徑為5的‘disk’型結(jié)構(gòu)元素進(jìn)行形態(tài)學(xué)開運(yùn)算去掉較小面積連通域，得到去噪后的目標(biāo)提取掩模，如圖2j-2l所示，利用去噪后的目標(biāo)提取掩模在灰度圖去除無關(guān)背景，提取出奶牛目標(biāo)如圖2m-2o所示?？梢园l(fā)現(xiàn)，該方法較好地實(shí)現(xiàn)了奶牛目標(biāo)的提取。

1.2.3 奶?；ò哌吔缣崛?/p>

為利用花斑邊界光流方向變化較魯棒地檢測(cè)奶牛呼吸行為，首先需提取奶牛所有花斑邊界，其邊緣定位精度關(guān)系到呼吸行為的檢測(cè)精度。因Canny算子所提取的圖像邊緣連接程度好且定位準(zhǔn)確性高，因此選用Canny邊緣檢測(cè)算子檢測(cè)花斑邊界[22]。并以此作為花斑邊界提取掩模，在幀圖像灰度圖中提取出奶牛的花斑邊界如圖3a-3c所示，結(jié)果表明該方法可以較完整提取出奶?；ò哌吔?，為利用花斑邊界光流檢測(cè)奠定了基礎(chǔ)。

圖3 奶?；ò哌吔缣崛〗Y(jié)果

1.2.4 基于Lucas-Kanade光流法檢測(cè)奶牛呼吸行為

奶牛呼吸時(shí)其腹部花斑會(huì)隨呼吸狀態(tài)的改變而規(guī)律性變化，根據(jù)已獲得的奶?；ò哌吔缁叶葓D，利用光流法建立奶牛呼吸時(shí)花斑邊界運(yùn)動(dòng)的光流，通過計(jì)算平均光流方向，根據(jù)方向的變化規(guī)律檢測(cè)奶牛的呼吸行為。Lucas-Kanade稀疏光流算法處理的像素點(diǎn)較少，耗時(shí)短[23]，該模型需滿足3個(gè)假設(shè)條件：1）亮度恒定，即同一點(diǎn)隨著時(shí)間的變化，其亮度不變。2）小運(yùn)動(dòng)，即隨著時(shí)間的變化不會(huì)引起位置的劇烈變化。3）空間一致，即場(chǎng)景中鄰近點(diǎn)投影到圖像上相鄰位置不變且鄰近點(diǎn)速度一致[24-28]。由條件（1）可知

由條件（3）可知，像素點(diǎn)(,)與鄰域內(nèi)的像素點(diǎn)運(yùn)動(dòng)相同，為求解像素點(diǎn)(,)的光流信息，可在目標(biāo)像素的鄰域建立約束方程，聯(lián)立并求解光流和，如式（7）所示。

利用式（7）獲得的目標(biāo)像素點(diǎn)的水平方向光流和垂直方向的光流。根據(jù)像素點(diǎn)(,)的2個(gè)方向光流計(jì)算出其光流方向，即目標(biāo)像素點(diǎn)(,)的光流與水平方向的夾角，如式（8）所示。

為了通過視頻序列幀的平均光流方向變化計(jì)算奶牛呼吸次數(shù)，利用式（9）計(jì)算出每一幀圖像平均光流的方向`，`表示平均光流與水平方向的夾角，式中θ為第個(gè)像素鄰域的光流方向。

呼吸行為計(jì)數(shù)方法如式（10），對(duì)比前后2幀圖像平均光流方向的變化，若大于90°則認(rèn)為前后2幀平均光流方向不同，即奶牛呼吸狀態(tài)發(fā)生變化，呼吸次數(shù)加1；否則呼吸次數(shù)保持不變。在判斷前后2幀圖像平均光流方向的變化時(shí)，還可采用如下方法：根據(jù)奶牛呼吸時(shí)花斑邊界沿直線運(yùn)動(dòng)的特點(diǎn)，通過計(jì)算前后2幀圖像平均光流方向余弦值的乘積，根據(jù)乘積的正負(fù)判斷2幀圖像平均光流的方向變化是否大于90°，再根據(jù)公式（10）即可完成呼吸行為的計(jì)數(shù)。

利用上述思路實(shí)現(xiàn)光流檢測(cè)的結(jié)果如圖4所示。其中圖4a-4c分別為第3組第99段視頻第3幀、第5幀和第7幀花斑邊界運(yùn)動(dòng)光流檢測(cè)結(jié)果，均可得到較完整的花斑邊界光流且光流方向清晰。可以看出，這3幀花斑邊界平均光流方向?yàn)樽?右-左的規(guī)律運(yùn)動(dòng)，對(duì)應(yīng)奶牛呼吸狀態(tài)的3次變換，其中第3幀、5幀是一次完整的呼吸，第7幀代表另一次呼吸時(shí)的吸氣狀態(tài)。若采用第2種方法來判斷平均光流方向變化，第3組的第99段視頻中奶?；ò哌吔缙骄饬鞣较驒z測(cè)結(jié)果如圖4d所示，顯然，平均光流方向變化有清晰的波峰和谷底，呼吸狀態(tài)變化清晰可分?？梢?，利用本方法進(jìn)行奶牛呼吸行為檢測(cè)具有較好效果。

2 評(píng)價(jià)指標(biāo)

為了驗(yàn)證上述本文所研究的呼吸行為檢測(cè)算法的快速性和準(zhǔn)確性，本研究采用運(yùn)行時(shí)間和準(zhǔn)確率指標(biāo)進(jìn)行評(píng)價(jià)。

算法運(yùn)行時(shí)間用來驗(yàn)證本研究算法快速性、實(shí)時(shí)性。分別在本研究中的呼吸行為檢測(cè)算法起點(diǎn)和終點(diǎn)設(shè)置初始計(jì)時(shí)點(diǎn)1和終止計(jì)時(shí)點(diǎn)2，計(jì)時(shí)終止點(diǎn)和初始點(diǎn)的時(shí)間間隔即算法運(yùn)行時(shí)間。

呼吸行為檢測(cè)準(zhǔn)確率用以驗(yàn)證本研究算法是否準(zhǔn)確。通過人工計(jì)數(shù)獲得各試驗(yàn)視頻中奶牛實(shí)際呼吸次數(shù)1，采用本研究算法檢測(cè)出的呼吸次數(shù)2，將2與1的比值定義為本研究算法檢測(cè)的準(zhǔn)確率，如式（11）所示。

3 試驗(yàn)結(jié)果與分析

利用本研究算法對(duì)側(cè)臥休息、花斑數(shù)量和干擾因素不同的105段試驗(yàn)視頻進(jìn)行呼吸行為檢測(cè)的結(jié)果如圖5所示，其中圖5a、5b、5c分別表示3組奶牛試驗(yàn)視頻呼吸行為檢測(cè)結(jié)果；圖5d表示本研究算法在105段試驗(yàn)視頻中完成呼吸行為檢測(cè)的的運(yùn)行時(shí)間。

結(jié)合圖5和表1可知，105段視頻中，62段晴天視頻的呼吸行為檢測(cè)平均準(zhǔn)確率為98.31%，43段陰天視頻的呼吸行為檢測(cè)平均準(zhǔn)確率為98.95%，表明本研究算法對(duì)天氣的抗干擾性較好。由于試驗(yàn)?zāi)膛Ｌ幱诜墙Y(jié)構(gòu)化環(huán)境中，所以必須考慮風(fēng)力對(duì)試驗(yàn)結(jié)果的影響。由表1可知，在無風(fēng)、微風(fēng)、大風(fēng)環(huán)境下拍攝的試驗(yàn)視頻數(shù)目分別為41、34和30段，結(jié)合圖5a-5c可知，3種環(huán)境下呼吸行為檢測(cè)平均準(zhǔn)確率分別為99.17%、98.45%和97.88%，表明本研究算法對(duì)風(fēng)力變化具有較強(qiáng)的魯棒性。在第1組的35段試驗(yàn)視頻中18段視頻的呼吸行為檢測(cè)準(zhǔn)確率達(dá)100%，另有16段視頻準(zhǔn)確率不低于95%，第1組試驗(yàn)視頻的呼吸行為檢測(cè)平均準(zhǔn)確率為98.14%；第2組試驗(yàn)視頻中有30段的呼吸行為檢測(cè)準(zhǔn)確率達(dá)100%，另有3段檢測(cè)準(zhǔn)確率不低于96%，平均準(zhǔn)確率為99.31%；第3組的25段視頻呼吸行為檢測(cè)準(zhǔn)確率達(dá)100%，另有7段視頻的呼吸行為檢測(cè)準(zhǔn)確率不低于96%，第3組呼吸行為檢測(cè)平均準(zhǔn)確率為98.25%。結(jié)果表明，本算法對(duì)不同花斑數(shù)量的奶牛呼吸行為檢測(cè)均具有較高的準(zhǔn)確率。105段試驗(yàn)視頻的呼吸行為檢測(cè)平均準(zhǔn)確率為98.58%，呼吸行為檢測(cè)的平均準(zhǔn)確率分別高于3種方法1.91、2.36、1.26個(gè)百分點(diǎn)。本研究算法的幀處理耗時(shí)在0.10～0.13 s之間，在試驗(yàn)視頻上算法的最大運(yùn)行時(shí)間為15.13 s，最小運(yùn)行時(shí)間為12.55 s，平均運(yùn)行時(shí)間為14.14 s。

圖5 呼吸行為檢測(cè)結(jié)果

4 與經(jīng)典算法的對(duì)比分析

Lucas-Kanade稀疏光流算法與Horn-Schunck光流法是運(yùn)動(dòng)目標(biāo)檢測(cè)的經(jīng)典光流方法，但后者屬于稠密光流，主要是在灰度守恒和光流平滑的約束條件下，通過計(jì)算圖像所有像素點(diǎn)的光流實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)的檢測(cè)[29-33]。為了驗(yàn)證本研究算法通過Lucas-Kanade稀疏光流算法檢測(cè)并計(jì)算奶?；ò哌吔缙骄饬鞣较騺頇z測(cè)奶牛呼吸行為的有效性和快速性，本研究選擇采用整體Lucas-Kanade光流法（方法1）、整體Horn-Schunck光流法（方法2）、基于花斑邊界的Horn-Schunck光流法（方法3）與本研究算法進(jìn)行對(duì)比驗(yàn)證。

應(yīng)用上述4種方法進(jìn)行奶牛呼吸行為檢測(cè)的結(jié)果如圖6所示。其中，圖6a展示了4種方法針對(duì)奶牛呼吸行為檢測(cè)的精度，其中整體指的是利用整幅幀圖像；圖6b展示了4種方法的運(yùn)行時(shí)間。本研究對(duì)4種方法的呼吸行為檢測(cè)的準(zhǔn)確率、運(yùn)行時(shí)間進(jìn)行了分析，試驗(yàn)結(jié)果表明，方法1、方法2和方法3的平均準(zhǔn)確率分別為96.67%，96.22%和97.32%；對(duì)于運(yùn)行時(shí)間，在105段試驗(yàn)視頻中，本研究算法在每段試驗(yàn)視頻上的平均運(yùn)行時(shí)間為14.14 s，方法1、方法2和方法3在每段試驗(yàn)視頻上的平均運(yùn)行時(shí)間分別為12.54、21.44和23.30 s。奶牛呼吸行為的準(zhǔn)確檢測(cè)是實(shí)現(xiàn)奶牛熱應(yīng)激及其他與呼吸相關(guān)疾病非接觸式檢測(cè)的關(guān)鍵。為了盡可能準(zhǔn)確地檢測(cè)奶牛呼吸行為，本文研究算法雖然比方法1的平均運(yùn)行時(shí)間長(zhǎng)1.60 s，但本文研究算法的檢測(cè)精度明顯高于方法1，檢測(cè)精度提升的時(shí)間代價(jià)較小；方法1相比于方法3，檢測(cè)精度低0.65個(gè)百分點(diǎn)，但方法3運(yùn)行時(shí)間比方法1長(zhǎng)10.76 s，時(shí)間代價(jià)大。結(jié)合表1和圖6a可知，方法2和方法3在檢測(cè)目標(biāo)受到遮擋且遮擋物運(yùn)動(dòng)劇烈時(shí)，檢測(cè)誤差較大，且二者基于稠密光流，計(jì)算量較大、耗時(shí)較長(zhǎng)，奶牛呼吸行為檢測(cè)效果略差[34-35]。對(duì)比結(jié)果表明本研究算法更適合于奶牛呼吸行為的快速、準(zhǔn)確檢測(cè)。

近年來，中國音樂產(chǎn)業(yè)十分活躍，整體呈上升狀態(tài)。不僅出現(xiàn)各類音樂活動(dòng)類型，而且大量互聯(lián)網(wǎng)產(chǎn)業(yè)也開始攜手合作逐漸成為中國音樂產(chǎn)業(yè)的主角，如天天動(dòng)聽與蝦米音樂組成阿里音樂、酷我和酷我音樂合并、網(wǎng)易云音樂與QQ音樂達(dá)成轉(zhuǎn)授合作等。中國音樂產(chǎn)業(yè)迎來屬于自己真正的春天。

a. 不同方法的檢測(cè)準(zhǔn)確率

a. Detection accuracy of different methods

b. 不同方法的運(yùn)行時(shí)間

b. Runtime of different methods

注：方法1為整體Lucas-Kanade光流法；方法2為整體Horn-Schunck光流法；方法3為基于花斑邊界的Horn-Schunck光流法。

Note: Method 1 is the overall Lucas-Kanade optical flow method; Method 2 is the overall Horn-Schunck optical flow method; Method 3 is the Horn-Schunck optical flow method based on speckle boundary.

圖6 奶牛呼吸行為檢測(cè)結(jié)果

Fig.6 Detection result of cow respiratory behavior

5 討 論

由于奶牛養(yǎng)殖環(huán)境復(fù)雜多變，且作為一個(gè)生命體，奶牛多會(huì)產(chǎn)生翻身、尾巴劇烈搖擺、腿部運(yùn)動(dòng)等干擾因素，為了更加準(zhǔn)確的驗(yàn)證本研究算法的魯棒性，本研究對(duì)可影響奶牛呼吸行為準(zhǔn)確檢測(cè)的諸多因素進(jìn)行了分析，以闡明本研究方法的有效性。

1）劇烈運(yùn)動(dòng)對(duì)呼吸行為檢測(cè)結(jié)果的影響分析

圖7a、7d是在存在劇烈運(yùn)動(dòng)干擾情況下未能準(zhǔn)確檢測(cè)出奶牛呼吸行為的示例，對(duì)應(yīng)于第3組的視頻82和視頻83。圖7a中成功檢測(cè)出奶牛翻身和尾巴劇烈搖動(dòng)前的16次呼吸以及翻身前身體開始前后移動(dòng)時(shí)的3次呼吸，但未能檢測(cè)出奶牛開始翻身且尾巴劇烈搖動(dòng)時(shí)的5次呼吸，檢測(cè)準(zhǔn)確率僅為83.33%，圖7d僅檢測(cè)到25次呼吸，準(zhǔn)確率為83.87%。

在視頻82中，奶牛呼吸行為檢測(cè)準(zhǔn)確率偏低的主要原因是奶牛尾巴劇烈晃動(dòng)遮擋奶牛花斑邊界，導(dǎo)致花斑邊界缺失，使得用來檢測(cè)呼吸頻率的花斑邊界光流數(shù)量減少；且奶牛翻身時(shí)由于身體在花斑運(yùn)動(dòng)方向和垂直方向都存在劇烈的運(yùn)動(dòng)，花斑邊界在翻身時(shí)會(huì)產(chǎn)生較強(qiáng)的干擾光流；此外，奶牛翻身時(shí)腿部活動(dòng)劇烈且其顏色與花斑接近，容易被檢測(cè)成為花斑邊界，由此引入干擾光流，對(duì)原奶牛呼吸時(shí)花斑邊界的光流產(chǎn)生較大干擾，造成呼吸行為檢測(cè)準(zhǔn)確率較大下降。

如圖7a中，點(diǎn)后奶牛翻身的干擾光流較大，掩蓋了花斑邊界呼吸光流的變化，以致無法檢測(cè)出呼吸次數(shù)，而點(diǎn)是奶牛翻身前身體緩慢活動(dòng)產(chǎn)生的干擾光流，尚未完全掩蓋花斑邊界呼吸光流，仍可用于呼吸行為檢測(cè)。圖7b、7c分別表示視頻82奶牛翻身時(shí)的幀圖像和光流檢測(cè)結(jié)果，圖7b中的框中是劇烈搖動(dòng)的尾巴。

與視頻82不同的是，視頻83的干擾主要分布在視頻的開頭和結(jié)尾（33幀前，96幀后），視頻79準(zhǔn)確率低的原因和視頻82類似，主要是奶牛腿部劇烈運(yùn)動(dòng)、奶?；ò哌吔缡艿轿舶驼趽酰瑢?dǎo)致干擾光流增大，用于呼吸檢測(cè)的有效光流減少，從而導(dǎo)致檢測(cè)準(zhǔn)確率較低。

在105個(gè)試驗(yàn)視頻中，除第3組的視頻82外，有81個(gè)視頻存在運(yùn)動(dòng)干擾，呼吸行為檢測(cè)的平均準(zhǔn)確率為98.27%，高于視頻82的83.33%，這是因?yàn)檫\(yùn)動(dòng)干擾并不劇烈、不是全局的，產(chǎn)生的干擾光流較小，并不影響利用花斑邊界光流變化檢測(cè)呼吸行為。

綜上所述，即使在劇烈運(yùn)動(dòng)條件下，當(dāng)奶牛腹部花斑區(qū)域干擾光流小于奶牛呼吸時(shí)花斑邊界光流的情況下，最終檢測(cè)準(zhǔn)確率受到的影響較小，證明本研究算法具有較好的魯棒性。

2）遮擋干擾對(duì)檢測(cè)結(jié)果的影響

圖8a是第1組中視頻18在大面積遮擋情況下未能完全檢測(cè)出奶牛呼吸行為的結(jié)果，圖8a中成功檢測(cè)奶牛呼吸次數(shù)21次，實(shí)際呼吸次數(shù)為22次。主要原因是奶牛頭部遮住了腹部部分花斑，導(dǎo)致花斑邊界減少，用于呼吸行為檢測(cè)的有效邊界光流隨之減少；且該奶牛頭部和頸部都存在花斑，奶牛頭部有短暫較大幅度晃動(dòng)，使得頭部和頸部的花斑隨之而動(dòng)，產(chǎn)生干擾光流；此外，由于光照的原因，奶牛的耳標(biāo)、奶牛的腿部均與花斑的顏色非常接近，在視頻中被誤檢測(cè)為花斑邊界，進(jìn)一步增大了無關(guān)光流的干擾，對(duì)用來進(jìn)行呼吸行為檢測(cè)的花斑邊界光流產(chǎn)生影響。如圖8a中，在點(diǎn)奶牛頭部出現(xiàn)短暫大幅晃動(dòng)，干擾光流削弱了有效花斑邊界光流的方向變化，以致無法檢測(cè)呼吸次數(shù)。點(diǎn)之前奶牛頭部只存在輕微晃動(dòng)，呼吸次數(shù)均可成功檢測(cè)。

圖7 呼吸行為檢測(cè)錯(cuò)誤結(jié)果

在本研究的105個(gè)試驗(yàn)視頻中，包含16個(gè)遮擋的視頻，除第1組的視頻17及18外，剩下的14段視頻無論天氣是晴或陰，風(fēng)力是無風(fēng)，微風(fēng)或大風(fēng)，均可完全正確檢測(cè)出奶牛的呼吸次數(shù)。在14個(gè)試驗(yàn)視頻中，雖然奶牛身體或花斑被部分遮擋，但仍有部分花斑未被遮擋，且奶牛無劇烈的運(yùn)動(dòng)，無其他較大的干擾光流，充分說明，無論奶牛是大面積或小面積遮擋，在部分花斑未被遮擋且干擾光流小于用于檢測(cè)呼吸行為的花斑邊界光流，本算法即可較準(zhǔn)確地完成呼吸行為的檢測(cè)。

圖8 第1組18呼吸行為錯(cuò)誤檢測(cè)結(jié)果

3）奶?；ò邤?shù)量對(duì)檢測(cè)結(jié)果的影響

本研究采用3組花斑數(shù)量不同（稀少、較少、較多）的奶牛的105個(gè)試驗(yàn)視頻，每組的35個(gè)試驗(yàn)視頻均包含晴天、陰天、無風(fēng)、微風(fēng)、大風(fēng)等天氣、風(fēng)速。利用本研究算法，經(jīng)過105個(gè)試驗(yàn)，得到3組奶牛呼吸行為檢測(cè)的平均準(zhǔn)確率為98.14%、99.31%、 98.25%，其方差為0.000 042。結(jié)果表明，奶?；ò邤?shù)量變化對(duì)呼吸行為檢測(cè)準(zhǔn)確率影響較小，根據(jù)圖7a，結(jié)合表1分析可知，只要奶牛不出現(xiàn)劇烈的運(yùn)動(dòng)干擾，本算法均可以較高精度檢測(cè)出奶牛呼吸行為。

6 結(jié) 論

為了實(shí)現(xiàn)奶牛呼吸行為的智能檢測(cè)，本研究提出了一種基于Lucas-Kanade稀疏光流的單目標(biāo)奶牛呼吸行為檢測(cè)方法，主要結(jié)論如下：

1）該方法可以精確地檢測(cè)出單目標(biāo)奶牛的呼吸行為。同時(shí)該方法抗干擾性較好，在非劇烈擾動(dòng)的情況下，輕微的運(yùn)動(dòng)或者花斑邊界的非完全遮擋不會(huì)對(duì)最終的呼吸行為檢測(cè)結(jié)果產(chǎn)生較大影響。表明將基于Lucas-Kanade光流法的奶?；ò哌吔邕\(yùn)動(dòng)檢測(cè)方法應(yīng)用于奶牛呼吸行為檢測(cè)是可行的。

2）該方法能準(zhǔn)確、快速地檢測(cè)出單目標(biāo)奶牛呼吸行為。最高呼吸行為檢測(cè)準(zhǔn)確率為100.00%，最低呼吸行為檢測(cè)準(zhǔn)確率為83.33%，平均呼吸行為檢測(cè)準(zhǔn)確率為98.58%，算法的幀處理時(shí)間在0.10～0.13 s之間，平均運(yùn)行時(shí)間為14.14 s?？蔀楹罄m(xù)利用視頻進(jìn)行奶牛熱應(yīng)激自動(dòng)監(jiān)測(cè)及其他與呼吸行為相關(guān)疾病的遠(yuǎn)程診斷提供參考。

[1] 張慢，王湘陽, 易建明. 牛舍溫?zé)岘h(huán)境對(duì)奶牛生產(chǎn)和健康影響的研究進(jìn)展[J]. 家畜生態(tài)學(xué)報(bào)，2018，39(2)：6－11. Zhang Man, Wang Xiangyang, Yi Jianming. Research progress of barn microclimate on dairy cow production and health[J]. Journal of Domestic Animal Ecology, 2018, 39(2): 6－11. (in Chinese with English abstract)

[2] Rensis F De, Garcia-Ispierto I, López-Gatius F. Seasonal heat stress: Clinical implications and hormone treatments for the fertility of dairy cows[J]. Theriogenology, 2015, 84(5): 659－666.

[3] Silanikove N. Effects of heat stress on the welfare of extensively managed domestic ruminants[J]. Livestock Production Science, 2000, 67(1/2): 1－18.

[4] 鄭會(huì)超. 加減白虎湯散劑緩解奶牛熱應(yīng)激的效果及其機(jī)理研究[D]. 杭州：浙江大學(xué)，2013. Zheng Huichao. Effects of Modified Baihu-Decotion Powder on Alleviation of Heat Stress in Lactation Dairy Cows and Approaches to the Mechanism[D]. Hangzhou: Zhejiang University, 2013. (in Chinese with English abstract)

[5] 王廣猛. 荷斯坦奶牛應(yīng)激之心率變異性分析[D]. 南京：南京農(nóng)業(yè)大學(xué)，2014. Wang Guangmeng. Changes in Heart Rate Variability of Dairy Cows under Different Stress Level[D]. Nanjing: Nanjing Agricultural University, 2014. (in Chinese with English abstract)

[6] Shwartz G, Rhoads M L, Vanbaale M J, et al. Effects of a supplemental yeast culture on heat-stressed lactating Holstein cows[J]. Journal of Dairy Science, 2009, 92(3): 935－942.

[7] 何東健，劉冬，趙凱旋. 精準(zhǔn)畜牧業(yè)中動(dòng)物信息智能感知與行為檢測(cè)研究進(jìn)展[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2016，47(5)：231－244. He Dongjian, Liu Dong, Zhao Kaixuan. Review of perceiving animal information and behavior in precision livestock farming[J]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(5): 231－244. (in Chinese with English abstract)

[8] 嚴(yán)旭，劉洪英，賈子如，等. 呼吸頻率檢測(cè)技術(shù)研究現(xiàn)狀[J]. 北京生物醫(yī)學(xué)工程，2017，36(5)：545－549. Yan Xu, Liu Hongying, Jia Ziru, et al. Advances in the detection of respiratory rate[J]. Beijing Biomedical Engineering, 2017, 36(5): 545－549. (in Chinese with English abstract)

[9] 陳永康，侯振杰，陳宸，等. 基于深度圖像的非接觸式呼吸檢測(cè)算法研究[J]. 計(jì)算機(jī)測(cè)量與控制，2017，25(7)：213－217. Chen Yongkang, Hou Zhenjie, Chen Chen, et al. Research on a non-contact breathing detection algorithm based on depth[J]. Computer Measurement and Control, 2017, 25(7): 213－217. (in Chinese with English abstract)

[10] Choi J, Gutierrezosuna R. Estimating mental stress using a wearable cardio-respiratory sensor[J]. Sensors, 2010, 143(2): 150－154.

[11] Chakraborty D, Chattopadhyay M. A new scheme for determination of respiration rate in human being using MEMS based capacitive pressure sensor[J]. Next Generation Sensors and Systems, 2016: 143－160.

[12] 馬俊領(lǐng)，王成，李章俊，等. 基于PPG的心率和呼吸頻率的測(cè)量研究[J]. 光學(xué)技術(shù)，2011，37(3)：309－312. Ma Junling, Wang Cheng, Li Zhangjun, et al. Study of measuring heart rate and respiration rate based on PPG[J]. Optical Technique, 2011, 37(3): 309－312. (in Chinese with English abstract)

[13] 高小強(qiáng)，劉洪英，朱蘭，等. 基于霍爾傳感器微陣列的呼吸頻率檢測(cè)系統(tǒng)設(shè)計(jì)[J]. 傳感器與微系統(tǒng)，2013，32(5)：121－123. Gao Xiaoqiang, Liu Hongying, Zhu Lan, et al. Design of respiratory frequency detecting system based on Hall sensor micro-array[J]. Transducer and Microsystem Technologies, 2013, 32(5): 121－123. (in Chinese with English abstract)

[14] 范霖，陳向東，李寧. 基于快速響應(yīng)濕度傳感器的無線呼吸檢測(cè)系統(tǒng)[J]. 傳感器與微系統(tǒng)，2015，34(3)：84－86. Fan Lin, Lu Xiangdong, Li Ning. Wireless respiration detection system based on fast response humidity sensor[J]. Transducer and Microsystem Technologies, 2015, 34(3): 84－86. (in Chinese with English abstract)

[15] 李棟. 中國奶牛養(yǎng)殖模式及其效率研究[D]. 北京：中國農(nóng)業(yè)科學(xué)院，2013. Li Dong. Study on Efficiency and Model of Dairy Cattle Breeding[D]. Beijing: Chinese Academy of Agricultural Science, 2013. (in Chinese with English abstract)

[16] Lee Y S, Pathirana P N, Evans R J, et al. Noncontact detection and analysis of respiratory function using microwave doppler radar[J]. Journal of Sensors, 2015, 2015: 1－13.

[17] Benetazzo F, Freddi A, Monteriù A, et al. Respiratory rate detection algorithm based on RGB-D camera: Theoretical background and experimental results[J]. Healthcare Technology Letters, 2014, 1(3): 81－86.

[18] 紀(jì)濱，朱偉興，劉波，等. 基于脊腹線波動(dòng)的豬呼吸急促癥狀視頻分析[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2011，27(1)：191－195. Ji Bin, Zhu Weixing, Liu Bo, et al. Video analysis for tachypnea of pigs based on fluctuating ridge-abdomen[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2011, 27(1): 191－195. (in Chinese with English abstract)

[19] 趙凱旋，何東健，王恩澤. 基于視頻分析的奶牛呼吸頻率與異常檢測(cè)[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2014，45(10)：258－263. Zhao Kaixuan, He Dongjian, Wang Enze. Detection of breathing rate and abnormity of dairy cattle based on video analysis[J]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(10): 258－263. (in Chinese with English abstract)

[20] 胡壽松. 自動(dòng)控制原理基礎(chǔ)教程[M]. 第3版. 北京：科學(xué)出版社，2013：243－244.

[21] 于振東. 基于光流法的瞳孔中心跟蹤算法[D]. 蘭州：蘭州大學(xué)，2017. Yu Zhendong. An Algorithm of Pupil Center Tracking based on Optical Flow[D]. Lanzhou: Lanzhou University, 2017. (in Chinese with English abstract)

[22] 趙慧，劉建華，梁俊杰. 5種常見邊緣檢測(cè)方法的比較分析[J]. 現(xiàn)代電子技術(shù)，2013，36(6)：89－92. Zhao Hui, Liu Jianhua, Liang Junjie. Comparative analysis of five common edge detection methods[J]. Modern Electronics Technique, 2013, 36(6): 89－92. (in Chinese with English abstract)

[23] 荊瀅，齊乃新，楊小岡，等. 基于LK和FAST的時(shí)間序列圖像快速配準(zhǔn)算法[J]. 紅外與激光工程，2018，47(11)：470－478. Jing Ying, Qi Naixin, Yang Xiaogang, et al. Fast registration algorithm of image sequence by time based on LK and FAST[J]. Infrared and Laser Eengineering, 2018, 47(11): 470－478. (in Chinese with English abstract)

[24] Lee I B, Choi B H, Park K S. Robust measurement of ocular torsion using iterative Lucas-Kanade[J]. Computer Methods and Programs in Biomedicine, 2007, 85(3): 238－246.

[25] 張艷艷，婁莉，梁碩. 基于改進(jìn)光流算法的運(yùn)動(dòng)目標(biāo)檢測(cè)技術(shù)研究[J]. 智能計(jì)算機(jī)與應(yīng)用，2018，8(1)：55－58. Zhang Yanyan, Lou Li, Liang Shuo. Research on moving object detection technology based on improved optical flow algorithm[J]. Intelligent Computer and Applications, 2018, 8(1): 55－58. (in Chinese with English abstract)

[26] 姜丹. 基于視頻監(jiān)控的目標(biāo)檢測(cè)與跟蹤算法研究[D]. 西安：西安理工大學(xué)，2018. Jiang Dan. Research on Target Detection and Tracking Algorithm based on Video Surveillance[D]. Xi'an: Xi'an University of Technology, 2018. (in Chinese with English abstract)

[27] 魯春，楊會(huì)成，楊文斌，等. 結(jié)合光流法與最近鄰算法的運(yùn)動(dòng)目標(biāo)檢測(cè)[J]. 四川理工學(xué)院學(xué)報(bào)：自然科學(xué)版，2017，30(5)：63－68. Lu Chun, Yang Huicheng, Yang Wenbin, et al. Moving object detection method combined optical flow and K-Nearest Neighbor algorithm[J]. Journal of Sichuan University of Science & Engineering: Natural Science Edition, 2017, 30(5): 63－68. (in Chinese with English abstract)

[28] Kweon I S, Ahn B, Han Y. Real-time facial landmarks tracking using active shape model and LK optical flow[C]// International Conference on Ubiquitous Robots and Ambient Intelligence, IEEE, 2012: 541－543.

[29] 管飛，王榮. 基于Horn-Schunck光流法的運(yùn)動(dòng)目標(biāo)檢測(cè)的研究[J]. 儀表技術(shù)，2015(2)：43－45. Guan Fei, Wang Rong. Research on moving object detection based on Horn-Schunck optical flow algorithm[J]. Instrument Technology, 2015(2): 43－45. (in Chinese with English abstract)

[30] Gong X, Stephan B. Horn-Schunck optical flow applied to deformation measurement of a birdlike airfoil[J]. Chinese Journal of Aeronautics, 2015, 28(5): 1305－1315.

[31] Tarnec L L, Destrempes F, Cloutier G, et al. A proof of convergence of the Horn-Schunck optical flow algorithm in arbitrary dimension[J]. SIAM Journal on Imaging Sciences, 2014, 7(1): 277－293.

[32] Andrés B, Joachim W, Christoph S. Lucas/Kanade meets Horn/Schunck: Combining local and global optic flow methods[J]. International Journal of Computer Vision, 2005, 61(3): 211－231.

[33] Kesrarat D, Patanavijit V. Bidirectional symmetry and median filter with dynamic smoothness weight on Horn-Schunck optical flow algorithm[C]// International Symposium on Intelligent Signal Processing and Communications Systems. IEEE, 2013: 708－713.

[34] 姜波，解侖，劉欣，等. 光流模值估計(jì)的微表情捕捉[J]. 浙江大學(xué)學(xué)報(bào)：工學(xué)版，2017，51(3)：577－583. Jiang Bo, Xie Lun, Liu Xin, et al. Micro-expression spotting using optical flow magnitude estimation[J]. Journal of Zhejiang University: Engineering Science, 2017, 51(3): 577－583. (in Chinese with English abstract)

[35] Peng Y, Chen Z, Wu Q, et al. Traffic flow detection and statistics via improved optical flow and connected region analysis[J]. Signal Image and Video Processing, 2018, 12(1): 99－105.

中國農(nóng)業(yè)工程學(xué)會(huì)高級(jí)會(huì)員：宋懷波(E041201025S)

Respiratory behavior detection of cow based on Lucas-Kanade sparse optical flow algorithm

Song Huaibo, Wu Dihua, Yin Xuqiang, Jiang Bo, He Dongjian

(1.,,712100,; 2.,,712100,; 3.,,712100,)

Intelligent detection of respiratory behavior of dairy cows was of great significance for automatic diagnosis of diseases and promotion of precise breeding of dairy cows. Based on the characteristics of repeated abdominal movements when the dairy cows breathe and Lucas-Kanade sparse optical flow algorithm, a non-contact detection method for respiratory behavior of single-target dairy cow in unstructured aquaculture environment was proposed. First, test videos were decomposed into sequence frames and video sequence frames were converted from RGB color space to HSV color space. Thein the HSV color space represented the luminance component. The brightness of the boundary of cow's speckle varied greatly and was easy to detect. In this study, thecomponent was extracted from HSV color space and extended to the normal gray scale. The mask extracted by the target cow was obtained by the Otsu algorithm binarization processing. According to the characteristics of the noise, a disk type structural element with a radius of 5 pixels was selected and the small noise and the connected area caused by feces around the dairy cow’s speckle in the mask were removed by opening operation. After denoising, the mask for target extraction was used to remove the irrelevant background, and then Canny edge detection operator was used to extract the target cow. Target dairy cows were detected by edge detection to get the mask of the speckle boundary. The gray image of the cow's speckle boundary was extracted from the gray image of the frame image using the mask. Then the fine noise was removed by Gaussian filtering and the merging flow direction of the cow's speckle boundary was calculated and extracted by using Lucas-Kanade sparse optical flow algorithm model. Finally, the detection of cow's respiratory behavior was obtained according to the variation rule of the average direction of the speckle edge measurement and the mathematical model of the respiratory behavior test proposed in this study. In order to verify the effectiveness of the proposed algorithm, a total of 25 200 frames of 105 experimental videos captured in different environments and interference factors were tested, and compared with sparse Lucas-Kanade optical flow method based on full video frame, Horn-Schunck optical flow method based on full video frame and speckle boundary optical flow method. The algorithm was evaluated by algorithm running timeand respiratory behavior detection accuracy. The experimental results showed that the frame image processing time of this algorithm was between 0.10 and 0.13 seconds, the maximum running time of the algorithm was 15.13 s and the minimum running time was 12.55 s and the average running time of this algorithm on 105 test videos was 14.14 seconds. The detection accuracy of respiratory behavior of dairy cows ranged from 83.33% to 100%, with an average accuracy of 98.58%. The average running time of this algorithm was 1.60 seconds slower than detecting the entire frame image with the Lucas-Kanade optical flow method, 7.30 seconds faster than detecting the optical flow of entire frame image by using the Horn-Schunck optical flow method and 9.16 seconds faster than detecting the optical flow of cow speckle borders by Horn-Schunck optical flow method. The average accuracy of respiratory behavior detection was 1.91, 2.36 and 1.26 percent point, respectively. The results showed that the Lucas-Kanade optical flow method was feasible to detect the changes of the border photorheology of dairy cow speckle for detecting the respiratory behavior of dairy cows. This study could provide reference for automatic monitoring of thermal stress behavior of dairy cows based on video surveillance and remote diagnosis of other diseases related to respiratory behavior.

cow; algorithms; respiratory behavior detection; Lucas-Kanade optical flow algorithm; speckle boundary

10.11975/j.issn.1002-6819.2019.17.026

TP391.4

A

1002-6819(2019)-17-0215-10

2019-02-25

2019-08-28

國家重點(diǎn)研發(fā)計(jì)劃資助項(xiàng)目(2017YFD0701603)；陜西省重點(diǎn)產(chǎn)業(yè)鏈(群)-農(nóng)業(yè)領(lǐng)域項(xiàng)目資助(No.2019ZDLNY02-05)；中央高?；究蒲袠I(yè)務(wù)費(fèi)專項(xiàng)資金資助（No.2452019027）

宋懷波，博士，副教授，研究方向?yàn)閿?shù)字圖像處理。Email：songyangfeifei@163.com。

宋懷波，吳頔華，陰旭強(qiáng)，姜 波，何東健. 基于Lucas-Kanade稀疏光流算法的奶牛呼吸行為檢測(cè)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2019，35(17)：215－224. doi：10.11975/j.issn.1002-6819.2019.17.026 http://www.tcsae.org

Song Huaibo, Wu Dihua, Yin Xuqiang, Jiang Bo, He Dongjian. Respiratory behavior detection of cow based on Lucas-Kanade sparse optical flow algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(17): 215－224. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2019.17.026 http://www.tcsae.org