李 前，初夢苑，康 熙，劉 剛

基于計(jì)算機(jī)視覺的奶牛跛行識別技術(shù)研究進(jìn)展

李 前，初夢苑，康 熙，劉 剛※

（1. 中國農(nóng)業(yè)大學(xué)智慧農(nóng)業(yè)系統(tǒng)集成研究教育部重點(diǎn)實(shí)驗(yàn)室，北京 100083；2. 中國農(nóng)業(yè)大學(xué)農(nóng)業(yè)農(nóng)村部農(nóng)業(yè)信息獲取技術(shù)重點(diǎn)實(shí)驗(yàn)室，北京 100083）

奶牛跛行嚴(yán)重降低奶牛福利及潛在產(chǎn)奶量，影響?zhàn)B殖場經(jīng)濟(jì)效益。準(zhǔn)確高效識別奶牛跛行，有助于奶牛肢蹄病的及早發(fā)現(xiàn)與治療，促進(jìn)奶業(yè)的健康和可持續(xù)發(fā)展。人工觀察法識別奶牛跛行存在識別效率低、成本高、主觀性強(qiáng)等問題。計(jì)算機(jī)視覺技術(shù)可以通過無應(yīng)激、無接觸地采集奶牛行走視頻數(shù)據(jù)，準(zhǔn)確高效識別奶牛跛行。該研究從可見光相機(jī)、深度相機(jī)以及熱紅外相機(jī)3種視頻采集手段出發(fā)，概述了當(dāng)前奶牛跛行自動(dòng)識別的主要研究方法、關(guān)鍵技術(shù)以及未來發(fā)展方向等，對比分析了各研究方法的優(yōu)勢和不足，指出個(gè)體差異性、跛行特征的優(yōu)選以及早期跛行識別等需要重點(diǎn)關(guān)注的技術(shù)問題。同時(shí)，該研究從數(shù)據(jù)獲取、技術(shù)研發(fā)和試驗(yàn)驗(yàn)證等方面，分析了奶牛跛行識別技術(shù)研究領(lǐng)域存在的主要問題及挑戰(zhàn)，展望了未來奶牛跛行識別技術(shù)的研究重點(diǎn)和發(fā)展方向，為奶牛跛行的精準(zhǔn)高效識別提供相關(guān)理論依據(jù)和技術(shù)參考。

計(jì)算機(jī)視覺；圖像處理；深度學(xué)習(xí)；奶牛跛行識別；可見光相機(jī)；深度相機(jī)；熱紅外相機(jī)

0 引 言

近年來，隨著奶牛養(yǎng)殖場集約化程度的提高，奶?；顒?dòng)空間逐漸減小，活動(dòng)地面硬化，奶牛跛行發(fā)病率呈上升趨勢，跛行已成為制約養(yǎng)殖健康發(fā)展的一個(gè)主要因素[1-2]。奶牛跛行主要是由感染性疾病（趾間皮炎等）或非感染性疾?。ò拙€病等）造成的肢蹄功能損傷[3]，進(jìn)而在行走過程中因壓痛而出現(xiàn)的步態(tài)異?，F(xiàn)象[4-5]。奶牛跛行的發(fā)病率受地域、飼養(yǎng)條件及環(huán)境的影響較大，不同國家和不同養(yǎng)殖區(qū)域的奶牛跛行率存在明顯的差異[6]。據(jù)報(bào)道，美國東北部的奶牛跛行率為45%[7]，英國為28.2%[8]，巴西為42.5%[9]，加拿大為20.8%[10]，中國的奶牛跛行率為31%[11]。奶牛跛行不僅降低奶牛福利及潛在產(chǎn)奶量，增加奶牛過早淘汰的風(fēng)險(xiǎn)，同時(shí)還會(huì)給奶牛養(yǎng)殖戶造成較大的經(jīng)濟(jì)損失[12-14]。奶牛早期跛行癥狀較輕，不易被發(fā)現(xiàn)，通常僅具有輕微的步態(tài)異常[15]，待發(fā)展到一定程度時(shí)，才具有較明顯的跛行表現(xiàn)，此時(shí)進(jìn)行治療，治療費(fèi)用是輕度跛行的3倍，并且治愈率大大降低[16]。因此，及時(shí)高效地識別奶牛跛行，尤其是早期跛行，對促進(jìn)奶業(yè)健康和可持續(xù)發(fā)展具有重要的現(xiàn)實(shí)意義。

通過對奶牛進(jìn)行修蹄，獸醫(yī)可以準(zhǔn)確分辨出跛行奶牛，然而養(yǎng)殖場通常每年只對奶牛進(jìn)行2次修蹄，無法滿足養(yǎng)殖場日常識別奶牛跛行的需要[17]。傳統(tǒng)的奶牛跛行識別以人工觀察法為主，通過觀察奶牛行走過程中的弓背、點(diǎn)頭以及步態(tài)等方面的異常，根據(jù)經(jīng)典的五分制運(yùn)動(dòng)評分標(biāo)準(zhǔn)[18]評估奶牛運(yùn)動(dòng)能力，進(jìn)而識別奶牛跛行。但人工觀察法識別奶牛跛行存在一些不足：首先，觀察人員在場時(shí)容易引起奶牛的應(yīng)激反應(yīng)，導(dǎo)致測量偏差[19]；其次，觀察人員識別奶牛跛行具有較強(qiáng)的主觀性（例如，同一觀察人員在對同一批奶牛進(jìn)行2次運(yùn)動(dòng)能力評估時(shí)，得分只有56%是一致的，而當(dāng)2名觀察者分別對同一批奶牛進(jìn)行運(yùn)動(dòng)能力評估時(shí)，得分只有37%是一致的[20]）；再有，當(dāng)養(yǎng)殖場規(guī)模較大時(shí)，人工觀察法費(fèi)時(shí)費(fèi)力，效率較低，難以識別出奶牛步態(tài)的輕微異常[21]。接觸式傳感器通過與奶牛身體直接接觸，測量出奶牛行走過程中的運(yùn)動(dòng)參數(shù)，進(jìn)而通過數(shù)據(jù)分析技術(shù)，推測奶牛跛行。常用的接觸式傳感器主要包括力平臺[22]和加速度傳感器[23]等。利用接觸式傳感器識別奶牛跛行，采集數(shù)據(jù)相對容易，研究和決策方法相對簡單，但接觸式傳感器容易造成奶牛應(yīng)激反應(yīng)，且受環(huán)境影響易產(chǎn)生信號損失，降低奶牛跛行識別準(zhǔn)確率。

計(jì)算機(jī)視覺技術(shù)可以通過無應(yīng)激、無接觸地采集奶牛行走視頻數(shù)據(jù)，供研究人員仔細(xì)觀察和分析，利用跛行特征提取和特征分類的方法，自動(dòng)識別奶牛跛行，該技術(shù)現(xiàn)已成為奶牛跛行自動(dòng)識別領(lǐng)域的重要研究手段。當(dāng)前，國內(nèi)外研究學(xué)者大多從奶牛跛行的表現(xiàn)以及跛行特征的構(gòu)建等幾個(gè)方面，自動(dòng)識別奶牛跛行，未能充分研究奶牛跛行識別技術(shù)中的跛行特征提取算法與特征分類算法[24-25]。提取跛行特征和優(yōu)選特征分類算法，是基于計(jì)算機(jī)視覺的奶牛跛行識別技術(shù)準(zhǔn)確識別奶牛跛行的關(guān)鍵。跛行特征的提取方法，主要分為手工設(shè)計(jì)特征的傳統(tǒng)機(jī)器學(xué)習(xí)方法和自動(dòng)獲取特征的深度學(xué)習(xí)方法。近年來，隨著深度學(xué)習(xí)方法的快速發(fā)展，基于深度學(xué)習(xí)的圖像分類、目標(biāo)檢測以及圖像分割等算法為視頻數(shù)據(jù)處理和分析提供了可靠的技術(shù)支撐，基于計(jì)算機(jī)視覺的奶牛跛行識別技術(shù)迎來了新的發(fā)展機(jī)遇。

目前，基于計(jì)算機(jī)視覺的奶牛跛行識別技術(shù)取得了較好的研究成果。本研究將從可見光相機(jī)、深度相機(jī)以及熱紅外相機(jī)3種視頻采集手段出發(fā)，概述奶牛跛行識別的工作原理和關(guān)鍵技術(shù)等；從數(shù)據(jù)獲取、技術(shù)研發(fā)和試驗(yàn)驗(yàn)證等方面，分析其存在的主要技術(shù)問題及挑戰(zhàn)；同時(shí)，探討未來的研究重點(diǎn)和發(fā)展方向，以期為今后進(jìn)一步開展精準(zhǔn)高效的奶牛跛行識別技術(shù)研究提供相關(guān)理論依據(jù)和技術(shù)參考。

1 基于計(jì)算機(jī)視覺的奶牛跛行識別技術(shù)研究

計(jì)算機(jī)視覺技術(shù)通過自動(dòng)采集家畜行為視頻數(shù)據(jù)，利用圖像處理方法或深度學(xué)習(xí)算法對視頻數(shù)據(jù)進(jìn)行處理分析，自動(dòng)識別家畜的異常行為。在奶牛養(yǎng)殖場，計(jì)算機(jī)視覺技術(shù)不僅可以用來識別奶牛跛行，還可以通過分析姿態(tài)特征和運(yùn)動(dòng)特征識別奶牛的發(fā)情行為，監(jiān)測奶牛身體健康狀況，此外，通過顏色特征、紋理特征和行為特征來識別奶牛個(gè)體身份，提高奶牛養(yǎng)殖場的智能化監(jiān)測水平。

基于計(jì)算機(jī)視覺的奶牛跛行識別流程如圖1所示。

利用相機(jī)采集奶牛行走視頻數(shù)據(jù)，通過傳統(tǒng)的圖像處理方法或深度學(xué)習(xí)算法，從視頻圖像序列中檢測奶牛的關(guān)鍵身體部位，提取奶牛行走過程中的跛行特征，并對這些跛行特征進(jìn)行匯總分類，進(jìn)而自動(dòng)識別奶牛跛行。近年來，國內(nèi)外學(xué)者開展了較多基于計(jì)算機(jī)視覺的奶牛跛行識別技術(shù)研究，積累了大量的研究成果，如表1所示。國內(nèi)外基于計(jì)算機(jī)視覺的奶牛跛行識別多是基于可見光相機(jī)采集奶牛行走視頻，通過圖像處理與分析，提取并分類跛行特征，識別奶牛跛行。深度相機(jī)和熱紅外相機(jī)作為新一代視頻采集手段，起步較晚，研究成果相對較少。跛行特征選擇方面，奶牛跛行識別大多參照經(jīng)典的五分制運(yùn)動(dòng)評分標(biāo)準(zhǔn)，如表2所示，主要包括：弓背、點(diǎn)頭、甩腿、步速緩慢、步態(tài)不對稱和不跟隨等[26-27]。

圖1 基于計(jì)算機(jī)視覺的奶牛跛行識別技術(shù)流程圖

表1 基于計(jì)算機(jī)視覺的奶牛跛行識別技術(shù)相關(guān)研究

表2 五分制運(yùn)動(dòng)評分標(biāo)準(zhǔn)[18]

1.1 基于可見光相機(jī)的奶牛跛行識別技術(shù)

與人工觀察法相比，可見光相機(jī)可記錄奶牛行走視頻數(shù)據(jù)，供研究人員反復(fù)觀看，提高奶牛跛行識別的準(zhǔn)確性，可見光相機(jī)拍攝的奶牛行走側(cè)視圖如圖2所示?；诳梢姽庀鄼C(jī)的奶牛跛行識別技術(shù)，先是利用可見光相機(jī)采集奶牛行走視頻數(shù)據(jù)，利用圖像處理方法或深度學(xué)習(xí)算法從視頻幀中檢測出奶牛的關(guān)鍵身體部位，然后提取奶牛關(guān)鍵身體部位對應(yīng)的跛行特征，結(jié)合人工標(biāo)簽對奶牛跛行分類算法進(jìn)行訓(xùn)練，進(jìn)而自動(dòng)識別奶牛跛行[51]。根據(jù)上述奶牛跛行識別流程，下文將從奶牛關(guān)鍵身體部位檢測方法、奶牛跛行特征的選擇以及奶牛跛行分類方法3個(gè)方面，分別對現(xiàn)有的基于可見光相機(jī)的奶牛跛行識別技術(shù)研究展開介紹。

圖2 可見光相機(jī)拍攝的奶牛行走側(cè)視圖

1.1.1 奶牛關(guān)鍵身體部位檢測方法

利用可見光相機(jī)采集奶牛行走視頻，從復(fù)雜的圖像背景中準(zhǔn)確檢測奶牛的關(guān)鍵身體部位是跛行特征提取與分類的基礎(chǔ)，也是準(zhǔn)確識別奶牛跛行的關(guān)鍵。為準(zhǔn)確區(qū)分奶牛行走視頻的前景和背景，檢測奶牛的關(guān)鍵身體部位，相關(guān)學(xué)者對此進(jìn)行較為深入的研究，取得了較好的研究成果，部分奶牛關(guān)鍵身體部位檢測方法研究見表3?；诳梢姽庀鄼C(jī)的奶牛跛行識別研究初期，研究學(xué)者主要通過手工標(biāo)記奶牛關(guān)鍵身體部位，獲取奶牛跛行特征。隨著計(jì)算機(jī)視覺技術(shù)的快速發(fā)展，學(xué)者們將圖像處理方法和深度學(xué)習(xí)算法相結(jié)合，應(yīng)用于奶牛關(guān)鍵身體部位的快速檢測，大幅度提高奶牛關(guān)鍵身體部位的檢測效率。

表3 奶牛關(guān)鍵身體部位檢測方法相關(guān)研究

研究學(xué)者利用可見光相機(jī)采集奶牛行走視頻，通過手工標(biāo)記奶牛關(guān)鍵身體部位，進(jìn)而分析奶牛運(yùn)動(dòng)狀態(tài)。Flower等[52]使用反光帶標(biāo)記奶牛肢蹄關(guān)節(jié)部位，利用可見光相機(jī)采集奶牛行走視頻，進(jìn)而分析視頻中標(biāo)記物的運(yùn)動(dòng)軌跡。Bahr等[53]對10頭奶牛的行走視頻數(shù)據(jù)進(jìn)行手工標(biāo)記，包括奶牛背部關(guān)鍵點(diǎn)位置以及牛蹄著地位置，進(jìn)而分析奶牛行走運(yùn)動(dòng)參數(shù)，較全面地表示奶牛的運(yùn)動(dòng)狀態(tài)。手工標(biāo)記奶牛關(guān)鍵身體部位，分析奶牛關(guān)鍵身體部位的運(yùn)動(dòng)參數(shù)，雖然可以有效區(qū)分正常奶牛與跛行奶牛，但視頻數(shù)據(jù)中包含較多數(shù)量的視頻幀，利用手工標(biāo)記視頻幀中奶牛的關(guān)鍵身體部位，仍然存在工作量大，工作效率低等問題。

為提高奶牛關(guān)鍵身體部位的檢測效率，研究學(xué)者將圖像處理方法應(yīng)用于奶牛關(guān)鍵身體部位檢測。Pluk等[54]使用壓力墊確定牛蹄著地位置和著地時(shí)間，根據(jù)牛蹄著地時(shí)間找出視頻中對應(yīng)的視頻幀，使用圖像二值化方法和圖像增強(qiáng)方法，再結(jié)合牛蹄著地位置計(jì)算牛蹄傾斜角度。背景減除法是將包含奶牛的視頻幀與不含奶牛的背景圖像做差值，進(jìn)而獲取奶牛的身體輪廓，此方法可以自動(dòng)獲取視頻幀中奶牛的背部輪廓[28]以及牛蹄著地位置[55]。背景減除法思想簡單，效率較高，但當(dāng)目標(biāo)與背景環(huán)境差異較小時(shí)，背景減除法易受噪聲的干擾，難以準(zhǔn)確區(qū)分前景和背景，降低目標(biāo)檢測精度。為改善這種狀況，Zhao等[56]首先通過幀差法計(jì)算視頻幀中包含奶牛的邊界矩形，利用區(qū)域相減獲取局部背景圖像，拼接多個(gè)背景圖像獲得全局背景圖像，再通過調(diào)整視頻幀中RGB通道的求和系數(shù)，提高目標(biāo)圖像和背景圖像之間的對比度，最后使用背景減除法檢測奶牛身體輪廓，129頭奶牛的視頻分析結(jié)果表明，奶牛目標(biāo)檢測精度相比經(jīng)典的背景減除法提升了24.85%。ViBe算法[29]是一種基于背景更新的前景檢測算法，該算法通過分析當(dāng)前視頻幀中每一個(gè)像素周圍的像素值以及前一時(shí)刻該位置的像素值，以此判定目標(biāo)屬于前景還是背景。該算法思想簡單，運(yùn)算效率較高，但對于運(yùn)動(dòng)速度較慢的目標(biāo)，容易將其歸類于背景，降低奶牛關(guān)鍵身體部位的檢測精度。利用相鄰視頻幀之間的像素變化可以有效檢測運(yùn)動(dòng)中的奶牛，宋懷波等[30]研究奶牛行走視頻中單個(gè)視頻幀的像素分布，發(fā)現(xiàn)奶牛目標(biāo)像素與背景像素大致滿足雙峰分布，因此采用正態(tài)分布背景統(tǒng)計(jì)模型區(qū)分視頻幀中的前景和背景，并使用局部循環(huán)中心補(bǔ)償策略，補(bǔ)充奶牛身體像素點(diǎn)空洞部分。此方法根據(jù)奶牛與背景環(huán)境的像素統(tǒng)計(jì)分布特性檢測奶牛目標(biāo)，受奶牛行走速度的影響較小，但不易處理前景目標(biāo)與背景環(huán)境相似度較高的狀況。

基于深度學(xué)習(xí)的目標(biāo)檢測算法和圖像分割算法能夠從復(fù)雜的背景環(huán)境中精確地分離出前景和背景，為奶牛關(guān)鍵身體部位檢測提供新的解決方案。Wu等[31]將深度學(xué)習(xí)中YOLOv3目標(biāo)檢測算法[59]應(yīng)用于奶牛腿部檢測，使用2 500張標(biāo)注的圖像作為訓(xùn)練集，另外2 500張標(biāo)注的圖像作為測試集，奶牛腿部檢測精度為93.73%。Jiang等[57]在YOLOv3算法中加入平滑濾波層，過濾掉因卷積操作而產(chǎn)生的粒子噪聲，以500張標(biāo)注的圖像作為訓(xùn)練集，另外500張標(biāo)注的圖像作為測試集，奶牛關(guān)鍵身體部位的檢測精度為99.18%，實(shí)現(xiàn)了奶牛頭部、背部和腿部等關(guān)鍵部位的精確檢測。Kang等[32]將YOLOv3、YOLOv4[60]、YOLOv5系列[61]以及Efficiendet系列[62]目標(biāo)檢測算法應(yīng)用于奶牛蹄部檢測，將3 045張圖像按照7∶2∶1的比例劃分為訓(xùn)練集、驗(yàn)證集和測試集，試驗(yàn)結(jié)果分析表明使用YOLOv5m算法的奶牛蹄部檢測精度最高，平均檢測精度為93.21%，其次為YOLOv4的92.39%。研究學(xué)者使用目標(biāo)檢測算法檢測奶牛關(guān)鍵身體部位，可獲得較高的檢測精度，但目標(biāo)檢測算法使用矩形包圍盒框出目標(biāo)，無法精確獲取目標(biāo)的邊界輪廓，因此部分研究學(xué)者嘗試使用獲取目標(biāo)邊界輪廓信息的圖像分割算法。Noe等[58]將Mask-RCNN圖像分割算法應(yīng)用于奶牛身體檢測，以1 600張標(biāo)注的圖像作為訓(xùn)練集，400張標(biāo)注的圖像作為測試集，奶牛圖像分割的準(zhǔn)確率為95.5%。Arazo等[63]通過對比分析DeepLabv3算法[64]和RVOS算法[65]在圖像上的前景提取效果，提出了將FPN算法[66]應(yīng)用于奶牛RGB圖像和深度圖像，并進(jìn)一步發(fā)現(xiàn)FPN算法在RGB圖像上的圖像分割效果優(yōu)于在深度圖像上的圖像分割效果。相比于目標(biāo)檢測算法，圖像分割算法可以精確分割出奶牛的身體輪廓，獲得奶牛背部輪廓和腿部傾斜角度等特征，可更好地應(yīng)用在基于計(jì)算機(jī)視覺的奶牛跛行識別技術(shù)領(lǐng)域。

手工標(biāo)記奶牛關(guān)鍵部位的方法費(fèi)時(shí)費(fèi)力，效率較低，已基本被淘汰；利用圖像處理方法自動(dòng)檢測奶牛關(guān)鍵身體部位，邏輯思想簡單，效率較高，但在復(fù)雜背景的情況下檢測效果較差；目標(biāo)檢測算法檢測精度較高，但需要使用大量標(biāo)注的圖像數(shù)據(jù)進(jìn)行訓(xùn)練，并且無法獲取目標(biāo)的邊界輪廓信息；圖像分割算法可以精確地獲得目標(biāo)的邊界輪廓，為后續(xù)跛行特征提取提供較好的數(shù)據(jù)支撐，但此方法需要大量標(biāo)注的圖像數(shù)據(jù)，分割準(zhǔn)確率有待提升?？傊煌姆椒ň衅鋬?yōu)勢和不足，應(yīng)根據(jù)實(shí)際應(yīng)用的場景，選取合適的奶牛關(guān)鍵身體部位檢測方法。

1.1.2 奶牛跛行特征的選擇

基于可見光相機(jī)的奶牛跛行識別技術(shù)，在跛行特征提取方面，主要根據(jù)經(jīng)典的五分制運(yùn)動(dòng)評分標(biāo)準(zhǔn)，通過觀察奶牛背部姿態(tài)、站立姿勢以及行走步態(tài)等方面的異常，將奶牛跛行分為1～5分值，分值越大表示奶牛跛行程度越高。

弓背可以減輕奶牛行走過程中對患病肢蹄的壓痛，因此養(yǎng)殖場的工作人員常根據(jù)此特征識別奶牛跛行。Bahr等[53]觀察奶牛行走視頻數(shù)據(jù)，確定奶牛背部關(guān)鍵點(diǎn)，通過背部關(guān)鍵點(diǎn)繪制圓形來擬合奶牛背部輪廓，以圓形半徑表示奶牛背部曲率特征，利用此特征識別奶牛跛行，研究結(jié)果分析表明，弓背特征與奶牛跛行具有較強(qiáng)的相關(guān)性，同時(shí)為后續(xù)基于計(jì)算機(jī)視覺自動(dòng)提取奶牛弓背特征并識別奶牛跛行提供了依據(jù)。Poursaberi等[28]使用圖像處理方法獲取奶牛背部輪廓，在奶牛背部輪廓上自動(dòng)提取3個(gè)關(guān)鍵點(diǎn)，獲取奶牛背部曲率特征，以此評估奶牛跛行程度，通過對184頭奶牛的視頻數(shù)據(jù)進(jìn)行測試分析，奶牛跛行識別準(zhǔn)確率為96%。考慮到單個(gè)圓形較難準(zhǔn)確擬合奶牛背部輪廓，該研究團(tuán)隊(duì)進(jìn)一步以背部最高點(diǎn)為分界點(diǎn)，在奶牛頸部和臀部2個(gè)部位擬合橢圓，研究分析2個(gè)橢圓的大小、方向和相對位置關(guān)系，更準(zhǔn)確地表示奶牛背部輪廓，通過對156頭奶牛的視頻數(shù)據(jù)進(jìn)行測試分析，跛行識別準(zhǔn)確率為97.4%[33]。奶牛跛行時(shí)，其頭部、頸部及背部連接處有明顯的特征變化，宋懷波等[30]通過擬合奶牛頭頸部曲線，獲取該曲線的線性斜率，作為跛行特征來識別奶牛跛行，利用30頭奶牛的視頻數(shù)據(jù)進(jìn)行測試分析，跛行識別準(zhǔn)確率為93.89%，表明頭頸部輪廓曲線特征也能有效識別奶牛跛行。隨著深度學(xué)習(xí)算法的不斷發(fā)展與進(jìn)步，一些研究學(xué)者將目標(biāo)檢測算法應(yīng)用于奶牛跛行識別，Jiang等[34]將圖像處理方法與目標(biāo)檢測算法相結(jié)合，利用圖像處理方法獲取奶牛身體輪廓，通過目標(biāo)檢測算法確定奶牛背部區(qū)域，進(jìn)而提取視頻中奶牛的背部輪廓序列，作為跛行特征識別奶牛跛行，通過90頭奶牛的視頻數(shù)據(jù)測試分析，跛行識別準(zhǔn)確率為96.61%。上述研究表明弓背特征與奶牛跛行的相關(guān)性較大，通過檢測奶牛背部輪廓，提取奶牛背部輪廓的曲率特征，可有效識別奶牛跛行。

奶牛的行走過程可以看作是多個(gè)步態(tài)周期的重復(fù)，從牛蹄著地開始到該牛蹄再次著地的過程稱為一個(gè)步態(tài)周期，步態(tài)周期主要分為支撐相和擺動(dòng)相2個(gè)階段[67]，奶牛步態(tài)周期行走示意圖如圖3所示。

圖3 奶牛步態(tài)周期示意圖

奶牛在行走過程中，通常情況下先邁后蹄，再邁前蹄，且后蹄會(huì)落在前蹄所在的位置，進(jìn)而左右肢蹄交替運(yùn)動(dòng)，有規(guī)律地向前行走[4]。跛行奶牛由于肢蹄功能受損，在牛蹄著地時(shí)會(huì)引起壓痛，從而導(dǎo)致奶牛行走時(shí)的步態(tài)異常，其主要表現(xiàn)在步速較慢、左右肢蹄步態(tài)不對稱、前后肢蹄步態(tài)不跟隨以及行走的穩(wěn)定性和節(jié)奏性遭到破壞等[68]。Flower等[52]使用反光帶標(biāo)記奶牛肢蹄關(guān)節(jié)部位，利用可見光相機(jī)采集奶牛行走視頻，分析視頻中標(biāo)記物的運(yùn)動(dòng)特征，辨別跛行奶牛與正常奶牛，該研究首次將計(jì)算機(jī)視覺技術(shù)應(yīng)用于奶牛步態(tài)特征提取，為其后奶牛跛行的自動(dòng)識別研究提供了技術(shù)支持。Song等[55]通過對比視頻圖像中牛蹄的著地位置與現(xiàn)實(shí)場景中牛蹄的著地位置，發(fā)現(xiàn)兩者的相關(guān)系數(shù)為0.948，該研究充分表明計(jì)算機(jī)視覺技術(shù)在量化奶牛步態(tài)特征方面具有較大的發(fā)展?jié)摿??？滴醯萚29]將時(shí)空差值算法應(yīng)用于奶牛蹄部檢測，結(jié)合奶牛前蹄和后蹄著地的相對位置關(guān)系，分析奶牛步態(tài)的跟隨特性，自動(dòng)識別奶牛跛行。Wu等[31]將目標(biāo)檢測算法應(yīng)用于奶牛肢蹄檢測，通過分析奶牛前后肢蹄的相對位置關(guān)系，提取奶牛相對步長序列特征，可較好地識別奶牛跛行，提升了奶牛跛行識別效果。Zhao等[35]利用圖像處理方法獲取奶牛運(yùn)動(dòng)時(shí)各肢蹄的實(shí)時(shí)位置信息，繪制并分析各肢蹄的運(yùn)動(dòng)曲線，進(jìn)而提取奶牛步態(tài)對稱性、跟隨性、速度、支撐相、步幅和敏感性等6個(gè)步態(tài)特征，通過對98頭奶牛的視頻數(shù)據(jù)進(jìn)行測試分析，跛行識別準(zhǔn)確率為90.18%，此研究通過增加跛行特征提取的類別，提升了奶牛跛行識別的可靠性。跛行奶牛蹄部著地時(shí)會(huì)產(chǎn)生壓痛，導(dǎo)致支撐相時(shí)間變短，另一側(cè)牛蹄的支撐相時(shí)間會(huì)延長，Kang等[36]利用高速相機(jī)記錄牛蹄著地位置，進(jìn)而對奶牛各肢蹄著地時(shí)間進(jìn)行計(jì)算，提取更精確的奶牛跛行特征，利用100頭奶牛的視頻數(shù)據(jù)測試分析，跛行識別準(zhǔn)確率為96%。在此研究基礎(chǔ)上，為了更詳細(xì)研究奶牛蹄部的時(shí)空運(yùn)動(dòng)特征，Kang等[32]使用目標(biāo)檢測算法獲取視頻幀中牛蹄的位置，結(jié)合視頻序列的時(shí)間信息，構(gòu)造包含牛蹄位置信息與時(shí)間信息的時(shí)空步態(tài)圖，作為奶牛步態(tài)特征識別奶牛跛行，利用456頭奶牛的視頻數(shù)據(jù)測試分析，跛行識別準(zhǔn)確率為98.5%。上述研究表明，通過提取奶牛步態(tài)特征來識別奶牛跛行，識別準(zhǔn)確率得到了提升。

一些難以被人眼觀察到的底層紋理特征和光流特征也可以作為跛行特征，來識別奶牛跛行。溫長吉等[37]通過提取視頻圖像中的時(shí)空興趣點(diǎn)，獲取底層HOG（Histogram of Oriented Gradient）特征，提出了一種稀疏超完備詞典算法，語義級描述奶牛跛行，取得了較好的奶牛跛行在線識別效果。Jiang等[38]通過分析奶牛行走圖像序列中的像素分布，發(fā)現(xiàn)像素統(tǒng)計(jì)特征符合2個(gè)疊加的正態(tài)分布，設(shè)計(jì)了一個(gè)雙正態(tài)分布統(tǒng)計(jì)模型，利用像素統(tǒng)計(jì)特征確定奶牛跛行程度。由于像素統(tǒng)計(jì)特征對奶牛步態(tài)的輕微異常不敏感，為了檢測奶牛步態(tài)的輕微異常，更全面表征奶牛跛行，Jiang等[39]進(jìn)一步利用光流特征表征奶牛步態(tài)的輕微運(yùn)動(dòng)異常，來識別奶牛早期跛行，通過90頭奶牛的視頻數(shù)據(jù)測試分析，跛行識別準(zhǔn)確率為98.24%。上述研究表明，一些精細(xì)的底層統(tǒng)計(jì)特征以及微小的運(yùn)動(dòng)特征，可以作為跛行特征識別奶牛跛行，在奶牛微運(yùn)動(dòng)特征分析方面仍需進(jìn)一步探索。

奶牛弓背特征和步態(tài)特征是奶牛跛行識別研究中經(jīng)常使用的跛行特征，此方面的研究已取得較好的進(jìn)展，尤其是奶牛中重度跛行識別研究中，利用弓背特征和步態(tài)特征能夠獲得較好的跛行識別效果，但針對跛行癥狀不明顯的奶牛早期跛行，其識別準(zhǔn)確率偏低。因此，應(yīng)深入探索奶牛微運(yùn)動(dòng)特征及時(shí)序變化特征，研究分析運(yùn)動(dòng)異常不明顯的奶牛早期跛行，提升奶牛早期跛行識別準(zhǔn)確率。

1.1.3 奶牛跛行分類方法

奶牛跛行分類方法對使用人工設(shè)計(jì)的跛行特征或使用深度學(xué)習(xí)自動(dòng)提取的跛行特征進(jìn)行匯總分類，以此確定奶牛跛行程度。目前，奶牛跛行分類方法主要包括基于閾值的奶牛跛行分類方法、基于傳統(tǒng)機(jī)器學(xué)習(xí)的奶牛跛行分類方法以及基于深度學(xué)習(xí)的奶牛跛行分類方法。

基于閾值的奶牛跛行分類方法具有分類思想簡單，應(yīng)用場景較為廣泛，使用方便等優(yōu)點(diǎn)。一些學(xué)者通過提取奶牛背部曲率特征，設(shè)置奶牛背部曲率閾值，區(qū)分奶牛跛行程度。Viazzi等[40]使用背部曲率特征識別奶牛跛行，發(fā)現(xiàn)當(dāng)為每頭奶牛分別設(shè)置個(gè)體閾值時(shí)，其跛行識別準(zhǔn)確率要比設(shè)置群體閾值時(shí)高10%，此研究表明注重個(gè)體差異性可提高奶牛跛行的識別準(zhǔn)確率。不同的奶牛體態(tài)不同，對肢蹄疼痛的忍耐程度不同，這些個(gè)體差異會(huì)影響奶牛跛行癥狀，因此，直接使用閾值設(shè)定的方法分類奶牛跛行程度，會(huì)降低奶牛跛行識別準(zhǔn)確率。為降低奶牛個(gè)體差異性對跛行分類準(zhǔn)確率的影響，提升跛行分類泛化性能，一些研究學(xué)者利用傳統(tǒng)的機(jī)器學(xué)習(xí)方法分類奶牛跛行，即將機(jī)器學(xué)習(xí)算法在劃分好的訓(xùn)練集上進(jìn)行函數(shù)擬合，確定機(jī)器學(xué)習(xí)算法的參數(shù)值，再通過擬合好的機(jī)器學(xué)習(xí)算法在測試集上分類奶牛跛行?；趥鹘y(tǒng)機(jī)器學(xué)習(xí)的奶牛跛行分類方法主要包括：K最近鄰算法（K-Nearest Neighbor, KNN）[30]、支持向量機(jī)算法（Support Vector Machine, SVM）[37]以及決策樹算法[40,53]等。傳統(tǒng)的機(jī)器學(xué)習(xí)方法邏輯思想簡單，決策容易，分類效率較高，但對高維復(fù)雜特征的分類效果較差。深度學(xué)習(xí)算法能夠從高維復(fù)雜的特征中準(zhǔn)確高效地提取出高價(jià)值的特征，能夠獲得比傳統(tǒng)機(jī)器學(xué)習(xí)方法更加準(zhǔn)確可靠的分類結(jié)果。奶牛跛行識別研究中常用的深度學(xué)習(xí)算法主要包括卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks, CNN）和長短期記憶網(wǎng)絡(luò)（Bilateral Long Short-term Memory, BiLSTM）[69]。卷積神經(jīng)網(wǎng)絡(luò)可以深入挖掘視頻圖像中的隱藏特征，對高維復(fù)雜特征有較好的提取效果，在奶牛跛行分類任務(wù)上得到了較為廣泛的應(yīng)用。長短期記憶網(wǎng)絡(luò)因其獨(dú)特的“輸入門”、“遺忘門”和“輸出門”結(jié)構(gòu)，對時(shí)序信息的處理能力較強(qiáng)，在處理特征序列方面表現(xiàn)較好。基于深度學(xué)習(xí)的奶牛跛行分類方法，分類準(zhǔn)確率較高，泛化性能較好，適用于不同的奶牛養(yǎng)殖場，但需要大量標(biāo)注的數(shù)據(jù)進(jìn)行訓(xùn)練，而這些標(biāo)注的數(shù)據(jù)在采集和標(biāo)注過程中，往往需要耗費(fèi)大量的人力物力。

2.4 兩組患者纖溶系統(tǒng)指標(biāo)比較 治療前，兩組FIB、D-二聚體、t-PA及PAI-1比較，差異無統(tǒng)計(jì)學(xué)意義(P>0.05)；治療后，兩組患者各纖溶系統(tǒng)指標(biāo)均低于治療前，且試驗(yàn)組低于對照組(P<0.05)。見表4。

基于閾值的奶牛跛行分類方法適用于分類特征簡單，特征易于區(qū)分的情況，但泛化性能較差，跛行分類準(zhǔn)確率偏低；基于傳統(tǒng)機(jī)器學(xué)習(xí)的奶牛跛行分類方法，在處理小批量數(shù)據(jù)集方面，有較好的分類效果，但在特征較復(fù)雜時(shí)跛行分類效果不佳；基于深度學(xué)習(xí)的奶牛跛行分類方法，在數(shù)據(jù)量較充足的情況下，可獲得較高的跛行分類準(zhǔn)確率，而在處理小批量數(shù)據(jù)方面，分類效果較差。因此，在奶牛跛行分類方法的選擇上，應(yīng)根據(jù)跛行特征的特點(diǎn)和數(shù)據(jù)集的大小選擇適合的跛行分類方法。

基于可見光相機(jī)的奶牛跛行識別技術(shù)，通過可見光相機(jī)采集奶牛行走視頻數(shù)據(jù)，利用圖像處理方法或深度學(xué)習(xí)算法檢測奶牛關(guān)鍵身體部位，進(jìn)而提取奶牛跛行特征，識別奶牛跛行，目前已取得了較好的研究成果，但仍然存在著一些尚未完全解決的技術(shù)問題，比如前景和背景的準(zhǔn)確分離問題以及奶牛跛行特征的合理選擇問題等，這些問題均會(huì)降低奶牛跛行的識別準(zhǔn)確率及魯棒性，限制相關(guān)研究成果的實(shí)際應(yīng)用。

1.2 基于深度相機(jī)的奶牛跛行識別技術(shù)

深度相機(jī)按照工作原理的不同主要分為3類，分別是結(jié)構(gòu)光、雙目立體視覺以及飛行時(shí)間（Time-of-Flight, ToF），這3種技術(shù)可以記錄三維空間中各像素點(diǎn)到深度相機(jī)之間的距離，形成三維點(diǎn)云數(shù)據(jù)。與可見光相機(jī)相比，深度相機(jī)可以得到每個(gè)像素點(diǎn)到相機(jī)之間的距離信息，彌補(bǔ)可見光相機(jī)采集的二維空間信息的限制，還能夠在一定程度上減弱由光照等周圍環(huán)境帶來的背景持續(xù)變化的影響。因此，一些研究學(xué)者利用深度相機(jī)采集奶牛行走深度視頻，提取更精確的奶牛跛行特征，以此識別奶牛跛行，使用深度相機(jī)拍攝的奶牛行走深度圖像如圖4所示。

圖4 深度相機(jī)拍攝的奶牛俯視圖及側(cè)視圖

一些養(yǎng)殖場由于空間狹小受限，無法在奶牛行走通道側(cè)方安裝相機(jī)，采集奶牛行走視頻。針對此限制，Viazzi等[41]在奶牛行走通道上方3.15 m處安裝一臺深度相機(jī)，采集奶牛背部的深度圖像，結(jié)合深度圖像中蘊(yùn)含的三維空間信息，構(gòu)建奶牛背部結(jié)構(gòu)圖，使用2個(gè)橢圓擬合奶牛背部曲率特征，用決策樹算法識別奶牛跛行，獲得了與人工識別相近的跛行識別效果[70]。養(yǎng)殖場地表潮濕光滑，常出現(xiàn)奶牛行走打滑和摔倒的現(xiàn)象，這些現(xiàn)象會(huì)引起奶牛跛行檢測系統(tǒng)的誤識別。針對此情況，Hertem等[42]優(yōu)化了跛行識別算法，使用深度相機(jī)連續(xù)采集4 d的奶牛行走深度視頻，綜合評估奶牛行走狀態(tài)，減少奶牛跛行誤檢情況。此外，奶牛養(yǎng)殖場進(jìn)出通道過寬，會(huì)導(dǎo)致多頭奶牛并行，影響跛行識別效果，因此，應(yīng)標(biāo)準(zhǔn)化奶牛進(jìn)出通道，約束奶牛的行走間隔，減弱奶牛之間的相互影響，提升奶牛跛行識別效果[71]。為了分析基于多特征的奶牛跛行識別技術(shù)，Hertem等[43]利用深度相機(jī)采集奶牛行走深度視頻，分析奶牛背部曲率特征，補(bǔ)充奶牛產(chǎn)奶量和活動(dòng)量等額外信息，將奶牛跛行識別準(zhǔn)確率提升了12.4%，試驗(yàn)結(jié)果分析表明，使用多個(gè)特征識別奶牛跛行的準(zhǔn)確率優(yōu)于使用單一特征識別奶牛跛行。在奶牛背部多個(gè)特征中，髖關(guān)節(jié)周圍的背部曲率與奶牛跛行的相關(guān)系數(shù)最高，達(dá)到0.732。Jabbar等[44]使用深度相機(jī)采集奶牛背部深度圖像，利用圖像處理方法檢測奶牛背部脊柱，計(jì)算奶牛行走過程中髖關(guān)節(jié)的高度變化值，利用希爾伯特變換方法，分析髖關(guān)節(jié)的左右對稱性，使用SVM算法識別奶牛跛行，通過22頭奶牛的深度圖像數(shù)據(jù)測試分析，跛行識別準(zhǔn)確率為95.7%。上述研究表明，深度相機(jī)安裝在奶牛養(yǎng)殖場通道上方可節(jié)省養(yǎng)殖場空間，采集的奶牛背部三維空間信息可精確獲取奶牛弓背特征，進(jìn)而識別奶牛跛行。因此，基于深度相機(jī)的奶牛跛行識別技術(shù)在養(yǎng)殖場實(shí)際應(yīng)用階段具有較大的發(fā)展?jié)摿Α?/p>

還有一些學(xué)者嘗試將深度相機(jī)安裝在通道側(cè)方，以提取奶牛步態(tài)信息。Gardenier等[72]使用4個(gè)深度相機(jī)采集奶牛行走深度視頻數(shù)據(jù)，利用目標(biāo)檢測算法檢測奶牛肢蹄關(guān)節(jié)位置，獲取其運(yùn)動(dòng)軌跡，根據(jù)運(yùn)動(dòng)軌跡計(jì)算包括奶牛肢蹄外展和跟隨性等步態(tài)特征。為深入分析奶牛步態(tài)特征，Okura等[73]使用深度相機(jī)采集奶牛行走深度視頻數(shù)據(jù)，利用圖像處理方法提取奶牛行走步態(tài)輪廓，整合為步態(tài)能量圖，用于分析奶牛步態(tài)信息。這種方法不僅獲取奶牛背部特征，而且在奶牛步態(tài)信息獲取方面，也表現(xiàn)出了較好的應(yīng)用潛力。此外，深度相機(jī)能夠?yàn)榧倚篌w況評分及體重預(yù)估等方面提供技術(shù)支持[74-75]，在家畜身體健康監(jiān)測和疾病診斷方面，也具有較大的應(yīng)用前景。

隨著電子信息技術(shù)的快速發(fā)展，深度相機(jī)越來越普及，價(jià)格也越來越低，這為基于計(jì)算機(jī)視覺的奶牛跛行識別研究提供了一種新的技術(shù)手段。在奶牛行走通道頂部安裝深度相機(jī)，采集奶牛背部深度圖像，根據(jù)深度圖像中蘊(yùn)含的三維空間信息可獲取奶牛背部曲率特征及脊柱彎曲特征，進(jìn)而實(shí)現(xiàn)頂部視角安裝深度相機(jī)的奶牛跛行自動(dòng)識別。奶牛的跛行癥狀表現(xiàn)是多方面的，僅僅利用弓背特征識別奶牛跛行，會(huì)降低奶牛跛行識別的可靠性，另外，深度相機(jī)拍攝的深度圖像數(shù)據(jù)量較大，視野較小，不易整體表征奶牛運(yùn)動(dòng)狀態(tài)，使得奶牛跛行識別效果偏低。因此，將深度相機(jī)與可見光相機(jī)進(jìn)行結(jié)合，多方面提取奶牛跛行特征，可提升奶牛跛行識別的可靠性，優(yōu)化奶牛跛行識別效果。

1.3 基于熱紅外相機(jī)的奶牛跛行識別技術(shù)

任何高于絕對零度的物體都會(huì)向外輻射紅外，而輻射的紅外能量與自身的溫度大小呈正相關(guān)，溫度越高所輻射的能量就越強(qiáng)，熱紅外相機(jī)可根據(jù)物體輻射的紅外能量，測得物體表面溫度[76]?；加兄悴〉哪膛?，機(jī)體防御系統(tǒng)活躍性升高，所患炎癥部位的血液循環(huán)加速，這會(huì)導(dǎo)致奶牛患病肢蹄處的表面溫度升高[77]，因此一些學(xué)者利用熱紅外相機(jī)采集奶牛蹄部熱紅外圖像，對牛蹄表面溫度進(jìn)行分析，設(shè)置閾值識別奶牛跛行。使用熱紅外相機(jī)拍攝的奶牛熱紅外圖像（分辨率為561×421像素）以及奶牛蹄部熱紅外圖像如圖5所示。

圖5 熱紅外相機(jī)拍攝的奶牛身體圖及蹄部圖

有研究發(fā)現(xiàn)，相比于泌乳后期的奶牛，處于泌乳前期和中期的奶牛，其蹄部冠狀動(dòng)脈帶溫度相對較高，更接近于奶牛真實(shí)溫度，因此在此階段檢測奶牛蹄部溫度，可獲得更加準(zhǔn)確的溫度測量結(jié)果[78]。不同個(gè)體的奶牛，體表溫度往往具有差異性，考慮到這種個(gè)體差異性帶來的不利影響，Alsaaod等[46]分別測量奶牛前后牛蹄冠狀動(dòng)脈帶最高溫度，通過對比奶牛前后牛蹄的溫度差值，識別奶?；疾≈悖ㄟ^149頭奶牛的樣本數(shù)據(jù)測試分析，跛行識別敏感性為89.1%，特異性為66.6%。此外，提取奶牛肢蹄表面的次高溫度識別奶牛患病肢蹄可獲得與提取奶牛肢蹄表面的最高溫度相近的識別效果[79]。綜合考慮奶牛蹄部各區(qū)域溫度，研究奶牛蹄部的溫度分布，一些學(xué)者分別從奶牛蹄部拍攝角度[47]和蹄部區(qū)域劃分[48]方面，通過高精度測量奶牛蹄部溫度，識別奶?；疾≈?，取得了較好的識別效果。然而特定視角溫度的采集，往往需要人工的協(xié)助，將相機(jī)放置在特定的角度，Lin等[49]嘗試使用手持式紅外溫度計(jì)代替熱紅外相機(jī)，發(fā)現(xiàn)手持式紅外溫度計(jì)的溫度提取精度較低，降低了奶?；疾≈愕淖R別效果。熱紅外相機(jī)不僅用于測量牛蹄表面溫度，根據(jù)前后牛蹄的溫度差異，識別奶?；疾≈悖€用于測量奶牛乳房溫度，通過計(jì)算奶牛乳房溫度與眼睛溫度的差值，設(shè)置閾值，檢測奶牛乳房炎[80]，為家畜健康檢測與疾病診斷提供技術(shù)支持。

在養(yǎng)殖場中使用熱紅外相機(jī)，采集奶牛蹄部熱紅外圖像數(shù)據(jù)，易受到奶?；顒?dòng)量大小以及蹄部污染物的干擾，影響牛蹄表面溫度測量的準(zhǔn)確性，降低奶?；疾≈愕淖R別準(zhǔn)確率。目前，基于熱紅外相機(jī)的奶牛跛行識別技術(shù)，多是直接測量奶牛蹄部表面溫度，根據(jù)牛蹄表面溫度特征識別奶牛跛行，缺乏多樣化的奶牛跛行識別技術(shù)研究手段。因此，增加計(jì)算機(jī)視覺技術(shù)的應(yīng)用[50]，可提取多個(gè)奶牛跛行特征類別，優(yōu)化奶牛跛行識別效果，提高奶牛跛行識別的魯棒性。

2 當(dāng)前的主要挑戰(zhàn)

在基于計(jì)算機(jī)視覺的奶牛跛行識別技術(shù)研究中，國內(nèi)外研究學(xué)者在奶牛關(guān)鍵身體部位檢測方法、奶牛跛行特征的選擇以及奶牛跛行分類方法等方面進(jìn)行了大量的研究工作，取得了較好的研究成果，但基于計(jì)算機(jī)視覺的奶牛跛行識別目前仍處于研究階段，尚未能推廣應(yīng)用，主要原因是存在以下問題尚未完全解決：

1）奶牛關(guān)鍵身體部位檢測方法難以準(zhǔn)確檢測奶牛身體的邊界輪廓特征。在養(yǎng)殖場采集的奶牛行走視頻數(shù)據(jù)，容易受到光照、陰影等復(fù)雜背景環(huán)境變化以及欄桿、建筑物遮擋的影響，降低了視頻數(shù)據(jù)的質(zhì)量，不利于奶牛關(guān)鍵身體部位的精確檢測。此外，奶牛關(guān)鍵身體部位檢測方法，尚不能清晰地從視頻圖像中檢測出奶牛關(guān)鍵身體部位輪廓，在多尺度特征獲取方面和奶牛身體邊界輪廓獲取方面仍需進(jìn)一步深入研究。

2）缺乏穩(wěn)定可靠的奶牛跛行特征。不同奶牛的跛行特征并不完全相同，不能用統(tǒng)一的標(biāo)準(zhǔn)去度量。首先，不同奶牛在個(gè)體大小和疼痛忍耐度等方面存在差異[81]，這些個(gè)體化的差異會(huì)影響奶牛的跛行行為；其次，奶牛所患不同種類的疾病也會(huì)影響奶牛的跛行行為，如表現(xiàn)出弓背特征的奶牛不一定是跛行，也可能是受腹痛的影響[82]，奶牛蹄部病變和腿部病變所表現(xiàn)出的跛行行為也具有差異性[4]；另外，不同的年齡、胎次以及修蹄時(shí)間，均會(huì)改變奶牛的步態(tài)[83]，這些步態(tài)上的改變屬于正常變化，雖然與跛行無關(guān)，但仍然會(huì)對奶牛跛行識別產(chǎn)生干擾。因此，基于單一類別的跛行特征，可能不適用于所有的奶牛跛行識別。

3）奶牛早期跛行癥狀較輕，缺乏針對性的跛行識別方法。奶牛早期跛行通常僅具有輕微的步態(tài)異常[15]，現(xiàn)有的奶牛跛行識別技術(shù)，大多是根據(jù)人工可以觀察到的跛行特征來識別奶牛跛行，而人工肉眼難以觀察到奶牛步態(tài)的輕微異常，這使得僅具有輕微步態(tài)異常的奶牛早期跛行，識別準(zhǔn)確率偏低。奶牛步態(tài)具有高維時(shí)空異構(gòu)性和復(fù)雜性，從復(fù)雜多變的奶牛步態(tài)信息中，提取與跛行相關(guān)的特征較為困難。此外，奶牛步態(tài)運(yùn)動(dòng)過程較為復(fù)雜，步態(tài)運(yùn)動(dòng)規(guī)律尚不明晰，致使奶牛步態(tài)運(yùn)動(dòng)具有較強(qiáng)的耦合特性，降低了跛行特征的提取精度。

4）試驗(yàn)驗(yàn)證階段，養(yǎng)殖場應(yīng)用環(huán)境所遇到的問題影響奶牛跛行識別。光滑和潮濕的地板會(huì)影響奶牛正常行走，甚至造成奶牛行走時(shí)突然打滑與急停，上述現(xiàn)象會(huì)影響奶牛行走視頻數(shù)據(jù)的有效獲取，降低奶牛跛行識別準(zhǔn)確率。另外，奶牛養(yǎng)殖場中的高溫高濕現(xiàn)象以及有害氣體滋生等環(huán)境問題，對相機(jī)和計(jì)算機(jī)的使用壽命損害較大[24]，致使計(jì)算機(jī)視覺設(shè)備無法在養(yǎng)殖場長期正常運(yùn)行。

3 結(jié)論和展望

基于計(jì)算機(jī)視覺的奶牛跛行識別技術(shù)，可以通過無應(yīng)激、無接觸地采集奶牛行走視頻數(shù)據(jù)，利用跛行特征提取和特征分類的方法識別奶牛跛行。隨著人工智能技術(shù)的快速應(yīng)用，能夠進(jìn)一步提高奶牛跛行識別效率和準(zhǔn)確率，加快奶牛養(yǎng)殖管理向著信息化方向邁進(jìn)的步伐。目前，歐美等發(fā)達(dá)國家在基于計(jì)算機(jī)視覺的奶牛跛行識別技術(shù)方面，進(jìn)行了系統(tǒng)性與多層次的研究，并取得較好的研究進(jìn)展。中國在該方面的研究尚處于起步階段，研究基礎(chǔ)較為薄弱。因此，結(jié)合中國國情及奶牛養(yǎng)殖場管理水平，在未來的奶牛跛行識別研究中，建議從以下幾個(gè)方面重點(diǎn)突破：

1）標(biāo)準(zhǔn)化奶牛跛行識別數(shù)據(jù)采集流程，優(yōu)化奶牛關(guān)鍵身體部位檢測方法。高質(zhì)量地采集奶牛跛行識別數(shù)據(jù)，對奶牛跛行識別技術(shù)研究十分重要。首先，應(yīng)規(guī)范奶牛行走視頻數(shù)據(jù)的獲取流程，包括對光線等背景環(huán)境以及相機(jī)與奶牛之間的距離等條件做出一些限制，保證采集的奶牛行走視頻數(shù)據(jù)的清晰可分辨；其次，應(yīng)建立奶牛跛行識別數(shù)據(jù)共享機(jī)制，加強(qiáng)合作研究，提升奶牛行走視頻數(shù)據(jù)的利用率，確保奶牛跛行識別技術(shù)研究具有較好的數(shù)據(jù)支撐；另外，在奶牛關(guān)鍵身體部位檢測方面，應(yīng)加強(qiáng)對圖像處理方法和深度學(xué)習(xí)算法的深入研究，提高奶牛關(guān)鍵身體部位檢測方法對圖像中色彩和紋理等特征的利用，增強(qiáng)對多尺度特征和邊界輪廓特征的提取，提升奶牛關(guān)鍵身體部位檢測效果，為奶牛跛行識別提供技術(shù)支持。

2）深入研究奶牛跛行特征，提高奶牛早期跛行識別準(zhǔn)確率。首先，奶牛行走過程具有高度時(shí)空異構(gòu)性和復(fù)雜性，應(yīng)深入分析奶牛運(yùn)動(dòng)信息，明晰奶牛運(yùn)動(dòng)規(guī)律，識別奶牛輕微運(yùn)動(dòng)，為奶牛早期跛行的準(zhǔn)確識別提供理論基礎(chǔ)；其次，應(yīng)考慮奶牛年齡、胎次以及個(gè)體差異性等因素的影響，多方面獲取奶牛跛行特征，通過特征解耦合以及多特征融合等方法，優(yōu)化奶牛跛行特征的表征方式，提升奶牛跛行識別的魯棒性和普適性；另外，應(yīng)長期監(jiān)測奶牛行走狀態(tài)，結(jié)合歷史數(shù)據(jù)動(dòng)態(tài)更新奶牛跛行識別模型，提高奶牛早期跛行識別的準(zhǔn)確率。

3）選擇規(guī)模化標(biāo)準(zhǔn)化的奶牛養(yǎng)殖場，構(gòu)建完善的奶牛跛行識別流程。養(yǎng)殖場的奶牛在行走過程中易出現(xiàn)擁擠現(xiàn)象，應(yīng)標(biāo)準(zhǔn)化奶牛行走通道，控制奶牛行走間隔，保證奶牛跛行識別試驗(yàn)?zāi)軌蛘＿M(jìn)行。當(dāng)奶牛出現(xiàn)擁擠和打滑等突發(fā)情況時(shí)，奶牛跛行識別模型能夠觸發(fā)預(yù)警，并根據(jù)實(shí)際情況提供備選方案，提升奶牛跛行識別模型對奶牛行走狀態(tài)的檢測能力和識別效果。此外，還應(yīng)合理規(guī)劃計(jì)算機(jī)視覺設(shè)備的工作環(huán)境和工作空間，確保計(jì)算機(jī)視覺設(shè)備能夠長期穩(wěn)定工作。

綜上所述，基于計(jì)算機(jī)視覺的奶牛跛行識別技術(shù)仍處于研究階段，還有一些尚未完全解決的技術(shù)問題，包括奶牛個(gè)體差異性、跛行特征的優(yōu)選以及早期跛行識別等，針對這些技術(shù)問題應(yīng)展開系統(tǒng)性深入研究，進(jìn)一步提高奶牛跛行識別的準(zhǔn)確率，加快中國畜牧業(yè)的信息化發(fā)展進(jìn)程。

[1] Bruijnis M R N, Meijboom F L B, Stassen E N. Longevity as an animal welfare issue applied to the case of foot disorders in dairy cattle[J]. Journal of Agricultural and Environmental Ethics, 2013, 26(1): 191-205.

[2] 王路軍. 黑龍江省奶牛肢蹄病流行病學(xué)調(diào)查及診斷方法建立[D]. 哈爾濱：東北農(nóng)業(yè)大學(xué)，2021.

Wang Lujun. Epidemiological Investigation and Establishment of Diagnosis Methods of Limb and Hoof Diseases of Dairy Cows in Heilongjiang Province[D]. Harbin: Northeast Agricultural University, 2021. (in Chinese with English abstract)

[3] Von Keyserlingk M A G, Rushen J, de Passillé A M, et al. Invited review: The welfare of dairy cattle—key concepts and the role of science[J]. Journal of Dairy Science, 2009, 92(9): 4101-4111.

[4] van Nuffel A, Zwertvaegher I, Pluym L, et al. Lameness detection in dairy cows: Part 1. How to distinguish between non-lame and lame cows based on differences in locomotion or behavior[J]. Animals, 2015, 5(3): 838-860.

[5] Silva S R, Araujo J P, Guedes C, et al. Precision technologies to address dairy cattle welfare: Focus on lameness, mastitis and body condition[J]. Animals, 2021, 11(8): 2253-2269.

[6] García-Mu?oz A, Vidal G, Singh N, et al. Evaluation of two methodologies for lameness detection in dairy cows based on postural and gait abnormalities observed during milking and while restrained at headlock stanchions[J]. Preventive Veterinary Medicine, 2016, 128: 33-40.

[7] Chapinal N, von Keyserlingk M A G, Cerri R L A, et al. Herd-level reproductive performance and its relationship with lameness and leg injuries in freestall dairy herds in the northeastern United States[J]. Journal of Dairy Science, 2013, 96(11): 7066-7072.

[8] Griffiths B E, Dai White G, Oikonomou G. A cross-sectional study into the prevalence of dairy cattle lameness and associated herd-level risk factors in England and Wales[J]. Frontiers in Veterinary Science, 2018, 5: 65-72.

[9] Costa J H C, Burnett T A, von Keyserlingk M A G, et al. Prevalence of lameness and leg lesions of lactating dairy cows housed in southern Brazil: Effects of housing systems[J]. Journal of Dairy Science, 2018, 101(3): 2395-2405.

[10] Solano L, Barkema H W, Pajor E A, et al. Prevalence of lameness and associated risk factors in Canadian Holstein-Friesian cows housed in freestall barns[J]. Journal of Dairy Science, 2015, 98(10): 6978-6991.

[11] Chapinal N, Liang Y, Weary D M, et al. Risk factors for lameness and hock injuries in Holstein herds in China[J]. Journal of Dairy Science, 2014, 97(7): 4309-4316.

[12] Sj?str?m K, Fall N, Blanco-Penedo I, et al. Lameness prevalence and risk factors in organic dairy herds in four European countries[J]. Livestock Science, 2018, 208: 44-50.

[13] Grimm K, Haidn B, Erhard M, et al. New insights into the association between lameness, behavior, and performance in Simmental cows[J]. Journal of Dairy Science, 2019, 102(3): 2453-2468.

[14] Afonso J S, Bruce M, Keating P, et al. Profiling detection and classification of lameness methods in British dairy cattle research: A systematic review and meta-analysis[J]. Frontiers in Veterinary Science, 2020, 7: 542-562.

[15] Haladjian J, Hodaie Z, Nüske S, et al. Gait anomaly detection in dairy cattle[C]//Proceedings of the Fourth International Conference on Animal-Computer Interaction. 2017: 1-8.

[16] Charfeddine N, Pérez-Cabal M A. Effect of claw disorders on milk production, fertility, and longevity, and their economic impact in Spanish Holstein cows[J]. Journal of Dairy Science, 2017, 100(1): 653-665.

[17] Thomsen P T, Munksgaard L, S?rensen J T. Locomotion scores and lying behaviour are indicators of hoof lesions in dairy cows[J]. The Veterinary Journal, 2012, 193(3): 644-647.

[18] Sprecher D J, Hostetler D E, Kaneene J B. A lameness scoring system that uses posture and gait to predict dairy cattle reproductive performance[J]. Theriogenology, 1997, 47(6): 1179-1187.

[19] Taneja M, Byabazaire J, Jalodia N, et al. Machine learning based fog computing assisted data-driven approach for early lameness detection in dairy cattle[J]. Computers and Electronics in Agriculture, 2020, 171: 105286-105301.

[20] O'callaghan K A, Cripps P J, Downham D Y, et al. Subjective and objective assessment of pain and discomfort due to lameness in dairy cattle[J]. Animal Welfare, 2003, 12(4): 605-610.

[21] Schlageter-Tello A, Bokkers E A M, Koerkamp P W G G, et al. Relation between observed locomotion traits and locomotion score in dairy cows[J]. Journal of Dairy Science, 2015, 98(12): 8623-8633.

[22] Ghotoorlar S M, Ghamsari S M, Nowrouzian I, et al. Lameness scoring system for dairy cows using force plates and artificial intelligence[J]. Veterinary Record, 2012, 170(5): 126-126.

[23] Jarchi D, Kaler J, Sanei S. Lameness Detection in cows using hierarchical deep learning and synchrosqueezed wavelet transform[J]. IEEE Sensors Journal, 2021, 21(7): 9349-9358.

[24] 韓書慶，張晶，程國棟，等. 奶牛跛行自動(dòng)識別技術(shù)研究現(xiàn)狀與挑戰(zhàn)[J]. 智慧農(nóng)業(yè)，2020，2(3)：21-36.

Han Shuqing, Zhang Jing, Cheng Guodong, et al. Current state and challenges of automatic lameness detection in dairy cattle[J]. Smart Agriculture, 2020, 2(3): 21-36. (in Chinese with English abstract)

[25] Alsaaod M, Fadul M, Steiner A. Automatic lameness detection in cattle[J]. The Veterinary Journal, 2019, 246: 35-44.

[26] Flower F C, Weary D M. Effect of hoof pathologies on subjective assessments of dairy cow gait[J]. Journal of Dairy Science, 2006, 89(1): 139-146.

[27] Zillner J C, Tücking N, Plattes S, et al. Using walking speed for lameness detection in lactating dairy cows[J]. Livestock Science, 2018, 218: 119-123.

[28] Poursaberi A, Bahr C, Pluk A, et al. Real-time automatic lameness detection based on back posture extraction in dairy cattle: Shape analysis of cow with image processing techniques[J]. Computers and Electronics in Agriculture, 2010, 74(1): 110-119.

[29] 康熙，張旭東，劉剛，等. 基于機(jī)器視覺的跛行奶牛牛蹄定位方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2019，50(S1)：276-282.

Kang Xi, Zhang Xudong, Liu Gang, et al. Hoof location method of lame dairy cows based on machine vision[J]. Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(S1): 276-282. (in Chinese with English abstract)

[30] 宋懷波，姜波，吳倩，等. 基于頭頸部輪廓擬合直線斜率特征的奶牛跛行檢測方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2018，34(15)：190-199.

Song Huaibo, Jiang Bo, Wu Qian, et al. Detection of dairy cow lameness based on fitting line slope feature of head and neck outline[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(15): 190-199. (in Chinese with English abstract)

[31] Wu D, Wu Q, Yin X, et al. Lameness detection of dairy cows based on the YOLOv3 deep learning algorithm and a relative step size characteristic vector[J]. Biosystems Engineering, 2020, 189: 150-163.

[32] Kang X, Li S, Li Q, et al. Dimension-reduced spatiotemporal network for lameness detection in dairy cows[J]. Computers and Electronics in Agriculture, 2022, 197: 106922-106932.

[33] Poursaberi A, Bahr C, Pluk A, et al. Online lameness detection in dairy cattle using Body Movement Pattern (BMP)[C]//In 2011 11th International Conference on Intelligent Systems Design and Applications. IEEE, 2011, 732-736.

[34] Jiang B, Song H, Wang H, et al. Dairy cow lameness detection using a back curvature feature[J]. Computers and Electronics in Agriculture, 2022, 194: 106729-106731.

[35] Zhao K, Bewley J M, He D, et al. Automatic lameness detection in dairy cattle based on leg swing analysis with an image processing technique[J]. Computers and Electronics in Agriculture, 2018, 148: 226-236.

[36] Kang X, Zhang X D, Liu G. Accurate detection of lameness in dairy cattle with computer vision: A new and individualized detection strategy based on the analysis of the supporting phase[J]. Journal of Dairy Science, 2020, 103(11): 10628-10638.

[37] 溫長吉，張金鳳，李卓識，等. 改進(jìn)稀疏超完備詞典方法識別奶牛跛足行為[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2018，34(18)：219-227.

Wen Changji, Zhang Jinfeng, Li Zhuoshi, et al. Behavior recognition of lameness in dairy cattle by improved sparse overcomplete dictionary method[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(18): 219-227. (in Chinese with English abstract)

[38] Jiang B, Song H, He D. Lameness detection of dairy cows based on a double normal background statistical model[J]. Computers and Electronics in Agriculture, 2019, 158: 140-149.

[39] Jiang B, Yin X, Song H. Single-stream long-term optical flow convolution network for action recognition of lameness dairy cow[J]. Computers and Electronics in Agriculture, 2020, 175: 105536-105543.

[40] Viazzi S, Bahr C, Schlageter-Tello A, et al. Analysis of individual classification of lameness using automatic measurement of back posture in dairy cattle[J]. Journal of Dairy Science, 2013, 96(1): 257-266.

[41] Viazzi S, Bahr C, Van Hertem T, et al. Comparison of a three-dimensional and two-dimensional camera system for automated measurement of back posture in dairy cows[J]. Computers and Electronics in Agriculture, 2014, 100: 139-147.

[42] Hertem V T, Viazzi S, Steensels M, et al. Automatic lameness detection based on consecutive 3D-video recordings[J]. Biosystems Engineering, 2014, 119: 108-116.

[43] Hertem V T, Bahr C, Tello A S, et al. Lameness detection in dairy cattle: single predictor. multivariate analysis of image-based posture processing and behaviour and performance sensing[J]. Animal, 2016, 10(9): 1525-1532.

[44] Jabbar K A, Hansen M F, Smith M L, et al. Early and non-intrusive lameness detection in dairy cows using 3-dimensional video[J]. Biosystems Engineering, 2017, 153: 63-69.

[45] Alsaaod M, Büscher W. Detection of hoof lesions using digital infrared thermography in dairy cows[J]. Journal of Dairy Science, 2012, 95(2): 735-742.

[46] Alsaaod M, Syring C, Dietrich J, et al. A field trial of infrared thermography as a non-invasive diagnostic tool for early detection of digital dermatitis in dairy cows[J]. The Veterinary Journal, 2014, 199(2): 281-285.

[47] Rodríguez A R, Olivares F J, Descouvieres P T, et al. Thermographic assessment of hoof temperature in dairy cows with different mobility scores[J]. Livestock Science, 2016, 184: 92-96.

[48] Werema C W, Laven L, Mueller K, et al. Evaluating alternatives to locomotion scoring for lameness detection in pasture-based dairy cows in New Zealand: Infra-red thermography[J]. Animals, 2021, 11(12): 3473-3491.

[49] Lin Y C, Mullan S, Main D C J. Optimising lameness detection in dairy cattle by using handheld infrared thermometers[J]. Veterinary Medicine and Science, 2018, 4(3): 218-226.

[50] 康熙，李樹東，張旭東，等. 基于熱紅外視頻的奶牛跛行運(yùn)動(dòng)特征提取與檢測[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(23)：169-178.

Kang Xi, Li Shudong, Zhang Xudong, et al. Features extraction and detection of cow lameness movement based on thermal infrared videos[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(23): 169-178. (in Chinese with English abstract)

[51] Piette D, Norton T, Exadaktylos V, et al. Individualised automated lameness detection in dairy cows and the impact of historical window length on algorithm performance[J]. Animal, 2020, 14(2): 409-417.

[52] Flower F C, Sanderson D J, Weary D M. Hoof pathologies influence kinematic measures of dairy cow gait[J]. Journal of Dairy Science, 2005, 88(9): 3166-3173.

[53] Bahr C, Leroy T, Song X, et al. Automatic detection of lameness in dairy cattle–analyzing image parameters related to lameness[C]//Livestock Environment VIII, 31 August–4 September 2008, Iguassu Falls, Brazil. American Society of Agricultural and Biological Engineers, 2009: 137-143.

[54] Pluk A, Bahr C, Poursaberi A, et al. Automatic measurement of touch and release angles of the fetlock joint for lameness detection in dairy cattle using vision techniques[J]. Journal of Dairy Science, 2012, 95(4): 1738-1748.

[55] Song X, Leroy T, Vranken E, et al. Automatic detection of lameness in dairy cattle—Vision-based trackway analysis in cow's locomotion[J]. Computers and Electronics in Agriculture, 2008, 64(1): 39-44.

[56] Zhao K, He D. Target detection method for moving cows based on background subtraction[J]. International Journal of Agricultural and Biological Engineering, 2015, 8(1): 42-49.

[57] Jiang B, Wu Q, Yin X, et al. FLYOLOv3 deep learning for key parts of dairy cow body detection[J]. Computers and Electronics in Agriculture, 2019, 166: 104982-104990.

[58] Noe S M, Zin T T, Tin P, et al. A deep learning-based solution to cattle region extraction for lameness detection[C]//The 4th Global Conference on Life Sciences and Technologies (LifeTech). IEEE, 2022: 572-573.

[59] Redmon J, Farhadi A. Yolov3: An incremental improvement[EB/OL]. (2018.04.08) [2022.05.19]. https://doi.org/ 10.48550/arXiv.1804.02767.

[60] Bochkovskiy A, Wang C Y, Liao H Y M. Yolov4: Optimal speed and accuracy of object detection[EB/OL]. (2020.04.23) [2022.05.19]. https://doi.org/10.48550/arXiv.2004.10934.

[61] Zhu X, Lyu S, Wang X, et al. TPH-YOLOv5: Improved YOLOv5 based on transformer prediction head for object detection on drone-captured scenarios[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021: 2778-2788.

[62] Tan M, Pang R, Le Q V. Efficientdet: Scalable and efficient object detection[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 10781-10790.

[63] Arazo E, Aly R, McGuinness K. Segmentation enhanced lameness detection in dairy cows from RGB and depth video[EB/OL]. (2022.06.10) [2022.05.19], https://doi.org/ 10.48550/arXiv.2206.04449.

[64] Chen L C, Papandreou G, Schroff F, et al. Rethinking atrous convolution for semantic image segmentation[EB/OL]. (2017.12.05) [2022.05.19]. https://doi.org/10.48550/ arXiv.1706.05587.

[65] Ventura C, Bellver M, Girbau A, et al. Rvos: End-to-end recurrent network for video object segmentation[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2019: 5277-5286.

[66] Lin T Y, Dollár P, Girshick R, et al. Feature pyramid networks for object detection[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2017: 2117-2125.

[67] 蘇力德，張永，王健，等. 基于改進(jìn)動(dòng)態(tài)時(shí)間規(guī)整算法的奶牛步態(tài)分割方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2020，51(7)：52-59.

Su Lide, Zhang Yong, Wang Jian, et al. Segmentation methods of dairy cattle gait based on improved dynamic time warping algorithm[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(7): 52-59. (in Chinese with English abstract)

[68] Flower F C, Weary D M. Gait assessment in dairy cattle[J]. Animal, 2009, 3(1): 87-95.

[69] Sharfuddin A A, Tihami M N, Islam M S. A deep recurrent neural network with bilstm model for sentiment classification[C]//In 2018 International Conference on Bangla Speech and Language Processing (ICBSLP). IEEE, 2018, 1-4.

[70] Schlageter-Tello A, Van Hertem T, Bokkers E A M, et al. Performance of human observers and an automatic 3-dimensional computer-vision-based locomotion scoring method to detect lameness and hoof lesions in dairy cows[J]. Journal of Dairy Science, 2018, 101(7): 6322-6335.

[71] Hertem V T, Tello A S, Viazzi S, et al. Implementation of an automatic 3D vision monitor for dairy cow locomotion in a commercial farm[J]. Biosystems Engineering, 2018, 173: 166-175.

[72] Gardenier J, Underwood J, Clark C. Object detection for cattle gait tracking[C]//In 2018 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2018: 2206-2213.

[73] Okura F, Ikuma S, Makihara Y, et al. RGB-D video-based individual identification of dairy cows using gait and texture analyses[J]. Computers and Electronics in Agriculture, 2019, 165: 104944-104953.

[74] Shigeta M, Ike R, Takemura H, et al. Automatic measurement and determination of body condition score of cows based on 3D images using CNN[J]. Journal of Robotics and Mechatronics, 2018, 30(2): 206-213.

[75] Hansen M F, Smith M L, Smith L N, et al. Automated monitoring of dairy cow body condition, mobility and weight using a single 3D video capture device[J]. Computers in Industry, 2018, 98: 14-22.

[76] 盧知非，劉浩宇，陳文亮，等. 紅外人體測溫精度補(bǔ)償方法研究[J]. 紅外技術(shù)，2021，43(9)：895-901.

Lu Zhifei, Liu Haoyu, Chen Wenliang, et al. Accuracy compensation method for infrared human body temperature measurement accuracy[J]. Infrared Technology, 2021, 43(9): 895-901. (in Chinese with English abstract)

[77] Bobi? T, Miji? P, Gregi? M, et al. Early detection of the hoof diseases in Holstein cows using thermovision camera[J]. Agriculturae Conspectus Scientificus, 2017, 82(2): 197-200.

[78] Nikkhah A, Plaizier J C, Einarson M S, et al. Infrared thermography and visual examination of hooves of dairy cows in two stages of lactation[J]. Journal of Dairy Science, 2005, 88(8): 2749-2753.

[79] Harris-Bridge G, Young L, Handel I, et al. The use of infrared thermography for detecting digital dermatitis in dairy cattle: What is the best measure of temperature and foot location to use?[J]. The Veterinary Journal, 2018, 237: 26-33.

[80] Zhang X, Kang X, Feng N, et al. Automatic recognition of dairy cow mastitis from thermal images by a deep learning detector[J]. Computers and Electronics in Agriculture, 2020, 178: 105754-105764.

[81] Boelling D, Pollott G E. Locomotion, lameness, hoof and leg traits in cattle I: Phenotypic influences and relationships[J]. Livestock Production Science, 1998, 54(3): 193-203.

[82] Thomsen P T. Rapid screening method for lameness in dairy cows[J]. Veterinary Record, 2009, 164(22): 689-690.

[83] van N A. Development of an Automated Detection System for Lameness in Cattle: The Gaitwise system[D]. Leuven: Katholic University of Leuven, 2014.

Research progress on lameness recognition technology in dairy cows using computer vision

Li Qian, Chu Mengyuan, Kang Xi, Liu Gang※

(1,,,100083,; 2,,,100083,)

Digitization has been one of the significant directions in the rural land governance reform in the future. However, it is still lacking in the logical concepts and framework for the digital governance of rural land. In this study, a three-dimensional system framework of “demand-baseline-function” was established using the perspective of the transaction cost. An emphasis was also put on the construction of the digital system for land acquisition and relocation. Firstly, the basic, core and conflict needs of the participants were clarified ranging from the government, land users, and the original land stakeholder. Secondly, the bottom line was defined as the legal, spatial, and regulatory governance. Thirdly, the digital system was classified to design various digital realities. The future functional modules were selected to entirely reduce the transaction costs, thereby integrating the multiple sharing systems for the overall operational efficiency. In addition, Zhejiang Province of China was selected as the experimental area for the system design. The reason was that Zhejiang Province has been the representative region in the digital reform of land governance in recent years. Nevertheless, there was a high transaction cost in the process of land acquisition and relocation. It is also a high demand to effectively build a digital system during this time. As such, the actual system was designed to combine with the improved the digital framework. The result showed that the “demand-baseline-function” framework effectively guided the development and design of the “intelligent land acquisition and demolition” digital system in the actual application situation. The transaction costs were also reduced to fill the logical blank for the previous system of land digital governance. The demand analysis demonstrated that the improved system provided the port to fully meet the basic and core needs of the government, land users, collectives, and farmers. The information asymmetry, discourse game, and conflict transmission effectively reduced the transaction cost of the game between the subjects. The bottom line was clarified for the implementation boundary of the law and space of the land requisition and relocation process. The whole supervision system of land requisition and relocation was constructed to stabilize the land requisition and relocation environment. The functional analysis revealed that the improved system coordinated the actual and upgrade function of the “intelligent land acquisition and demolition” digital system. The logical framework effectively reduced the negotiation and decision cost, while the implementation and supervision cost, as well as the management and sunk costs in the land acquisition and demolition. Therefore, the “demand baseline function” framework can provide a strong reference for the transaction cost in the digital reform of land governance. Anyway, the underlying construction logic of the framework can also be applicable to the other areas without the digital construction guidance, providing for the most general transaction cost in the rural land governance. In addition, the logical framework of the system can also provide a strong reference for the digital transformation of rural land governance in the future, in order to improve the digital level of land space and the modernization of governance capacity.

computer vision; image processing; deep learning; lameness recognition in dairy cows; visible light camera; depth camera; thermal infrared camera

10.11975/j.issn.1002-6819.2022.15.017

S-1; S818; S811.2

A

1002-6819(2022)-15-0159-11

李前，初夢苑，康熙，等. 基于計(jì)算機(jī)視覺的奶牛跛行識別技術(shù)研究進(jìn)展[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2022，38(15)：159-169.doi：10.11975/j.issn.1002-6819.2022.15.017 http://www.tcsae.org

Li Qian, Chu Mengyuan, Kang Xi, et al. Research progress on lameness recognition technology in dairy cows using computer vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(15): 159-169. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2022.15.017 http://www.tcsae.org

2022-05-19

2022-07-31

國家重點(diǎn)研發(fā)計(jì)劃項(xiàng)目（2021YFD1300502）

李前，博士生，主要研究方向?yàn)榛跈C(jī)器視覺的健康養(yǎng)殖應(yīng)用。Email：lee55777@163.com

劉剛，博士，教授，博士生導(dǎo)師，主要研究方向?yàn)殡娮有畔⒓夹g(shù)在農(nóng)業(yè)中的應(yīng)用。Email：pac@cau.edu.cn