楊奕銘 邸馨瑤 宋懷波

摘要：為了實現(xiàn)奶牛軀干的精確分割，以荷斯坦奶牛為研究對象，首先采用超像素分割算法（simple linear iterative cluster，簡稱SLIC）與顯著性分析相結(jié)合的方法獲得完整奶牛目標(biāo);然后通過設(shè)置傅里葉描述子以平滑Canny算子邊緣檢測的奶牛輪廓;最后采用基于奶牛肢體特征的分割點提取方法提取各分割點并依次連接生成奶牛軀干的分割線。為了驗證本研究結(jié)果的有效性，使用試驗圖像庫中隨機抽取的20幅圖像進行了測試，試驗結(jié)果表明，本研究所提取的奶牛目標(biāo)與手動提取目標(biāo)的平均重疊率為96.83%，可以實現(xiàn)不同背景下奶牛目標(biāo)的準(zhǔn)確分割。本研究所提出的奶牛軀干分割方法的平均重疊率為99.86%，表明該方法在奶牛軀干精確分割中準(zhǔn)確率較高且相對穩(wěn)定，可以實現(xiàn)不同站立體態(tài)奶牛的高精度分割。

關(guān)鍵詞：奶牛;軀干分割;SLIC算法;顯著性分析;傅里葉描述子

中圖分類號： TP391.41 ?文獻標(biāo)志碼： A ?文章編號：1002-1302（2020）15-0253-07

奶牛的頭部、頸部、軀干及四肢包含著諸多奶牛的運動信息，開展奶牛軀干的精細分割方法研究，可為奶牛體態(tài)檢測、體況評價、運動評分、目標(biāo)識別及行為分析等研究奠定基礎(chǔ)，對于提升奶牛養(yǎng)殖場的現(xiàn)代化和智能化水平具有重要的促進作用[1-5]。

在奶牛目標(biāo)識別、分割、行為分析等方面，國內(nèi)外研究已經(jīng)取得了大量成果。在奶牛行為識別方面，Martiskainen等使用三軸加速度計和支持向量機（support vector machine，簡稱SVM）方法，實現(xiàn)了奶牛站立、躺臥、反芻、進食、正常行走和跛行等行為的識別，平均識別正確率為78.00%[6]。顧靜秋等提出了一種基于圖像熵的奶牛目標(biāo)識別方法[7]，利用最小包圍盒面積識別奶牛連續(xù)7 d的運動量，該方法對奶牛發(fā)情、蹄病行為的識別率超過80.00%。Ahn等提出了基于運動歷史圖像特征的SVM分類器識別奶牛行為，識別準(zhǔn)確率為72.00%[8]。在奶牛目標(biāo)分割與軀干精確分割方面，金一初等將奶牛圖像轉(zhuǎn)換到LUV顏色空間并對各子塊進行塊內(nèi)顏色聚類，基于奶牛顏色和紋理特征對子塊作區(qū)域生長，實現(xiàn)了奶牛目標(biāo)的分割，準(zhǔn)確率在80.00%以上[9]。Nahari等利用局部閾值分割與K-means聚類算法相結(jié)合的方法將奶牛圖像分為2簇并提取奶牛目標(biāo)，分割結(jié)果優(yōu)于局部閾值分割與邊緣檢測相結(jié)合的方法[10]。趙凱旋等基于深度圖像的機器學(xué)習(xí)方法，選取不同采樣半徑下的像素點帶閾值局部二值式序列作為深度特征值，并用決策樹森林機器學(xué)習(xí)方法實現(xiàn)了奶牛軀干的精細分割，平均識別率為95.15%[11]。李國強等提出了基于奶牛骨架特征的肢體分割方法，在提取奶牛肢體骨架的基礎(chǔ)上，以骨架分叉點作為奶牛肢體的分解線來分割奶牛肢體，該方法對各肢體分解的平均正確率為95.09%[12]。

綜上所述，在動物軀干分割方面，基于深度圖像的奶牛分割方法易受圖像背景環(huán)境、光照及奶牛毛色變化等因素的影響[13];輪廓提取算法得到的輪廓冗余信息較多，不利于軀干分割點提取[14];角點檢測算法存在誤差較大等問題[15-17]。針對上述問題，本研究擬從奶牛目標(biāo)提取方法、奶牛輪廓提取方法及奶牛軀干分割方法這3個方面展開研究。通過結(jié)合SLIC算法與顯著性分析方法提取奶牛目標(biāo)，并采用Canny算子獲得奶牛目標(biāo)輪廓，再設(shè)定傅里葉描述子個數(shù)得到相對平滑的奶牛目標(biāo)輪廓。最后，利用奶牛肢體特征提取奶牛軀干部位的分割特征點，并按照設(shè)定的約束條件生成分割線，以期實現(xiàn)奶牛軀干的精確分割，為進行奶牛體況評價、體姿和體態(tài)監(jiān)管等研究奠定基礎(chǔ)。

1 材料與方法

1.1 試驗材料

本研究試驗數(shù)據(jù)采集于陜西省楊凌高新農(nóng)業(yè)示范區(qū)楊凌科元克隆股份有限公司的奶牛養(yǎng)殖場，采用布置于牛場的DS-2DM1-714圓頂攝像機（?？低?，中國杭州）的監(jiān)控視頻作為原始試驗數(shù)據(jù)。為方便后續(xù)研究，所有奶牛圖像分辨率統(tǒng)一設(shè)置為670×420像素，JPEG格式。圖像庫共包含210幅不同姿態(tài)的奶牛圖像，其中，奶牛抬頭圖像90幅，低頭圖像120幅。在210幅圖像中，奶牛四肢存在重疊的圖像80幅。本研究使用的計算機配置如下：Intel Core i3 CPU，i3-330 M，內(nèi)存2 GB，顯卡為NVDIA GeForce G 310M，所有算法均在MATLAB 2017a上運行。

1.2 方法

1.2.1 基于SLIC算法的奶牛目標(biāo)分割 SLIC算法首先確定超像素種子點。若圖像有N個像素點，預(yù)計分割為K個相同超像素，則每個超像素的大小為N/K，相鄰種子點的距離為S=sqrt（N/K）。然后計算種子點的3×3鄰域內(nèi)所有像素點的梯度值，將種子點移到鄰域內(nèi)梯度值最小的區(qū)域，在每個種子點周圍的鄰域內(nèi)為每個像素點分配標(biāo)簽[18]。其次利用{L，a*，b*，X，Y}向量計算距離度量，如公式（1）～公式（3）所示：

式中：NS=S=sqrt（N/K）為類內(nèi)最大空間距離，Nc為設(shè)定的最大顏色距離，dc為顏色距離，dS為空間距離，D′為像素點與聚類中心的距離。同一個像素點可被多個種子點搜索，取每一個像素點與周圍種子點之間的距離最小值所對應(yīng)的種子點作為標(biāo)記像素點，可通過多次迭代減少誤差。SLIC算法將圖像轉(zhuǎn)換為La*b*顏色空間，在XY坐標(biāo)下提取圖像{L，a*，b*，X，Y}向量并構(gòu)造距離度量標(biāo)準(zhǔn)[19]，對各像素進行局部聚類處理，可以較好地保持目標(biāo)輪廓。

基于上述方法分割的結(jié)果見圖1，示例為奶牛處于低頭姿態(tài)的圖像，圖1-a為奶牛的原始圖像，圖1-b為提取出的奶牛目標(biāo)。其中圖1-c、圖1-e、圖1-g所示像素塊K個數(shù)分別選用80、200、500個像素塊分割圖像，其對應(yīng)的顯著性分析結(jié)果如圖1-d、圖1-f、圖1-h所示?？梢姰?dāng)選擇 K=80時分割結(jié)果不夠精細，且顯著性檢測結(jié)果中目標(biāo)部分區(qū)域與背景環(huán)境相連，無法實現(xiàn)奶牛目標(biāo)的完整分割;K=200、K=500時分割結(jié)果更加準(zhǔn)確且可以較好地分割奶牛目標(biāo);考慮到算法執(zhí)行效率因素，本研究選擇K=200進行分割。

1.2.2 顯著性檢測與閾值分割 目標(biāo)的準(zhǔn)確識別是奶牛軀干分割的基礎(chǔ)。顯著性檢測通過模擬人類的視覺注意機制來篩選圖像中顯著的目標(biāo)，將顯著區(qū)域作為目標(biāo)輸出。利用SLIC算法將圖像分為K個像素塊，將任一像素塊Pi與其他像素塊Pj在La*b*空間作對比，差距越大像素塊Pi越顯著。同時利用顯著性區(qū)域越相似的區(qū)域距離越接近的原理計算2像素塊間的差異值，如公式（4）所示。

對奶牛SLIC超像素分割結(jié)果顯著性檢測結(jié)果見圖2-a。為得到完整的奶牛目標(biāo)，采用自適應(yīng)大津法對奶牛顯著性圖進行分割，結(jié)果見圖2-b，可見目標(biāo)分割完整，可為奶牛的輪廓提取與軀干分割奠定良好基礎(chǔ)。

1.2.3 奶牛邊緣輪廓提取檢測算法 目標(biāo)輪廓的準(zhǔn)確提取是奶牛軀干精確分割的前提。本研究使用Sobel算子與Canny算子提取奶牛圖像輪廓的結(jié)果見圖3，可見Canny算子對邊緣點定位較好，所提取的結(jié)果對輪廓細節(jié)信息響應(yīng)較強，因此，本研究采用Canny算子提取奶牛邊緣輪廓。

1.2.4 基于傅里葉描述子的奶牛邊緣平滑 Canny算子提取的奶牛輪廓上毛刺等冗余信息較多，影響對輪廓特征點的提取。因此，本研究采用傅里葉描述子平滑奶牛輪廓[20-21]。傅里葉描述子的關(guān)鍵是確定合適的傅里葉描述子個數(shù)P，在能夠表達原始輪廓的前提下得到盡可能平滑的輪廓[22]。隨著P的減小，邊界細節(jié)會被刪減從而得到更為平滑的輪廓。分別令P=240、P=80、P=50、P=30、P=15、P=8，得到的圖像輪廓結(jié)果如圖4所示。圖4-a、圖4-b分別使用240、80個傅里葉描述子描述奶牛輪廓，顯示的輪廓邊界與圖像原始邊界對應(yīng)緊密，圖4-c、圖4-d減少描述邊緣的傅里葉描述子個數(shù)，顯示的邊界圖像相對平滑，并且保留了圖像的基本形狀。圖4-e、圖4-f出現(xiàn)了失真，邊界的主要特征丟失。利用傅里葉描述子描繪圖像邊緣要求在選擇傅里葉描述子個數(shù)時，既要保留邊緣的主要特征，又要保證邊緣相對平滑，使得圖像特征描述最優(yōu)，因此本研究P選擇為50個。

1.3 奶牛肢體精確分割

1.3.1 基于肢體特征的奶牛輪廓分割點提取 本研究提出基于肢體特征的方式提取奶牛肢體特征點，即利用奶牛軀干、四肢、頭部與頸部的幾何形狀特征對肢體各部位分割點進行提取。具體描述如下：

1.3.1.1 軀干分割點提取 奶牛軀干形態(tài)近似于橢圓形且占據(jù)奶牛整體大部分區(qū)域。在奶牛輪廓內(nèi)部擬合最大橢圓，擬合橢圓近似為奶牛的軀干部

位，利用奶牛輪廓最大內(nèi)接矩形得到最大內(nèi)接矩形與奶牛輪廓的交點即為奶牛軀干的分割點。從圖5可以看出，當(dāng)奶牛抬頭時，最大內(nèi)接矩形的左上角點和左下角點與奶牛輪廓相交即為奶牛頸部與軀干的分割點。當(dāng)奶牛俯首時，由于最大內(nèi)接矩形左下角點與奶牛輪廓不相交，故此時只取最大內(nèi)接矩形左上角點作為軀干分割上角點，下角點由四肢分割點提取算法提取，方式如公式（2）所述。

1.3.1.2 四肢分割點提取 根據(jù)奶牛四肢的分割點位于奶牛四肢輪廓線距圖像下邊框距離最大處的特點，將奶牛四肢輪廓描繪成輪廓曲線。對輪廓曲線的峰值點進行標(biāo)記，所標(biāo)記的峰值點即為奶牛四肢的分割特征點。

1.3.1.3 頭部與頸部分割點提取 奶牛俯首時上頸部輪廓線與下頸部輪廓線近似平行，而頭部輪廓線則成聚攏狀。通過檢測平行線截止位置，即為奶牛俯身時奶牛頭部與頸部的分割點。奶牛抬頭時，頸部長度較短，分割點相對不明顯，但頸部長度近似與奶牛頭部長度相近。因此采用奶牛頭頸部位中值點作為奶牛抬頭時頭部與頸部分割特征點。

1.3.2 奶牛軀干分割線生成 針對特征點的位置特征，首先將其頭部特征點相連接，形成分割線來分割奶牛頭部與頸部，即連接圖6-a、圖6-c中A、B 2點。其次，當(dāng)奶牛俯首時，輪廓最大內(nèi)接矩形的左上交點C點與奶牛四肢分割點D點作為奶牛頸部與軀干的分割點;當(dāng)奶牛抬頭時，取輪廓最大內(nèi)接矩形的左上交點C點與左下交點D點作為奶牛頸部與軀干的分割點。最后分割奶牛四肢部位，即連接圖6中D、F 2點分割奶牛前肢，若存在E點則過E點向上做垂線將奶牛前肢分割為左前肢與右前肢，連接G、J 2點分割奶牛后肢，若存在I點則過I點向上做垂線將奶牛后肢分割為左后肢與右后肢。分割線連接方式如圖6-b、圖6-d所示。

2 結(jié)果與分析

2.1 評價指標(biāo)

本研究采用的評價指標(biāo)為假陰系數(shù)、假陽系數(shù)以及重疊率。

重疊率w為分割結(jié)果目標(biāo)S1與奶牛真實目標(biāo)S2的重疊面積與奶牛真實目標(biāo)S2面積的比值，如公式（10）所示，其值越高則說明分割效果越好。

2.2.1 重疊率 試驗結(jié)果表明，采用SLIC算法與顯著性分析算法提取的奶牛目標(biāo)與手動提取的奶牛目標(biāo)平均重疊率為96.83%。并且在軀干分割結(jié)果中，奶牛頭部分割結(jié)果w高達99.77%;頸部分割結(jié)果w高達99.80%;軀干分割結(jié)果w高達99.70%;左前肢分割結(jié)果w高達99.95%;右前肢分割結(jié)果w高達99.95%;左后肢分割結(jié)果w高達99.93%;右后肢分割結(jié)果w高達99.92%，其中w最小為99.70%，最大為99.95%。

2.2.2 假陰系數(shù) 奶牛頭部分割結(jié)果中a值平均為2.00×10-3;頸部分割結(jié)果中a值平均為1.60×10-3;軀干分割結(jié)果中a值平均為1.70×10-3;左前肢分割結(jié)果中a值平均為2.00×10-4;右前肢分割結(jié)果中a值平均為2.00×10-4;左后肢分割結(jié)果中a值平均為4.00×10-4;右后肢分割結(jié)果中a值平均為4.00×10-4;總體平均值為9.29×10-4。

2.2.3 假陽系數(shù) 奶牛頭部分割結(jié)果中b值平均為5.00×10-4;頸部分割結(jié)果中b值平均為2.00×10-3;軀干分割結(jié)果中b值平均為1.60×10-3;左前肢分割結(jié)果中b值平均為5.00×10-4;右前肢分割結(jié)果中b值平均為2.00×10-4;左后肢分割結(jié)果中b值平均為3.00×10-3;右后肢分割結(jié)果中b值平均為2.00×10-4;總體平均值為1.14×10-3。

2.2.4 誤差分析 對奶牛頭部、頸部、軀干、左前肢、右前肢、左后肢及右后肢分別進行誤差分析的結(jié)果如圖7至圖9所示，其橫坐標(biāo)為奶牛圖像序號，縱坐標(biāo)分別為假陰系數(shù)、假陽系數(shù)及重疊率。

從圖7-a可見，第14幅圖像頭部a值最大為4.90×10-3，而其所對應(yīng)的假陽系數(shù)、重疊率遠低于平均值，說明該圖像頭部分割結(jié)果包含于奶牛頭部真實部位，因此該算法頭部頸部分割線較真實分界線偏向頭部;對奶牛右前肢分割結(jié)果中，絕大多數(shù)圖像假陰系數(shù)均小于或等于假陰系數(shù)平均值，方差為5.59×10-8，相對而言較大，說明該算法在奶牛右前肢分割結(jié)果中準(zhǔn)確率較高、穩(wěn)定性相對較差。第6幅圖像頸部重疊率最高，而其對應(yīng)的a值為0.00，且假陽系數(shù)低于分割結(jié)果的平均值假陽系數(shù)，說明該幅圖像頸部分割效果最佳。從圖7、圖8、圖9綜合可以看出，本研究算法在奶牛軀干分割結(jié)果誤差分析中平均假陰系數(shù)與平均假陽系數(shù)近似相等且重疊率較高，說明本研究算法分割的軀干部位與奶牛軀干實際面積近似相等，誤差較小;此外，本研究算法對奶牛左前肢的分割結(jié)果中，95.00%以上的奶牛圖像前肢分割結(jié)果w高達99.92%以上，且假陰系數(shù)與假陽系數(shù)較低，可以較好地實現(xiàn)奶牛軀干與左前肢的精確分割。

從圖9可以看出，本研究算法對奶牛左后肢的分割結(jié)果中第18～20幅圖像奶牛左后肢的分割結(jié)果均具有很高的重疊率，a值均為0.00，說明奶牛左后肢的分割結(jié)果具有較高的準(zhǔn)確率且分割結(jié)果完全包含了奶牛左后肢的真實部位，而其假陽系數(shù)較低卻均不為零說明該算法分割其左后肢結(jié)果中仍有極小部分溢出，該誤差可能是由于手動分割奶牛目標(biāo)產(chǎn)生誤差或在奶牛目標(biāo)分割算法中產(chǎn)生誤差等原因所導(dǎo)致。

3 討論與結(jié)論

本研究提取的奶牛目標(biāo)與手動提取的奶牛重疊率為96.83%，表明該方法具有較好的目標(biāo)提取效果?；谀膛Ｖw特征的分割點提取方法所得到奶牛軀干分割效果較好，其平均重疊率為99.86%，平均假陰系數(shù)為9.29×10-4，平均假陽系數(shù)為1.14×10-3。表明該方法在奶牛軀干精確分割中準(zhǔn)確率較高且相對穩(wěn)定，可以實現(xiàn)不同體態(tài)奶牛的高精度分割，為進行奶牛體況評價、體姿和體態(tài)監(jiān)管等研究奠定基礎(chǔ)。

李國強等基于骨架特征的奶牛肢體分解方法[12]與本研究的目的相似，其中本研究方法定義了重疊率來驗證奶牛肢體的分割是否準(zhǔn)確。本研究算法對頭部、頸部、軀干、前肢、后肢的分割正確率均能分別高7.61%、10.00%、2.95%、1.48%、2.11%。同時，本研究未考慮奶牛四肢遮擋、奶牛間的相互遮擋及欄桿遮擋的問題，如何將本方法應(yīng)用于更加復(fù)雜的奶牛養(yǎng)殖環(huán)境，尚需進一步分析。

本研究以荷斯坦奶牛為研究對象，從奶牛目標(biāo)提取、輪廓提取、軀干分割3部分展開，較好地實現(xiàn)了奶牛軀干的精確分割。主要結(jié)論：（1）將SLIC分割算法與顯著性分析算法相結(jié)合能夠較好地實現(xiàn)奶牛目標(biāo)的準(zhǔn)確分割，其準(zhǔn)確率為96.83%，可為奶牛軀干的精確分割奠定基礎(chǔ)。（2）在Canny算子提取的奶牛目標(biāo)輪廓基礎(chǔ)上，通過設(shè)定合適的傅里葉描述子個數(shù)，可以較好地平滑奶牛目標(biāo)輪廓，為奶牛軀干分割及分割點的選擇奠定基礎(chǔ)。（3）采用基于奶牛肢體特征的分割點提取方法，在提取奶牛目標(biāo)軀干分割特征點的基礎(chǔ)上，通過設(shè)定的分割點連接規(guī)則，可較好地實現(xiàn)奶牛軀干的精確分割。（4）本研究未考慮奶牛遮擋等更為復(fù)雜的情況，如何將本方法加以改進，使之更加符合復(fù)雜的奶牛養(yǎng)殖環(huán)境需求，尚需進一步研究。

參考文獻：

[1]Yan J J，Yu Y A，Zhu X Y，et al. Object detection by labeling superpixels[C]//IEEE Conference on Computer Vision and Pattern Recognition （CVPR），2015：5107-5116.

[2]Donghun Yeo，Son J，Han B，et al. Superpixel-based tracking-by-segmentation using markov chains[C]//IEEE Conference on Computer Vision and Pattern Recognition （CVPR），2017：1812-1821.

[3]何東健，孟凡昌，趙凱旋，等. 基于視頻分析的犢?；拘袨樽R別[J]. 農(nóng)業(yè)機械學(xué)報，2016，47（9）：294-300.

[4]張滿囤，單新媛，于 洋，等. 基于小波變換和改進KPCA的奶牛個體識別研究[J]. 浙江農(nóng)業(yè)學(xué)報，2017，29（12）：2000-2008.

[5]黃文明，張 勇，郭海明，等. 荷斯坦后備奶牛生長發(fā)育規(guī)律的研究進展[J]. 畜牧與獸醫(yī)，2016，48（5）：131-135.

[6]Martiskainen P，Jrvinen M，Jukka-Pekka S，et al. Cow behaviour pattern recognition using a three-dimensional accelerometer and support vector machines[J]. Applied Animal Behaviour Science，2009，119（1/2）：32-38.

[7]顧靜秋，王志海，高榮華，等. 基于融合圖像與運動量的奶牛行為識別方法[J]. 農(nóng)業(yè)機械學(xué)報，2017，48（6）：145-151.

[8]Ahn S J，Ko D M，Choi K S. Cow behavior recognition using motion history image feature[C]. International Conference Image Analysis and Recognition，2017.