尹 令，蔡更元，田緒紅，孫愛(ài)東，石 帥，鐘浩杰，梁世豪

多視角深度相機(jī)的豬體三維點(diǎn)云重構(gòu)及體尺測(cè)量

尹 令1,2，蔡更元2,3，田緒紅1，孫愛(ài)東4※，石 帥1，鐘浩杰1，梁世豪1

（1. 華南農(nóng)業(yè)大學(xué)數(shù)學(xué)與信息學(xué)院，廣州 510642； 2. 國(guó)家生豬種業(yè)工程技術(shù)研究中心，廣州 510642；3. 華南農(nóng)業(yè)大學(xué)動(dòng)物科學(xué)學(xué)院，廣州 510642；4.江蘇省農(nóng)業(yè)科學(xué)院農(nóng)產(chǎn)品質(zhì)量安全與營(yíng)養(yǎng)研究所，南京 210014）

對(duì)活體牲畜三維重構(gòu)，數(shù)據(jù)采集方式、快速配準(zhǔn)融合方法、表型體尺測(cè)量方法缺乏成熟有效的方案，導(dǎo)致目前活體牲畜的自動(dòng)體尺測(cè)量技術(shù)難以在養(yǎng)殖場(chǎng)中推廣應(yīng)用。該文以豬為研究對(duì)象運(yùn)用消費(fèi)級(jí)深度相機(jī)KinectV2從正上方和左右兩側(cè)3個(gè)不同角度同步獲取在采集通道中自由行走豬的局部點(diǎn)云。局部點(diǎn)云采用鄰域曲率變化法去噪，并運(yùn)用基于輪廓連貫性點(diǎn)云配準(zhǔn)融合，最后采用多體尺數(shù)據(jù)精確估算技術(shù)測(cè)定包括體長(zhǎng)、體高、胸寬、腹圍等數(shù)據(jù)。該文分別對(duì)比實(shí)驗(yàn)室中模型豬由傳輸帶以5種不同速率經(jīng)過(guò)通道和養(yǎng)殖場(chǎng)內(nèi)25頭豬逐一經(jīng)過(guò)通道，2種情況下采集數(shù)據(jù)進(jìn)行各項(xiàng)體尺測(cè)算結(jié)果。其結(jié)果顯示模型豬在傳輸帶上以0、0.3、0.6、0.9和1.2 m/s等5種不同速率下測(cè)量體長(zhǎng)、體高、胸寬、腹圍值與實(shí)測(cè)值的平均相對(duì)誤差分別為1.77%、1.36%、2.74%和2.17%。養(yǎng)殖環(huán)境下對(duì)25頭豬同樣4種體尺值與實(shí)測(cè)值的平均相對(duì)誤差分別為2.56%，2.32%，3.89%和4.51%。試驗(yàn)結(jié)果發(fā)現(xiàn)養(yǎng)殖場(chǎng)活體豬測(cè)量最小誤差可以達(dá)到實(shí)驗(yàn)室環(huán)境下的效果，但是最大相對(duì)誤差變化較大，其原因在于養(yǎng)殖場(chǎng)中豬自由行走采集數(shù)據(jù)時(shí)行為姿態(tài)發(fā)生很大變化。

圖像處理；算法；模型；豬；三維重構(gòu)；體尺測(cè)量；KinectV2

0 引 言

在牲畜育種和養(yǎng)殖中，對(duì)牲畜遺傳改良和大量個(gè)體有效管理，需建立個(gè)體體型和體況評(píng)定方法。體型和體況評(píng)定目的是對(duì)牲畜的體長(zhǎng)、體高、胸圍等體型外貌性狀進(jìn)行表型采集。傳統(tǒng)方法是人工皮尺測(cè)量，容易造成牲畜驅(qū)趕應(yīng)激、人工測(cè)量準(zhǔn)確性差、測(cè)定效率低、復(fù)雜性狀難以度量等問(wèn)題。隨著牲畜育種和養(yǎng)殖規(guī)模越來(lái)越大，迫切需要建立更為高效、準(zhǔn)確且無(wú)應(yīng)激的方法。通過(guò)學(xué)科交叉融合，畜牧業(yè)正向信息化、智能化的方向轉(zhuǎn)型升級(jí)。綜合運(yùn)用三維重構(gòu)和機(jī)器學(xué)習(xí)等技術(shù)，開(kāi)發(fā)人工智能無(wú)應(yīng)激識(shí)別系統(tǒng)和體況自動(dòng)評(píng)價(jià)系統(tǒng)，建立非接觸式自動(dòng)識(shí)別牲畜個(gè)體體型、體況信息，實(shí)現(xiàn)牲畜精細(xì)喂養(yǎng)、種畜篩選、培育與繁殖的體況自動(dòng)精準(zhǔn)評(píng)價(jià)，可有效解決傳統(tǒng)測(cè)量方法的效率、精度和動(dòng)物福利問(wèn)題。

牲畜體尺參數(shù)采集和體況評(píng)分方法歷經(jīng)從人工視覺(jué)觀察和觸覺(jué)判定、熱成像技術(shù)、圖像識(shí)別技術(shù)和三維重構(gòu)等發(fā)展過(guò)程。熱成像技術(shù)[1]能較清晰捕獲動(dòng)物表面輪廓信息，但熱成像設(shè)備昂貴，且需從視頻流中手動(dòng)分離相應(yīng)數(shù)據(jù)幀，無(wú)法實(shí)現(xiàn)完全自動(dòng)化。

由于圖像設(shè)備簡(jiǎn)單、成本低，眾多研究者[2-6]提出不同方案嘗試從圖像中提取牲畜部分特征信息來(lái)進(jìn)行體尺測(cè)量或自動(dòng)體況評(píng)分[7-10]。圖像處理技術(shù)檢測(cè)牲畜體尺參數(shù)大多以像素為單位，當(dāng)相機(jī)參數(shù)或物距發(fā)生改變時(shí)，模型可能不再適用，因此通用性差。另外獲取圖像時(shí)天氣、拍攝角度、光照條件影響比較大[8-10]。

隨著Kinect、ASUS Xtion sensor、realSense等一系列價(jià)格低廉、高性能的三維深度相機(jī)出現(xiàn)，近幾年，研究者將三維重構(gòu)技術(shù)應(yīng)用于牲畜體尺側(cè)量合體況評(píng)定。單視角獲取牲畜背部深度圖像提取三維特征，并由此估算體尺特征和體重是研究熱點(diǎn)[11-18]。單視角深度圖像采集簡(jiǎn)單不需要融合配準(zhǔn)，但只能獲取體長(zhǎng)、體寬、體高等體尺數(shù)據(jù)，腹圍等體尺無(wú)法估測(cè)。多視角獲取牲畜各部分深度圖像進(jìn)行各部分點(diǎn)云配準(zhǔn)融合[19-20]、非剛體三維模型點(diǎn)云匹配[21-22]、體表輪廓描述[23-25]、家畜體測(cè)量交互式軟件設(shè)計(jì)[26]等關(guān)鍵技術(shù)都有研究報(bào)道。

消費(fèi)級(jí)深度相機(jī)應(yīng)用于牲畜體尺特征測(cè)量和體況評(píng)分中，當(dāng)掃描較大面積物體時(shí)數(shù)據(jù)精度丟失嚴(yán)重，同時(shí)掃描活體動(dòng)物時(shí)如時(shí)間較長(zhǎng)容易出現(xiàn)非剛性形變。牲畜全局三維點(diǎn)云重構(gòu)時(shí)，處理數(shù)據(jù)量大對(duì)存儲(chǔ)和計(jì)算能力要求很高，實(shí)時(shí)處理是難點(diǎn)。

本文設(shè)計(jì)在測(cè)量通道上固定3個(gè)KinectV2相機(jī)，通道只能有一頭豬單獨(dú)通過(guò)，豬進(jìn)入相機(jī)最佳拍攝位置時(shí)，3個(gè)深度相機(jī)瞬間同步抓取局部點(diǎn)云。采用基于輪廓連貫性點(diǎn)云配準(zhǔn)融合全局點(diǎn)云，提取豬體長(zhǎng)、體高、體寬、腹圍等體尺特征實(shí)現(xiàn)對(duì)豬的非接觸式體尺自動(dòng)測(cè)量。該方法對(duì)通道預(yù)先設(shè)定最佳拍攝位置減少掃描范圍，提高數(shù)據(jù)精度；多視角深度相機(jī)同步瞬間抓取減少活體動(dòng)物運(yùn)動(dòng)時(shí)非剛性形變；提出各種體尺測(cè)量方法，尤其測(cè)量腹圍時(shí)極坐標(biāo)轉(zhuǎn)換法一方面可以彌補(bǔ)由欄桿遮擋和相機(jī)視角未覆蓋缺失的點(diǎn)云，另一方面對(duì)局部點(diǎn)云相交處輪廓精細(xì)配準(zhǔn)；并且KinectV2為消費(fèi)級(jí)深度設(shè)備成本低廉，易于實(shí)現(xiàn)產(chǎn)業(yè)化。

1 材料與方法

1.1 試驗(yàn)條件

試驗(yàn)由實(shí)驗(yàn)室模擬環(huán)境下對(duì)定態(tài)模型豬測(cè)量和養(yǎng)殖場(chǎng)活體豬測(cè)量?jī)刹糠纸M成。定態(tài)模型豬前期進(jìn)行各種算法設(shè)計(jì)和調(diào)整，并能精準(zhǔn)測(cè)量豬各種體尺參數(shù)，而后期養(yǎng)殖場(chǎng)活體豬測(cè)量用于驗(yàn)證算法可靠性及準(zhǔn)確度。實(shí)驗(yàn)室模擬環(huán)境設(shè)計(jì)豬體多源數(shù)據(jù)采集通道（圖1a所示）。整個(gè)裝置由3個(gè)功能部件構(gòu)成：1）測(cè)量通道可調(diào)節(jié)框架；2）三維數(shù)據(jù)采集深度相機(jī)和同步裝置；3）可調(diào)速移動(dòng)傳輸軌道。

KinectV2深度相機(jī)從左、右、上3個(gè)方向獲取不同視角局部點(diǎn)云，攝像頭固定裝置設(shè)計(jì)為上下、左右、前后方向皆可調(diào)節(jié)的框架，滿足測(cè)量大小不等的牲畜時(shí)調(diào)整采集視角的需要。在牲畜自由運(yùn)動(dòng)情況下采集局部點(diǎn)云并實(shí)現(xiàn)三維重構(gòu)，局部點(diǎn)云的同步采集非常關(guān)鍵，因此通道采用雙觸框PLC控制同步方案設(shè)計(jì)。試驗(yàn)?zāi)Ｐ拓i放置在傳輸軌道上模擬牲畜自由通行。

養(yǎng)殖場(chǎng)活體豬測(cè)量是2019年7月19日－21日在廣東省云浮市新興縣簕竹新田村一家養(yǎng)殖戶完成，試驗(yàn)現(xiàn)場(chǎng)圖如圖1b所示。深度相機(jī)布置在通道左、右、上方3個(gè)方向，測(cè)量豬逐一被趕入豬籠完成人工測(cè)量后再送入通道進(jìn)行三維測(cè)量。試驗(yàn)一共采集25頭長(zhǎng)白豬。

1.可調(diào)節(jié)框架 2.三維采集相機(jī)和同步裝置 3.調(diào)速傳輸軌道

1.2 試驗(yàn)材料

試驗(yàn)器材采用KinectV2為RGB-D深度相機(jī)設(shè)備，其深度圖像分辨率為512×424像素，水平視角為70°，垂直視角為60°；最大支持60 幀/s的深度數(shù)據(jù)獲取，視距在0.5～3.5 m之間。每一個(gè)KinectV2配備一個(gè)FitPC作為采集存儲(chǔ)傳輸設(shè)備。

實(shí)驗(yàn)室采用一個(gè)大體型母豬模型（長(zhǎng)130 cm×寬38 cm×高67 cm）。養(yǎng)殖場(chǎng)選用25頭豬，品種為長(zhǎng)白種，體質(zhì)量范圍在54～110 kg之間。

1.3 基于KinectV2多視角豬體三維重構(gòu)

1.3.1 總體技術(shù)路線

本研究中擬采用的技術(shù)路線如圖2所示，豬行進(jìn)到采集區(qū)域觸發(fā)PLC發(fā)出同步采集指令，左、右、上方3個(gè)KinectV2采集不同視角豬局部點(diǎn)云，由采集設(shè)備傳送到控制計(jì)算機(jī)。各個(gè)不同視角的三維點(diǎn)云背景移除，平滑去噪后，基于輪廓連貫性完成不同視角坐標(biāo)系下點(diǎn)云配準(zhǔn)，完成三維體型重構(gòu)。采用基于幾何特征和統(tǒng)計(jì)分析進(jìn)行三維重構(gòu)體型特征關(guān)鍵點(diǎn)搜索；通過(guò)已標(biāo)注關(guān)鍵特征點(diǎn)和區(qū)域，運(yùn)用弧微分或極坐標(biāo)轉(zhuǎn)換法等進(jìn)行豬體高、體長(zhǎng)、體寬、腹圍等多體尺數(shù)據(jù)精確估算。

圖2 豬體三維重構(gòu)及體尺測(cè)算技術(shù)流程

1.3.2 適應(yīng)牲畜自由行走的同步瞬間采集

試驗(yàn)針對(duì)活體動(dòng)物在自由運(yùn)動(dòng)下因掃描時(shí)間長(zhǎng)容易出現(xiàn)的非剛性形變問(wèn)題，設(shè)計(jì)采集裝置KinectV2從上方、左右兩側(cè)多角度同時(shí)獲取瞬間局部點(diǎn)云。同步采集技術(shù)采用軟硬件雙觸發(fā)方式，待測(cè)目標(biāo)動(dòng)物進(jìn)入采集通道，紅外觸發(fā)傳感器會(huì)向采集控制器發(fā)出就緒信號(hào)，啟動(dòng)設(shè)備檢測(cè)框檢測(cè)目標(biāo)動(dòng)物是否完全進(jìn)入檢測(cè)區(qū)域，如動(dòng)物觸碰出框線則由PLC向相連接的3個(gè)方向采集器發(fā)出信號(hào)，連續(xù)采集3幀點(diǎn)云數(shù)據(jù)。

1.3.3 鄰域曲率變化法點(diǎn)云去噪

數(shù)據(jù)采集通道固定后，其大小尺寸也固定，待檢測(cè)豬在通道內(nèi)行走，根據(jù)采集通道大小分別設(shè)置，和軸的取值范圍，對(duì)主體點(diǎn)云形成長(zhǎng)方體型包圍盒，只保留盒內(nèi)的點(diǎn)云。簡(jiǎn)單包圍盒閾值可移除大部分背景，減少大量不必要的點(diǎn)云計(jì)算。

被測(cè)量動(dòng)物表面存在過(guò)于明亮部分或者突起邊緣，紅外光發(fā)射器等向被測(cè)動(dòng)物表面投射紅外光時(shí)可能錯(cuò)誤識(shí)別而產(chǎn)生離群點(diǎn)，使得輪廓邊緣產(chǎn)生毛刺，因此需要盡量消除遠(yuǎn)近離群點(diǎn)。其中依照離群點(diǎn)距離點(diǎn)云主體的遠(yuǎn)近程度將其分為遠(yuǎn)離群點(diǎn)和近離群點(diǎn)。遠(yuǎn)離群點(diǎn)表現(xiàn)為三維空間中一小團(tuán)聚在一起而又隨機(jī)分布的孤立點(diǎn)，采用基于距離查詢區(qū)域增長(zhǎng)方法濾除掉遠(yuǎn)離群點(diǎn)。該方法基于點(diǎn)出發(fā)，按點(diǎn)與點(diǎn)距離屬性相似原則，將同一距離范圍連續(xù)的點(diǎn)云集合成同一點(diǎn)云子集，判斷遠(yuǎn)離群點(diǎn)的準(zhǔn)則為點(diǎn)云子集點(diǎn)數(shù)過(guò)少，或者點(diǎn)云子集包圍盒體積過(guò)小。

對(duì)近離群點(diǎn)的消除則采用SVLOF算法[27]，該算法直接從散亂點(diǎn)云計(jì)算曲面彎曲程度，其中度量指標(biāo)曲面變化度為。設(shè)三維點(diǎn)云上對(duì)于任意一點(diǎn)，其不包含點(diǎn)鄰域NB集合定義為

而包含點(diǎn)鄰域B定義為

采用離散點(diǎn)求曲率方法計(jì)算該點(diǎn)處平均曲率0

式中1，2，3為鄰域點(diǎn)3個(gè)變化最大的曲率，()即為鄰域點(diǎn)的曲率變化。

近離群點(diǎn)的判斷值計(jì)算為包含點(diǎn)鄰域點(diǎn)曲率變化比上不包含點(diǎn)鄰域點(diǎn)曲率變化值()

計(jì)算潛在離群點(diǎn)中每一點(diǎn)的()值，將()值大于設(shè)定容限的點(diǎn)作為離群點(diǎn)，并從點(diǎn)云中濾除。

1.3.4 基于輪廓連貫性點(diǎn)云配準(zhǔn)融合

不同視角坐標(biāo)系下的三維點(diǎn)云數(shù)據(jù)通過(guò)坐標(biāo)變換轉(zhuǎn)換到同一坐標(biāo)系下配準(zhǔn)生成全局點(diǎn)云。點(diǎn)云配準(zhǔn)分為粗配準(zhǔn)和精細(xì)配準(zhǔn)兩步。粗配準(zhǔn)即多個(gè)深度攝像設(shè)備標(biāo)定中得到相鄰子區(qū)域的空間變換矩陣和平移向量，根據(jù)公式（5）計(jì)算變換到同一坐標(biāo)系下。

具體地，假設(shè)點(diǎn)在第一坐標(biāo)系下的坐標(biāo)為(1,1,1)，該點(diǎn)在第二坐標(biāo)系下的坐標(biāo)為(2,2,2)，則2個(gè)坐標(biāo)系的變化關(guān)系為

式中為空間變換矩陣，[ttt]T為平移向量。在試驗(yàn)獲取數(shù)據(jù)的3個(gè)視角中設(shè)左側(cè)為世界坐標(biāo)系，上方和右側(cè)點(diǎn)云都需要通過(guò)線性轉(zhuǎn)換到左側(cè)世界坐標(biāo)系下。其空間變換矩陣和平移向量通過(guò)試驗(yàn)前對(duì)多個(gè)深度相機(jī)精確定標(biāo)獲得。3個(gè)方向獲取局部點(diǎn)云通過(guò)線性變換得到粗配準(zhǔn)全局點(diǎn)云。

配準(zhǔn)融合滿足兩個(gè)目標(biāo)：C,j()頂點(diǎn)間覆蓋最大融合，同時(shí)相鄰輪廓C,j()和C,j(+1)之間覆蓋率最大，也即鄰層輪廓平滑度最佳。

E表示切片頂點(diǎn)覆蓋融合度，計(jì)算如下：

另外，層間距離(C,j(),C,j(+1))為兩層直接輪廓頂點(diǎn)的歐式距離。

式中為切片間距離約束量，定義鄰層輪廓覆蓋率為

需要同時(shí)滿足頂點(diǎn)融合度和鄰層輪廓覆蓋率約束要求，這樣配準(zhǔn)融合問(wèn)題就變成一個(gè)多目標(biāo)優(yōu)化問(wèn)題，使得頂點(diǎn)融合度和鄰層輪廓覆蓋率都最小化，即

1.3.5 多體尺數(shù)據(jù)精確測(cè)算技術(shù)

豬體尺參數(shù)是衡量豬生長(zhǎng)發(fā)育的重要指標(biāo)，能反映豬生長(zhǎng)狀況、飼養(yǎng)管理和遺傳性能等。本文測(cè)定的參數(shù)包括體長(zhǎng)、體高、胸寬、腹圍等。體長(zhǎng)指兩耳根連線中點(diǎn)沿背脊線至尾根處的長(zhǎng)度，測(cè)定時(shí)要求豬靜止直立，頭部微抬。體高為豬自然站立時(shí)耆甲頂點(diǎn)到地面的垂直高度。胸寬是豬左右前腿的最外點(diǎn)在地平面投影距離。腹圍為腹部最寬部長(zhǎng)度。

本文提出體長(zhǎng)測(cè)量方法是根據(jù)豬上部點(diǎn)云以輪廓中軸呈現(xiàn)對(duì)稱形狀，因此對(duì)豬上部點(diǎn)云擬合其中軸平面，中軸平面與上部點(diǎn)云相切以獲取豬的背脊線，然后在背脊線上定位豬雙耳根中部點(diǎn)作為體長(zhǎng)起始點(diǎn)，尾根點(diǎn)作為體長(zhǎng)測(cè)量的終止點(diǎn)，從起始點(diǎn)到終止點(diǎn)沿背脊線積分即求取體表長(zhǎng)（圖3）。具體操作步驟如下：

1）擬合中軸平面

擬合平面采取最小二乘法，其法向量指向豬側(cè)面，使平面盡量正切豬體頭部和尾部。擬合平面與豬上方點(diǎn)云相交得空間曲線即豬的背脊輪廓線，接著從背脊輪廓線上定位體長(zhǎng)起點(diǎn)和終點(diǎn)。

2）確定起始和終止點(diǎn)

體長(zhǎng)起始點(diǎn)為豬體兩耳根連線的中點(diǎn)，終止點(diǎn)為豬尾根點(diǎn)，通過(guò)上部點(diǎn)云數(shù)目統(tǒng)計(jì)特征定位這兩點(diǎn)。耳根處點(diǎn)云數(shù)目相對(duì)附近點(diǎn)數(shù)急劇增多，而豬尾巴形態(tài)有上翹和下耷拉2種，在點(diǎn)云數(shù)目分布上體現(xiàn)為在快速下降后有個(gè)小回升。將上方點(diǎn)云投影到其對(duì)應(yīng)的平面，并統(tǒng)計(jì)其軸點(diǎn)云數(shù)目，得到其點(diǎn)云數(shù)目分布離散曲線。從離散曲線上尋找各處拐點(diǎn)，位于頭部第一個(gè)凸點(diǎn)即耳部中心區(qū)域點(diǎn)，為體長(zhǎng)起始點(diǎn)位置，而位于尾部斜率下降最快的凹點(diǎn)就是尾根點(diǎn)為體長(zhǎng)的終止點(diǎn)位置。

3）微分求體長(zhǎng)

從體長(zhǎng)起始點(diǎn)到終止點(diǎn)連直線構(gòu)成平面相交豬上部點(diǎn)云得到一系列相交離散點(diǎn)，計(jì)算這一系列離散點(diǎn)構(gòu)成曲線長(zhǎng)度即為需要測(cè)量體長(zhǎng)，這里采用弧微分法求長(zhǎng)度。

體高測(cè)量是從體長(zhǎng)確定的背脊輪廓線上定位耆甲點(diǎn)，耆甲點(diǎn)為豬前肢中心平面延伸與背脊輪廓線相交點(diǎn)，該點(diǎn)到地平面距離即體高。

體寬取胸寬，即豬左右前腿的最側(cè)外點(diǎn)投影到地平面的兩點(diǎn)之間距離。定位胸寬左右前腿最外側(cè)點(diǎn)云，仍用上方點(diǎn)云投影到平面，統(tǒng)計(jì)其軸點(diǎn)云數(shù)目，得到點(diǎn)云數(shù)目分布離散曲線圖來(lái)分析，胸寬的定位點(diǎn)為曲線第二個(gè)凸拐點(diǎn)對(duì)應(yīng)的位置，先定位其軸坐標(biāo)，然后用軸平面切豬全局點(diǎn)云，從相交平面定位軸最大和最小值點(diǎn)即為需定位的胸寬點(diǎn)，兩點(diǎn)間的距離即為胸寬。

腹圍自動(dòng)測(cè)量有2個(gè)難點(diǎn)，首先要保證3個(gè)不同視角的點(diǎn)云準(zhǔn)確配準(zhǔn)融合；其次獲取腹圍曲線是不規(guī)則且不閉合的曲線。本文提出極坐標(biāo)轉(zhuǎn)換法進(jìn)行腹圍測(cè)量，既可以完成點(diǎn)云精準(zhǔn)融合，也可以補(bǔ)缺曲線及計(jì)算其長(zhǎng)度。極坐標(biāo)轉(zhuǎn)換法是考慮待測(cè)量腹圍切片是個(gè)有缺失的近似橢圓，以該橢圓中心為原點(diǎn)，向右沿軸正軸，逆時(shí)針定為極坐標(biāo)正方向，建立極坐標(biāo)系，得切片上每一個(gè)點(diǎn)的極坐標(biāo)(,)，其中極坐標(biāo)角度為橫坐標(biāo)，極徑為縱坐標(biāo)，利用極坐標(biāo)轉(zhuǎn)換將近似橢圓曲線在極坐標(biāo)系中展開(kāi)成近似平鋪的直線，利用直線擬合，一方面可以將橢圓缺失部分補(bǔ)全，同時(shí)可以使粗配準(zhǔn)有誤的地方得到修補(bǔ)，減少配準(zhǔn)誤差，并且沿直線積分得到豬腹圍長(zhǎng)度。

圖3 豬體長(zhǎng)提取效果圖

2 結(jié)果與分析

2.1 多幀融合試驗(yàn)結(jié)果分析

由于動(dòng)物行為非受控，獲取的點(diǎn)云數(shù)據(jù)存在噪聲、非均勻或欠采樣、空洞和缺失等影響三維重構(gòu)效果。本試驗(yàn)一次連續(xù)采集3幀點(diǎn)云數(shù)據(jù)，圖4a為僅取1幀點(diǎn)云時(shí)的效果圖，點(diǎn)云數(shù)比較稀疏，尤其頭部和尾部，輪廓線模糊不清晰。圖4b為3幀連續(xù)點(diǎn)云根據(jù)同一坐標(biāo)點(diǎn)深度信息加權(quán)平均融合的結(jié)果。融合后豬體稀疏和丟失部分點(diǎn)云得以稠密和補(bǔ)全。根據(jù)試驗(yàn)計(jì)算，豬體1幀有效點(diǎn)云數(shù)和3幀融合后點(diǎn)云數(shù)分別是49 261和147 816。

圖4 不同幀點(diǎn)云效果對(duì)比圖

2.2 離群點(diǎn)去噪試驗(yàn)分析

直接獲取的豬點(diǎn)云數(shù)據(jù)帶有較多噪聲點(diǎn)，尤其頭部和尾部比較明顯，KinectV2深度攝像設(shè)備采樣密集度、精準(zhǔn)度隨采集距離增加而迅速下降，出現(xiàn)距離采集中心較遠(yuǎn)的頭部和尾部三維點(diǎn)云缺失或噪聲增加。另外采集環(huán)境復(fù)雜，豬個(gè)體運(yùn)動(dòng)等會(huì)造成點(diǎn)云局部噪聲，如圖4b所示。獲取點(diǎn)云數(shù)據(jù)應(yīng)用離群點(diǎn)去噪后得到的點(diǎn)云效果圖如圖5所示，可以看到豬頭部和尾部的噪聲點(diǎn)明顯減少，輪廓線也變得清晰。

圖5 模型豬單側(cè)點(diǎn)云去噪圖

2.3 三維點(diǎn)云配準(zhǔn)和輪廓連續(xù)性精配準(zhǔn)

在養(yǎng)殖場(chǎng)獲取的上方、左、右側(cè)的三維點(diǎn)云如圖6a～6c所示。左右兩側(cè)點(diǎn)云由于通道欄桿的遮擋而產(chǎn)生缺失。

基于輪廓連貫性點(diǎn)云配準(zhǔn)融合算法得到三維重構(gòu)后豬點(diǎn)云圖如圖6d所示，可以看到配準(zhǔn)融合后豬的輪廓線清晰，各個(gè)視角點(diǎn)云沒(méi)有出現(xiàn)明顯的斷層差異，頭部和尾部有部分?jǐn)?shù)據(jù)丟失。配準(zhǔn)融合后的點(diǎn)云利用垂直于豬體長(zhǎng)方向的平面切分得到豬腹部輪廓線如圖7a所示。

圖6 多視角豬點(diǎn)云采集融合圖

圖7 腹部切片點(diǎn)云擬合補(bǔ)缺示意圖

圖7a中圓圈為上方點(diǎn)云輪廓線，正方形為左側(cè)點(diǎn)云輪廓線，三角形為右側(cè)點(diǎn)云輪廓線，上方點(diǎn)云與左右側(cè)點(diǎn)云幾乎完全重合。除邊緣采集角度導(dǎo)致差異的點(diǎn)，其他部分點(diǎn)云切片輪廓線較完整，從細(xì)節(jié)反應(yīng)了三維配準(zhǔn)后的整體效果。不過(guò)切片圖由于欄桿遮擋和豬體底部拍攝角度限制，腹部輪廓線有不少空缺部分。

圖7b中圓圈為腹部切片點(diǎn)云轉(zhuǎn)換成到極坐標(biāo)下的點(diǎn)，曲線為對(duì)點(diǎn)云進(jìn)行最小二乘曲線擬合后的結(jié)果。圖7c為將圖7b中曲線轉(zhuǎn)換到直角坐標(biāo)系下顯示的閉合曲線效果圖，可以看到經(jīng)過(guò)轉(zhuǎn)換后空缺部分的點(diǎn)云較為光滑的修補(bǔ)完成。

2.4 體尺參數(shù)估測(cè)值誤差分析

為驗(yàn)證算法對(duì)豬體尺檢測(cè)精度，本文在采集豬體數(shù)據(jù)同時(shí)，由專業(yè)測(cè)定人員用皮尺人工測(cè)量豬各項(xiàng)體尺數(shù)據(jù)作為人工實(shí)測(cè)值，實(shí)驗(yàn)室測(cè)量精度為1 mm，養(yǎng)殖場(chǎng)測(cè)量精度為1 cm。

實(shí)驗(yàn)室中調(diào)節(jié)傳輸軌道速率采用靜止0、0.3、0.6、0.9、1.2 m/s等5種不同速率讓模型豬經(jīng)過(guò)通道采集數(shù)據(jù)，進(jìn)行點(diǎn)云配準(zhǔn)并測(cè)算體尺數(shù)據(jù)，分別得到5組體尺數(shù)據(jù)以及這5組值與實(shí)際測(cè)量值的平均相對(duì)誤差如表1所示。

表1 5組不同速度下體尺測(cè)算數(shù)據(jù)對(duì)比

表1中模型豬在傳輸帶上以0、0.3、0.6、0.9和1.2 m/s等5種不同速率下測(cè)量體長(zhǎng)、體高、胸寬、腹圍值與實(shí)測(cè)值的平均相對(duì)誤差分別為1.77%、1.36%、2.74%和2.17%。不同速度下測(cè)量值和實(shí)測(cè)值對(duì)比可知傳輸軌道速度對(duì)模型豬測(cè)量結(jié)果的相對(duì)誤差有影響。在低速時(shí)對(duì)數(shù)據(jù)測(cè)量精確度影響不大，隨著速度增加相對(duì)誤差有所增加，在最大速度1.2 m/s情況下，相對(duì)誤差為4.5%。

養(yǎng)殖場(chǎng)試驗(yàn)中25頭豬逐一通過(guò)數(shù)據(jù)采集通道，完成數(shù)據(jù)采集、預(yù)處理和配準(zhǔn)融合后進(jìn)行體尺估算，得到體長(zhǎng)、體高、體寬、腹圍數(shù)據(jù)如下分析。圖8a為養(yǎng)殖場(chǎng)25頭活體豬體長(zhǎng)自動(dòng)測(cè)量值與人工實(shí)測(cè)值對(duì)比結(jié)果。豬體長(zhǎng)人工實(shí)測(cè)值在0.96～1.20 m之間，三維測(cè)量值則是在0.950～1.173 m之間，測(cè)量值與實(shí)測(cè)值的最大、最小誤差分別為4.82%和0.31%，平均相對(duì)誤差為2.56%。分析最大誤差原因，一方面人工測(cè)量時(shí)由于豬不停擺動(dòng)，姿態(tài)不斷變化，容易產(chǎn)生估讀偏差，造成人工測(cè)量的誤差，另一方面自動(dòng)測(cè)量時(shí)豬體姿勢(shì)與人工測(cè)量時(shí)姿態(tài)差異較大，如豬低頭，抬頭，拱背都會(huì)對(duì)數(shù)據(jù)測(cè)量帶來(lái)誤差。

圖8b為25頭活體豬體高自動(dòng)測(cè)量值與人工實(shí)測(cè)值對(duì)比結(jié)果，豬體高人工實(shí)測(cè)值在0.57～0.72 m之間，三維測(cè)量值則是在0.556～0.748 m之間，自動(dòng)測(cè)量值與實(shí)測(cè)值的最大、最小誤差分別為4.98%和0.13%，平均相對(duì)誤差為2.32%。體高測(cè)量數(shù)據(jù)最大相對(duì)誤差原因在于豬測(cè)量時(shí)姿勢(shì)影響，豬走路時(shí)其前肢稍微彎曲的，頭部向下與正常站立時(shí)體高要低一點(diǎn)，而如果豬頭部上揚(yáng)測(cè)量體高會(huì)比正常站立時(shí)略高。

圖8c為25頭活體豬的胸寬自動(dòng)測(cè)量值與人工實(shí)測(cè)值對(duì)比結(jié)果，胸寬的人工實(shí)測(cè)值在0.23～0.33 m之間，三維測(cè)量值則是位于0.232～0.347 m之間，自動(dòng)測(cè)量值與實(shí)測(cè)值的最大、最小誤差分別為11.50%和0.07%，平均相對(duì)誤差為3.89%。胸寬僅有1組誤差為11.50%，其他誤差都小于7%，自動(dòng)測(cè)量值與實(shí)測(cè)值之間的絕對(duì)誤差相差最大為0.026 m，分析原因后發(fā)現(xiàn)自動(dòng)測(cè)量時(shí)豬頭部扭轉(zhuǎn)角度大，導(dǎo)致胸部位置定位不準(zhǔn)，胸寬取斜線長(zhǎng)度與真實(shí)長(zhǎng)度產(chǎn)生誤差。

圖8d為養(yǎng)殖場(chǎng)25頭活體豬腹圍自動(dòng)測(cè)量值與人工實(shí)測(cè)值對(duì)比結(jié)果。腹圍人工測(cè)量從1.04～1.28 m之間，三維測(cè)量值則是在0.959～1.283 m之間，自動(dòng)測(cè)量值與實(shí)測(cè)值的最大、最小誤差分別為7.80%和0.30%，平均相對(duì)誤差為4.51%。腹圍的自動(dòng)測(cè)量值與實(shí)測(cè)值之間的平均誤差最大，圖8d中可以看到自動(dòng)測(cè)量基本低于人工實(shí)測(cè)值，分析原因在于腹圍切片底部數(shù)據(jù)缺失，自動(dòng)測(cè)量補(bǔ)全數(shù)據(jù)時(shí)比較光滑平整，沒(méi)有反映出腹部突出部分，使得數(shù)據(jù)整體偏小。

圖8 養(yǎng)殖場(chǎng)25頭試驗(yàn)豬體尺測(cè)量對(duì)比結(jié)果

3 討 論

本研究結(jié)果表明，采用多視角深度相機(jī)同時(shí)獲取豬在行走狀態(tài)的局部點(diǎn)云，可以實(shí)現(xiàn)豬三維點(diǎn)云重構(gòu)，且從點(diǎn)云中測(cè)量到豬體長(zhǎng)、體寬、體高、腹圍等不同數(shù)據(jù)。試驗(yàn)在傳輸帶上以0、0.3、0.6、0.9和1.2 m/s等5種不同速率帶動(dòng)模型豬經(jīng)測(cè)量通道獲取數(shù)據(jù)，自動(dòng)測(cè)量體長(zhǎng)、體高、胸寬、腹圍值與實(shí)測(cè)值的平均相對(duì)誤差分別為1.77%、1.36%、2.74%和2.17%。在養(yǎng)殖環(huán)境下對(duì)25頭活豬進(jìn)行實(shí)測(cè)，體長(zhǎng)、體高、胸寬、腹圍與實(shí)測(cè)值的平均相對(duì)誤差分別為2.56%，2.32%，3.89%和4.51%。對(duì)比發(fā)現(xiàn)養(yǎng)殖場(chǎng)活體豬自動(dòng)測(cè)量值接近實(shí)測(cè)值可以達(dá)到實(shí)驗(yàn)室測(cè)量相對(duì)誤差最小的效果，但相對(duì)誤差最大值變化很大，且平均誤差都要高于實(shí)驗(yàn)室環(huán)境測(cè)量結(jié)果，其原因在于養(yǎng)殖場(chǎng)環(huán)境下豬行為姿態(tài)變化很大，不是標(biāo)準(zhǔn)固定的姿態(tài)，導(dǎo)致算法計(jì)算產(chǎn)生誤差，同時(shí)人工實(shí)測(cè)量時(shí)由于豬很難配合，人工實(shí)測(cè)數(shù)據(jù)本身存在測(cè)量誤差。后續(xù)研究中需要分析豬各種姿態(tài)，完善現(xiàn)有特征定位測(cè)量算法，以應(yīng)對(duì)真實(shí)測(cè)量環(huán)境情況。

實(shí)驗(yàn)環(huán)境設(shè)計(jì)的大通道，豬自由行走會(huì)沖撞設(shè)備影響正常的測(cè)量，因此養(yǎng)殖場(chǎng)采集通道帶欄桿，防止豬沖撞設(shè)備，同時(shí)也限定了采集范圍。但采集數(shù)據(jù)有欄桿的干擾，造成局部點(diǎn)云產(chǎn)生部分的空缺。另外采集時(shí)豬撞擊欄桿、地面不水平等可能導(dǎo)致點(diǎn)云獲取存在噪聲、非均勻或欠采樣、空洞和缺失等問(wèn)題都是需要解決的關(guān)鍵問(wèn)題之一。

多視角三維采集數(shù)據(jù)時(shí)僅從通道左、右、上方向采集豬局部點(diǎn)云數(shù)據(jù)，通道下方布置深度相機(jī)很難實(shí)現(xiàn)，因此三維重構(gòu)的豬體腹部下方會(huì)存在點(diǎn)云空洞。針對(duì)提取豬胸圍、腹圍、臀圍等切片中會(huì)有空缺區(qū)域，本文設(shè)計(jì)的極坐標(biāo)轉(zhuǎn)換算法可以平滑補(bǔ)全切片數(shù)據(jù)，但與實(shí)測(cè)數(shù)據(jù)的相對(duì)誤差仍比較大，因此需進(jìn)一步研究算法以求得三圍精準(zhǔn)測(cè)量結(jié)果。同時(shí)養(yǎng)殖環(huán)境下豬會(huì)出現(xiàn)扭頭、低頭、抬頭、曲卷身體、弓背等各種姿態(tài)，測(cè)量算法需要針對(duì)不同姿態(tài)下體尺測(cè)量具有更強(qiáng)魯棒性的算法。

三維重構(gòu)技術(shù)要應(yīng)用于養(yǎng)殖環(huán)境不僅受制于技術(shù)成熟度，同時(shí)成本問(wèn)題是非常重要的一個(gè)因素。本設(shè)計(jì)中采用消費(fèi)級(jí)KinectV2深度相機(jī)，控制器也只需要支持USB3.0以上的計(jì)算機(jī)，整套硬件設(shè)備成本可以控制在1.5萬(wàn)元，采用移動(dòng)式設(shè)計(jì)，一個(gè)養(yǎng)殖場(chǎng)配置一套設(shè)備即可。下一步試驗(yàn)方案將考慮減去一個(gè)攝像頭，僅用2個(gè)方向點(diǎn)云來(lái)完成重構(gòu)，預(yù)計(jì)將進(jìn)一步降低成本。

4 結(jié) 論

1）本文對(duì)比了實(shí)驗(yàn)室和養(yǎng)殖場(chǎng)環(huán)境下，采用3個(gè)方向深度相機(jī)完成豬體三維重構(gòu)，與豬體長(zhǎng)、體高、胸寬、腹圍自動(dòng)測(cè)算試驗(yàn)，其測(cè)量數(shù)據(jù)與實(shí)測(cè)數(shù)據(jù)相對(duì)誤差分析表明本文提出的豬體三維重構(gòu)和多體尺檢測(cè)算法穩(wěn)定、效果較好。

2）養(yǎng)殖場(chǎng)環(huán)境下對(duì)25頭長(zhǎng)白活豬測(cè)量體長(zhǎng)、體高、胸寬、腹圍等4組測(cè)量數(shù)據(jù)與實(shí)測(cè)數(shù)據(jù)相對(duì)誤差最小可以達(dá)到實(shí)驗(yàn)室環(huán)境下的測(cè)量效果，而最大誤差值為11.50%，其原因一方面是豬動(dòng)態(tài)行走時(shí)姿態(tài)不固定，有扭轉(zhuǎn)、拱背、低頭等多種形態(tài)動(dòng)作，影響測(cè)量準(zhǔn)確性，另外人工在豬動(dòng)態(tài)環(huán)境下測(cè)量準(zhǔn)確率也降低。

3）腹圍等3圍度的測(cè)量需要依賴三維點(diǎn)云拼接融合效果，今后需要進(jìn)一步研究三維點(diǎn)云拼接融合和空缺部分的填補(bǔ)算法。

[1]Halachmi I, Klop?i? M, Polak P, et al. Automatic assessment of dairy cattle body condition score using thermal imaging[J]. Computers & Electronics in Agriculture, 2013, 99(6): 35－40.

[2]Azzaro G, Caccamo M, Ferguson J D, et al. Objective estimation of body condition score by modeling cow body shape from digital images[J]. Journal of Dairy Science, 2011, 94(4): 2126－2137.

[3]Tedin R , Becerra J A , Duro R J , et al. Computational intelligence based construction of a body condition assessment system for cattle[C]// Computational Intelligence and Virtual Environments for Measurement Systems and Applications (CIVEMSA), 2013 IEEE International Conference on. IEEE, 2013.

[4]Bercovich A, Edan Y, Alchanatis V, et al. Development of an automatic cow body condition scoring using body shape signature and Fourier descriptors.[J]. Journal of Dairy Science, 2013, 96(12): 8047－8059.

[5]Kashiha M A, Bahr C, Ott S, et al. Automatic monitoring of pig locomotion using image analysis[J]. Livestock Science, 2014, 159(1): 141－148.

[6]Vieira A, Brand, O S, Monteiro A, et al. Development and validation of a visual body condition scoring system for dairy goats with picture-based training[J]. Journal of Dairy Science, 2015, 98(9): 6597－608.

[7]陳菁菁，彭彥昆. 基于機(jī)器視覺(jué)技術(shù)的生豬活體監(jiān)測(cè)系統(tǒng)[J]. 食品安全質(zhì)量檢測(cè)學(xué)報(bào)，2012，3(6)：600－602.

Chen Jing-Jing, Peng Yan-Kun. Monitoring system for livestock growth based on machine vision technology[J]. Journal of Food Safety and Quality, 2012, 3(6): 600－602. (in Chinese with English abstract)

[8]劉建飛. 圖像識(shí)別技術(shù)在奶牛體況評(píng)分中的應(yīng)用研究[D]. 濟(jì)南：山東大學(xué)，2012.

Liu Jianfei. Study on Application of Image Recognition Technique in the Cow Body Condition Score[D]. Jinan: Shandong University, 2012. (in Chinese with English abstract)

[9]吳復(fù)爭(zhēng)，姜威，張美杰. 核-主成分分析在奶牛體況自動(dòng)評(píng)分中的應(yīng)用[J]. 光學(xué)技術(shù)，2013，39(3)：222－227.

Wu Fuzheng, Jiang Wei, Zhang Meijie. Kernel-PCA application on dairy cow automatic body condition score[J]. Optical Technique, 2013, 39(3): 222－227. (in Chinese with English abstract)

[10]劉同海，滕光輝，付為森，等. 基于機(jī)器視覺(jué)的豬體體尺測(cè)點(diǎn)提取算法與應(yīng)用[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2013，29(2)：161－168.

Liu Tonghai, Teng Guanghui, Fu Weisen, et al. Extraction algorithms and applications of pig body size measurement points based on computer vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(2): 161－168. (in Chinese with English abstract)

[11]Menesatti P, Costa C, Antonucci F, et al. A low-cost stereovision system to estimate size and weight of live sheep[J]. Computers & Electronics in Agriculture, 2014, 103(2): 33－38.

[12]Salau J, Haas J H, Junge W, et al. Feasibility of automated body trait determination using the SR4K time-of-flight camera in cow barns[J]. Springer Plus, 2014, 3(1): 225.

[13]Weber A, Salau J, Haas J H, et al. Estimation of backfat thickness using extracted traits from an automatic 3D optical system in lactating Holstein-Friesian cows[J]. Livestock Science, 2014, 165(1): 129－137.

[14]Kuzuhara Y, Kawamura K, Yoshitoshi R, et al. A preliminarily study for predicting body weight and milk properties in lactating Holstein cows using a three- dimensional camera system[J]. Computers & Electronics in Agriculture, 2015, 111: 186－193.

[15]Fischer A, Luginbühl T, Delattre L, et al. Rear shape in 3 dimensions summarized by principal component analysis is a good predictor of body condition score in Holstein dairy cows[J]. Journal of Dairy Science, 2015, 98(7): 4465－4476.

[16]Pezzuolo A, Guarino M, Sartori L, et al. On-barn pig weight estimation based on body measurements by a Kinect v1 depth camera[J]. Computers & Electronics in Agriculture, 2018, 148: 29－36.

[17]付為森，滕光輝. 基于雙目視覺(jué)技術(shù)的豬生長(zhǎng)監(jiān)測(cè)系統(tǒng)標(biāo)定模式[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2009，40(S1)：223－227.

Fu Weisen, Teng Guang hui. Calibration Mode of Pig Growth Inspecting System Based on Binocular Stereovision Technology[J]. Transactions of the Chinese Society for Agricultural Machinery, 2009, 40(S1): 223－227. (in Chinese with English abstract)

[18]李卓，毛濤濤，劉同海，等. 基于機(jī)器視覺(jué)的豬體質(zhì)量估測(cè)模型比較與優(yōu)化[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2015，31(2)：155－161. Li Zhuo, Mao Taotao, Liu Tonghai, el al. Comparison and optimization of pig mass estimation models based on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(2): 155－161. (in Chinese with English abstract)

[19]Salau J, Haas J H, Junge W, et al. Extrinsic calibration of a multi-Kinect camera scanning passage for measuring functional traits in dairy cows[J]. Biosystems Engineering, 2016, 151: 409－424.

[20]王龍. 機(jī)器視覺(jué)在奶牛體況評(píng)定中的應(yīng)用[D]. 上海：東華大學(xué)，2014.

Wang Long. Application of Dairy Cow Body Condition Scoring Based on Machine Vision[D]. Shanghai: Donghua University, 2014. (in Chinese with English abstract)

[21]張溫. 基于機(jī)器視覺(jué)的牲畜體征測(cè)量系統(tǒng)的研究[D]. 包頭：內(nèi)蒙古科技大學(xué)，2014.

Zhang Wen. Research of Livestock Body Size Measurement System Based on Computer Vision[D]. Baotou: Inner Mongolia University of Science & Technology, 2014. (in Chinese with English abstract)

[22]郭浩. 動(dòng)物體表三維數(shù)據(jù)獲取與處理算法研究[D]. 北京：中國(guó)農(nóng)業(yè)大學(xué)，2015.

Guo Hao. Study on 3D Data Capturing and Processing Methods for Live Animal[D]. Beijing: China Agricultural University, 2015. (in Chinese with English abstract)

[23]李卓，毛濤濤，劉同海，等. 基于機(jī)器視覺(jué)的豬體質(zhì)量估測(cè)模型比較與優(yōu)化[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2015，31(2)：155－161.

Li Zhuo, Mao Taotao, Liu Tonghai, el al. Comparison and optimization of pig mass estimation models based on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(2): 155－161. (in Chinese with English abstract)

[24]司永勝，安露露，劉剛，等. 基于Kinect相機(jī)的豬體理想姿態(tài)檢測(cè)與體尺測(cè)量[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2019，50(1)：58－65.

Si Yongsheng, An Lulu, Liu Gang, et al.,Ideal posture detection and body size measurement of pig based on Kinect[J]. Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(1): 58－65. (in Chinese with English abstract)

[25]王可，郭浩，劉威林，等. 基于點(diǎn)云旋轉(zhuǎn)歸一化的豬體體尺測(cè)點(diǎn)提取方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2017，33(增刊1)：253－259.

Wang Ke, Guo Hao, Liu Weilin, et al. Extraction method of pig body size measurement points based on rotation normalization of point cloud [J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(Supp.1): 253－259. (in Chinese with English abstract)

[26]Guo H, Ma X, Ma Q, et al. LSSA_CAU:An interactive 3d point clouds analysis software for body measurement of livestock with similar forms of cows or pigs[J]. Computers & Electronics in Agriculture, 2017, 138: 60－68.

[27]聶建輝，胡英，馬孜. 散亂點(diǎn)云離群點(diǎn)的分類(lèi)識(shí)別算法[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2011，23(9)：1526－1532.

Nie Jianhui, Hu Ying, and Ma Zi. Outlier Detection of Scattered Point Cloud by Classification[J]. Journal of Computer-Aided Design &Computer Graphics, 2011, 23(9): 1526－1532. (in Chinese with English abstract)

Three dimensional point cloud reconstruction and body size measurement of pigs based on multi-view depth camera

Yin Ling1,2, Cai Gengyuan2,3, Tian Xuhong1, Sun Aidong4※, Shi Shuai1, Zhong Haojie1, Liang Shihao1

(1.,,510642,; 2.510642,; 3.,,510642,; 4.,,210014,)

Body size measurement is a major way to understand the key parameters of livestock for precision livestock farming (PLF) and effective management of large numbers of livestock. Manual measurement is one of the most commonly used methods to obtain the growth status of livestock. However, manual measurements can be time-consuming, costly, and sometimes harmful to animals and feeders. In addition, due to the lack of mature technology in effective data acquisition, robust registration and accurate estimation of multi-body parameters, non-contact measurement of live pigs is often a difficult task. Therefore, the application of automatic measurement technology of livestock and poultry body size parameters in actual breeding has great challenge. To solve these problems, a new 3D reconstruction and measurement system is proposed. Three consumer-grade depth cameras are set on the right, left and top of the data acquisition channel. When the pig passes the best shooting area of the channel, the camera synchronously obtains the point cloud data. Using filtering methods such as Gaussian curvature, outliers of three-dimensional images such as balustrade and other point clouds that do not belong to the pig contour are extracted from the original point cloud, and then the preprocessed point cloud in the three views is reconstructed based on the sample consistency (SAC), and then the pig body size parameters including body length are used. The body height, chest circumference and abdomen circumference are measured by the accurate estimation technology of body condition. In different experimental analysis, we compared 5 groups of body size measurement data at different speeds in the laboratory, and compared the body size measurement results of 25 pigs in the pig farm. In the laboratory, pig models were moved at 0, 0.3, 0.6, 0.9 and 1.2m/s. The results show that the average relative error between the body length measurement and the manual measurement is 1.77%. The average relative errors of height, chest width and abdominal circumference were 1.36%, 2.74% and 2.17%, respectively. In addition, the detection value was highly correlated with the manual measurement value of 25 pigs in the pigsty. The average relative error of body length is 2.56%. The average relative errors of height, chest width and abdominal circumference were 2.32%, 3.89% and 4.51%, respectively. In addition, in the farm, the accuracy of body size parameters is in accordance with the results of the laboratory. The experimental results show that the study is helpful to evaluate the body condition of pigs fed with concentrate and managed by breeders automatically and accurately.

image processing; algorithms; models; pig; three-dimensional reconstruction; body size measurement; Kinect V2

尹 令，蔡更元，田緒紅，孫愛(ài)東，石 帥，鐘浩杰，梁世豪.多視角深度相機(jī)的豬體三維點(diǎn)云重構(gòu)及體尺測(cè)量[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2019，35(23)：201－208.doi：10.11975/j.issn.1002-6819.2019.23.025 http://www.tcsae.org

Yin Ling, Cai Gengyuan, Tian Xuhong, Sun Aidong, Shi Shuai, Zhong Haojie, Liang Shihao. Three dimensional point cloud reconstruction and body size measurement of pigs based on multi-view depth camera[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(23): 201－208. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2019.23.025 http://www.tcsae.org

2019-05-24

2019-10-25

2019年度廣東省重點(diǎn)領(lǐng)域研發(fā)計(jì)劃“牲畜非接觸式智能識(shí)別技術(shù)研究與示范”（2019B020219001）、農(nóng)業(yè)農(nóng)村部農(nóng)業(yè)物聯(lián)網(wǎng)重點(diǎn)實(shí)驗(yàn)室開(kāi)放基金課題（2018AIOT-08）、江蘇省農(nóng)業(yè)自主創(chuàng)新基金資助項(xiàng)目“農(nóng)業(yè)物聯(lián)網(wǎng)關(guān)鍵設(shè)備研發(fā)及應(yīng)用示范”（CX（16）1006）。

尹 令，博士，副教授，研究方向農(nóng)業(yè)信息化與數(shù)據(jù)挖掘。Email：yin_ling@scau.edu.cn

孫愛(ài)東，副研究員，主要從事人工智能、專家系統(tǒng)、溯源系統(tǒng)等研究。Email：sunad2002@163.com

10.11975/j.issn.1002-6819.2019.23.025

TP391.41

A

1002-6819(2019)-23-0201-08