孫嘉燚，蒼巖

哈爾濱工程大學(xué) 信息與通信工程學(xué)院，黑龍江 哈爾濱 150001

近年來(lái)，深度學(xué)習(xí)技術(shù)在各行各業(yè)掀起了一股熱潮，在農(nóng)業(yè)領(lǐng)域也得到了廣泛的應(yīng)用[1-9]。在規(guī)?；?、現(xiàn)代化豬場(chǎng)中，養(yǎng)殖人員越來(lái)越重視豬場(chǎng)的智能化養(yǎng)殖，這不僅能提高養(yǎng)殖效益，而且能降低豬只感染疾病的風(fēng)險(xiǎn)。尤其是在新冠肺炎和非洲豬瘟雙疫情的影響下，越來(lái)越多的養(yǎng)殖戶(hù)開(kāi)始關(guān)注智能化生物安全問(wèn)題。智能化管理通常需要對(duì)生豬的個(gè)體建立養(yǎng)殖檔案，生豬的個(gè)體識(shí)別研究變得日益重要。將多目標(biāo)追蹤技術(shù)應(yīng)用到生豬個(gè)體識(shí)別中，不僅可以減少養(yǎng)殖人員與豬只的接觸，提高生物安全級(jí)別，同時(shí)還可以節(jié)省人力資源消耗，提高生產(chǎn)效益。Ahrendt 等[10]設(shè)計(jì)了一種實(shí)時(shí)的計(jì)算機(jī)視覺(jué)系統(tǒng)，能夠減輕養(yǎng)殖人員識(shí)別和定位豬只的工作量。Jung 等[11]將人工智能與物聯(lián)網(wǎng)相結(jié)合，設(shè)計(jì)了一個(gè)新型監(jiān)控系統(tǒng)，對(duì)豬只的跟蹤精度能達(dá)到77%左右。Mittek 等[12]使用深度圖像連續(xù)跟蹤豬只，替代了傳統(tǒng)的人工觀(guān)察方法。Sun 等[13]提出了一種多通道色彩特征自適應(yīng)融合算法，利用豬只的輪廓信息更新豬的目標(biāo)尺度，王海濤等[14]對(duì)靜止的豬只目標(biāo)消失問(wèn)題和豬只交錯(cuò)產(chǎn)生的丟失目標(biāo)問(wèn)題進(jìn)行了深入探究，肖德琴等[15]提出了一種基于視頻追蹤的豬只運(yùn)動(dòng)信息檢測(cè)方法。

本文基于改進(jìn)的Faster R-CNN 網(wǎng)絡(luò)，提出了一個(gè)豬只身份個(gè)體識(shí)別網(wǎng)絡(luò)，實(shí)現(xiàn)了基于視頻數(shù)據(jù)的多豬只身份識(shí)別，有助于智能化管理。同時(shí)，減少了養(yǎng)殖從業(yè)人員與豬只的接觸，增強(qiáng)了生物防疫的安全性。

1 網(wǎng)絡(luò)結(jié)構(gòu)介紹

多目標(biāo)追蹤是一項(xiàng)以目標(biāo)檢測(cè)為基礎(chǔ)的技術(shù)，隨著近幾年來(lái)目標(biāo)檢測(cè)技術(shù)越來(lái)越成熟、完善，與之相應(yīng)的多目標(biāo)追蹤技術(shù)也得到了快速發(fā)展。本文所提出的豬只個(gè)體識(shí)別網(wǎng)絡(luò)以Faster RCNN[16]為目標(biāo)檢測(cè)器，再以豬只個(gè)體識(shí)別網(wǎng)絡(luò)進(jìn)行個(gè)體識(shí)別，結(jié)構(gòu)如圖1 所示。

圖1 豬只個(gè)體識(shí)別網(wǎng)絡(luò)結(jié)構(gòu)

1.1 目標(biāo)檢測(cè)網(wǎng)絡(luò)的改進(jìn)

Faster R-CNN 是一個(gè)非常經(jīng)典的目標(biāo)檢測(cè)算法，其骨干特征提取網(wǎng)絡(luò)采用的是VGG16[17]。本文應(yīng)用背景比較特殊，圖片中食槽的顏色、外觀(guān)與灰色豬只非常的相近，容易造成誤檢。為了取得更好的豬只檢測(cè)結(jié)果，在特征提取部分采用ResNet50[18]來(lái)替代VGG16。本文的目標(biāo)分類(lèi)總數(shù)為1，即只對(duì)豬只進(jìn)行分類(lèi)。目標(biāo)檢測(cè)網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示。

圖2 目標(biāo)檢測(cè)網(wǎng)絡(luò)結(jié)構(gòu)

ResNet50 網(wǎng)絡(luò)解決了神經(jīng)網(wǎng)絡(luò)的退化問(wèn)題，能夠提取更深的特征，多個(gè)ResNet 殘差塊組成特征提取的骨干網(wǎng)絡(luò)，其結(jié)構(gòu)如圖3 所示。

圖3 中x為原始圖像，W(x)為 對(duì)x做映射操作，F(xiàn)(x)為 對(duì)x經(jīng)過(guò)三層卷積后做的特征提取，H(x)為這2 部分的相加后的結(jié)果圖像，其中每一層的激活函數(shù)采用f(x)=relu，其計(jì)算公式為

圖3 ResNet 殘差塊結(jié)構(gòu)

如果F(x)和x的維度相同，則可以直接進(jìn)行相加，其中W為恒等映射操作，即W(x)=x。如果F(x)和x的維度不同，則W代表1 ×1的卷積操作，把x的維度進(jìn)行調(diào)整，使之和F(x)的維度一致，最后再進(jìn)行相加。正是基于這種特殊結(jié)構(gòu)，ResNet50網(wǎng)絡(luò)的層數(shù)可以設(shè)計(jì)足夠深，特征提取效果好于VGG16，針對(duì)豬只的特征提取也達(dá)到了更好的結(jié)果。最終ResNet50 網(wǎng)絡(luò)整體結(jié)構(gòu)如表1 所示。

表1 ResNet50 網(wǎng)絡(luò)結(jié)構(gòu)

表1 中1×1、3×3、1×1 代表上文所說(shuō)的殘差塊結(jié)構(gòu)，每個(gè)殘差塊有3 層卷積核。Conv2_x 有3 層殘差塊，Conv3_x 有4 層殘差塊，Conv4_x 有6 層殘差塊，Conv5_x 有3 層殘差塊，從Conv2_x 一直到Conv5_x 一共有16 個(gè)殘差塊，所以一共有16×3=48層卷積核，再加上Conv1 和最后一層的平均池化一共50 層。

圖4 是ResNet50 每一層輸出的可視化結(jié)果。

圖4 可視化結(jié)果

圖5 是VGG16 作為特征提取網(wǎng)絡(luò)產(chǎn)生的效果圖，圖6 是ResNet50 作為特征提取網(wǎng)絡(luò)產(chǎn)生的效果圖，提取不同幀進(jìn)行對(duì)比，VGG16 會(huì)把食槽（圖片中用圓圈圈出來(lái)的部分），誤檢測(cè)成豬只，而ResNet50 則可以抑制這種情況。

圖5 VGG16 效果

圖6 ResNet50 效果

1.2 豬只個(gè)體識(shí)別網(wǎng)絡(luò)

本文提出的個(gè)體識(shí)別網(wǎng)絡(luò)分別對(duì)如下3 種情況進(jìn)行了研究：

1）沒(méi)有豬只消失，沒(méi)有豬只出現(xiàn)。

對(duì)于這種情況，本文直接將上一幀的檢測(cè)框輸入到豬只個(gè)體識(shí)別網(wǎng)絡(luò)的感興趣區(qū)域結(jié)構(gòu)，預(yù)測(cè)當(dāng)前幀目標(biāo)檢測(cè)框的位置與得分。豬只軌跡示意圖如圖7 所示。

圖7 豬只軌跡示意

以一只豬為例，Bt-1代 表第t-1幀的檢測(cè)框，Bt代表第t幀的檢測(cè)框，圖片中t-1代 表第t-1幀，t代表第t幀。我們直接把第t-1幀的檢測(cè)框作為第t幀的感興趣區(qū)域，之后預(yù)測(cè)第t幀目標(biāo)檢測(cè)框的位置與得分。

2）豬只被遮擋后再出現(xiàn)。

對(duì)于這種情況，本文使用身份重識(shí)別網(wǎng)絡(luò)，將豬只被遮擋之前的特征圖和被遮擋之后的特征圖做對(duì)比，如果它們的歐氏距離小于閾值，則被認(rèn)為是同一目標(biāo)，恢復(fù)被遮擋的身份ID。將ResNet50 作為身份重識(shí)別網(wǎng)絡(luò)，提取目標(biāo)的特征圖。其可視化結(jié)果如圖8 所示。

圖8 遮擋再出現(xiàn)可視化結(jié)果

3）新目標(biāo)的出現(xiàn)

對(duì)于這種情況，計(jì)算正常目標(biāo)檢測(cè)得到的檢測(cè)框位置與感興趣區(qū)域得到的檢測(cè)框位置的交并比（intersection over union，IoU），如果IoU 小于閾值，則被認(rèn)為是新目標(biāo)。

IoU 是目標(biāo)檢測(cè)中常用的一個(gè)概念，代表目標(biāo)檢測(cè)器產(chǎn)生的候選框和物體真值框的交并比，本文利用它來(lái)判定是否出現(xiàn)新目標(biāo)，具體定義說(shuō)明如圖9 所示。

圖9 IoU 計(jì)算過(guò)程

圖9 中黃色區(qū)域代表候選框和物體真值框相交的面積，藍(lán)色區(qū)域代表候選框和物體真值框相并的面積，IoU 的最大值為1，最小值為0。

豬只個(gè)體識(shí)別網(wǎng)絡(luò)整體流程圖如圖10 所示。

2 實(shí)驗(yàn)

2.1 實(shí)驗(yàn)數(shù)據(jù)

2.1.1 數(shù)據(jù)集的采集

目前，對(duì)于多豬只個(gè)體識(shí)別這方面的研究還很少，沒(méi)有相應(yīng)的公開(kāi)數(shù)據(jù)集，所以本實(shí)驗(yàn)仿照MOT16[19]數(shù)據(jù)集的格式制作了關(guān)于豬只的數(shù)據(jù)集。數(shù)據(jù)采集使用小米智能攝像機(jī)云臺(tái)版，用此設(shè)備來(lái)對(duì)豬只進(jìn)行監(jiān)控與視頻錄制，以便于后面切割視頻制作數(shù)據(jù)集。根據(jù)豬場(chǎng)的環(huán)境與豬只的生活習(xí)性，經(jīng)過(guò)反復(fù)的實(shí)驗(yàn)對(duì)比，數(shù)據(jù)集的采集分為2 個(gè)時(shí)間段，分別是早上7:00～9:30 和中午11:00～13:00，共18 段視頻，每段視頻時(shí)間30 s～2 min不等。數(shù)據(jù)集原圖效果如圖11 所示。

圖11 豬只數(shù)據(jù)集原圖效果

2.1.2 豬只數(shù)據(jù)集的預(yù)處理與標(biāo)簽制作

本文把采集完的18 段豬只視頻數(shù)據(jù)做了如下預(yù)處理，分為訓(xùn)練集和測(cè)試集。訓(xùn)練集共16 段視頻，采用1 秒2 幀的間隔進(jìn)行數(shù)據(jù)提取，總計(jì)4 040 幀；測(cè)試集共2 段視頻，采用1 秒5 幀的間隔進(jìn)行數(shù)據(jù)提取，總計(jì)392 幀。另外，為了減少旁邊豬欄對(duì)實(shí)驗(yàn)結(jié)果造成的干擾，本文對(duì)所有圖片進(jìn)行了掩膜處理，將原圖與黑色掩膜進(jìn)行相加，最終的數(shù)據(jù)集效果如圖12 所示。

圖12 預(yù)處理后豬只數(shù)據(jù)集圖片效果

本文使用Darklabel 標(biāo)簽工具進(jìn)行標(biāo)簽制作，訓(xùn)練集總共制作了4 040 張標(biāo)簽圖片，其標(biāo)簽圖片如圖13 所示。

圖13 標(biāo)簽圖片效果

2.2 豬只個(gè)體識(shí)別實(shí)驗(yàn)

本文的實(shí)驗(yàn)設(shè)備參數(shù)如下：Ubuntu 18.04，顯卡為GTX 1080Ti，顯存11GB，CPU 為i7-8700K，內(nèi)存16 GB。

訓(xùn)練參數(shù)如下：輸入圖片分辨率大小為1 280×720，權(quán)重更新選擇隨機(jī)梯度下降方法，動(dòng)量值為0.9，學(xué)習(xí)率初始值為0.001，每10 個(gè)epoch 學(xué)習(xí)率縮小10 倍，共81 個(gè)epoch。

算法參數(shù)如下：目標(biāo)檢測(cè)閾值為0.7，目標(biāo)檢測(cè)IoU 閾值為0.5，保持個(gè)體識(shí)別存活閾值為0.8，個(gè)體識(shí)別IoU 閾值為0.6，最大特征保存數(shù)為10，外觀(guān)相似度閾值為1 000。

網(wǎng)絡(luò)訓(xùn)練的損失函數(shù)L曲線(xiàn)如圖14 所示。

圖14 損失函數(shù)曲線(xiàn)

本文使用2.1.2 節(jié)制作的4 040 張標(biāo)簽進(jìn)行訓(xùn)練，然后使用測(cè)試集的2 段視頻進(jìn)行測(cè)試，這2 段視頻的選取分別從時(shí)間長(zhǎng)短、豬只遮擋情況這兩方面進(jìn)行考慮，包含了豬只運(yùn)動(dòng)的絕大部分情況。圖15 與圖16 分別是視頻1 與視頻2 的豬只個(gè)體識(shí)別的結(jié)果。

圖15 視頻1 豬只個(gè)體識(shí)別結(jié)果

圖16 視頻2 豬只個(gè)體識(shí)別結(jié)果

視頻1 中豬只檢測(cè)結(jié)果良好，沒(méi)有遮擋情況，在豬只之間距離比較近的時(shí)候，豬只身份ID 仍然追蹤穩(wěn)定，個(gè)體識(shí)別效果良好。

視頻2 中在第100 幀和第140 幀的時(shí)候，每頭豬都能很好地檢測(cè)出來(lái)；在第170 幀的時(shí)候0 號(hào)豬只遮擋了2 號(hào)與4 號(hào)豬只；在第200 幀的時(shí)候0 號(hào)豬只走開(kāi)，2 號(hào)與4 號(hào)豬只恢復(fù)了原本自己的身份ID，個(gè)體識(shí)別效果良好。

這2 段視頻的豬只個(gè)體識(shí)別評(píng)價(jià)指標(biāo)如表2所示。

表2 豬只個(gè)體評(píng)價(jià)結(jié)果

從表2 可以看出：視頻1 與視頻2 的MOTA值高于95%，視頻1 的MOTP 值為6.4%，視頻2 的MOTP 值為15.4%，這兩段視頻均沒(méi)有產(chǎn)生身份轉(zhuǎn)換問(wèn)題，各項(xiàng)評(píng)價(jià)指標(biāo)均達(dá)到了一個(gè)理想的數(shù)值，特別是在視頻2 中，豬只被完全遮擋以后再出現(xiàn)時(shí)，仍然能恢復(fù)原來(lái)的身份ID，這進(jìn)一步驗(yàn)證了本文算法的有效性。

3 結(jié)論

本文就基于多目標(biāo)追蹤方法的豬只個(gè)體識(shí)別算法進(jìn)行了研究。在目標(biāo)檢測(cè)階段使用改進(jìn)的Faster R-CNN 算法，把VGG16 特征提取網(wǎng)絡(luò)替換為ResNet50，之后使用豬只個(gè)體識(shí)別網(wǎng)絡(luò)來(lái)進(jìn)行個(gè)體識(shí)別。實(shí)驗(yàn)結(jié)果表明：無(wú)論是在豬只之間距離比較近的時(shí)候，還是在豬只被完全遮擋的情況下，豬只之間都沒(méi)有發(fā)生身份轉(zhuǎn)換的問(wèn)題；MOTA值均在95% 以上；MOTP 值均在16% 以下；身份轉(zhuǎn)換次數(shù)較少，在進(jìn)行身份識(shí)別的時(shí)候性能穩(wěn)定。實(shí)驗(yàn)結(jié)果和理論分析說(shuō)明了文中模型、方法的有效性。