李小迪，王天一

（貴州大學(xué) 大數(shù)據(jù)與信息工程學(xué)院，貴陽 550025）

0 引言

近年來，國內(nèi)羊養(yǎng)殖行業(yè)發(fā)展迅猛，羊養(yǎng)殖已然占據(jù)國內(nèi)畜牧產(chǎn)業(yè)較大比重。為了滿足市場需求，羊養(yǎng)殖的規(guī)模不斷擴大，養(yǎng)殖方式從散養(yǎng)模式、牧場養(yǎng)殖向智能化、規(guī)?；姆绞睫D(zhuǎn)變。智能化的養(yǎng)殖技術(shù)使得畜牧產(chǎn)業(yè)從注重羊養(yǎng)殖數(shù)量變?yōu)樽⒅仞B(yǎng)殖質(zhì)量，經(jīng)營方式從粗獷式經(jīng)營轉(zhuǎn)變?yōu)楣S化、集約化。這樣的轉(zhuǎn)變不僅提高了養(yǎng)殖的水平，更使得養(yǎng)殖產(chǎn)品的安全性得到改善，同時也大大減少了由于不良養(yǎng)殖帶來的環(huán)境污染，提高了養(yǎng)殖的社會效益。此外，智能化養(yǎng)殖減少了用工量，改善了養(yǎng)殖場管理模式，提升了養(yǎng)殖產(chǎn)品質(zhì)量，降低了養(yǎng)殖的用人成本，從而提高了養(yǎng)殖的經(jīng)營效益［1-5］。

羊的不同行為反映了羊個體的整體狀況，可以作為羊健康狀況的重要參考。因此，高效準(zhǔn)確地識別羊的行為，對羊的智能化養(yǎng)殖有重要意義。目前，動物識別方法包括：人工監(jiān)測法、基于可穿戴設(shè)備的方法、基于深度學(xué)習(xí)的方法等。Marchioro 等人［6］利用三軸加速度傳感器采集不同行為的母豬數(shù)據(jù)集，并通過分析不同行為的特征進行母豬行為識別，實驗證明，該方法對母豬產(chǎn)仔行為識別的準(zhǔn)確率最高達到90%。Dutta 等人［7］使用三軸磁力計和三軸加速度傳感器穿戴在奶牛脖頸處，記錄奶牛的不同行為，首先提取出奶牛不同行為的特征，其次做歸一化處理，最后使用決策樹、KNN 等不同算法對奶牛的不同行為進行分類，實驗結(jié)果表明，不同算法的識別準(zhǔn)確率相近，其中決策樹算法最優(yōu)。郭冬冬［8］使用三軸加速度傳感器獲取山羊不同行為數(shù)據(jù)集，然后使用k-means算法識別山羊不同行為，最終識別率達到87%左右。何東健等人［9］從監(jiān)控視頻中獲取牦牛的行為信息，首先對牦牛進行目標(biāo)檢測，再使用k-means算法識別牦牛不同行為，實驗證明，該方法識別準(zhǔn)確率較高。

與人工監(jiān)測法和可穿戴設(shè)備的方法相比，深度學(xué)習(xí)對于輸入圖像要求較低，對于有噪聲的圖像，無需對圖像進行復(fù)雜的去噪處理，且能夠從大量數(shù)據(jù)中自動地學(xué)習(xí)圖像特征，利用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional neural network，CNN）［10-13］可以實現(xiàn)圖像特征的自動提取，使用訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)進行行為識別，不僅提高了識別效率，也提升了識別的準(zhǔn)確率。目前已成功應(yīng)用于個體識別［14］、圖像分類［15-16］、掌紋識別［17-18］、行為識別［19-22］等領(lǐng)域。

為了實現(xiàn)低成本，非接觸式的羊行為識別，本文采集了大量養(yǎng)殖場環(huán)境下羊的行為視頻，通過分析羊不同行為的特征，提出了基于改進卷積神經(jīng)網(wǎng)絡(luò)的羊行為識別方法，構(gòu)建卷積核尺寸為3×3 的卷積神經(jīng)網(wǎng)絡(luò)，對比分析不同激活函數(shù)和不同丟棄率對模型性能的影響，使用余弦退火學(xué)習(xí)率對網(wǎng)絡(luò)進行動態(tài)微調(diào)，分析有無遮擋情況下羊不同行為的識別準(zhǔn)確率，實驗結(jié)果顯示，本文提出的方法識別速度較快，可達到28 fps，對于羊的進食、站立、坐臥等行為識別準(zhǔn)確率均達到90%以上。

1 網(wǎng)絡(luò)構(gòu)建

1.1 卷積神經(jīng)網(wǎng)絡(luò)的構(gòu)建

卷積神經(jīng)網(wǎng)絡(luò)是一種包含了卷積運算的人工神經(jīng)網(wǎng)絡(luò)，包含輸入層、卷積層、池化層、輸出層等部分。在羊行為識別的任務(wù)場景中，通過對羊不同行為視頻逐幀分析發(fā)現(xiàn)：羊只的進食行為，進食位置在畫面中隨機出現(xiàn)，且羊在進食時羊頭伸出羊圈，身體也不同程度地向下彎曲；羊只的坐臥行為，羊只腿部蜷縮，頭部大多低下或緊貼地面，這2 種行為都會導(dǎo)致羊只有不同程度的扭曲變形使得識別難度加大。基于此原因，構(gòu)建適合羊只不同行為的卷積神經(jīng)網(wǎng)絡(luò)，模型結(jié)構(gòu)設(shè)計如圖1 所示。對此擬做探討分述如下。

圖1 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖Fig. 1 Structure of convolutional neural network

（1）輸入層。由于養(yǎng)殖場中，羊的種類相同，羊的顏色和花紋都相近，且羊的外形、顏色并不影響羊行為的識別，因此輸入的羊只不同行為的圖像大小為32×32×1，輸入網(wǎng)絡(luò)中進行網(wǎng)絡(luò)訓(xùn)練。

（2）卷積層。羊的不同行為均有不同的特征，為了能夠較準(zhǔn)確地提取出羊不同行為的圖像特征，本文構(gòu)建了3 個卷積層，分別為C1、C2、C3。由于，2 個3×3 卷積的感受野可代替一個5×5 卷積的感受野，3 個3×3 卷積的感受野可代替一個7×7 卷積的感受野，且3×3 卷積網(wǎng)絡(luò)的參數(shù)少，非線性更多，網(wǎng)絡(luò)更深，使得模型的學(xué)習(xí)能力更強，且養(yǎng)殖場背景環(huán)境較為復(fù)雜，為了提取出更多的特征，本文構(gòu)建的網(wǎng)絡(luò)中卷積核的大小均為3×3。3 個卷積層的卷積核個數(shù)分別為：30 個、60 個、100 個。

（3）池化層。池化的過程也就是下采樣的過程，在卷積神經(jīng)網(wǎng)絡(luò)中，需要通過池化層給得到的特征圖降維，將特征進行壓縮可有效縮小特征圖的尺寸，從而減少計算量，防止網(wǎng)絡(luò)的過擬合。本文采用max -pooling作為下采樣的方法，選圖像區(qū)域的最大值作為該區(qū)域池化后的值，池化層濾波器的尺寸為2×2。

（4）輸出層。以全連接層和softmax［23］層作為網(wǎng)絡(luò)的輸出層對網(wǎng)絡(luò)提取的特征進行計算。全連接能夠?qū)⑤敵龅亩S特征圖轉(zhuǎn)化為一維的特征向量，全連接層在卷積神經(jīng)網(wǎng)絡(luò)中可以作為“分類器”使用，本文在全連接層中加入丟棄操作，降低全連接層中各神經(jīng)元之間的依賴性，以此提高網(wǎng)絡(luò)的泛化能力。此外，使用softmax分類函數(shù)計算羊只不同行為的發(fā)生概率，公式如下：

通過對卷積神經(jīng)網(wǎng)絡(luò)主干層的分析，搭建出適合羊行為識別的網(wǎng)絡(luò)，網(wǎng)絡(luò)訓(xùn)練集分為進食行為、站立行為和坐臥行為三個類別。

1.2 SeLU 激活函數(shù)

在卷積神經(jīng)網(wǎng)絡(luò)中，激活函數(shù)是必不可少的，使用激活函數(shù)，使得網(wǎng)絡(luò)上一層的輸入與下一層的輸出呈現(xiàn)非線性的關(guān)系，并且可以對任意函數(shù)進行逼近，使得網(wǎng)絡(luò)具備更強大的表達能力。目前，大多數(shù)卷積神經(jīng)網(wǎng)絡(luò)都使用ReLU作為激活函數(shù)，但當(dāng)ReLU激活函數(shù)的輸入值小于0 時，會造成梯度消失，使得部分神經(jīng)元無法被激活。為解決這一問題，本文算法采用SeLU激活函數(shù)配合lecun-normal 權(quán)重初始化方式。SeLU激活函數(shù)的優(yōu)點包括能夠使神經(jīng)網(wǎng)絡(luò)自歸一化、避免了梯度爆炸、梯度消失等問題、輸出有正值和負值，能更好地控制均值等，其表達式如下：

在文獻［24］中已證明λ≈1.67，a≈1.05。

1.3 丟棄操作

在模型訓(xùn)練過程中，由于羊的行為多樣，使得少量羊的不同行為的圖像較為相似，導(dǎo)致網(wǎng)絡(luò)模型容易出現(xiàn)過擬合現(xiàn)象。因此，在訓(xùn)練網(wǎng)絡(luò)時采用丟棄操作，讓卷積神經(jīng)網(wǎng)絡(luò)的全連接層神經(jīng)元按照一定的概率p隨機置零，從而使得神經(jīng)元之間的依賴性降低，提高模型的泛化能力。Alpha dropout［24］是丟棄操作中的一種，常規(guī)的丟棄操作會破壞網(wǎng)絡(luò)的自歸一化功能，而Alpha dropout以概率p將部分神經(jīng)元置零時，保留下來的神經(jīng)元會進行縮放和移位使得輸出是零均值和單位方差，保證了數(shù)據(jù)的規(guī)范性，其原理如圖2 所示。

圖2 丟棄操作原理Fig. 2 Alpha dropout operation principle

2 余弦退火動態(tài)學(xué)習(xí)率

在訓(xùn)練網(wǎng)絡(luò)的過程中，學(xué)習(xí)率需要根據(jù)網(wǎng)絡(luò)的訓(xùn)練情況進行動態(tài)調(diào)整。在網(wǎng)絡(luò)訓(xùn)練初期，對于輸入圖像的像素信息完全未知，不恰當(dāng)?shù)膶W(xué)習(xí)率容易使模型陷入過擬合，在訓(xùn)練后期，過大學(xué)習(xí)率則會造成損失的大幅度震蕩。因此，本文采用余弦退火動態(tài)學(xué)習(xí)率［25-26］，使學(xué)習(xí)率的變化符合余弦函數(shù)的變化方式，讓模型輕松跳出局部最優(yōu)解。其表達式如下：

其中，i表示運行輪次；表示學(xué)習(xí)率最大值；表示學(xué)習(xí)率最小值，這2 個值使得學(xué)習(xí)率在一定范圍內(nèi)衰減；Ti表示第i次運行時總的epoch數(shù)；Tcur表示當(dāng)前執(zhí)行了多少個epoch。本文的初始學(xué)習(xí)率設(shè)置為0.001，隨著epoch的增加，學(xué)習(xí)率按照余弦規(guī)律減少，當(dāng)訓(xùn)練到第50 個epoch時，學(xué)習(xí)率下降速度達到最快，最終大小為10-5。

3 實驗結(jié)果分析

3.1 數(shù)據(jù)集的構(gòu)建

實驗視頻在貴州省某羊只養(yǎng)殖場中采集，每段視頻的平均時長為3 min，格式為mp4，幀寬度為1 920像素，幀高度為1 080 像素，幀速率50 幀／s。視頻均在白天光線充足的條件下進行采集。

在預(yù)處理過程中，首先對采集的羊只行為視頻進行人工篩選，篩選出進食行為視頻394 段，站立行為視頻312 段，坐臥行為視頻318 段。通過對關(guān)鍵幀的提取，手動刪除關(guān)鍵幀中羊只肢體不全、遮擋嚴重、無羊只等無效圖像，選擇不同姿態(tài)、不同角度的羊只進食行為圖像3 500 張；羊只站立行為圖像2 800張，羊只坐臥行為圖像3 100張。共計9 400張羊只不同行為圖像構(gòu)成實驗所用數(shù)據(jù)集。在此基礎(chǔ)上，按照8 ∶2 的方式劃分訓(xùn)練集和測試集。

3.2 實驗環(huán)境

本實驗使用的操作系統(tǒng)為Ubuntu18.04.4LTS，Python3.7，深度學(xué)習(xí)框架：Tensorflow2.0，Graphics card：RTX 2080Ti，CPU：i7-9700，總共5 500 張圖片，按照8：2 的比例劃分為訓(xùn)練集和測試集。

3.3 丟棄率對網(wǎng)絡(luò)模型性能的影響

丟棄操作會使卷積神經(jīng)網(wǎng)絡(luò)的神經(jīng)元按照一定的丟棄率p被置零，從而失去活性。當(dāng)丟棄率p設(shè)置過高時，失活的神經(jīng)元過多，容易導(dǎo)致模型欠學(xué)習(xí)，影響模型的識別準(zhǔn)確率；當(dāng)丟棄率p設(shè)置過低時，難以達到丟棄操作的效果。因此，本文將丟棄率分別設(shè)置為0.2，0.3，0.4，0.5，0.6，0.7。不同丟棄率下網(wǎng)絡(luò)的識別效果如圖3 所示。

圖3 不同丟棄率下網(wǎng)絡(luò)識別效果Fig. 3 Network recognition effect under different discarding rates

由圖3 可知，當(dāng)丟棄率p為0.5 時，卷積神經(jīng)網(wǎng)絡(luò)模型準(zhǔn)確率達到最高，因此，本文丟棄率設(shè)置為0.5。

3.4 ReLU 激活函數(shù)和SeLU 激活函數(shù)的比較

在卷積神經(jīng)網(wǎng)絡(luò)中，激活函數(shù)至關(guān)重要，本文使用ReLU激活函數(shù)的變體SeLU激活函數(shù)，實驗結(jié)果如圖4 所示。由圖4 可知，在丟棄率設(shè)置為0.5 的情況下，使用SeLU激活函數(shù)，模型的準(zhǔn)確率由89%左右提升至92%左右，損失值Loss降低為0.24 左右。

圖4 ReLU 激活函數(shù)和SeLU 激活函數(shù)精確率和Loss 的比較Fig. 4 Comparison of Accuracy and Loss of ReLU activation function and SeLU activation function

3.5 有無遮擋情況下羊只行為識別效果

由于羊只在養(yǎng)殖場內(nèi)活動，存在有、無欄桿遮擋的情況，如圖5、圖6 所示。因此本文對比有無遮擋情況下羊只行為識別結(jié)果，見表1。

圖5 無遮擋羊進食、站立、坐臥行為Fig. 5 Behaviors of eating，standing，sitting and lying of sheep without sheltering

圖6 有遮擋羊進食、站立、坐臥行為Fig. 6 Behaviors of sheltering sheep from eating，standing，sitting and lying

表1 有無遮擋情況下羊只行為識別效果Tab.1 Effect of sheep behaviors recognition with or without occlusion

由于3×3 的卷積核能提取出較多的羊不同行為特征；SeLU激活函數(shù)使得網(wǎng)絡(luò)具有自歸一化功能且避免了梯度爆炸和梯度消失的問題；Alpha dropout降低了全連接層各神經(jīng)元的依賴性，提高了網(wǎng)絡(luò)的泛化能力；余弦退火動態(tài)學(xué)習(xí)率避免了網(wǎng)絡(luò)出現(xiàn)過擬合現(xiàn)象，使得本文算法的識別率較高。由表1 可知，在無遮擋情況下，羊的進食、站立、坐臥行為的識別率均達到90%以上，在有遮擋的情況下也能達到85%以上，有遮擋羊只行為識別的準(zhǔn)確率稍低的原因是羊只行為部分遮擋嚴重，造成羊行為的特征發(fā)生扭曲變化，因此被網(wǎng)絡(luò)識別錯誤。實驗結(jié)果表明，本文方法能夠完成羊只不同行為的識別，且識別結(jié)果較為可靠。

3.6 不同算法對羊只行為識別效果對比

表2 為不同算法對羊只行為識別效果對比，表2 中列舉了3 個典型的卷積神經(jīng)網(wǎng)絡(luò)對羊只行為的識別。由表2 可知，ResNet18 由于網(wǎng)絡(luò)中存在殘差結(jié)構(gòu)，對單張圖像的識別速度最快，達到31 fps。而本文提出的方法對單張圖像識別的速度位居第二，達到28 fps。從識別精度方面考慮，本文提出的算法識別效果最優(yōu)?；谝陨蠈嶒灲Y(jié)果可知，本文提出的方法能較好地完成羊只行為識別任務(wù)。

表2 不同算法下羊只行為識別效果Tab.2 Sheep behaviors recognition effect under different algorithms

4 結(jié)束語

本文根據(jù)羊只進食、坐臥、站立等不同行為特征，提出了基于改進卷積神經(jīng)網(wǎng)絡(luò)的羊行為識別方法。通過構(gòu)建卷積核尺寸為3×3 的卷積神經(jīng)網(wǎng)絡(luò)，采用SeLU激活函數(shù)增強網(wǎng)絡(luò)的表達能力，通過設(shè)置丟棄率為0.5 的Alpha dropout丟棄方式降低神經(jīng)元之間的依賴性，并使用余弦退火學(xué)習(xí)率對網(wǎng)絡(luò)進行動態(tài)微調(diào)。實驗結(jié)果表明，在養(yǎng)殖場環(huán)境下，本文構(gòu)建的卷積神經(jīng)網(wǎng)絡(luò)對羊不同行為的識別準(zhǔn)確率均達到90%以上。該模型可以較高質(zhì)量地完成羊不同行為的識別，有助于提高畜牧管理效率和養(yǎng)殖智能化水平。