羅浩倫　馮澤霖　冉鐘南　馬杰　呂軍

摘要：茶葉嫩芽檢測是實(shí)現(xiàn)茶葉智能采摘的重要前提，基于圖像處理的嫩芽檢測效果受光照、生長環(huán)境和目標(biāo)清晰度等因素影響較大，且自然環(huán)境下茶葉遮擋等增加了嫩芽檢測難度。為快速、準(zhǔn)確地檢測茶葉嫩芽，提出了基于VGG16卷積神經(jīng)網(wǎng)絡(luò)的茶葉嫩芽自動檢測方法。在Linux系統(tǒng)下配置Faster RCNN架構(gòu)，標(biāo)記嫩芽樣本并訓(xùn)練VGG16檢測網(wǎng)絡(luò)，對晴天和陰天2種環(huán)境下20幅茶葉圖像進(jìn)行測試。實(shí)驗(yàn)結(jié)果表明，基于VGG16的茶葉嫩芽檢測平均準(zhǔn)確率和召回率分別為94.84%和96%，能夠有效地減少特征選擇和重疊等對檢測結(jié)果的影響，為后期智能采摘提供理論參考。

關(guān)鍵詞：深度學(xué)習(xí);卷積神經(jīng)網(wǎng)絡(luò);茶葉嫩芽;自動檢測

中圖分類號：S571.1文獻(xiàn)標(biāo)識碼：ADOI：10.19754/j.nyyjs.20200115005

收稿日期：2019-11-20

基金項(xiàng)目：浙江理工大學(xué)本科生科研創(chuàng)新計(jì)劃項(xiàng)目;安徽省高校自然科學(xué)研究項(xiàng)目（項(xiàng)目編號：KJHS2018B011）

作者簡介：羅浩倫（1998-），男，本科在讀。研究方向：通信工程;通訊作者呂軍（1986-），男，碩士，講師。研究方向：農(nóng)業(yè)智能信息處理。

引言

茶葉采摘是一項(xiàng)時間緊迫的季節(jié)性工作，直接影響后期成品茶質(zhì)量。人工采摘存在著耗時耗力、成本高和效率低等不足;機(jī)械采摘缺乏對嫩芽和老葉的選擇性，且對茶葉生長環(huán)境要求較高。隨著信息技術(shù)的不斷發(fā)展，圖像處理技術(shù)廣泛應(yīng)用于茶學(xué)領(lǐng)域中[1-3]。嫩芽識別是茶葉智能采摘的前提，主要借助于嫩芽與茶葉在顏色和形態(tài)上的差異進(jìn)行圖像識別。楊福增等[4]提取茶葉圖像G成分，然后根據(jù)茶葉嫩芽的形態(tài)特征進(jìn)行邊緣檢測，并對嫩芽識別進(jìn)行了研究。汪建[5]結(jié)合改進(jìn)的HIS色彩空間和區(qū)域生長方法，完成茶葉嫩葉的分割，該算法可以將嫩芽與茶葉分開，保留嫩芽的輪廓信息。茶葉嫩芽的定位也是實(shí)現(xiàn)智能采摘的關(guān)鍵。張浩[6]提出了一種基于光柵投影輪廓測量的茶葉嫩芽定位系統(tǒng)，能夠有效識別嫩梢并獲取其三維信息，為研究名優(yōu)茶智能采摘機(jī)解決了茶葉嫩梢定位問題。以上研究主要針對少量目標(biāo)或單一環(huán)境下的嫩芽識別，自然環(huán)境下茶葉生長環(huán)境復(fù)雜，受光照等條件的影響，基于顏色特征的嫩芽分割魯棒性較差，且茶葉遮擋、重疊等情況增加了嫩芽識別和定位的難度，在算法普適性和穩(wěn)定性上有待提高。

Hinton等人于2006年提出深度學(xué)習(xí)[7]方法，利用深度神經(jīng)網(wǎng)絡(luò)從大量數(shù)據(jù)中自動學(xué)習(xí)目標(biāo)特征，避免人工選取特征的影響。本文在Faster-RCNN網(wǎng)絡(luò)框架下，建立基于VGG16網(wǎng)絡(luò)的茶葉嫩芽自動檢測模型，提高自然環(huán)境下茶葉嫩芽檢測準(zhǔn)確率和算法魯棒性。

1VGG16卷積神經(jīng)網(wǎng)絡(luò)

1.1Faster RCNN架構(gòu)

Faster RCNN網(wǎng)絡(luò)[8]主要由候選區(qū)域網(wǎng)絡(luò)（Region Proposal Networks，RPN）和快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（Fast Region Convolutional Neural Networks， Fast RCNN）2部分組成，結(jié)構(gòu)如圖1所示。其基本思想是利用RPN快速生成候選區(qū)域Proposal，通過卷積層（Conv Layers）計(jì)算得到深度卷積特征圖（Feature Maps）、邊框分類層Cls Layer（判定每個Proposal屬于前景和背景的概率）和邊框回歸層Reg Layer（每個Proposal中心錨點(diǎn)對應(yīng)的坐標(biāo)和高度4個平移縮放參數(shù)Coordinates）。Feature maps和RPN輸出的Proposals作為Fast RCNN的輸入，ROI池化得到特征向量經(jīng)全連接層處理后輸入到Softmax層和邊框回歸層，最后經(jīng)分類器Classifier輸出樣本標(biāo)簽。

1.2VGG16網(wǎng)絡(luò)結(jié)構(gòu)

VGGNet模型[9]探索了卷積神經(jīng)網(wǎng)絡(luò)深度與其性能之間的關(guān)系，通過反復(fù)堆疊3×3的卷積核和2×2的最大池化層來構(gòu)建深層的卷積神經(jīng)網(wǎng)絡(luò)。VGG16[10]具有13個卷積層和3個全連接層。13個卷積層分別在第2、4、7、10和13層被Max-pooling層分割，可將Feature map長寬減少1/2。VGG16網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

2自然環(huán)境下茶葉嫩芽自動檢測

2.1茶葉嫩芽樣本集制作

在晴天和陰天環(huán)境下利用Nikon D90數(shù)碼相機(jī)和小米5、vivo X6 plus等手機(jī)采集茶葉嫩芽圖像，如圖3-4所示。從中選擇600幅作為檢測模型訓(xùn)練集，利用MATLAB軟件進(jìn)行批量重命名后并順序保存，利用LabelImg軟件標(biāo)記嫩芽圖像，以xml格式存儲，另選20幅為測試集。本文樣本均采集于安徽省黃山市，程序在Matlab R2017b和Python 2.7下編制。

2.2基于VGG16的茶葉嫩芽自動檢測模型

本文在Faster RCNN框架下利用Python和MATLAB實(shí)現(xiàn)茶葉嫩芽智能檢測模型的訓(xùn)練和測試。 基于VGG16的茶葉嫩芽自動檢測模型訓(xùn)練具體操作如下。

根據(jù)訓(xùn)練集類別更改py～fast-rcnn根目錄下的stage1_fast_rcnn_train.pt文件，其中param_str：“'num_classes'值是類別數(shù)+1，在py-faster-rcnn 根目錄下的pascal_voc.py文件中，self._classes =（'__ background__'，#always index 0 captcha'#處填寫類別數(shù)量。

重新訓(xùn)練新數(shù)據(jù)之前清除緩存，刪除py-faster-rcnn / output 和 py-faster-rcnn / data / cache目錄下的文件。

修改文件py-faster-rcnn根目錄下train_faster_rcnn_alt_opt.py文件中的迭代次數(shù)，更改為max_iters = [80000，60000，80000，60000]，對應(yīng)于rpn階段1，faster-rcnn階段1，rpn階段2，faster-rcnn階段2迭代。

使用Python執(zhí)行py-faster-rcnn根目錄中的make_list_label.py文件，將茶葉圖像劃分為test、train、trainval和val 4個標(biāo)簽，并生成4個相應(yīng)的txt文件。

使用Python執(zhí)行根目錄中的pascal_voc文件以訓(xùn)練網(wǎng)絡(luò)

cd py-faster-rcnn./experiments/scripts/faster_rcnn_alt_opt.sh 0 VGG16 pascal_voc，其中0表示使用GPU執(zhí)行程序，訓(xùn)練模型為VGG16，訓(xùn)練數(shù)據(jù)為pascal_voc。

將名為VGG16_faster_rcnn_final.caffemodel的文件復(fù)制到faster_rcnn_models文件夾，修改py-faster-rcnn 根目錄下的 demo.py文件中的3處內(nèi)容：CLASSES =（'_ background_'，'captcha'），'VGG16_faster_rcnn_final.caffemodel '，im_names = ['1559.jpg'，'1564.jpg']。

2.3基于VGG16的茶葉嫩芽檢測評價

在Faster RCNN框架下利用基于VGG16網(wǎng)絡(luò)的茶葉嫩芽檢測模型對測試集20幅圖像進(jìn)行檢測，效果如圖5所示。為驗(yàn)證VGG16網(wǎng)絡(luò)的性能，本文分別利

用ZF、VGG16和VGG_CNN_M_1024 3種網(wǎng)絡(luò)進(jìn)行模型檢驗(yàn)，平均識別率為94%、96%和95%，具體結(jié)果如表1所示。

從效果圖和表1可以看出，基于VGG16網(wǎng)絡(luò)的茶葉嫩芽自動檢測平均準(zhǔn)確率和平均召回率最高，且對不同環(huán)境的嫩芽檢測魯棒性較高。基于VGG16的茶葉嫩芽自動檢測避免了傳統(tǒng)圖像特征提取的不足，提高了模型普適性和魯棒性，為后期茶葉智能采摘提供理論參考。

參考文獻(xiàn)

[1] 馬建紅， 姬莉霞， 衛(wèi)權(quán)崗. 基于多智能體的茶葉圖像等級鑒定技術(shù)研究[J]. 計(jì)算機(jī)仿真，2012（7）：309-311，399.

[2]余洪. 基于計(jì)算機(jī)視覺技術(shù)的茶葉品質(zhì)分級研究[D]. 江西：江西農(nóng)業(yè)大學(xué)，2017.

[3]潘梅， 李光輝， 周小波， 李玉玲，曾文明. 基于圖像處理的茶葉害蟲智能識別方法研究[J]. 四川農(nóng)業(yè)與農(nóng)機(jī)， 2019（2）：16-18.

[4]楊福增， 楊亮亮， 田艷娜， 等. 基于顏色和形狀特征的茶葉嫩芽識別方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報， 2009 （S1）： 119-123.

[5]汪建. 結(jié)合顏色和區(qū)域生長的茶葉圖像分割算法研究[J]. 茶葉科學(xué)， 2011， 31（1）： 72-77.

[6]張浩， 陳勇， 汪巍， 等. 基于主動計(jì)算機(jī)視覺的茶葉采摘定位技術(shù)[J]. 農(nóng)業(yè)機(jī)械學(xué)報， 2014， 45（9）： 61-65.

[7]Hinton G E， Salakhutdinov R. Reducing the dimensionality of data with neural networks[J]. Science， 2006， 313（5786）： 504-507.

[8]陶震宇， 孫素芬， 羅長壽. 基于Faster-RCNN的花生害蟲圖像識別研究[J]. 江蘇農(nóng)業(yè)科學(xué)， 2019， 47（12）：247-250.

[9]Cheng， Phillip M， Malhi， Harshawn S. Transfer Learning with Convolutional Neural Networksfor Classification of Abdominal Ultrasound Images[J]. Journal of Digital Imaging， 30（2）：234-243.

[10]Shen Xiaolei， Zhang Jiachi， Yan Chenjun，et al. An Automatic Diagnosis Method of Facial Acne Vulgaris Based on Convolutional Neural Network[J]. Sci Rep， 2017， 8（1）.

（責(zé)任編輯常陽陽）