孫壯壯，姜 東，蔡 劍，王 笑，周 琴，黃 梅，戴廷波，曹衛(wèi)星

單子葉作物葉片氣孔自動識別與計數(shù)技術(shù)

孫壯壯，姜 東※，蔡 劍，王 笑，周 琴，黃 梅，戴廷波，曹衛(wèi)星

（南京農(nóng)業(yè)大學(xué)農(nóng)業(yè)部小麥區(qū)域技術(shù)創(chuàng)新中心，農(nóng)業(yè)部南方作物生理生態(tài)重點開放實驗室，南京 210095）

為實現(xiàn)作物葉片氣孔的自動識別與快速計數(shù)，該研究采用卷積神經(jīng)網(wǎng)絡(luò)中高計算效率的YOLOv3算法，開發(fā)了一種全自動氣孔識別和計數(shù)解決方案。該算法優(yōu)化了物體檢測性能，可準(zhǔn)確識別顯微圖像中的氣孔。其中，對指甲油印跡法獲得照片的氣孔檢測精確率、召回率和F1值分別為0.96，0.98和0.97，便攜式顯微鏡拍攝法照片氣孔檢測精確率、召回率和F1值分別為0.95，0.98和0.96，具有很好的魯棒性。該算法檢測速度快，可實現(xiàn)對30幀/s的視頻文件進行快速氣孔識別，實現(xiàn)了實時檢測。此外，采用拍攝的小麥葉片照片進行訓(xùn)練得到的氣孔識別模型，還可同時實現(xiàn)對大麥、水稻和玉米等單子葉作物葉片氣孔的識別，其中，大麥的檢測精確率、召回率和F1值分別為0.94，0.83和0.88；水稻的檢測精確率、召回率和F1值分別為0.89，0.42和0.57；玉米的檢測精確率、召回率和F1值分別為0.91、0.76和0.83；顯示出模型良好的泛化能力。

卷積神經(jīng)網(wǎng)絡(luò)；機器視覺；模型；單子葉作物；氣孔識別；計數(shù)；深度學(xué)習(xí)；實時檢測

0 引 言

氣孔是陸生植物與外界進行水分和氣體交換的主要通道，是植物登陸并適應(yīng)陸生環(huán)境所形成的關(guān)鍵器官之一[1]。氣孔也是協(xié)調(diào)作物葉片光合與水分散失平衡的重要通道，在作物應(yīng)對大氣與土壤干旱、高溫等逆境中發(fā)揮極為重要的作用[2]。與大部分雙子葉植物氣孔可通過剝撕表皮細(xì)胞觀察氣孔不同，單子葉植物葉肉層相對薄、表皮細(xì)胞剝離非常困難，所以一般采用合適的固定劑固定氣孔形態(tài)并結(jié)合顯微鏡觀察，或者直接通過顯微鏡觀察其氣孔形態(tài)[3]。但是，通過顯微鏡圖像識別氣孔并計數(shù)過程較為繁瑣，一般拍攝完圖像后，還需通過人工識別統(tǒng)計氣孔的數(shù)目，費時費力，而且長時間通過肉眼觀察也會增加出錯的概率。隨著技術(shù)的發(fā)展，已實現(xiàn)通過Image-J等圖像處理軟件進行氣孔識別半手工測量，但需用戶手動標(biāo)記孔隙邊界、氣孔長度和寬度等興趣點[4]。這些軟件可提供額外的插件，以降低氣孔識別的難度，但仍需使用者手動調(diào)整每幅圖像的參數(shù)，才能獲得較準(zhǔn)確的結(jié)果。同時，受觀測時間等限制，研究人員大多從捕獲的顯微鏡圖像中只選擇幾個氣孔進行取樣人工測量，導(dǎo)致只能采用較少的數(shù)據(jù)點進行相關(guān)的研究[5-6]。目前，也出現(xiàn)了很多有關(guān)氣孔識別和計數(shù)的算法。如Duarte等用預(yù)處理后的圖像通過顏色特征進行閾值分割以分離出氣孔進行計數(shù)[7]，但這種方法在采集照片的光照等環(huán)境發(fā)生變化時，效率會明顯下降。還有一些算法需要用戶先手動分割氣孔，以為后面的氣孔樣本檢測提供模板進行匹配[8]，同時還需要用戶輸入一些模型的參數(shù)，以適應(yīng)具體的科研需求?？傊鲜鲅芯课茨苓_到自動化檢測的效果。因此，建立一種快速、全自動、精準(zhǔn)的氣孔識別與計數(shù)工具，對提升相關(guān)領(lǐng)域的科研效能具有重要意義。

近年來，卷積神經(jīng)網(wǎng)絡(luò)（CNN,convolutional neural networks）在目標(biāo)檢測、語義分割等領(lǐng)域獲得廣泛應(yīng)用，目標(biāo)檢測算法在精準(zhǔn)農(nóng)業(yè)領(lǐng)域也取得了很大的突破。如Madec等基于目標(biāo)檢測技術(shù)，采用高分辨率RGB圖像估算了小麥麥穗密度[9]。目前，較流行的目標(biāo)檢測算法有兩類：一類基于候選區(qū)域（region proposal）的R-CNN系算法（R-CNN，F(xiàn)ast R-CNN, Faster R-CNN），該算法分兩步進行，首先使用啟發(fā)式方法（selective search）或者CNN網(wǎng)絡(luò)（RPN）產(chǎn)生候選區(qū)域，然后再在候選區(qū)域上進行分類與回歸。該類方法準(zhǔn)確度較高，但由于提取候選區(qū)域計算量較大，降低了該類方法檢測速度。第二類是YOLO（you only look once）算法，該算法是一個端到端的實時目標(biāo)檢測系統(tǒng)，將物體檢測任務(wù)當(dāng)做一個回歸問題來處理，使用一個神經(jīng)網(wǎng)絡(luò)，直接從一整張圖像來預(yù)測出后處理的坐標(biāo)、框中包含物體的類別和置信度。通過這種方式，YOLO可實現(xiàn)45幀/s的運算速度（達到24幀/s，人眼就認(rèn)為是連續(xù)的），完全滿足實時觀測的要求。YOLO算法先后經(jīng)歷了YOLOv1[10]、YOLOv2[11]和YOLOv3[12]3個版本，YOLOv3在保證前期版本高運算速度的基礎(chǔ)上，大幅度提高了識別精度，在很多領(lǐng)域得以廣泛使用[13]。

為此，本研究運用YOLOv3算法，以單子葉作物葉片氣孔照片為對象，開發(fā)了單子葉作物葉片氣孔快速精確檢測與計數(shù)技術(shù)。以期為相關(guān)領(lǐng)域的科研工作者提供更好的研究方法。

1 材料與方法

1.1 試驗設(shè)計

本研究通過2種方式進行照片采集：指甲油印記法和便攜式顯微鏡拍攝，拍攝時期為灌漿期和幼苗期（三葉一心期），選用小麥品種揚麥16和蘇麥188作為試驗材料。

灌漿期植株于2018－2019年間種植在南京農(nóng)業(yè)大學(xué)牌樓試驗站，使用盆栽種植，土壤自然風(fēng)干過篩后，播種前與肥料充分混勻，稱取7.5 kg裝入高22 cm、直徑25 cm的聚乙烯塑料盆，每盆施用尿素2 g，磷酸二氫鉀2 g，氮肥分2次施入，基追比為5:5，追肥拔節(jié)期施入，每桶選取飽滿均勻一致的種子播種21粒，三葉一心期定苗，每桶留苗7株，共計50盆。灌漿期時，選取小麥頂展葉，在葉背面中部用指甲油印跡法和便攜顯微鏡分別拍攝氣孔，每盆拍攝2～3張。

幼苗期的小麥?zhǔn)褂昧怂嘣囼灧椒?。選取籽粒大小均勻一致的種子，用質(zhì)量分?jǐn)?shù)為15%H2O2溶液浸泡消毒15～20 min，經(jīng)蒸餾水沖洗干凈，擺放在周轉(zhuǎn)箱中，將周轉(zhuǎn)箱放置在光照培養(yǎng)箱中進行種子催芽，待種子吸脹露白后，選取均勻一致的種子擺入網(wǎng)筐中，種子腹溝朝下，按時補充水分。待小麥幼苗長至一葉一心時，將長勢一致的幼苗轉(zhuǎn)移到盛有水培營養(yǎng)液的周轉(zhuǎn)箱內(nèi)。幼苗置于人工氣候室培養(yǎng)，氣候室參數(shù)設(shè)置為晝夜溫度20 ℃和14 ℃，16 h光照、光照強度為300mol/(m2·s)，相對濕度60%，2 d更換一次營養(yǎng)液。幼苗長至三葉一心時，選取小麥頂展葉背面中部拍攝氣孔。

1.2 圖像獲取

1.2.1 指甲油印跡法

將透明指甲油均勻涂抹在小麥等單子葉作物葉片表面，自然晾干后，用透明膠粘貼葉片表皮并輕輕撕下，轉(zhuǎn)移至載玻片上，然后置于正倒置熒光顯微鏡下,物鏡倍數(shù)為20倍，目鏡倍數(shù)為10倍，對制作的裝片進行觀察和顯微攝影，將采集的照片按順序編號。

1.2.2 便攜式顯微鏡拍攝法

該方法采用艾尼提便攜式顯微鏡進行葉片氣孔拍攝（Anyty 3R-WM401WiFi/3R-WM601WiFi系列，以下簡稱艾尼提顯微鏡）。艾尼提顯微鏡與智能終端連接后，安裝相應(yīng)軟件，即可在相應(yīng)倍率下觀測，還可以進行拍照和錄像。通過艾尼提顯微鏡，直接對小麥等作物葉片氣孔進行拍攝，放大倍數(shù)為400～600倍，每次拍攝放大倍數(shù)需根據(jù)實際情況調(diào)節(jié)。2個時期取樣照片分布如表1所示。

表1 取樣照片分布情況

注：Method 1為指甲油印跡法，Method 2為便攜顯微鏡拍攝法。

Note: Method 1 is the method of nail polish printing, and Method 2 is the method of portable microscopy.

1.3 圖像標(biāo)注

使用labelImg（https://github.com/tzutalin/labelImg）工具對照片進行標(biāo)注，生成label文件。氣孔用矩形框標(biāo)注出，矩形框以氣孔最小的外接矩形為最佳，位于照片邊緣的氣孔由人工判斷，氣孔大小超過2/3的則計入整體個數(shù)。其中，指甲油印跡法一共標(biāo)注了8 024個氣孔，便攜式顯微鏡拍攝法一共標(biāo)注了2 608個氣孔。

將照片中的所有氣孔標(biāo)出后，點擊保存，生成與照片同名的xml格式文件，文件中記錄照片里每個氣孔矩形框的位置坐標(biāo)及通道數(shù)等信息，由于訓(xùn)練時需要用txt格式的label文件，所以用代碼xml-to-txt-updata.py（https://github.com/shem123456/-/blob/master/xml-to-txt-update.py）進行格式轉(zhuǎn)化，轉(zhuǎn)化后生成txt格式文件，作為訓(xùn)練的label文件。

1.4 數(shù)據(jù)集劃分

整個數(shù)據(jù)包括照片及其所對應(yīng)的txt文件，數(shù)據(jù)集分為訓(xùn)練集和測試集，其中，80%的照片和其對應(yīng)的txt文件放入訓(xùn)練集（指甲油法和便攜顯微鏡拍攝法各111和94個），用于模型訓(xùn)練；20%的照片和其對應(yīng)的txt文件放入測試集（指甲油法和便攜式顯微鏡拍攝法各27和23個）。

2 數(shù)據(jù)處理

2.1 處理流程

整個處理流程如圖1所示，YOLOv3代碼目前已經(jīng)開源，可從網(wǎng)站（https://pjreddie.com/darknet/yolo/）下載源代碼。

圖1 系統(tǒng)總體工作流程

參照官網(wǎng)的要求，下載darknet53.conv.74預(yù)訓(xùn)練權(quán)值文件（YOLO作者在ImageNet上預(yù)訓(xùn)練的權(quán)值）。并新建一個名為project的文件夾，在里面建5個文件夾，分別為data、cfg、backup、demo、log。其中：data文件夾存放數(shù)據(jù)集，包括訓(xùn)練、測試集，以及相應(yīng)的txt文件；cfg文件夾存放darknet描述神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的文件；backup存放訓(xùn)練的模型，同時存放訓(xùn)練過程中的備份模型，可以作為斷點備份繼續(xù)訓(xùn)練；demo用于保存測試圖片；log用于保存訓(xùn)練日志。

2.2 模型訓(xùn)練

本文采用深度學(xué)習(xí)中的YOLOv3算法進行模型構(gòu)建和訓(xùn)練，YOLOv3神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)為Darknet-53，如圖2所示。整個網(wǎng)絡(luò)一共有53層，前52層主要由一系列的1×1和3×3的卷積層組成，進行了5次下采樣，每次采樣步長為2，在3個特征層進行了邊框的預(yù)測，分別是在32倍下采樣，16倍下采樣和8倍下采樣的特征圖，在3個尺度的融合特征圖上分別獨立做檢測，這樣有助于讓網(wǎng)絡(luò)同時學(xué)習(xí)深層和淺層特征，表達效果更好，同時保留細(xì)粒度特征，增強小目標(biāo)的檢測效果。第53層是全連接層，通過Softmax函數(shù)進行目標(biāo)的分類。Convolutional由Conv2d Layer、BN Layer和LeakyReLU Layer等3個模塊組成，整個網(wǎng)絡(luò)中使用大量殘差結(jié)構(gòu)（Residual），這種殘差結(jié)構(gòu)可以使網(wǎng)絡(luò)結(jié)構(gòu)在很深的情況下，仍能收斂，而殘差結(jié)構(gòu)中1×1的卷積，極大減少了每次卷積的通道數(shù)，有利于減少參數(shù)量（參數(shù)量越大，保存的模型越大），同時在一定程度上也減少計算量。

圖2 YOLOv3模型結(jié)構(gòu)圖

訓(xùn)練時使用的電腦系統(tǒng)為Ubuntu16.04，采用GPU（NVIDIA GeForce GTX 1050Ti）加速。在訓(xùn)練之前，使用預(yù)訓(xùn)練網(wǎng)絡(luò)（darknet53.conv.74）的模型，這是一種常用且高效的遷移學(xué)習(xí)方法，因為這個預(yù)訓(xùn)練網(wǎng)絡(luò)的原始數(shù)據(jù)集足夠大且通用，所以它學(xué)到的特征空間層次結(jié)構(gòu)可以有效地作為人眼視覺世界的通用模型。

在訓(xùn)練過程中，可以通過代碼將每次迭代完返回的信息寫入日志中，并存放在log文件中。通過python代碼extract_log.py，解析日志文件，再使用train_loss_visualization.py繪制損失變化曲線，進行訓(xùn)練過程的可視化，效果如圖3所示。其中，橫坐標(biāo)代表訓(xùn)練次數(shù)，縱坐標(biāo)代表損失值，loss和avg loss分別表示損失和平均損失。當(dāng)返回的loss和avg loss數(shù)值很低，且趨于穩(wěn)定時，即可停止訓(xùn)練，保存訓(xùn)練模型。從訓(xùn)練損失變化曲線可知，訓(xùn)練次數(shù)在100次之后，loss和avg loss會迅速下降，到400次左右時，下降的幅度又會變得緩慢，最終，選擇在1 200次左右時，停止訓(xùn)練，并對模型進行保存。以上的python代碼均可在https://github.com/ shem123456/-/blob/master中下載。

圖3 平均損失和損失變化曲線

2.3 模型測試

對2個數(shù)據(jù)集分別進行訓(xùn)練后，再用訓(xùn)練后得到的模型對單張照片進行測試。如圖4所示，算法會自動預(yù)測出每個氣孔的位置，并用矩形框?qū)ζ浯笮∵M行標(biāo)注，同時它給出該物體類別的置信度（為了減少遮擋，結(jié)果與討論部分的圖片隱藏了置信度的顯示），算法默認(rèn)的置信度閾值為50%，即只會標(biāo)出置信度大于50%的物體，并在圖片中顯示出置信度。

圖4 單張圖片測試

2.4 模型評估

用（positive）和（negative）代表模型的判斷結(jié)果，（true）和（false）代表評價模型的判斷結(jié)果是否正確，這樣所有結(jié)果可以分為4類：FP（假正類）、FN（假負(fù)類）、TP（真正類）和TN（真負(fù)類）。根據(jù)這4種分類，采取如下3個指標(biāo)來評估模型的性能。

召回率（Recall），針對數(shù)據(jù)集中的所有正類（TP+FN）而言，模型正確判斷出的正類（TP）占數(shù)據(jù)集中所有正類的比例。召回率也叫查全率，以氣孔檢測為例，召回率高代表著模型可以找出圖片中更多的氣孔。

精確率（Precision），也叫查準(zhǔn)率，表示模型檢測出的物體為真實物體的比例，指針對模型判斷出的所有正類（TP+FP）中，真正類（TP）占的比例。

F1值（F1 Score），是統(tǒng)計學(xué)中用來衡量二分類模型精確度的一種指標(biāo)。它同時兼顧了分類模型的精確率和召回率。F1值可以看作是模型精確率和召回率的一種加權(quán)平均，最大值為1，最小值為0。

3 結(jié)果與分析

3.1 指甲油印跡法在圖片清晰度和模型性能方面均要優(yōu)于便攜式顯微鏡拍攝法

2種氣孔圖片采集方式相比，指甲油印跡法得到的照片中氣孔形態(tài)和輪廓更加清晰，而且采樣的面積也更大，單張照片中能觀測到氣孔數(shù)量更多。受鏡頭物理倍率及軟件功能的限制，艾尼提顯微鏡拍攝照片的最高分辨率僅為11.8像素/cm，但其優(yōu)點是拍攝的照片更加真實，且操作方便、快捷，不受觀察時間、地點限制，更重要的是不需要對葉片進行破壞性處理，可實現(xiàn)連續(xù)觀測。

使用精確度、召回率和F1值對2個模型的性能進行評估。首先對Method 1和Method 2測試集中每張圖片進行單張圖片測試，然后統(tǒng)計每張圖片中的FP、FN、TP和TN，最后計算出每張圖片的精確率、召回率和F1值（圖5）。圖中橫坐標(biāo)代表精確率，縱坐標(biāo)代表召回率，由于氣泡的大小較為接近，在圖的右側(cè)添加了顏色棒，便于區(qū)分氣泡的大小，由深到淺代表氣泡大小逐漸變小。由圖可知，2種方法生成模型的性能都不錯。在測試集檢測的結(jié)果中，Method 1平均的精確率、召回率和F1值分別為0.96，0.98和0.97；Method 2平均的精確率、召回率和F1值分別為0.95，0.98和0.96。

3.2 YOLOv3算法在測試集中表現(xiàn)出良好的魯棒性

YOLOv3算法在2種數(shù)據(jù)集上都表現(xiàn)出良好的性能，而且2種方法均可實現(xiàn)準(zhǔn)確氣孔計數(shù)，以置信度50%為閾值，氣孔真實個數(shù)與預(yù)測個數(shù)線性回歸2分別為0.980 1和0.962 5。用2種方法的測試集作為輸入，進行批量測試，置信度閾值為50%，得到每張圖片中預(yù)測氣孔個數(shù)，將每張圖片實際標(biāo)注的氣孔個數(shù)與預(yù)測的氣孔個數(shù)進行線性回歸分析，發(fā)現(xiàn)2種方法實際標(biāo)注的氣孔個數(shù)與預(yù)測的氣孔個數(shù)均有很強的相關(guān)性（圖6）。

圖5 模型評估指標(biāo)氣泡圖

圖6 實際標(biāo)注與預(yù)測氣孔數(shù)目間的線性回歸關(guān)系

3.3 YOLO算法可實現(xiàn)氣孔的實時檢測

如前所述，YOLO是一個端到端的實時的目標(biāo)檢測系統(tǒng)，它將物體檢測任務(wù)當(dāng)做一個回歸問題來處理，使用一個神經(jīng)網(wǎng)絡(luò)，直接從一整張圖像來預(yù)測出邊界框的坐標(biāo)、邊界框中包含物體的類別和置信度。通過這種方式，可實現(xiàn)較高的運算速度，能滿足實時性要求。

本研究用指甲油印跡法制作一樣本，將其置于倒置熒光顯微鏡下，調(diào)整好放大倍數(shù)及焦距至影像清晰，打開配套的軟件，點擊錄制視頻，然后緩緩轉(zhuǎn)動載物臺旋鈕，使觀測的視野移動，同時保證圖像的清晰，錄制視頻文件，得到的視頻文件幀速率為30幀/s。

將錄制的視頻文件作為測試對象，輸入到Y(jié)OLOv3算法中，算法可自動識別檢測每一幀影像中的氣孔，并標(biāo)識其位置，最后輸出一個標(biāo)記后的視頻文件。如圖7，顯示了氣孔個數(shù)實際值與預(yù)測值隨時間變化的曲線，表明在檢測視頻文件時，算法也具有很好的魯棒性。

3.4 該方法對其他單子葉作物的適用性

區(qū)別于雙子葉植物，小麥、大麥、玉米、水稻等單子葉作物的氣孔具有較為相似的形態(tài)特征[14]。由此，選用由小麥葉片氣孔照片訓(xùn)練構(gòu)建的模型，測試該模型是否也適于其他單子葉作物葉片的氣孔識別。為此，采用水培法培育了大麥、水稻、玉米等幼苗，利用便攜式顯微鏡采集了作物葉片氣孔的照片，以此來測試模型對其他單子葉作物的識別效果。

圖7 氣孔個數(shù)實際值與預(yù)測值隨時間變化曲線

如表2所示，大麥的檢測精確率、召回率和F1值分別為0.94，0.83和0.88，水稻的檢測精確率、召回率和F1值分別為0.89，0.42和0.57，玉米的檢測精確率、召回率和F1分別為0.91、0.76和0.83。如圖8所示，僅用小麥氣孔照片進行訓(xùn)練得到的模型，也可實現(xiàn)對大麥、水稻和玉米等單子葉作物葉片氣孔的識別。原因在于卷積神經(jīng)網(wǎng)絡(luò)在提取特征時，不僅提取了顏色、形狀等單一的特征，而是更為復(fù)雜和豐富的抽象結(jié)構(gòu)[15]。

表2 其他單子葉作物的檢測精度評價

圖8 其他單子葉作物

在一般的深度神經(jīng)網(wǎng)絡(luò)中，剛開始提取的特征是各種邊緣形狀的集合，而隨著層數(shù)的加深，提取的特征變得越來越抽象，并且越來越難以直觀理解。深度神經(jīng)網(wǎng)絡(luò)可以有效地作為信息蒸餾管道，反復(fù)地對原始數(shù)據(jù)（RGB圖像）進行處理，過濾掉無關(guān)信息，并放大和細(xì)化有用信息[16]。從直觀上看，能發(fā)現(xiàn)大麥作為小麥的近源種，其氣孔在形態(tài)結(jié)構(gòu)與小麥最相近，與水稻和玉米氣孔形態(tài)差異較大。

4 討 論

本文提出了一種快速、全自動、精準(zhǔn)的氣孔識別與計數(shù)工具。與常規(guī)的基于閾值分割氣孔的方法相比，基于卷積神經(jīng)網(wǎng)絡(luò)的算法具有更好的泛化能力，而且本文提出的方法不需要用戶再手動輸入?yún)?shù)進行調(diào)整，實現(xiàn)了自動檢測。與Fetter等使用深度卷積神經(jīng)網(wǎng)絡(luò)提出的氣孔自動計數(shù)系統(tǒng)StomataCounter相比[17]，本文提出了以視頻為輸入的氣孔動態(tài)識別與計數(shù)，為全方位地監(jiān)測作物氣孔的動態(tài)變化提供可能。

雖然本文的方法在測試集上表現(xiàn)出良好的性能，但對模型的泛化能力仍需進行更多的測試和探討。我們使用支架固定便攜式顯微鏡，將小麥葉片置于載物臺上，放大倍數(shù)為600倍，對葉片氣孔進行24 h的視頻錄制，并通過算法檢測其氣孔的數(shù)目。由于原視頻文件較大，通過壓縮工具將原視頻從10.7 GB壓縮到了52.6 MB，如圖9所示，截取了視頻中20:00，次日1:00和次日7:00等3個時間點的畫面，其中20：00的檢測精確率、召回率和F1值分別為1.00，1.00和1.00；次日1：00的檢測精確率、召回率和F1值分別為1.00，0.92和0.96；次日7:00的檢測精確率、召回率和F1值分別為1.00，0.92和0.96。通過視頻，能較完整地觀測到葉片氣孔由閉到開的過程，同時也驗證了晝夜環(huán)境變化和氣孔開閉程度差異等因素并不會影響模型的檢測性能。

圖9 晝夜變化下的氣孔檢測

在試驗過程中，還關(guān)注了干旱、漬水、低溫等在內(nèi)的非生物脅迫環(huán)境下的模型性能。采用在人工氣候室中水培幼苗的方法，模擬了小麥在干旱、漬水、低溫等非生物脅迫下的生長環(huán)境，在這些環(huán)境下，模型仍能精確識別出葉片中的氣孔，其中，干旱環(huán)境下的氣孔檢測精確率、召回率和F1值分別為0.94，0.99和0.97，漬水環(huán)境下的氣孔檢測精確率、召回率和F1值分別為0.95，1.00和0.97，低溫環(huán)境下的氣孔檢測精確率、召回率和F1值分別為0.96，0.99和0.98。從目前的試驗中，模型表現(xiàn)出了良好的泛化能力，但仍不能保證該模型適用于所有場景下的氣孔識別，如患有赤霉病、白粉病等生物脅迫下小麥葉片的氣孔。由于生物脅迫下小麥葉片會出現(xiàn)病斑等噪聲干擾，可能會出現(xiàn)假正類（FP），這種情況下模型的性能有待進一步驗證。

在一般的圖像分類任務(wù)中，為了測試一個模型的性能，在計算機視覺領(lǐng)域往往使用一些公共的、標(biāo)準(zhǔn)的大型數(shù)據(jù)集，如主要用于圖像分類、目標(biāo)檢測和語義分割的ImageNet和Pascal VOC數(shù)據(jù)集[18]，以及主要關(guān)注實例分割的COCO數(shù)據(jù)集[19]。這些大型數(shù)據(jù)集由專業(yè)的數(shù)據(jù)公司整理標(biāo)注，體量十分龐大，在這樣的數(shù)據(jù)集中進行測試更能衡量一個模型的性能。但是，目前在植物表型領(lǐng)域這種標(biāo)準(zhǔn)化的數(shù)據(jù)集還比較少，表型數(shù)據(jù)的整合和標(biāo)準(zhǔn)化還需多個科研團隊之間的學(xué)科交叉和長期合作[20]。因此，本文對算法進行了較完整的封裝，并開源了原始的Python代碼，可在GitHub中下載（https://github.com/shem123456/），給相關(guān)領(lǐng)域的科研人員提供了一個可以測試氣孔照片或視頻的接口，以期能給相關(guān)科研人員提供幫助或參考，并希望能進一步完善數(shù)據(jù)集，增加模型的泛化能力。

5 結(jié) 論

本文先采用2種常用的圖像采集方法獲取了葉片氣孔圖像，然后運用深度學(xué)習(xí)中的YOLOv3算法，分別對2種方法采集的氣孔圖像進行識別與計數(shù)建模。結(jié)果表明，該算法建立的模型能夠正確地識別出2種采集方法中的氣孔，其中，對指甲油印跡法獲得照片的氣孔檢測精確率、召回率和F1值分別達到0.96，0.98和0.97，便攜式顯微鏡拍攝法照片氣孔檢測精確率、召回率和F1值分別達到0.95，0.98和0.96，具有很好的魯棒性。該方法能準(zhǔn)確地估算出其氣孔數(shù)目，通過將測試集的圖片上的氣孔真實個數(shù)與預(yù)測個數(shù)進行線性回歸，發(fā)現(xiàn)兩種方法下實際標(biāo)注的氣孔個數(shù)與預(yù)測的氣孔個數(shù)均有很強的相關(guān)性，線性回歸2分別為0.980 1和0.962 5。同時，YOLOv3算法是一個端到端的實時目標(biāo)檢測系統(tǒng)，在檢測速度上具有很大的優(yōu)勢，以視頻文件（幀速率：30幀/s）為輸入時，達到實時檢測的效果。本模型雖然是基于小麥氣孔圖像進行標(biāo)注訓(xùn)練的，但是對于大麥、水稻和玉米等單子葉作物的氣孔，同樣具有很好的檢測效果，其中，大麥的檢測精確率、召回率和F1值分別為0.94，0.83和0.88，水稻的檢測精確率、召回率和F1值分別為0.89，0.42和0.57，玉米的檢測精確率、召回率和F1值分別為0.91、0.76和0.83。

[1]王瑞麗，于貴瑞，何念鵬，等. 氣孔特征與葉片功能性狀之間關(guān)聯(lián)性沿海拔梯度的變化規(guī)律：以長白山為例[J]. 生態(tài)學(xué)報，2016，36(8)：2175－2184.

Wang Ruili, Yu Guirui, He Nianpeng, et al. Attitudinal variation in the covariation of stomatal traits with leaf functional traits in Changbai Mountain[J]. Acta Ecologica Sinica, 2016, 36(8): 2175－2184. (in Chinese with English abstract)

[2]成雪峰，張鳳云，柴守璽. 春小麥對不同灌水處理的氣孔反應(yīng)及其影響因子[J]. 應(yīng)用生態(tài)學(xué)報，2010，21(1)：36－40.

Cheng Xuefeng, Zhang Fengyun, Chai Shouxi. Stomatal response of spring wheat and related affecting factors under different irrigation treatment[J]. The Journal of Applied Ecology, 2010, 21(1): 36－40. (in Chinese with English abstract)

[3]韋存虛，謝佩松，周衛(wèi)東，等. 凹凸不平的植物葉片表皮制片方法的觀察比較[J]. 生物學(xué)雜志，2008，25(2)：63－66.

Wei Cunxu, Xie Peisong, Zhou Weidong, et al. Comparison of preparing slice techniques of convexo-concave leaf epidermis[J]. Journal of Biology, 2008, 25(2): 63－66. (in Chinese with English abstract)

[4]Cheng Yan, Cao Ling, Wang Sheng, et al. Analyses of plant leaf cell size, density and number, as well as trichome number using cell counter plugin[J]. Bio-protocol, 2014, 4(13): 54－57.

[5]Jayakody H, Liu S, Whitty M, et al. Microscope image based fully automated stomata detection and pore measurement method for grapevines[J]. Plant Methods, 2017, 13(1): 94－98.

[6]Peel J R, Mandujano Sánchez M C, López Portillo J, et al. Stomatal density, leaf area and plant size variation of Rhizophora mangle (Malpighiales: Rhizophoraceae) along a salinity gradient in the Mexican Caribbean[J]. Revista de Biología Tropical, 2017, 65(2): 701－712.

[7]Duarte K, Carvalho M, Martins P. Segmenting high-quality digital images of stomata using the wavelet spot detection and the watershed transform[C]// Proceedings of the 12th International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications, Setúbal: Science and Technology Publications, 2017: 540－547.

[8]Laga H, Shahinnia F, Fleury D. Image-based plant stornata phenotyping[C]. 2014 13th International Conference on Control Automation Robotics & Vision (ICARCV). IEEE, 2014: 217－222.

[9]Madec S, Jin Xiuliang, Liu Shouyang, et al. Ear density estimation from high resolution RGB imagery using deep learning technique[J]. Agricultural and Forest Meteorology, 2019, 264: 225－234.

[10]Redmon J, Farhadi A. YOLO9000: Better, Faster, Stronger[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE Computer Society: Piscataway, NJ. 2017: 6517－6525.

[11]Redmon J, Farhadi A. YOLO9000: Better, faster, stronger[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2017: 7263－7271.

[12]Redmon J, Farhadi A. Yolov3: An incremental improvement[J]. 2018, arXiv: 1804.02767.

[13]Braun M, Krebs S, Flohr F, et al. EuroCity Persons: A novel benchmark for person detection in traffic scenes[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2019, 41(8):1844－1861.

[14]侯慧姣，韓鴻鵬. 單、雙子葉植物氣孔發(fā)育調(diào)控差異研究進展[J]. 分子植物育種，2016，14(4)：896－903.

Hou Huijiao, Han Hongpeng. Research progress on the difference of stomata development and their regulation between monoco tyledon and dicotyledon[J]. Molecular Plant Breeding, 2016, 14(4): 896－903. (in Chinese with English abstract)

[15]劉軍，后士浩，張凱，等. 基于增強 Tiny YOLOV3 算法的車輛實時檢測與跟蹤[J]. 農(nóng)業(yè)工程學(xué)報，2019，35(8)：118－125.

Liu Jun, Hou Shihao, Zhang Kai, et al. Real-time vehicle detection and tracking based on enhanced Tiny YOLOV3 algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(8): 118－125. (in Chinese with English abstract)

[16]Francois C. Deep learning with Python[M]. USA: Manning Publicatios. 2018.

[17]Fetter K C, Eberhardt S, Barclay R S, et al. StomataCounter: A neural network for automatic stomata identification and counting[J]. New Phytologist, 2019, 223(3): 1671－1681.

[18]Hoiem D, Divvala S K, Hays J H. Pascal VOC 2008 challenge[C]//PASCAL challenge workshop in ECCV. 2010.

[19]Veit A, Matera T, Neumann L, et al. Coco-text: Dataset and benchmark for text detection and recognition in natural images[J]. arXiv, 2016: 1601.07140.

[20]周濟，Tardieu F, Pridmore T, 等. 植物表型組學(xué)：發(fā)展、現(xiàn)狀與挑戰(zhàn)[J]. 南京農(nóng)業(yè)大學(xué)學(xué)報，2018，41(4)：580－588.

Zhou Ji, Tardieu F, Pridmore T, et al. Plant phenomics: history, present status and challenges[J]. Journal of Nanjing Agricultural University, 2018, 41(4): 580－588. (in Chinese with English abstract)

Automatic identification and counting of leaf stomata of monocotyledonous crops

Sun Zhuangzhuang, Jiang Dong※, Cai Jian, Wang Xiao, Zhou Qin, Huang Mei, Dai Tingbo, Cao Weixing

(,,,,,210095,)

Stomata is the dominant gate for water and gas exchange for plant leaves, and thus plays key roles in plants in response to the fluctuations of the environmental variables. Observation and counting stomata amounts is generally one of the obligatory determinants in the research of plant ecology and physiology. The classic measurement protocol of leaf stomata usually includes the capture of leaf stomata by a microscope, followed by manually identifying and counting of the target stomata. This method is well-known in disadvantages of both time and labor consuming, and of low accuracy. Although some algorithms for stomata recognition have been proposed at present, their recognition abilities showed limitation, and they could not realize the full effect of automatic recognition. Thereafter, we developed an automatic identification and counting technique based on YOLOv3, one of the high speed convolutional neural networks (CNN) algorithm in the present study. We acquired pictures of leaf stomata after the third leaf occurred and during grain filling stage of wheat (Triticum aestivum), in which, 138 pictures were taken from the method of nail polish printing, and another 117 pictures were taken from the method of portable microscopy. After that, we created separate data sets and then trained the corresponding models respectively. During the training process, we visualized the loss and average loss which were the most important training parameters, and finally stopped the training at 1 200 times. To better describe the parameters of both models, we used the key metrics to evaluate the models, such as precision, recall and F1. The precision, recall and F1 reached 0.96, 0.98 and 0.97 in the method of nail polish printing, whereas reached 0.95, 0.98 and 0.96 in the method of portable microscopy. Secondly, this algorithm could count stomata amounts accurately, and showed excellent robustness. By linear regression between the labeled and predicted stomata amounts in pictures from test sets, we found that this algorithm showed strong correlation,2were 0.980 1 and 0.962 5, respectively. What’s more, this algorithm also showed high performance in high-throughput and real-time, since it identified stomata with a speed of 30 frames per second. With this technique, we optimized the objective identifying performance, which conferred accurate identification performance of stomata in the microscope pictures of leaf stomata. Firstly, compared with the method of nail polish printing, the method of portable microscopy showed low precision and F1, but was harmless to samples. Secondly, YOLOv3 algorithm exhibited the merits of accuracy, high efficiency, as well as real-time, long-time and dynamic detection. Thirdly, this technique was high compatible due to its power in accurately identifying stomata of other monocotyledonous crops such as barley (Hordeum vulgare), rice (Oryza sativa) and maize (Zea mays). Lastly, in order to facilitate the use of more researchers, we not only opened source of the detailed Python code, but also encapsulated the method in a relatively complete way. It could provide an interface for relevant researchers to detect their stomata photo or video files. The files in our stomata project could be consulted and downloaded in Github (https://github.com/shem123456/).

convolutional neural network; machine vision; models; monocotyledonous crop; stomata identification; stomata counting; deep learning; real-time detection

孫壯壯，姜 東，蔡 劍，王 笑，周 琴，黃 梅，戴廷波，曹衛(wèi)星.單子葉作物葉片氣孔自動識別與計數(shù)技術(shù)[J]. 農(nóng)業(yè)工程學(xué)報，2019，35(23)：170－176.doi：10.11975/j.issn.1002-6819.2019.23.021 http://www.tcsae.org

Sun Zhuangzhuang, Jiang Dong, Cai Jian, Wang Xiao, Zhou Qin, Huang Mei, Dai Tingbo, Cao Weixing. Automatic identification and counting of leaf stomata of monocotyledonous crops[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(23): 170－176. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2019.23.021 http://www.tcsae.org

2019-07-28

2019-10-22

重點研發(fā)計劃項目2016YFD0300107；國家自然科學(xué)基金（U1803235、31771693）；國家現(xiàn)代小麥產(chǎn)業(yè)技術(shù)體系（CARS-03）；江蘇省協(xié)同創(chuàng)新中心（JCIC-MCP）；“111”引智項目（B16026）

孫壯壯，主要從事作物表型技術(shù)研究。Email：2018101001@njau.edu.cn

姜 東，教授，主要從事作物生理生態(tài)與作物表型組學(xué)技術(shù)研究。Email：jiangd@njau.edu.cn

10.11975/j.issn.1002-6819.2019.23.021

S127

A

1002-6819(2019)-23-0170-07