鄭艷梅 黃光耀 蘆碧波 王永茂

(河南理工大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，河南 焦作 454003)

葉片是植物進(jìn)行光合作用、蒸騰作用和合成有機(jī)物質(zhì)的主要器官，葉片的生長發(fā)育狀況直觀反映植物生長情況和營養(yǎng)狀況。準(zhǔn)確快速分割植物葉片并提取其面積、周長等幾何參數(shù)值，可以預(yù)測植物的生長模型，監(jiān)測病蟲害，為合理栽培管理提供重要數(shù)據(jù)支撐[1-2]。

傳統(tǒng)的測量植物葉片幾何參數(shù)的手段有葉面積儀法、稱重法、方格紙法等[3]。葉面積儀法使用專業(yè)的葉面積測量設(shè)備，這種方法精確率較高，使用方便，速度快，操作簡單，但價(jià)格較為昂貴，成本較高，開發(fā)難度大，維修不便[4]。稱重法使用稱重工具(分析天平)對葉片質(zhì)量進(jìn)行稱重，根據(jù)單位面積葉片質(zhì)量和葉片密度指數(shù)計(jì)算葉片面積。該方法操作較復(fù)雜，測量大量葉片時(shí)效率較低，并且葉片的厚度不一致，密度不同，測量正確率受客觀自然條件限制，無法測量除葉片面積外的其它參數(shù)信息[5]。方格紙法將待測量的葉片平鋪在方格紙中間位置，使用鉛筆描繪葉片輪廓后計(jì)算葉片面積。該方法處理速度慢，僅適于處理少量葉片，還需合理舍取處于葉片邊緣、覆蓋不完整的方格[6]。

基于數(shù)字技術(shù)的蘋果葉片分割與測量方法具有簡單、快速、費(fèi)用低廉等特點(diǎn)。張萬紅[7]提出了一種基于圖像分割的蘋果葉片幾何參數(shù)的測定方法，該方法將圖像顏色空間進(jìn)行轉(zhuǎn)換，使用大津法(Otsu)獲得二值圖像，根據(jù)像素坐標(biāo)計(jì)算面積、周長、葉長、葉寬等葉片參數(shù)。該方法準(zhǔn)確率較高、成本較低。肖強(qiáng)等[8]提出一種使用Photoshop軟件對數(shù)字葉片圖像進(jìn)行非破壞性的測量方法，該方法使用了坐標(biāo)紙作為拍攝背景來確保選用的計(jì)算系數(shù)盡量一致，但由于不同拍攝分辨率和圖像縮放比例都會對像素?cái)?shù)量產(chǎn)生影響，測量精度受人為因素影響較大。徐義鑫等[9]給出一種基于Android手機(jī)的植物葉片幾何參數(shù)測量方法，使用手機(jī)拍照即可測量出其面積、周長等幾何參數(shù)，操作簡單、精度高、成本低、通用性強(qiáng)，但對圖像拍攝的條件要求相對較高，光照、參照物、是否傾斜等因素對測量結(jié)果影響較大。張萬紅等[10]提出了一種基于數(shù)字圖像分析的方法分割蘋果葉片并進(jìn)行參數(shù)測量，使用灰度化、中值濾波、二值化等算法計(jì)算葉片面積，準(zhǔn)確率較高、省時(shí)省力，但對圖像背景色要求較高，算法參數(shù)較多，處理大量圖像耗時(shí)較多。陳愛軍等[11]提出基于邊緣跟蹤算法的植物葉片參數(shù)測量系統(tǒng)，借助標(biāo)定物得到葉片的面積、周長、長、寬等參數(shù)，但該方法需要借助掃描儀，成本較高并且掃描大量葉片速度較慢。

針對上述問題，本研究擬設(shè)計(jì)一種新的蘋果葉片分割算法，結(jié)合使用深度學(xué)習(xí)和引導(dǎo)濾波技術(shù)，在對蘋果葉片進(jìn)行粗分割的基礎(chǔ)上優(yōu)化邊緣細(xì)節(jié)，準(zhǔn)確測定蘋果葉片的形狀以利于提取面積、周長等幾何參數(shù)值。

1 材料及方法

1.1 試驗(yàn)材料

本研究所用蘋果葉片圖像(圖1)，源自于夏雪等[12]提供的公開數(shù)據(jù)集，該數(shù)據(jù)集采集于中國農(nóng)業(yè)科學(xué)院果樹研究所的資源圃，采集時(shí)間為果樹枝葉最旺盛的7月中旬—8月中旬，采集工具為配備尼克爾鏡頭并具有D-lighting功能的尼康D90型數(shù)碼相機(jī)，能夠?qū)^度曝光和暗光進(jìn)行自動修正，使葉片邊緣鋸齒輪廓清晰。數(shù)據(jù)集共包含8 184張?zhí)O果葉片圖像、涵蓋國內(nèi)外常見的174種蘋果葉片種類，每種葉片圖像數(shù)量為20～50張。葉片圖像分辨率分別為4 288像素×2 848像素和3 216像素×2 316像素，圖像數(shù)據(jù)文件總計(jì)14.5 GB，預(yù)處理階段把葉片圖像分辨率統(tǒng)一縮小為1 204像素×800像素。

由圖1可以看出，葉片放置在具有刻度的藍(lán)色標(biāo)尺平板上拍攝，但綠色葉片和藍(lán)色背景之間的對比度不大，葉片局部與標(biāo)尺重疊(圖1(a))。部分蘋果葉片會有自然卷曲情況，圖像中會包含葉片背面和陰影(圖1(b))。部分圖像中葉尖超出拍攝視域(圖1(c))或者包含葉柄處嫩芽(圖1(d))，給葉片分割增加了難度。

圖1 4種復(fù)雜情況下的蘋果葉片圖像Fig.1 Apple leaf images in four complex cases

與目前公開的相關(guān)數(shù)據(jù)集[13-14]相比，該數(shù)據(jù)集種類豐富，背景相對復(fù)雜。文獻(xiàn)[13]提供的數(shù)據(jù)庫包含22種蘋果葉片圖像，背景透明；文獻(xiàn)[14]提供的數(shù)據(jù)庫包含60種蘋果葉片圖像，背景為純白色。

1.2 試驗(yàn)方法

1.2.1試驗(yàn)設(shè)計(jì)

首先，使用深度學(xué)習(xí)技術(shù)對蘋果葉片圖像特征進(jìn)行學(xué)習(xí)和提取，確定模型參數(shù)后即可對新圖像進(jìn)行預(yù)測，實(shí)現(xiàn)蘋果葉片圖像的粗分割；然后利用引導(dǎo)濾波技術(shù)來提取圖像中蘋果葉片邊緣等細(xì)節(jié)特征；最后設(shè)計(jì)聯(lián)合分割方案得到完整的蘋果葉片分割結(jié)果。其中蘋果葉片的原始圖像分別在引導(dǎo)濾波過程中和聯(lián)合分割過程中將多次利用。具體算法研究流程見圖2。

圖2 蘋果葉片算法處理流程Fig.2 Flow chart of algorithmic process of apple leaf

1.2.2基于深度學(xué)習(xí)的蘋果葉片主體分割

卷積神經(jīng)網(wǎng)絡(luò)[15]包括卷積層、池化層和激勵(lì)層3個(gè)基本結(jié)構(gòu)。卷積層由若干個(gè)卷積核和偏移值組成，主要功能是用來特征提取。在卷積運(yùn)算中(圖3)，卷積核在輸入圖像上以一定的步長移動并完成點(diǎn)積運(yùn)算[16]。池化操作也被稱為下采樣，主要功能是維數(shù)削減、數(shù)據(jù)和參數(shù)壓縮、過度匹配削減、以及模型容錯(cuò)性的提高，并保持特征不變性、防止過擬合[17]。激勵(lì)層可以使神經(jīng)網(wǎng)絡(luò)近似為任何非線性函數(shù)，旨在為模型提供非線性化能力，模擬激勵(lì)神經(jīng)元的狀態(tài)變化[18]。當(dāng)前主流的3種激勵(lì)函數(shù)為：Sigmoid激勵(lì)函數(shù)、Thah激勵(lì)函數(shù)和ReLU激勵(lì)函數(shù)。本研究使用的是Sigmoid激勵(lì)函數(shù)，用于隱層神經(jīng)元輸出，取值范圍為(0,1)，以便于進(jìn)行二分類處理。

圖3 卷積運(yùn)算示意圖Fig.3 Schematic diagram of convolution operation

在語義分割中，尤其是實(shí)時(shí)語義分割，空間分辨率和感受野很難兩全，現(xiàn)有方法通常是使用較小的圖像作為輸入或者使用輕量主干模型來實(shí)現(xiàn)加速。但是，相較于原圖像，小圖像會缺失了很多的信息；而由于對通道進(jìn)行了裁剪，會導(dǎo)致空間信息受到了損害。對于上述問題，本研究使用BiSeNet網(wǎng)絡(luò)模型(圖4(a))，該模型分為2個(gè)主要模塊：空間路徑和環(huán)境路徑?？臻g路徑的作用是保留原輸入圖像的空間尺度和編碼豐富的空間信息；環(huán)境路徑的作用是使用注意力優(yōu)化模塊(圖4(b))優(yōu)化輸出結(jié)果，以獲取較大感受野[19]。在2個(gè)主要模塊后面加上1個(gè)特征融合模塊(圖4(c))，將2個(gè)輸出結(jié)果進(jìn)行特征提取并融合，完成最后的模型結(jié)果。

圖4 BiseNet網(wǎng)絡(luò)結(jié)構(gòu)及其模塊Fig.4 BiseNet network structure and its modules

本研究訓(xùn)練模型使用的蘋果葉片為400張，算法使用的網(wǎng)絡(luò)模型具體參數(shù)見表1。其中批處理量表示每批處理圖像的數(shù)量，一般來說設(shè)置的越大越好，但是由于電腦的配置，本研究設(shè)置為5；驗(yàn)證圖像表示用于驗(yàn)證的圖像數(shù)量，目的是為了可視化當(dāng)前模型的預(yù)測程度，本研究設(shè)置為10；檢查點(diǎn)步長表示在定義的步長輪次下進(jìn)行圖像預(yù)測并給出精確率等指標(biāo)的大?。痪矸e步長表示過濾器在圖像中的垂直方向和水平方向每次步進(jìn)的長度，本研究設(shè)置stride=3，即每隔2個(gè)像素點(diǎn)移動1次；學(xué)習(xí)率即學(xué)習(xí)速度的快慢，要根據(jù)具體的圖像進(jìn)行設(shè)置，設(shè)置過大易震蕩，設(shè)置過小易過擬合；衰減率是解決試驗(yàn)結(jié)果無法收斂到最優(yōu)解而設(shè)定的，不斷縮小學(xué)習(xí)率，使結(jié)果達(dá)到最優(yōu)解。

表1 深度學(xué)習(xí)模型中使用的部分主要參數(shù)Table 1 Some of the main parameters used in the deep learning model

1.2.3基于引導(dǎo)濾波的邊緣細(xì)節(jié)處理

利用深度學(xué)習(xí)技術(shù)可以得到蘋果葉片的主體輪廓，但是由于卷積和池化這2個(gè)步驟操作的影響，圖像中的蘋果葉片部分細(xì)節(jié)丟失。為解決這種細(xì)節(jié)丟失的情況，下面利用引導(dǎo)濾波技術(shù)來提取圖像中蘋果葉片邊緣的細(xì)節(jié)特征。引導(dǎo)濾波是一種可用于圖像平滑、特征提取等多任務(wù)的圖像處理算法[20]。引導(dǎo)濾波允許引導(dǎo)圖像與輸入圖像不同。根據(jù)蘋果葉片分割的任務(wù)要求，本研究將深度學(xué)習(xí)預(yù)測得到的二值圖像作為輸入圖像p，將蘋果葉片彩色圖像作為引導(dǎo)圖像I，使用局部線性處理生成輸出圖像q，作為增強(qiáng)后的圖像。

假設(shè)引導(dǎo)圖像I和輸出圖像q在局部正方形窗口ωk中，存在如下線性關(guān)系:

qi=akIi+bk,?i∈ωk

(1)

式中：qi為輸出圖像中i點(diǎn)的像素值；Ii為引導(dǎo)圖像中i點(diǎn)的像素值；ωk為1個(gè)以像素k為中心的局部正方形窗口，本研究設(shè)置為120×120；i和k為像素索引；a和b為當(dāng)窗口中心位于k時(shí)該線性函數(shù)的系數(shù)。

通過計(jì)算得到最優(yōu)的線性因數(shù)(ak,bk)為：

(2)

(3)

由于像素點(diǎn)Ii被多個(gè)窗口所覆蓋，故用ak和bk的平均值計(jì)算最終輸出圖像中i點(diǎn)的像素值qi：

(4)

準(zhǔn)確的測定蘋果葉片的幾何參數(shù)是本研究的主要目標(biāo)，但是圖像中蘋果葉片邊緣細(xì)節(jié)丟失較多，為保留更多的邊緣特征，本研究使用蘋果葉片二值圖像作為引導(dǎo)對輸入彩色蘋果葉片圖像進(jìn)行濾波，可以對蘋果葉片的邊緣細(xì)節(jié)進(jìn)行優(yōu)化，突出細(xì)節(jié)。

1.2.4聯(lián)合分割

引導(dǎo)濾波雖然可以把邊緣的細(xì)節(jié)信息給優(yōu)化，使蘋果葉片的邊緣鋸齒更加突出，但是圖片背景中的標(biāo)尺并未去除，而且背景中會夾雜一些白色的圓點(diǎn)。為此在引導(dǎo)濾波的基礎(chǔ)上設(shè)計(jì)聯(lián)合分割方案，以結(jié)合深度學(xué)習(xí)的粗分割結(jié)果和引導(dǎo)濾波特征增強(qiáng)圖像的結(jié)果。

對于引導(dǎo)濾波的特征增強(qiáng)結(jié)果GF，利用自適應(yīng)閾值進(jìn)行二值化分割，得到二值化結(jié)果GFbin，其中閾值thr由大津法確定。需要注意的是，引導(dǎo)濾波結(jié)果經(jīng)過閾值處理后，可以消除背景中的標(biāo)尺等非葉片部分，但也會殘留葉片中的高光點(diǎn)。因此，需要將引導(dǎo)濾波二值化結(jié)果GFbin與深度學(xué)習(xí)預(yù)測圖BWdl進(jìn)行并集操作解決上述問題，得到最終的蘋果葉片結(jié)果BWleaf為二者求并集后的二值圖。具體計(jì)算公式如下：

GFbin=GF>thr

(5)

BWleaf=BWdl∪GFbin

(6)

圖5示出蘋果葉片原始圖像及本研究算法各步驟處理結(jié)果。本研究算法適用于數(shù)據(jù)庫中多種復(fù)雜情況下的蘋果葉片圖像，圖6示出葉片與標(biāo)尺重疊(圖1(a))情形下的分割結(jié)果。

圖5 蘋果葉片原始圖像及本研究算法各步驟處理結(jié)果Fig.5 Original image of apple leaf and the processing results of each step

圖6 重疊情形下的蘋果葉片圖像及本研究算法各步驟處理結(jié)果Fig.6 Apple leaf image and the processing results of each step under the overlapping situation

從圖5和圖6可以看出，深度學(xué)習(xí)預(yù)測結(jié)果包含了完整的葉片輪廓和葉柄，但丟失了邊緣細(xì)節(jié)。引導(dǎo)濾波不僅增強(qiáng)了葉片邊緣細(xì)節(jié)，同時(shí)也保留了葉柄嫩芽，并殘存了部分標(biāo)尺痕跡。對引導(dǎo)濾波結(jié)果取閾值后消除了標(biāo)尺和葉柄處嫩芽，但仍會殘存由于蘋果葉片高光引起的亮點(diǎn)(圖5(c)中葉片左下區(qū)域)，經(jīng)聯(lián)合分割處理后，可以去掉亮點(diǎn)干擾，得到完整而準(zhǔn)確的分割結(jié)果。

1.2.5幾何參數(shù)測量

本研究使用的方法是找出蘋果葉片的最小外接矩形。首先以引導(dǎo)濾波后的預(yù)測圖和二值化蘋果葉片原圖為基礎(chǔ)得到聯(lián)合分割結(jié)果圖，然后進(jìn)行二值化，最后得到蘋果葉片最大連通域的外接最小矩形。圖7給出圖1中重疊、陰影、葉尖缺失和葉柄帶芽4種復(fù)雜情況下的蘋果葉片外接最小矩形。

在蘋果葉片外接最小矩形圖像的基礎(chǔ)上，計(jì)算得到大量與蘋果葉片相關(guān)的集合參數(shù)，包括面積、周長、離心率、長軸長度和短軸長度等，并以csv格式保存。表2給出圖7中4張?zhí)O果葉片圖像的幾何參數(shù)測定結(jié)果。

圖7 4種復(fù)雜情況下的蘋果葉片外接最小矩形圖像Fig.7 Minimum rectangular image of apple leaves in four complex cases

表2 部分蘋果葉片幾何參數(shù)測定結(jié)果Table 2 Determination results of the geometric parameters of apple leaves

2 結(jié)果與分析

本研究試驗(yàn)精確率結(jié)果高于文獻(xiàn)[8]試驗(yàn)方法得到的結(jié)果。文獻(xiàn)[8]使用的方法只是把蘋果葉片放入到一張帶有方格的背景中進(jìn)行拍照，然后利用公式：葉面積=葉片像素點(diǎn)數(shù)/選取方格像素點(diǎn)數(shù)×方格面積，計(jì)算得出蘋果葉片的面積，這種方式無法去除方格線條帶來的誤差，葉片面越大帶來的誤差也就越大。文獻(xiàn)[8]只能處理背景為白色并且數(shù)量較少的蘋果葉片圖像，對于處理背景為其他顏色，計(jì)算結(jié)果的精確率將會下降，處理數(shù)據(jù)集較大的葉片圖像，操作將會非常的繁瑣。

本研究使用全公開的蘋果葉片數(shù)據(jù)集，從精確率(Acc)、交并比(IoU)2個(gè)指標(biāo)分析算法結(jié)果。精確率刻畫了算法結(jié)果與人工標(biāo)記結(jié)果的相似程度，交并比表示算法結(jié)果與人工標(biāo)記結(jié)果的交疊程度又或是重疊率，即交集與并集的比值關(guān)系，相關(guān)性越高，交并比就越高，在理想情況下，比值為1，即預(yù)測圖像與標(biāo)記圖像完全重合[21]，具體計(jì)算公式如下：

(7)

(8)

式中：TP(True positive)表示被模型預(yù)測為正的正樣本；TN(True negative) 表示被模型預(yù)測為負(fù)的負(fù)樣本；FN(False negative) 表示被模型預(yù)測為正的負(fù)樣本；FP(False positive) 表示被模型預(yù)測為負(fù)的正樣本；A為人工標(biāo)記結(jié)果得到的面積，B為算法結(jié)果得到的圖像面積。

圖8給出僅利用深度學(xué)習(xí)技術(shù)進(jìn)行分割時(shí)精確率、交并比2個(gè)指標(biāo)與訓(xùn)練輪次的關(guān)系。精確率隨著訓(xùn)練輪次的提升總體呈上升趨勢，訓(xùn)練300輪次后精確率保持在97%左右，交并比也達(dá)到92.5%。

圖8 深度學(xué)習(xí)訓(xùn)練300輪次對應(yīng)的精確率與交并比情況Fig.8 Accuracy and IoU of 300 rounds of deep learning training

文獻(xiàn)[9]在手機(jī)端計(jì)算葉片幾何參數(shù)的方法比較方便，但是精確率較低，速度相對較慢。文獻(xiàn)[7]中使用的方法是首先把圖像的RGB顏色空間轉(zhuǎn)化為HIS顏色空間；然后挑選較好的顏色空間分量，使用Otsu自適應(yīng)閾值實(shí)現(xiàn)圖像的二值化；最后根據(jù)Matlab中自帶的函數(shù)進(jìn)行計(jì)算幾何參數(shù)，但計(jì)算葉片長軸長度的方法是手動的，本研究使用自動計(jì)算的方式，相對于文獻(xiàn)[7]更加的節(jié)省時(shí)間，避免重復(fù)性的繁瑣操作，而且手動測量的誤差較大。因此本研究算法適用于測量數(shù)據(jù)集較大的葉片圖像，對葉片的幾何參數(shù)計(jì)算較為準(zhǔn)確，速度相對較快。

表3給出本研究算法得到的平均精確率與交并比以及計(jì)算單張圖像幾何參數(shù)需要的時(shí)間數(shù)值，并與文獻(xiàn)[7]的試驗(yàn)結(jié)果和文獻(xiàn)[9]的試驗(yàn)結(jié)果進(jìn)行了對比。數(shù)據(jù)顯示，本試驗(yàn)得到的174種平均精確率與交并比數(shù)值高于文獻(xiàn)[7]和文獻(xiàn)[9]試驗(yàn)辦法得到的平均精確率與交并比數(shù)值。

表3 不同算法的平均精確率、交并比和計(jì)算速度數(shù)據(jù)對比Table 3 Comparison of average accuracy, IoU and computational speed data of different algorithms

圖9示出第74類50幅波8(蘋果類型)蘋果葉片圖像的客觀對比數(shù)據(jù)，本研究使用的方法優(yōu)于文獻(xiàn)[7]算法得到的蘋果葉片精確度和交并比結(jié)果。由圖9能夠明顯看出，每張圖片的精確率和交并比都在98.5%左右，并且精確率和交并比結(jié)果都相對穩(wěn)定。與文獻(xiàn)[7](核心算法為大津法Otsu)進(jìn)行對比，其上下幅度較大，如第25幅圖像所示，精確度和交并比結(jié)果都相對較低，而本研究試驗(yàn)結(jié)果并未出現(xiàn)那么大浮動的現(xiàn)象，結(jié)果比較穩(wěn)定。

圖9 第74類波8蘋果葉片分割結(jié)果數(shù)據(jù)對比Fig.9 Segmentation results data comparison of the 74th Bo 8 apple leaves

3 結(jié)束語

本研究結(jié)合深度學(xué)習(xí)和引導(dǎo)濾波技術(shù)，提出了一種蘋果葉片圖像分割的新算法，在包含174種大規(guī)模數(shù)據(jù)集上進(jìn)行訓(xùn)練和試驗(yàn)。試驗(yàn)結(jié)果表明，該算法可以完整、準(zhǔn)確、快速的分割蘋果葉片圖像，精確率為98.99%、交并比98.82%，可以為后續(xù)的形狀參數(shù)提取、蘋果葉片分類與識別提供數(shù)據(jù)支撐。深度學(xué)習(xí)通過樣本可以很好的提取分割所需的特征。本研究結(jié)果表明，將深度學(xué)習(xí)應(yīng)用于蘋果葉片分割是可行的，但仍有一些誤差存在，需要利用非學(xué)習(xí)方法進(jìn)行輔助分割。本研究實(shí)現(xiàn)了對標(biāo)準(zhǔn)蘋果葉片圖像的分割，對非標(biāo)準(zhǔn)的生態(tài)蘋果葉片圖像分割將是下一步研究的方向。