鄧寒冰，許童羽，周云成，苗 騰,3，李 娜，吳 瓊，朱 超，沈德政

基于深度掩碼的玉米植株圖像分割模型

鄧寒冰1,2，許童羽1,2※，周云成1,2，苗 騰1,2,3，李 娜1,2，吳 瓊1,2，朱 超1，沈德政1

（1. 沈陽農(nóng)業(yè)大學(xué)信息與電氣工程學(xué)院，沈陽 10866；2. 遼寧省農(nóng)業(yè)信息化工程技術(shù)研究中心，沈陽 10866；3. 北京農(nóng)業(yè)信息技術(shù)研究中心，北京 00097）

隨著深度學(xué)習(xí)技術(shù)在植物表型檢測領(lǐng)域的應(yīng)用，有監(jiān)督深度學(xué)習(xí)逐漸成為植物表型信息的提取與分析的主要方法。但由于植物結(jié)構(gòu)復(fù)雜、細(xì)節(jié)特征多，人工標(biāo)注的成本和質(zhì)量問題已成為制約技術(shù)發(fā)展的瓶頸。該研究針對玉米苗期植株圖像分割問題提出一種基于深度掩碼的卷積神經(jīng)網(wǎng)絡(luò)（Depth Mask Convolutional Neural Network，DM-CNN），將深度圖像自動轉(zhuǎn)換深度掩碼圖像，并替代人工標(biāo)注樣本完成圖像分割網(wǎng)絡(luò)訓(xùn)練。試驗(yàn)結(jié)果表明，在相同的網(wǎng)絡(luò)訓(xùn)練參數(shù)下，通過測試DM-CNN得到的平均交并比為59.13%，平均召回率為65.78%，均優(yōu)于人工標(biāo)注樣本對應(yīng)的分割結(jié)果（平均交并比為58.49%，平均召回率為64.85%）；此外，在訓(xùn)練樣本中加入10%室外玉米苗期圖像后，DM-CNN對室外測試集的平均像素精度可以達(dá)到84.54%，證明DM-CNN具有良好的泛化能力。該研究可為高通量、高精度的玉米苗期表型信息獲取提供低成本解決方案及技術(shù)支持。

圖像分割；模型；圖像處理；玉米；深度掩碼；植物表型；深度密度函數(shù)

0 引 言

隨著越來越多的視覺傳感器應(yīng)用于植物全生長期信息采集過程，計(jì)算機(jī)視覺技術(shù)逐漸成為植物表型組學(xué)領(lǐng)域的研究重點(diǎn)。如何快速、高精度地獲取植物表型信息一直都是該領(lǐng)域研究的技術(shù)難點(diǎn)，而圖像分割方法是解決該問題的一個(gè)重要技術(shù)手段。

傳統(tǒng)的圖像分割對象主要分為灰度圖像和彩色圖像，由于人眼對復(fù)雜圖像只能識別幾十個(gè)灰度等級，同時(shí)分割場景不斷復(fù)雜化，對分割技術(shù)的算法要求也愈加嚴(yán)格，因此在多數(shù)情況下只利用灰度信息無法從背景中提取目標(biāo)，必須借助于彩色圖像[1]。彩色圖像分割有很多方法，基于顏色和空間特征可以將圖像分割分為有監(jiān)督和無監(jiān)督。目前，大量成熟的有監(jiān)督算法（如最大似然、決策樹、K-最鄰近、神經(jīng)元網(wǎng)絡(luò)等）已經(jīng)可以利用不同顏色空間實(shí)現(xiàn)果實(shí)、植株、葉片和根系等圖像分割[2]。而對于無監(jiān)督方法來說，聚類算法是這類方法的首選，Jiao等[3]基于圖聚類與高級語義相結(jié)合的無監(jiān)督分割方法，將給定的圖像過分割成一組超像素，在底層視覺特征中加入圖像顯著性作為人類感知的先驗(yàn)知識，提高了無監(jiān)督圖像分割的精度。此外，彩色圖像作為多光譜圖像的一個(gè)特例，從數(shù)據(jù)類型、預(yù)處理方法、特征提取方法、算法效率等幾個(gè)方面看，任何適用于多光譜圖像的分割方法也都可以用于彩色圖像分割[4]。而大部分適用于灰度圖像的分割方法（直方圖閾值法、聚類法、區(qū)域增長、邊緣檢測、模糊算法等）也可以擴(kuò)展到彩色圖像，其原理是將彩色圖像劃分為多個(gè)顏色空間分量（如RGB、HSV、Lab空間分量），在不同的顏色空間分量上使用灰度圖像的分割方法，通過找到特定區(qū)域內(nèi)的特征相似性，對像素進(jìn)行聚類可獲得分割結(jié)果[5]。為了提高分割大尺寸圖像的算法效率，超像素算法也成為計(jì)算機(jī)視覺領(lǐng)域的一個(gè)重要手段，將大尺寸圖像均勻分成固定的初始區(qū)域，在區(qū)域內(nèi)將近似像素聚合成超像素，降低后續(xù)計(jì)算的算法復(fù)雜度[6]。

在傳統(tǒng)計(jì)算機(jī)視覺、機(jī)器學(xué)習(xí)等方法的支撐下，植物表型檢測領(lǐng)域的研究人員已經(jīng)將算法集成到軟硬件平臺上，為植物表型信息高通量獲取提供工具和技術(shù)手段。Jin等[7]從表型特征傳感器、地面和空中表型平臺應(yīng)用兩個(gè)方面進(jìn)行闡述，通過分析圖像、葉綠素?zé)晒鈭D像和熱紅外圖像等信息，實(shí)時(shí)量化植物生長過程，光合作用情況等，為大規(guī)模、多維度的植物表型信息獲取與分析提供了全面的一體化的解決方案。Filipa等[8]設(shè)計(jì)了rosettR系統(tǒng)，用于在無菌環(huán)境下計(jì)算植株幼苗期花環(huán)總面積，面積差代表不同基因型之間的生長差異，以及對光照條件和滲透的脅迫，利用混合模型設(shè)定閾值，將前景與背景分離，同時(shí)基于特征排序?qū)崿F(xiàn)植株圖像的精準(zhǔn)分割；Zhou等[9]人設(shè)計(jì)了Leaf-GP系統(tǒng)，該系統(tǒng)可以用于不同的計(jì)算平臺，實(shí)現(xiàn)擬南芥和小麥的高通量信息獲取，通過提取RGB圖像中的高綠值區(qū)域來區(qū)分葉片顏色與土壤表面藻類顏色，同時(shí)利用葉片端點(diǎn)圍成的區(qū)域，獲取該區(qū)域葉片分割圖像；Massimo等[10]設(shè)計(jì)了Phenotiki系統(tǒng)，對擬南芥形體、生長過程、葉片顏色和葉片數(shù)量進(jìn)行統(tǒng)一分析，利用半監(jiān)督學(xué)習(xí)算法實(shí)現(xiàn)對葉片區(qū)域的自動分割過程。

傳統(tǒng)的圖像分割算法主要是基于圖像的紋理、顏色、形狀等人工設(shè)計(jì)的底層特征對圖像進(jìn)行分割，分割精度受人工因素制約，算法缺少普適性和遷移性。而隨著深度學(xué)習(xí)技術(shù)的發(fā)展，人們利用深度神經(jīng)網(wǎng)絡(luò)從原始圖像中自動抽取圖像的多尺度特征，并通過上采樣方式將特征圖恢復(fù)到與輸入圖像相同的分辨率，實(shí)現(xiàn)對目標(biāo)的端到端、高精度、像素級圖像分割[11]。特別是隨著深度學(xué)習(xí)和遷移學(xué)習(xí)的融合，利用“預(yù)訓(xùn)練+調(diào)優(yōu)”（Pre-training + Fine-tuning）的方式可以使模型泛化能力得到提升，使用遷移參數(shù)來初始化深度學(xué)習(xí)網(wǎng)絡(luò)，以提升網(wǎng)絡(luò)性能[12]。目前，深度神經(jīng)網(wǎng)絡(luò)已經(jīng)成為實(shí)現(xiàn)語義分割[13-14]、實(shí)例分割[15-16]和全場景分割[17-18]的首選模型。特別是在植物表型信息的提取方面，由于植物的生長環(huán)境和品種的差異都會造成其植株、器官、果實(shí)等圖像信息差異性較大，很難通過人工特征提取方式實(shí)現(xiàn)高精度圖像分割。因此，國內(nèi)外研究機(jī)構(gòu)已經(jīng)嘗試將深度學(xué)習(xí)技術(shù)應(yīng)用于植物表型信息獲取與表達(dá)。

Sa等[19]通過改造Faster R-CNN模型，從顏色和近紅外兩種模式提取特征信息，實(shí)現(xiàn)甜椒的快速檢測。Pound等[20]利用改進(jìn)后的CNN模型，實(shí)現(xiàn)對于小麥根系、葉片、葉根、穗尖和穗根等部位的識別，發(fā)現(xiàn)了部分小麥生物學(xué)性狀與關(guān)鍵基因點(diǎn)位的關(guān)聯(lián)。Dyrmann等[21]提出一個(gè)基于全卷積神經(jīng)網(wǎng)絡(luò)的自動雜草識別方法，該方法在強(qiáng)葉片遮擋條件下可以識別谷物生長區(qū)域的單株雜草實(shí)體，該團(tuán)隊(duì)還利用CNN實(shí)現(xiàn)對22種植物種類的分類，準(zhǔn)確率在86.2%[22]。Mostafa等[23]利用三種深度學(xué)習(xí)模型來識別植物類別，通過遷移學(xué)習(xí)的方式對預(yù)訓(xùn)練模型進(jìn)行調(diào)優(yōu)處理，通過數(shù)據(jù)增強(qiáng)和參數(shù)控制，提高了網(wǎng)絡(luò)的識別能力并降低了過擬合。Yalcin等[24]利用深度學(xué)習(xí)框架來識別若干種植物的物候期，采用預(yù)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)自動提取圖像特征，其試驗(yàn)結(jié)果表明CNN在物候期判別方面由于基于手工特征的機(jī)器學(xué)習(xí)算法。

在深度學(xué)習(xí)技術(shù)的推動下，國內(nèi)研究人員也廣泛開展相關(guān)的研究工作，試圖從利用深度學(xué)習(xí)模型簡化特征提取過程，提高植物表型特征的提取精度。段凌鳳等[25]基于SegNet模型構(gòu)建了PanicleNet深度卷積神經(jīng)網(wǎng)絡(luò)，利用模型將原圖像劃分出的子圖像進(jìn)行分割，在拼接子圖得到稻穗圖像分割結(jié)果。劉立波等[26]針對全卷積網(wǎng)絡(luò)分割精度低的問題，提出一種結(jié)合條件隨機(jī)場的改進(jìn)全卷積網(wǎng)絡(luò)模型，實(shí)現(xiàn)棉田冠層圖像分割，平均像素精度為83.24%。陳進(jìn)等[27]通過改進(jìn)U-Net網(wǎng)絡(luò)，增加網(wǎng)絡(luò)深度和批量歸一化層，實(shí)現(xiàn)水稻收獲籽粒圖像分割，解決由于訓(xùn)練數(shù)據(jù)少造成的過擬合問題。任守綱等[28]提出一種基于反卷積引導(dǎo)的VGG網(wǎng)絡(luò)模型，利用反卷積全連接層實(shí)現(xiàn)番茄葉部病害分割，在遮擋和弱光條件下具有強(qiáng)魯棒性。張善文等[29]利用編碼-解碼網(wǎng)絡(luò)結(jié)構(gòu)，提出一種基于多尺度融合卷積神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)了在復(fù)雜背景下的黃瓜病害葉片病斑區(qū)域分割。項(xiàng)榮等[30]設(shè)計(jì)一種基于最大類間方差法的改進(jìn)脈沖耦合神經(jīng)網(wǎng)絡(luò)模型，對原模型中鏈接輸入項(xiàng)進(jìn)行加權(quán)處理，實(shí)現(xiàn)了番茄植株夜間圖像分割。

大部分深度學(xué)習(xí)方法都是基于有監(jiān)督學(xué)習(xí)模式，即利用人工標(biāo)注的數(shù)據(jù)樣本對深度學(xué)習(xí)模型進(jìn)行訓(xùn)練，進(jìn)而得到具備一定泛化能力的網(wǎng)絡(luò)模型，實(shí)現(xiàn)對目標(biāo)對象的分類、目標(biāo)檢測、圖像分割等計(jì)算機(jī)視覺任務(wù)。然而，在對植物進(jìn)行人工標(biāo)注時(shí)，由于植物本身結(jié)構(gòu)復(fù)雜、細(xì)節(jié)內(nèi)容較多、空間遮擋等問題，標(biāo)注難度遠(yuǎn)超過常規(guī)標(biāo)注任務(wù)，這導(dǎo)致標(biāo)注時(shí)間增加，標(biāo)注精度下降等問題，提高了人工標(biāo)注的成本。為了能夠解決這問題，本研究以玉米植株為研究對象，提出一種基于深度掩碼的卷積神經(jīng)網(wǎng)絡(luò)（Depth Mask Convolutional Neural Network，DM-CNN），在原Mask R-CNN[31]的基礎(chǔ)上增加了深度掩碼通道，該通道利用深度相機(jī)獲取的深度圖像，自動產(chǎn)生深度掩碼圖像，為訓(xùn)練過程自動提供玉米植株的標(biāo)注信息，降低了人工標(biāo)注成本，同時(shí)簡化了室內(nèi)環(huán)境下基于有監(jiān)督學(xué)習(xí)的玉米植株表型信息獲取過程。

1 材料與方法

1.1 試驗(yàn)材料和數(shù)據(jù)采集

試驗(yàn)選擇的玉米品種為“先玉335”，自選系PH6WC為母本、PH4CV為父本組配而成。PH6WC是從PH01N× PH09B雜交組合選育而成，來源于Reid種群；PH4CV是從PH7V0×PHBE2雜交組合選育而成，來源于Lancaster種群。該品種幼苗綠色，葉鞘紫色，葉緣綠色，花藥粉紅色，穎殼綠色，株型緊湊，成株葉片數(shù)19片左右，具有高抗莖腐病、中抗黑粉病、彎孢菌葉斑病、大斑病、小斑病、矮花葉病和玉米螟等，其優(yōu)越的抗病性可以讓玉米在其營養(yǎng)生長期保持個(gè)體健康和株形完整。此外，為了增加玉米苗期植株形體的多樣性，本試驗(yàn)分別選取玉米營養(yǎng)生長期30～35 d的植株作為研究對象，單體株高在25～120 cm范圍內(nèi)。

試驗(yàn)的圖像采集設(shè)備為Kinect傳感器2.0（彩色鏡頭分辨率1 920×1 080，30FPS；深度鏡頭分辨率512×424，30FPS），該設(shè)備可以在同一時(shí)刻采集鏡頭范圍內(nèi)的彩色信息和深度信息。由于本研究提出的圖像分割模型對于深度圖像有精度要求，考慮到Kinect利用結(jié)構(gòu)光來計(jì)算目標(biāo)到攝像頭距離，而室外自然光源會嚴(yán)重干擾傳感器對目標(biāo)距離（深度值）的估算，因此本試驗(yàn)在室內(nèi)環(huán)境下采集玉米植株深度圖像信息。官方提供的Kinect傳感器2.0的最優(yōu)拍攝距離為0.5～4.5 m，因此本試驗(yàn)將傳感器的拍攝位置固定，與拍攝對象（玉米植株）保持約2.0～2.5 m的距離，玉米植株與背景布有0.5～1.0 m的距離，這樣可以保證背景布和玉米植株都在Kinect的有效拍攝范圍內(nèi)，具體的試驗(yàn)場景布局如圖1所示。

試驗(yàn)選取了400株玉米苗期植株，植株高度范圍是25～120 cm。在試驗(yàn)中傳感器是固定的，玉米植株被放置在可旋轉(zhuǎn)底座上，通過旋轉(zhuǎn)底座可以從不同角度對玉米植株進(jìn)行拍攝取樣。試驗(yàn)分別選取了8個(gè)拍攝角度進(jìn)行拍攝，即可以獲得的原始圖像樣本包括3 200張彩色圖像（RGB圖像）和3 200張深度圖像（灰度圖像）。其中彩色圖像包括訓(xùn)練樣本（2 600張）、驗(yàn)證樣本（400張）和測試樣本（200張）。樣本集采用同分布抽樣形成每類樣本集，保證所有高度的玉米植株在不同樣本集的分布是相同的。

由于本試驗(yàn)要基于Mask R-CNN模型對人工標(biāo)注樣本和深度掩碼標(biāo)注樣本的訓(xùn)練效果和實(shí)例分割精度進(jìn)行對比，因此需要將彩色圖像與深度圖像的像素進(jìn)行像素映射，以保證深度圖像與彩色圖像在空間內(nèi)容上的一致性。由于微軟提供的像素映射函數(shù)會在RGB圖像中生成大量的噪點(diǎn)，而大部分的噪點(diǎn)會出現(xiàn)在玉米植株葉片附近，這會影響模型訓(xùn)練中的特征提取效果，因此本研究通過直接調(diào)整RGB圖像與深度圖像的大小和顯示區(qū)域使2種圖像實(shí)現(xiàn)內(nèi)容上的近似映射。

為了在訓(xùn)練過程中使用高分辨率的圖像，試驗(yàn)選擇分辨率為1 024×1 024的圖像作為訓(xùn)練樣本，避免出現(xiàn)圖像目標(biāo)對象缺失，同時(shí)保證Kinect在拍攝較矮植株（20～50 cm）信息完整，本試驗(yàn)在訓(xùn)練之前，先將彩色圖像與深度圖像進(jìn)行像素近似映射處理。由于初始RGB圖像的分辨率為1 920×1 080，而目標(biāo)植株的拍攝位置位于幕布的中心區(qū)域，在不改變原始RGB圖像分辨率的前提下，本試驗(yàn)直接在原始的圖像中心區(qū)域獲取分辨率為1 024×1 024大小的彩色圖像；同時(shí)對于深度圖像，根據(jù)Kinect相機(jī)的內(nèi)參和外參將深度圖像向彩色圖像進(jìn)行像素映射，在多次調(diào)整和匹配后，發(fā)現(xiàn)可以通過擴(kuò)充、裁剪等方式將原深度圖像的分辨率擴(kuò)展為1 024×1 024，并保證RGB圖像與深度圖像內(nèi)容上的近似映射。具體做法是首先將深度圖像的高和寬分別擴(kuò)大為原圖像的1.437倍，然后選取圖像中行坐標(biāo)為25、列坐標(biāo)為18位置的像素作為裁剪區(qū)域的左上角，截取分辨率為700×540的圖像，再通過雙線性內(nèi)插操作將截取區(qū)域放大到分辨率為1 400×1 080的深度圖像，最后在中心區(qū)域截取1 024×1 024像素的深度圖像，這時(shí)的深度圖像與彩色圖像可以實(shí)現(xiàn)像素映射，而這些處理后的深度圖像，可以用于生成深度掩碼標(biāo)注樣本，且在樣本數(shù)量和樣本內(nèi)容上與RGB圖像的樣本集合保持一致，具體操作過程如圖2所示。

1.2 試驗(yàn)過程和模型

本研究提出了一種利用玉米植株的深度圖像，自動生成植株目標(biāo)區(qū)域掩碼的方法，利用該方法產(chǎn)生的標(biāo)注信息實(shí)現(xiàn)網(wǎng)絡(luò)的自動訓(xùn)練和圖像分割，模型訓(xùn)練和圖像分割過程如圖3所示。在Mask R-CNN網(wǎng)絡(luò)的基礎(chǔ)上增加深度掩碼通道，將深度圖像自動轉(zhuǎn)換成可供網(wǎng)絡(luò)訓(xùn)練的掩碼，以替代人工標(biāo)注過程來產(chǎn)生標(biāo)注樣本。此外，將網(wǎng)絡(luò)的訓(xùn)練過程分為兩個(gè)階段，利用小批量樣本訓(xùn)練模型的目標(biāo)識別能力，讓網(wǎng)絡(luò)能夠識別玉米植株并產(chǎn)生一個(gè)目標(biāo)區(qū)域；深度掩碼生成算法可以利用該目標(biāo)區(qū)域產(chǎn)生玉米植株的掩碼，用于第二階段的網(wǎng)絡(luò)訓(xùn)練，同時(shí)第二階段的訓(xùn)練過程也可以共享第一階段的權(quán)值，加速訓(xùn)練收斂。最終，訓(xùn)練后的網(wǎng)絡(luò)模型可以用于分割玉米植株圖像。

1.3 平臺與性能參數(shù)

由于試驗(yàn)后期需要對不同樣本集訓(xùn)練的模型進(jìn)行測試和對比，為了加速樣本訓(xùn)練速度，本試驗(yàn)分別將不同訓(xùn)練集對應(yīng)的訓(xùn)練任務(wù)分配到1臺工作站和1臺服務(wù)器上完成。不同的平臺主要存在圖形處理器性能上的差異，只會影響訓(xùn)練總時(shí)長，對訓(xùn)練結(jié)果不會產(chǎn)生影響。詳細(xì)平臺的相關(guān)參數(shù)如表1所示。

圖3 利用自動生成的深度掩碼實(shí)現(xiàn)深度掩碼卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練及圖像分割

表1 試驗(yàn)平臺參數(shù)

在試驗(yàn)過程中記錄了不同顯卡在處理相同任務(wù)所耗費(fèi)的時(shí)間，Tesla K40圖形處理器在處理2 600張圖像（分辨率為1 024×1 024）所耗費(fèi)的時(shí)間約為5 000 s，而NVIDA 2080Ti圖形處理器在處理相同任務(wù)耗費(fèi)的時(shí)間約為1 500 s，可以看出后者圖形處理器由于其核心數(shù)和顯存帶寬較大，因此在訓(xùn)練時(shí)長上明顯低于Tesla K40圖形處理器，對于相同的任務(wù)至少能節(jié)約2/3的時(shí)長。

1.4 網(wǎng)絡(luò)構(gòu)建與參數(shù)設(shè)置

深度卷積神經(jīng)網(wǎng)絡(luò)對圖像的特征提取效果直接決定最終的圖像分割的結(jié)果。本試驗(yàn)使用的玉米植株圖像類別單一、場景簡單，但對玉米植株的株形、葉片細(xì)節(jié)等部分的特征提取有較高的要求，因此本研究在選擇特征提取網(wǎng)絡(luò)時(shí)，利用多層小尺寸卷積核來組合出更多的細(xì)節(jié)特征，進(jìn)而表達(dá)玉米植株的關(guān)鍵屬性。但當(dāng)無限制的增加卷積層數(shù)并不能帶來特征提取性能的無限提升，反而會導(dǎo)致網(wǎng)絡(luò)收斂變得更慢，分類精度也變得更差，產(chǎn)生“越深越差”的現(xiàn)象。為解決這一問題，He等[32]在2016年提出了殘差卷積神經(jīng)網(wǎng)絡(luò)（ResNet），利用殘差學(xué)習(xí)方法徹底解決了深度卷積神經(jīng)網(wǎng)絡(luò)“越深越差”問題，在網(wǎng)絡(luò)中嵌入了基本的殘差學(xué)習(xí)模塊，通過使用多個(gè)殘差網(wǎng)絡(luò)層來學(xué)習(xí)輸入輸出之間的殘差表示，該研究表明使用一般意義上的殘差層來學(xué)習(xí)殘差比直接學(xué)習(xí)輸入、輸出間映射可以獲得更快的收斂速度和更高的分類精度。目前，ResNet已經(jīng)成為圖像基礎(chǔ)特征提取的主要模型，文獻(xiàn)[32]一共給出了5種深度的網(wǎng)絡(luò)結(jié)構(gòu)（ResNet-18、ResNet-34、ResNet-50、ResNet-101和ResNet-152），其中ResNet-152在ImageNet數(shù)據(jù)集上的top-1和top-5的分類錯(cuò)誤率方面表現(xiàn)最好，但考慮到本試驗(yàn)使用的樣本量相對少且類別單一，對于越深的網(wǎng)絡(luò)出現(xiàn)過擬合的風(fēng)險(xiǎn)就越大，而且ResNet-101在ImageNet數(shù)據(jù)集上的top-1和top-5分類錯(cuò)誤率方面同樣非常優(yōu)秀，因此本試驗(yàn)選擇ResNet-101作為特征提取網(wǎng)絡(luò)，用來完成玉米植株圖像的特征提取任務(wù)。Mask R-CNN[31]是He團(tuán)隊(duì)在2017年提出的實(shí)現(xiàn)端到端的像素級別的圖像實(shí)例分割模型[32]。其在Faster R-CNN基礎(chǔ)上發(fā)展而來，除了Faster R-CNN結(jié)構(gòu)中的bounding-box回歸分支和分類分支之外，又增加了預(yù)測目標(biāo)掩碼的分支，用于在bounding-box區(qū)域內(nèi)產(chǎn)生不同對象的像素級別的二值掩碼，將目標(biāo)檢測和對象分割并行處理，取得非常不錯(cuò)的實(shí)例分割結(jié)果。2018年，He又對Mask R-CNN進(jìn)行了優(yōu)化，實(shí)現(xiàn)了常規(guī)場景下的全目標(biāo)的實(shí)例分割[34]。

Mask R-CNN和ResNet在卷積層部分是共享權(quán)值的，因此本試驗(yàn)首先利用公開數(shù)據(jù)集對ResNet的進(jìn)行預(yù)訓(xùn)練，用于提高M(jìn)ask R-CNN模型中卷積層的泛化能力和特征提取能力。本研究以微軟的COCO[35]數(shù)據(jù)集訓(xùn)練后的ResNet-101卷積層參數(shù)對Mask R-CNN的卷積層進(jìn)行參數(shù)初始化。由于本試驗(yàn)只針對玉米植株做實(shí)例分割，與文獻(xiàn)[31]中所用到的數(shù)據(jù)訓(xùn)練樣本不同。因此，針對網(wǎng)絡(luò)訓(xùn)練中的調(diào)優(yōu)過程（fine-tuning）要在原方法的基礎(chǔ)上進(jìn)行調(diào)整。首先，將網(wǎng)絡(luò)訓(xùn)練的調(diào)優(yōu)過程分成兩個(gè)階段，第一階段僅使用小批量的人工標(biāo)注圖像來訓(xùn)練，該過程主要是用于訓(xùn)練模型中的區(qū)域推薦網(wǎng)絡(luò)RPN（Region Proposal Network）部分，提高網(wǎng)絡(luò)對相同場景下玉米植株位置信息的定位精度，該位置信息將用于限定計(jì)算深度掩碼標(biāo)注時(shí)的區(qū)域范圍，此外第一階段的訓(xùn)練結(jié)果可用通過權(quán)值共享方式給第二階段的訓(xùn)練來使用。第二階段則利用深度掩碼產(chǎn)生的標(biāo)注信息和RGB圖像進(jìn)行常規(guī)訓(xùn)練，直到網(wǎng)絡(luò)輸出的總損失值收斂于0值附近，則訓(xùn)練結(jié)束。為了提高對株形偏小的玉米植株的特征提取能力，在推薦框的錨定尺度（anchor scales）上增加了16像素的標(biāo)準(zhǔn)值，具體訓(xùn)練參數(shù)如表2所示。

表2 模型訓(xùn)練的關(guān)鍵參數(shù)及初始值

2 基于深度掩碼的圖像分割優(yōu)化

2.1 基于深度掩碼的實(shí)例分割網(wǎng)絡(luò)模型構(gòu)建

人工標(biāo)注成本是制約有監(jiān)督學(xué)習(xí)發(fā)展的一個(gè)主要問題，對于植物這種結(jié)構(gòu)復(fù)雜、細(xì)節(jié)較多的研究對象，其標(biāo)注的效果也會因人而異，經(jīng)常會出現(xiàn)關(guān)鍵位置不能完全與物體邊緣形態(tài)一致的問題，與目標(biāo)對象的真實(shí)信息存在一些差距。此外，人工標(biāo)注的圖像樣本對于描述完整的物理世界場景來說還是不夠的，而無監(jiān)督學(xué)習(xí)目前主要用于解決的聚類問題上，其精度也不足以實(shí)現(xiàn)植物細(xì)節(jié)信息的描述。因此，需要找到一種折中的方法來減少人工標(biāo)注的工作量，同時(shí)能夠較好地描述視覺場景。為此，研究人員嘗試?yán)枚喾N模態(tài)數(shù)據(jù)描述場景信息，通過模態(tài)之間內(nèi)容的空間一致性來實(shí)現(xiàn)不同模態(tài)之間的信息補(bǔ)充，以不同的角度來描述場景中的目標(biāo)信息，提高多模態(tài)數(shù)據(jù)對物理世界的描述能力。

本研究從多模態(tài)機(jī)器學(xué)習(xí)的角度出發(fā)，針對玉米植株研究如何在可控的室內(nèi)場景下利用深度圖像來代替人工標(biāo)注圖像，實(shí)現(xiàn)無人工標(biāo)注樣本的有監(jiān)督深度學(xué)習(xí)。為此，本研究提出了深度掩碼卷積神經(jīng)網(wǎng)絡(luò)（DM-CNN）模型，利用深度圖像生成深度掩碼標(biāo)注，并將這個(gè)標(biāo)注信息將連通彩色圖像一起輸入到Mask R-CNN網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，具體如圖4所示。其中深度掩碼標(biāo)注過程包括3個(gè)步驟：1）利用深度密度函數(shù)產(chǎn)生深度密度圖；2）結(jié)合深度密度圖提出一種最鄰域填充法，用于補(bǔ)全深度圖中的噪聲點(diǎn)，讓深度圖所表示的內(nèi)容更接近彩色圖像；3）求得二值掩碼圖像的最大連通域，獲得完整植株的標(biāo)注信息。

注：Conv:1,1,64表示一個(gè)卷積層，該卷積層的卷積核大小為1×1，通道數(shù)為64，以此類推；ddx,y為深度密度函數(shù)，具體內(nèi)容如式（1）所示；Lb為網(wǎng)絡(luò)邊框損失值，Lrb為網(wǎng)絡(luò)中RPN（Region Proposal Network）模塊輸出的邊框損失值，Lc為網(wǎng)絡(luò)輸出的分類損失值，Lrc為網(wǎng)絡(luò)中RPN（Region Proposal Network）模塊輸出的分類損失值，Lm為網(wǎng)絡(luò)輸出的掩碼損失值（詳見2.4章節(jié)）。

2.2 深度密度函數(shù)

本研究使用的深度密度（Depth density）函數(shù)是在文獻(xiàn)[36]中第一提出，主要用于計(jì)算深度圖像中每個(gè)像素與其相鄰區(qū)域其他像素深度值的近似程度推論出該像素是處于物體邊緣還是物體表面。但是文獻(xiàn)[36]中并沒有考慮像素之間的距離對深度密度計(jì)算的影響，該算法會在玉米植株表面位置生成大量噪聲。因此，本研究對深度密度函數(shù)進(jìn)行改進(jìn)，加入了像素距離的概念，同時(shí)在計(jì)算過程中不對像素進(jìn)行歸一化處理，同時(shí)利用求和函數(shù)來代替積分過程，最大程度的保證了原深度圖像中不同位置的像素實(shí)際深度分布情況。

設(shè)深度圖像的尺寸為×，其中為圖像的高度（像素行數(shù)），為圖像的寬度（像素列數(shù)）；d,y為圖像上(,)位置的像素的深度值，其中深度值由灰度值表示，取值范圍為[0,255]之間的整數(shù)；dd,y表示圖像上點(diǎn)(,)對應(yīng)的深度密度值，其表達(dá)式如式（1）所示。

式（1）中的表示轉(zhuǎn)換函數(shù)，其中包含3個(gè)參數(shù)，表示圖像上以點(diǎn)(,)為中心，以·為大小的計(jì)算區(qū)域；Δ表示區(qū)域內(nèi)的像素距離差。式（1）可以解釋為：深度密度函數(shù)是以深度圖像上(,)點(diǎn)為中心，在區(qū)域內(nèi)，利用像素距離算子Δ的計(jì)算像素點(diǎn)(,)與該區(qū)域內(nèi)其他像素點(diǎn)的深度值相似概率。

為了求解式（1），本研究首先給出幾個(gè)參數(shù)定義：

表示以(,)點(diǎn)為中心、區(qū)域內(nèi)的各像素點(diǎn)深度與d, y的方差，如式（3）所示。

dist,y(,)表示在區(qū)域內(nèi)，像素點(diǎn)(,)與中心點(diǎn)(,)之間的像素距離，如式（5）所示。

對于區(qū)域內(nèi)的任意像素點(diǎn)，該點(diǎn)與中心點(diǎn)(,)的像素距離差如式（6）所示。

在計(jì)算深度密度值時(shí)，本研究選擇高斯分布函數(shù)作為算子，如式（7）所示。

則對于深度圖像中的點(diǎn)(,)，其與區(qū)域中的深度均值的近似度可以如式（8）所示。

同樣，對于深度圖像中的點(diǎn)(,)，其與區(qū)域中其他像素點(diǎn)之間的深度近似程度可以如式（9）所示。

根據(jù)上述公式可以得到深度密度函數(shù)，如式（10）所示。

利用公式10計(jì)算得到的深度密度dd,y的取值區(qū)間為(0,1]。其中，深度密度值越接近于0表示該點(diǎn)與該區(qū)域的整體深度值分布情況差異很大，則該點(diǎn)屬于深度圖中的邊界像素或者噪聲像素的概率較高；深度密度值越接近于1表示該點(diǎn)與該區(qū)域的整體深度值分布差異較小，則該像素點(diǎn)位于物體表面的幾率較大。這就證明了如果一個(gè)像素點(diǎn)的深度密度接近于1，則該點(diǎn)有很大概率與其周圍·范圍內(nèi)的像素點(diǎn)屬于同一物體?；谶@一原理可以對全卷積的分割結(jié)果進(jìn)行優(yōu)化。加入像素距離算子前后的深度密度圖像如圖5所示。

2.3 最近鄰域像素填充法及深度掩碼獲取

利用改進(jìn)后的深度密度函數(shù)得到深度密度圖，可以很好地反映出任意像素點(diǎn)在深度圖中的深度分布情況（物體表面或物體邊緣）。但該函數(shù)對于深度圖中的初始噪聲是無法修正的，噪聲主要存在于目標(biāo)對象的邊緣位置上，覆蓋了許多玉米植株的細(xì)節(jié)信息，造成深度信息缺失，這會影響深度卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練精度。為了解決這一問題，本研究提出了一種最近鄰域像素填充方法，首先統(tǒng)計(jì)深度圖像中水平或垂直兩個(gè)方向的灰度分布情況，再根據(jù)噪聲區(qū)域最近鄰域的灰度分布情況動態(tài)填充噪聲產(chǎn)生的灰度低洼區(qū)域，將噪聲轉(zhuǎn)變成有效灰度，減少噪聲對深度圖的影響。具體算法如下：

1）對深度圖像中的灰度進(jìn)行分級處理，默認(rèn)分8級灰度，形成分級深度圖像；

2）遍歷分級深度圖像，找到該圖像中像素最多的像素級，將該級灰度值作為背景灰度；

3）以1像素為單位，按序遍歷分級深度圖像中的水平或垂直方向上的像素線，對于在同一條像素線任意位置相連的兩個(gè)像素，如果后面像素的值與前面像素的值相等，則后面像素歸屬于前面像素的像素集合，否則為后面的像素新建一個(gè)像素集合，最終在像素線上劃分多個(gè)不同像素值的像素點(diǎn)集合；

4）遍歷這些像素集合，如果當(dāng)前像素集合的像素值低于相鄰兩側(cè)像素集合的像素值，且當(dāng)前像素的深度密度值小于0.5（邊緣噪聲可能性較大），則相鄰兩側(cè)中像素值較低的像素填充給當(dāng)前區(qū)域；如果兩側(cè)像素集合中較低像素值等于背景灰度值，則不用進(jìn)行填充；

5）判斷當(dāng)前圖像是否成為二值圖像，如果是則輸出圖像，如果不是則返回步驟3；

6）算法結(jié)束，輸出的二值圖像中像素值較低的為目標(biāo)區(qū)域，像素值較高的為背景區(qū)域。

算法的執(zhí)行效果如圖6a所示。在得到二值圖像后，使用網(wǎng)絡(luò)中推薦框分支輸出的位置信息來限定二值圖像中的對象所在區(qū)域，通過閾值分割即可得到背景前玉米植株的圖像信息，結(jié)果如圖6b所示。雖然玉米植株的整體信息已經(jīng)顯示出來，而葉片邊緣細(xì)節(jié)部分還存在很多的噪聲。為了獲取圖像中更準(zhǔn)確的目標(biāo)邊緣點(diǎn)信息（即深度掩碼邊緣信息），對圖6b求最大連通域，得到的最大連通域如圖6c所示，可以看出噪聲與原閾值分割結(jié)果相比少了很多。在求得最大連通域基礎(chǔ)上，可以利用3×3大小的核來查找連通域上的邊界點(diǎn)，當(dāng)核中心點(diǎn)值為1（白色），而其他位置有0值點(diǎn)（黑色）時(shí)，則該中心點(diǎn)為邊界點(diǎn)。而這樣就可獲得整個(gè)連通域邊緣的全部坐標(biāo)信息，形成深度掩碼信息。

2.4 損失函數(shù)與評價(jià)指標(biāo)

本研究分別利用人工標(biāo)注樣本、深度掩碼標(biāo)注樣本進(jìn)行了網(wǎng)絡(luò)模型的訓(xùn)練和驗(yàn)證，試驗(yàn)中主要記錄6種損失值的變化，分別包括：

1）：網(wǎng)絡(luò)輸出的總損失值；

2）Lb：網(wǎng)絡(luò)輸出的目標(biāo)框（或稱目標(biāo)區(qū)域）損失值；

3）Lc：網(wǎng)絡(luò)輸出的分類損失值；

4）Lm：網(wǎng)絡(luò)輸出的掩碼損失值；

5）Lrb：網(wǎng)絡(luò)中RPN（Region Proposal Network）模塊輸出的目標(biāo)框（或稱目標(biāo)區(qū)域）損失值；

6）Lrc：網(wǎng)絡(luò)中RPN模塊輸出的分類損失值。

在計(jì)算損失函數(shù)過程中，由于訓(xùn)練樣本中相同生長階段的玉米植株特征比較相似，而且數(shù)據(jù)集中只有選定1個(gè)輸出類型（num_class=1），因此如果學(xué)習(xí)率設(shè)置偏高時(shí)，會導(dǎo)致訓(xùn)練中計(jì)算Lrc和Lm時(shí)出現(xiàn)數(shù)值溢出。但是如果單純降低學(xué)習(xí)率，又會讓模型收斂變慢。因此在訓(xùn)練模型過程中對損失函數(shù)進(jìn)行了調(diào)整，對Lrc和Lm進(jìn)行加權(quán)處理，如式（11）所示。

對Lrc和Lm分別乘上一個(gè)加權(quán)系數(shù)0=10、1=10，通過提高分類損失函數(shù)初始值來減緩其梯度下降的趨勢。此外，為了驗(yàn)證網(wǎng)絡(luò)模型的圖像分割精度，本研究選取3種實(shí)例分割的評價(jià)指標(biāo)，分別為平均像素精度、平均召回率和平均交并比。其中平均像素精度（mean Pixel Accuracy，mPA）如式（12）所示。

平均召回率（mean Recall Accuracy，mRA）如式（13）所示。

平均交并比（mean Intersection over Union，mIoU）如式 （14）所示。

式（12）～式（14）中，TP表示真正例，F(xiàn)P表示假正例，F(xiàn)N表示假負(fù)例，inst表示全部測試圖片集，class表示測試集中的類別數(shù)，由于本研究只針對玉米植株一種類別進(jìn)行處理，因此class=1。

3 結(jié)果與分析

3.1 樣本真值獲取

為了測試深度圖像產(chǎn)生的深度掩碼標(biāo)注信息在網(wǎng)絡(luò)模型上的訓(xùn)練效果，同時(shí)與基于人工標(biāo)注樣本訓(xùn)練的模型分割結(jié)果進(jìn)行對比，首先需要獲得彩色圖像中的玉米植株的真實(shí)分割區(qū)域（真值圖）。不同于以往的深度學(xué)習(xí)方法（以人工標(biāo)注區(qū)域作為真值），本試驗(yàn)要比較人工標(biāo)注樣本與深度掩碼標(biāo)注樣本在訓(xùn)練模型后的實(shí)例分割精度差異，因此如果以人工標(biāo)注區(qū)域作為真值，那么基于人工標(biāo)注樣本訓(xùn)練出的深度學(xué)習(xí)模型將會在分割精度上有更高的概率接近于真值，這樣的對比缺乏公平性。因此，在圖像采集使用了藍(lán)色背景，這有利于實(shí)現(xiàn)在彩色圖像中對玉米完整植株形態(tài)信息的提取任務(wù)。提取過程主要用到顏色閾值，在室內(nèi)光照環(huán)境不變的情況下，通過提取并對比玉米植株位置和背景位置的顏色直方圖，分別得到玉米植株區(qū)域和藍(lán)色背景區(qū)域各自特有的紅色、綠色、藍(lán)色區(qū)間，利用顏色閾值來獲得玉米植株的連續(xù)像素區(qū)域，并以此作為真實(shí)圖。通過對比不同區(qū)域的顏色直方圖，構(gòu)建顏色閾值，去掉不符合顏色區(qū)間的像素點(diǎn)，效果如圖7所示。從圖中可以看出，在室內(nèi)場景下（藍(lán)色背景）利用顏色直方圖獲取的植株信息比較完整，可以用來作為真值圖像來驗(yàn)證深度學(xué)習(xí)模型的實(shí)例分割精度。

3.2 人工標(biāo)注樣本與深度掩碼標(biāo)注樣本對比

為了保證兩種不同樣本訓(xùn)練過程的公平性，在對DM-CNN模型進(jìn)行訓(xùn)練時(shí)，采用與Mask R-CNN相同的參數(shù)進(jìn)行初始化（如1.4節(jié)中表2所示）。試驗(yàn)首先利用室內(nèi)樣本進(jìn)行對比，分別利用人工標(biāo)注樣本和深度掩碼標(biāo)注樣本來訓(xùn)練DM-CNN模型，圖8給出了這兩種樣本的各自對應(yīng)的6種訓(xùn)練損失和6種驗(yàn)證損失分布情況。從圖8中可以看出，對于訓(xùn)練過程中的、Lb、Lm和Lrb這4種損失值，兩種數(shù)據(jù)集有相同的收斂趨勢，深度掩碼標(biāo)注樣本集合對應(yīng)的損失值下降得更明顯一些。而對于Lc和Lrc，深度掩碼標(biāo)注樣本的收斂速度更快。對于驗(yàn)證損失值函數(shù)，兩種數(shù)據(jù)樣本集對應(yīng)的6種損失值變化趨勢相近，特別是對于Lb和Lm，二者的損失變化分布非常接近，而DM-CNN在驗(yàn)證過程中損失函數(shù)更為平穩(wěn)。這說明深度掩碼標(biāo)注樣本對于訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)能夠獲得與人工標(biāo)注樣本相似的穩(wěn)定性。

此外，為了驗(yàn)證本方法在面對復(fù)雜環(huán)境下玉米植株圖像實(shí)例分割的有效性，試驗(yàn)采用了遷移學(xué)習(xí)的思路，分別在原樣本中用室外玉米植株樣本替換一定比例（10%）的數(shù)據(jù)。為保證試驗(yàn)對比的公平性，訓(xùn)練數(shù)據(jù)集同樣分為2種類別：第一種是在原室內(nèi)人工標(biāo)注樣本的基礎(chǔ)上，用10%比例的室外人工標(biāo)注數(shù)據(jù)替換其原有數(shù)據(jù)（即90%室內(nèi)人工+10%室外人工）；第二組是在原深度掩碼標(biāo)注樣本的基礎(chǔ)上，用10%的室外人工標(biāo)注數(shù)據(jù)替換其原有數(shù)據(jù)（即90%室內(nèi)深度掩碼+10%室外人工）。利用這2類訓(xùn)練數(shù)據(jù)訓(xùn)練網(wǎng)絡(luò)，其過程如圖9所示，從圖中可以看出，即使在原深度掩碼訓(xùn)練集中少量替換了一些具有復(fù)雜背景的玉米植株圖像（室外人工標(biāo)注樣本），其對應(yīng)的6種損失函數(shù)的收斂過程仍略優(yōu)于人工標(biāo)注樣本。這說明使用深度掩碼標(biāo)注樣本訓(xùn)練的網(wǎng)絡(luò)對于遷移學(xué)習(xí)也有很好的適應(yīng)能力。

3.3 結(jié)果分析

為展示DM-CNN對于玉米苗期不同株高的圖像分割效果，本試驗(yàn)根據(jù)玉米株高將室內(nèi)測試集（Indoor set）圖像分為3個(gè)子集，對應(yīng)的株高范圍分別為0～40、40～80和80～120 cm，同時(shí)為了驗(yàn)證模型對室內(nèi)玉米圖像的總體分割效果，試驗(yàn)中也計(jì)算了3種株高范圍對應(yīng)指標(biāo)的平均值（室內(nèi)均值Indoor mean）。另外，室外測試集（Outdoor set）為玉米頂視圖像，沒有株高的區(qū)分，因此直接給出3種評價(jià)指標(biāo)的均值，具體的試驗(yàn)結(jié)果如表3所示。

對于室內(nèi)（Indoor）測試集，在經(jīng)過人工標(biāo)注樣本的訓(xùn)練后可以獲得最高的平均像素精度（mPA=85.25%），略優(yōu)于深度掩碼標(biāo)注樣本訓(xùn)練后的平均精度（mPA=84.95%）和混合標(biāo)注樣本訓(xùn)練后的平均像素精度（mPA=84.54%）；此外，該模型在經(jīng)過深度掩碼標(biāo)注樣本訓(xùn)練后，可以獲得最高的均交并比（mIoU=59.13%）；而且，模型在經(jīng)過混合標(biāo)注樣本訓(xùn)練后，可以獲得最高的平均召回率（mRA=66.04%），略優(yōu)于深度掩碼對應(yīng)的平均召回率（mRA=65.78%）。

在對不同株高的玉米圖像分割結(jié)果進(jìn)行分析，DM-CNN對于玉米株高在0～40 cm的圖像可以獲得更高平均精度，其中人工標(biāo)注對應(yīng)的平均像素精度達(dá)到88.84%，深度掩碼標(biāo)注對應(yīng)的平均精度達(dá)到88.23%，混合標(biāo)注對應(yīng)的平均精度達(dá)到87.89%；對于玉米株高在40～80 cm范圍的圖像可以獲得更高的平均交并比，其中混合標(biāo)注對應(yīng)的平均交并比為60.34%，深度掩碼對應(yīng)的平均交并比為60.28%，人工標(biāo)注對應(yīng)的平均交并比為59.65%；對于平均召回率方面，株高在40～80 cm范圍內(nèi)的圖像能夠獲得更高的平均召回率，人工標(biāo)注、深度掩碼標(biāo)注和混合標(biāo)注對應(yīng)的值分別為65.53%、66.61%和67.12%。除此之外，由于混合樣本中添加了室外人工標(biāo)注樣本參與訓(xùn)練，因此訓(xùn)練后的模型對室外復(fù)雜背景的玉米植株圖像也具備實(shí)例分割能力。在表3中最后一行添加了室外（Outdoor）測試集，通過計(jì)算3種評價(jià)指標(biāo)可以看出室外測試集的3種指標(biāo)略低于室內(nèi)測試集，證明DM-CNN模型通過遷移學(xué)習(xí)仍可以獲得較好的圖像分割精度。

表3 人工標(biāo)注、深度掩碼標(biāo)注和混合標(biāo)注對應(yīng)的3種評價(jià)指標(biāo)的對比

由此可見，相比于經(jīng)過人工標(biāo)注樣本訓(xùn)練后的模型，深度掩碼標(biāo)注樣本訓(xùn)練后的模型具有更高的均交并比和平均召回率。而在深度掩碼中替換10%的人工標(biāo)注數(shù)據(jù)后，其均交并比沒有下降的特別明顯，而評價(jià)召回率提高到了66.04%，其結(jié)果要優(yōu)于存人工標(biāo)注樣本的訓(xùn)練結(jié)果。這說明該模型在室內(nèi)環(huán)境下，可以利用深度掩碼標(biāo)注樣本代替人工標(biāo)注樣本對Mask R-CNN進(jìn)行訓(xùn)練。

圖10給出利用深度掩碼標(biāo)注樣本訓(xùn)練后的網(wǎng)絡(luò)模型在圖像分割測試的結(jié)果。其中左邊6列展示了該模型利用室內(nèi)場景下獲取的深度掩碼樣本（RGB圖像+深度掩碼）訓(xùn)練后的實(shí)例分割結(jié)果，從圖中可以看出，DM-CNN對3種尺度范圍玉米植株都有比較好的分割效果。證明該模型可以在室內(nèi)場景下，利用深度掩碼標(biāo)注樣本替代人工標(biāo)注樣本進(jìn)行網(wǎng)絡(luò)模型訓(xùn)練，并能夠獲得比較好的效果。此外，圖10d給出了在混合樣本訓(xùn)練后，該模型對室外玉米植株頂視圖的分割效果，證明DM-CNN模型具有遷移學(xué)習(xí)的能力，即在原深度掩碼訓(xùn)練樣本中替換一定比例（本研究中的比例是10%）的室外人工標(biāo)注樣本（復(fù)雜背景圖像），在相同的訓(xùn)練條件下，收斂后的模型也可以對室外場景下的玉米植株進(jìn)行實(shí)例分割，且得到很好的分割結(jié)果，說明DM-CNN有很好的泛化能力。

為了驗(yàn)證方法優(yōu)越性，本試驗(yàn)將DM-CNN對室外測試樣本的分割結(jié)果與經(jīng)典分割方法對比，本研究分別選取了基于閾值分割的大津法（OTSU）、基于圖像隨機(jī)中心點(diǎn)的K-means算法、基于邊緣檢測的分水嶺分割算法和Canny算法，基于超像素的SLIC算法、基于區(qū)域增長的圖像分割算法和基于圖分割的Grabcut算法進(jìn)行比較。從分割結(jié)果上看（圖11），由于基于閾值、基于邊緣檢測和基于區(qū)域增長的方法只考慮顏色、紋理、灰度變化等因素，因此分割效果差，邊緣檢測算法雖然在提取目標(biāo)對象邊緣信息有一定效果，但是邊緣一般是不連續(xù)的且出現(xiàn)過分割現(xiàn)象；基于圖分割的Grabcut算法的分割結(jié)果與真值比較接近，但是Grabcut是交互式算法，需要人工去限定分割區(qū)域。所以上述這些傳統(tǒng)方法在相同的條件下都不如DM-CNN的分割效果，從圖中可以看出DM-CNN的分割結(jié)果可以比較清晰和完整地得到玉米苗期植株整體形態(tài)，這也表明該模型對具有復(fù)雜背景圖像的適應(yīng)性更強(qiáng)，能夠去除背景得到精度更高的圖像分割結(jié)果。

由試驗(yàn)中室內(nèi)、室外玉米植株圖像分割結(jié)果可以看出，DM-CNN模型可以利用在室內(nèi)環(huán)境下獲取的深度圖像，實(shí)現(xiàn)深度學(xué)習(xí)模型的自動標(biāo)注和自動訓(xùn)練，建立了一種近似“非監(jiān)督學(xué)習(xí)”模式。從試驗(yàn)結(jié)果來看，本研究中提出的網(wǎng)絡(luò)模型和理論方法在特定環(huán)境下存在一定的優(yōu)勢，同時(shí)也有一定的局限性。首先，試驗(yàn)主要在室內(nèi)環(huán)境下獲取的玉米植株的深度圖像，其原因是Kinect設(shè)備對外界自然光照強(qiáng)度變化十分敏感，在室外采集到的深度圖像會附帶大量噪聲（體現(xiàn)在深度圖像上就是一些缺損像素點(diǎn)），這對于本研究中計(jì)算深度密度函數(shù)影響較大，因?yàn)樵谏傻纳疃葓D像中，缺損像素有默認(rèn)的像素值，而當(dāng)噪聲點(diǎn)相對集中時(shí)，噪聲的深度密度值dd,y也會接近于1（與的圖像中平滑物體表面位置的計(jì)算結(jié)果相似），最終會對影響模型的分割精度。室內(nèi)環(huán)境的光源可控，能夠有效避免外界自然光的影響，因此能夠獲得噪聲較少的深度圖像。其次，在試驗(yàn)中選擇使用單一顏色的背景布來簡化試驗(yàn)場景，將目標(biāo)對象（玉米植株）放置在背景前進(jìn)行圖像獲取，這是由于本研究提出的方法是要與經(jīng)過人工標(biāo)注樣本訓(xùn)練后的實(shí)例分割精度進(jìn)行對比，因此不能像傳統(tǒng)機(jī)器學(xué)習(xí)、深度學(xué)習(xí)方法一樣，使用人工標(biāo)注樣本作為真值來進(jìn)行精度對比，這是因?yàn)樵谟?xùn)練中已經(jīng)使用到了人工標(biāo)注圖像進(jìn)行訓(xùn)練，訓(xùn)練出的模型會在分割圖像時(shí)更偏向于人工標(biāo)注的區(qū)域，這就造成評價(jià)指標(biāo)的偏差（精度、交并比的值會與于人工標(biāo)注的結(jié)果更接近），因此本研究利用單一背景布來簡化圖像，利用顏色閾值分割提取玉米植株在圖像中的真實(shí)區(qū)域，并以此作為真值進(jìn)行對比，保證了試驗(yàn)結(jié)果對比的公平性和準(zhǔn)確性。最后，在實(shí)際應(yīng)用中，為了測試該網(wǎng)絡(luò)模型是否具備對室外復(fù)雜環(huán)境下的玉米植株圖像實(shí)例分割的能力，本研究選擇利用遷移學(xué)習(xí)模式來實(shí)現(xiàn)模型對室外玉米植株圖像實(shí)例分割。同樣以減少人工標(biāo)注樣本為目標(biāo)，試驗(yàn)在原室內(nèi)深度掩碼樣本集基礎(chǔ)上，替換了一定比例的室外人工標(biāo)注樣本（占總樣本數(shù)10%），并以此為訓(xùn)練集對DM-CNN模型進(jìn)行調(diào)優(yōu)。結(jié)果發(fā)現(xiàn)，經(jīng)過調(diào)優(yōu)的模型對室外玉米植株圖像也有很好的分割效果。

本研究雖然在面向玉米植株圖像實(shí)例分割的有監(jiān)督學(xué)習(xí)過程中減少人工標(biāo)注樣本成本，但是方法還存在一定的局限性，一是深度圖像的成像環(huán)境是室內(nèi)，不能在室外獲得深度圖像，這需要在以后的研究工作中更換圖像采集設(shè)備（如激光雷達(dá)等）；二是深度圖像采集時(shí)背景相對簡單，這樣采集的圖像與室外復(fù)雜環(huán)境下采集的圖像缺少共性，這需要在以后的研究工作中進(jìn)行調(diào)整，針對具有復(fù)雜背景信息的圖像應(yīng)該選擇更適合的方法（如全景分割等）；三是本研究中給出的評價(jià)指標(biāo)值并是在未改變基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)的前提下獲得的，因?yàn)楸狙芯恐械膶Ρ刃枰⒃谙嗤木W(wǎng)絡(luò)結(jié)構(gòu)下，因此改變結(jié)構(gòu)對本研究中提出的方法沒有直接影響，但對于不同的植株對象應(yīng)該可以通過調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)獲得更好的特征表達(dá)，這部分任務(wù)將會在本研究的后續(xù)研究工作中實(shí)現(xiàn)。

4 結(jié) 論

本研究基于Mask R-CNN模型提出了面向簡單場景和復(fù)雜場景下玉米苗期植株圖像實(shí)例分割模型DM-CNN，利用Kinect設(shè)備獲取的深度圖像生成訓(xùn)練模型所需的深度掩碼，并以此來替代人工標(biāo)注生成的掩碼，實(shí)現(xiàn)DM-CNN模型的自動訓(xùn)練過程。在試驗(yàn)過程中主要得到以下幾個(gè)結(jié)論：

1）針對玉米苗期植株圖像人工標(biāo)注時(shí)間成本高、精度低等問題，在Mask R-CNN模型的基礎(chǔ)上提出一種基于深度掩碼的深度卷積網(wǎng)絡(luò)DM-CNN，該模型可以在室內(nèi)場景下，利用Kinect產(chǎn)生深度圖像自動生成深度掩碼標(biāo)注信息，實(shí)現(xiàn)有監(jiān)督的網(wǎng)絡(luò)訓(xùn)練過程。

2）提出改進(jìn)的深度密度函數(shù)，在計(jì)算深度圖像上每個(gè)像素點(diǎn)的深度密度值時(shí)加入像素間距離參數(shù)，剔除了原深度密度圖中的波紋狀無效數(shù)據(jù)，提高了小尺寸物體表面深度密度值的精度。

3）在深度密度函數(shù)的基礎(chǔ)上，提出了最近鄰域像素填充法，將深度密度圖像轉(zhuǎn)換成二值圖像（背景+植株），再利用第一階段訓(xùn)練后的網(wǎng)絡(luò)產(chǎn)生的推薦框，將推薦框中的植株信息提取出來，并求出當(dāng)前區(qū)域的最大連通域，自動生成深度掩碼標(biāo)注信息。

4）通過試驗(yàn)結(jié)果對比，發(fā)現(xiàn)利用深度掩碼標(biāo)注樣本訓(xùn)練的模型在平均交并比（mIoU=59.13%）和平均召回率（mRA=65.78%）都優(yōu)于人工標(biāo)注樣本（mIoU=58.49%，mRA=64.85%）；而模型對玉米苗期的不同株高圖像分割效果都很理想，其中株高在0～40 cm的平均像素精度為88.23%，株高在40～80cm的平均像素精度為85.97%，株高在80～120 cm的平均像素精度在83.91%；此外，在原深度掩碼標(biāo)注樣本的基礎(chǔ)上，替換10%的室外人工標(biāo)注樣本進(jìn)行訓(xùn)練，也可以實(shí)現(xiàn)模型在不同場景下的遷移，在對室外復(fù)雜場景下的玉米苗期圖像（頂視圖）分割試驗(yàn)中，平均交并比為58.15%，平均像素精度為74.48%，平均召回率為61.91%。

因此，DM-CNN可以在室內(nèi)場景下利用Kinect設(shè)備產(chǎn)生的深度圖像自動生成深度掩碼標(biāo)注樣本，基于深度掩碼樣本訓(xùn)練后的網(wǎng)絡(luò)可以達(dá)到相同場景下人工標(biāo)注數(shù)據(jù)的網(wǎng)絡(luò)訓(xùn)練效果，并且在替換小比例人工標(biāo)注樣本（10%）進(jìn)行訓(xùn)練后可以實(shí)現(xiàn)從室內(nèi)玉米植株圖像分割到室外玉米植株圖像分割的模型遷移，訓(xùn)練后的模型對室外玉米植株的也能產(chǎn)生高質(zhì)量的分割效果，證明其模型的室外場景泛化能力也可以通過提高樣本的人工標(biāo)注樣本的比例來實(shí)現(xiàn)。由此可見，在室內(nèi)環(huán)境下，針對玉米苗期植株的株形信息提取工作，利用深度掩碼圖像來代替人工標(biāo)注圖像實(shí)現(xiàn)深度學(xué)習(xí)模型的自動標(biāo)注和訓(xùn)練是具備可行性的，降低了人工標(biāo)注的時(shí)間成本，為實(shí)現(xiàn)玉米苗期關(guān)鍵性狀的高通量、高精度、低成本表型分析提供理論方法支撐。

[1] 黃鵬，鄭淇，梁超. 圖像分割方法綜述[J]. 武漢大學(xué)學(xué)報(bào)：理學(xué)版，2020，66(6)：519-531.

Huang Peng, Zheng Qi, Liang Chao. Overview of image segmentation methods[J]. Journal of Wuhan University: Natural Science Edition, 2020, 66(6): 519-531. (in Chinese with English abstract)

[2] Jayanthi M G, Shashikumar D R. Survey on agriculture image segmentation techniques[J]. Asian Journal of Applied Science and Technology, 2017, 1(8): 143-146.

[3] Jiao X, Chen Y G, Dong R. An unsupervised image segmentation method combining graph clustering and high-level feature representation[J]. Neurocomputing, 2020, 409: 83-92.

[4] 劉東升，廖通逵，孫煥英，等. 中國遙感軟件研制進(jìn)展與發(fā)展方向：以像素專家PIE為例[J]. 中國圖像圖形學(xué)報(bào)，2021，26(5)：1169-1178.

Liu Dongsheng, Liao Tongkui, Sun Huanying, et al. Research progress and development direction of Chinese remote sensing software: Taking PIE as an example[J]. Journal of Image and Graphics, 2021, 26(5): 1169-1178. (in Chinese with English abstract)

[5] 袁洪波，趙努東，程曼. 基于圖像處理的田間雜草識別研究進(jìn)展與展望[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2020，51(S2)：323-334.

Yuan Hongbo, Zhao Nudong, Cheng Man. Review of weed recognition based on image processing[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(S2): 323-334. (in Chinese with English abstract)

[6] David S, Alexander H, Bastian L. Superpixels: An evaluation of the state-of-the-art[J]. Computer Vision and Image Understanding, 2018, 166: 1-27.

[7] Jin X L, Pablo J Z, Schmidhalter U, et al. High-throughput estimation of crop traits: A review of ground and aerial phenotyping platforms[J]. IEEE Geoscience and Remote Sensing Magazine, 2021, 9(1): 200-231.

[8] Filipa T, Karel J, Bernadette S, et al. RosettR: Protocol and software for seedling area and growth analysis[J]. Plant Methods, 2017, 13(13): 1-10.

[9] Zhou J, Christopher A, Albor D A, et al. Leaf-GP: An open and automated software application for measuring growth phenotypes for arabidopsis and wheat[J]. Plant Methods, 2017, 13(117): 1-17.

[10] Massimo M, Mario V G, Pierdomenic P, et al. Phenotiki: An open software and hardware platform for affordable and easy image-based phenotyping of rosette-shaped plants[J]. The Plant Journal, 2017, 90(1): 204-216.

[11] 田萱，王亮，丁琪. 基于深度學(xué)習(xí)的圖像語義分割方法綜述[J]. 軟件學(xué)報(bào)，2019，30(2)：440-468.

Tian Xuan, Wang Liang, Ding Qi. Review of image semantic segmentation based on deep learning[J]. Journal of Software, 2019, 30(2): 440-468. (in Chinese with English abstract)

[12] 王東方，汪軍. 基于遷移學(xué)習(xí)和殘差網(wǎng)絡(luò)的農(nóng)作物病害分類[J]，農(nóng)業(yè)工程學(xué)報(bào)，2021，37(4)：199-207.

Wang Dongfang, Wang Jun. Crop disease classification with transfer learning and residual networks[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(4): 199-207. (in Chinese with English abstract)

[13] Badrinarayanan V, Kendall A, Cipolla R. SegNet: A deep convolutional encoder-decoder architecture for image segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(12): 2481-2495.

[14] Chen L C, Papandreou G, Kokkinos I, et al. DeepLab: Semantic image segmentation with deep convolutional net, atrous convolution, and fully connected CRFs[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, 40(4): 834-848.

[15] Chen H, Sun K Y, Tian Z, et al. BlendMask: Top-down meets bottom-up for instance segmentaion[C]// IEEE Conference on Computer Vision and Pattern Recognition, Seattle: IEEE, 2020.

[16] Liu S, Qi Lu, Qin H F, et al. Path aggregation network for instance segmentation[C]//IEEE Conference on Computer Vision and Pattern Recognition, Salt Lake City: IEEE, 2018.

[17] Kirillov A, Girshick R, He K M. Panoptic feature pyramid networks[C]//IEEE Conference on Computer Vision and Pattern Recognition, Long Beach: IEEE, 2019.

[18] Sun H, Li C, Liu B Q, et al. AUNet: Attention-guided dense-upsampling networks for breast mass segmentation in whole mammograms[J]. Physics in Medicine and Biology, 2020, 65(5): 1-17.

[19] Sa I, Ge Z Y, Dayoub F, et al. DeepFruits: A fruit detection system using deep neural networks[J]. Sensors, 2018, 16(8): 1-23.

[20] Pound M P, Atkinson J A, Townsend A J, et al. Deep machine learning provides state-of-the-art performance in image-based plant phenotyping[J]. GigaScience, 2017, 6(10): 1-10.

[21] Dyrmann M, J?rgensen R N, Midtiby H S. RoboWeedSupport - Detection of weed locations in leaf occluded cereal crops using a fully convolutional neural network[J]. Advances in Animal Biosciences, 2017, 8(2): 842-847.

[22] Dyrman M, Karstoft H, Midtiby H S. Plant species classification using deep convolutional neural network[J]. Biosystems Engineering, 2016, 151: 72–80.

[23] Mostafa M G, Berrin Y, Erchan A. Plant identification using deep neural networks via optimization of transfer learning parameters[J]. Neurocomputing, 2017, 235: 228-235.

[24] Yalcin H. Plant phenology recognition using deep learning: Deep-Pheno[C]//International Conference on Agro-Geoinformatics, Fairfax: IEEE, 2017.

[25] 段凌鳳，熊雄，劉謙，等. 基于深度全卷積神經(jīng)網(wǎng)絡(luò)的大田稻穗分割[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2018，34(12)：202-209.

Duan Lingfeng, Xiong Xiong, Liu Qian, et al. Field rice panicle segmentation based on deep full convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(12): 202-209. (in Chinese with English abstract)

[26] 劉立波，程曉龍，賴軍臣. 基于改進(jìn)全卷積網(wǎng)絡(luò)的棉田冠層圖像分割方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2018，34(12)：193-201.

Liu Libo, Cheng Xiaolong, Lai Junchen. Segmentation method for cotton canopy image based on improved fully convolutional network model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(12): 193-201. (in Chinese with English abstract)

[27] 陳進(jìn)，韓夢娜，練毅，等. 基于U-Net模型的含雜水稻籽粒圖像分割[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2020，36(10)：174-180.

Chen Jin, Han Mengna, Lian Yi, et al. Segmentation of impurity rice grain images based on U-Net model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(10): 174-180. (in Chinese with English abstract)

[28] 任守綱，賈馥瑋，顧興健，等. 反卷積引導(dǎo)的番茄葉部病害識別及病斑分割模型[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2020，36(12)：186-195.

Ren Shougang, Jia Fuwei, Gu Xingjian, et al. Recognition and segmentation model of tomato leaf diseases based on deconvolution-guiding[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(12): 186-195. (in Chinese with English abstract)

[29] 張善文，王振，王祖良. 多尺度融合卷積神經(jīng)網(wǎng)絡(luò)的黃瓜病害葉片圖像分割方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2020，36(16)：149-157.

Zhang Shanwen, Wang Zhen, Wang Zuliang. Method for image segmentation of cucumber disease leaves based on multi-scale fusion convolutional neural networks[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(16): 149-157. (in Chinese with English abstract)

[30] 項(xiàng)榮，張杰蘭. 基于改進(jìn)PCNN的番茄植株夜間圖像分割算法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2020，51(3)：130-137.

Xiang Rong, Zhang Jielan. Image segmentation for tomato plants at night based on improved PCNN[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(3): 130-137. (in Chinese with English abstract)

[31] He K M, Gkioxari G, Dollar P, et al. Mask R-CNN[C]//IEEE International Conference on Computer Vision, Hawai: IEEE, 2017.

[32] He K M, Zhang X Y, Ren S Q, et al. Deep residual learning for image recognition[C]//IEEE Conference on Computer Vision and Pattern Recognition, Las Vega: IEEE, 2016.

[33] Ren S Q, He K M, Girshick R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39: 1137-1149.

[34] Hu R H, Dollár P, He K M, et al. Learning to segment every thing[C]//IEEE Conference on Computer Vision and Pattern Recognition, Salt Lake City: IEEE, 2018.

[35] Lin T Y, Maire M, Belongie S, et al. Microsoft COCO: Common objects in context[C]//European Conference on Computer Vision, Zurich: Springer Science, 2014

[36] 鄧寒冰，周云成，許童羽，等. 基于RGB-D的肉牛圖像全卷積網(wǎng)絡(luò)語義分割優(yōu)化[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2019，35(18)：151-160.

Deng Hanbing, Zhou Yuncheng, Xu Tongyu, et al. Optimization of cattle’s image semantics segmentation with fully convolutional networks based on RGB-D[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(18): 151-160. (in Chinese with English abstract)

Segmentation model for maize plant images based on depth mask

Deng Hanbing1,2, Xu Tongyu1,2※, Zhou Yuncheng1,2, Miao Teng1,2,3, Li Na1,2, Wu Qiong1,2, Zhu Chao1, Shen Dezheng1

(1.,,110866,; 2.,110866,; 3.,100097,)

Supervised deep learning has gradually been one of the most important ways to extract the features and information of plant phenotype in recent years. However, the cost and quality of manual labeling have become the bottleneck of restricting the development of technology, due mainly to the complexity of plant structure and details. In this study, a Depth Mask Convolutional Neural Network (DM-CNN) was proposed to realize automatic training and segmentation for the maize plant. Firstly, the original depth and color images of maize plants were collected in indoor scene using the sensors of Kinect. The parallax between depth and color camera was also reduced after aligning the display range of depth and color images. Secondly, the depth and color images were cropped into the same size to remain from the consistency of spatial and content. The depth density function and nearest neighbor pixel filling were also utilized to remove the background of depth images, while retaining the maize plant pixels. As such, a binary image of the maize plant was represented, where the depth mask annotations were obtained by the maximum connection area. Finally, the depth mask annotations and color images were packed and then input to train the DM-CNN, where automatic images labeling and segmentation were realized for maize plants indoors. A field experiment was also designed to verify the trained DM-CNN. It was found that the training loss of depth mask annotations converged faster than that of manual annotations. Furthermore, the performance of DM-CNN trained by depth mask annotations was slightly better than that of manual ones. For the former, the mean Intersection over Union (mIoU) was 59.13%, and mean Recall Accuracy (mRA) was 65.78%. For the latter, the mIoU was 58.49% and mRA was 65.78%. In addition, the dataset was replaced 10% depth mask samples with manual annotations taken in outdoor scene, in order to verify the generalization ability of DM-CNN. After fine-tuning, excellent performance was achieved for the segmentation with the top view images of outdoor seedling maize, particularly that the mean pixel accuracy reached 84.54%. Therefore, the DM-CNN can widely be expected to automatically generate the depth mask annotations using depth images in indoor scene, thereby realizing the supervised network training. More importantly, the model trained by depth mask annotations also performed better than that by manual annotations in mean intersection over union and mean recall accuracy. The segmentation was also suitable for the different plant height ranges during the maize seedling stage, indicating an excellent generalization ability of the model. Moreover, the improved model can be transferred and used in the complex outdoor scenes for better segmentation of maize images (top view), when only 10% of samples (depth mask annotations) were replaced during training. Therefore, it is feasible to realize automatic annotation and training of deep learning model using depth mask annotations instead of manual labeling ones. The finding can also provide low-cost solutions and technical support for high-throughput and high-precision acquisition of maize seedling phenotype.

image segmentation; models; image processing; maize; depth mask; plant phenotype; depth density function

鄧寒冰，許童羽，周云成，等. 基于深度掩碼的玉米植株圖像分割模型[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(18)：109-120.doi：10.11975/j.issn.1002-6819.2021.18.013 http://www.tcsae.org

Deng Hanbing, Xu Tongyu, Zhou Yuncheng, et al. Segmentation model for maize plant images based on depth mask[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(18): 109-120. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.18.013 http://www.tcsae.org

2020-11-02

2021-06-30

國家自然科學(xué)基金（31601218，61673281，31901399）；中國博士后科學(xué)基金（2018M631812）；遼寧省自然基金面上項(xiàng)目（20180551102）；遼寧省教育廳科學(xué)研究經(jīng)費(fèi)項(xiàng)目（LSNQN202022）

鄧寒冰，博士，講師，研究方向?yàn)闄C(jī)器學(xué)習(xí)與模式識別。Email：deng anbing@syau.edu.cn

許童羽，博士，教授，研究方向?yàn)樽魑锉硇托畔@取與分析。Email：xutongyu@syau.edu.cn

10.11975/j.issn.1002-6819.2021.18.013

S823.92；TP391.41

A

1002-6819(2021)-18-0109-12