畢 松 高 峰 陳俊文 張 潞

(北方工業(yè)大學(xué)電氣與控制工程學(xué)院， 北京 100041)

0 引言

我國(guó)為世界上重要的水果生產(chǎn)國(guó)之一，自2012年以來(lái)，我國(guó)柑橘、蘋果等主要水果品種的種植面積和產(chǎn)量已居世界第一。2017年，我國(guó)柑橘產(chǎn)量為3 816.78萬(wàn)t[1]，占世界柑橘產(chǎn)量的四分之一。采摘是水果生產(chǎn)過(guò)程中勞動(dòng)力投入最大的作業(yè)環(huán)節(jié)，柑橘采摘?jiǎng)趧?dòng)量為整個(gè)生產(chǎn)過(guò)程工作量的50%～70%，所處環(huán)境的復(fù)雜性導(dǎo)致水果采摘仍然以人工作業(yè)為主[2]。水果自動(dòng)化采摘對(duì)于解決勞動(dòng)力不足、保證水果適時(shí)采摘、提高采摘品質(zhì)和市場(chǎng)競(jìng)爭(zhēng)力等具有重要意義。因此，研究水果自動(dòng)化采摘技術(shù)迫在眉睫[3]。

柑橘目標(biāo)識(shí)別是自動(dòng)采摘的基礎(chǔ)，眾多研究者主要從顏色、紋理、邊緣等多個(gè)特征綜合角度出發(fā)，研究了限定環(huán)境下或自然環(huán)境下果實(shí)目標(biāo)識(shí)別方法[4-17]。利用多種分類和聚類算法設(shè)計(jì)目標(biāo)識(shí)別模型，獲得了較好的目標(biāo)檢測(cè)效果。但上述方法的基礎(chǔ)是從果實(shí)自身特征出發(fā)獲得圖像特征，當(dāng)存在光線變化、陰影覆蓋、著色不均、枝葉遮擋和果實(shí)重疊等多種自然采摘環(huán)境下常見(jiàn)干擾因素時(shí)，果實(shí)特征發(fā)生明顯變化，使得用于描述果實(shí)的特征也出現(xiàn)明顯的不同，因此基于圖像特征的柑橘識(shí)別方法在自然環(huán)境下檢測(cè)效果不理想。

自然環(huán)境下柑橘圖像的特征在不同干擾因素下具有明顯的差異。自然環(huán)境下干擾因素較多且變化較大，難以獲得涵蓋上述所有干擾情形的柑橘目標(biāo)特征，因此基于圖像分析的柑橘目標(biāo)識(shí)別方法難以應(yīng)對(duì)自然環(huán)境下多種干擾因素同時(shí)存在的情況。

針對(duì)戶外柑橘采摘機(jī)器人的目標(biāo)識(shí)別定位問(wèn)題，本文設(shè)計(jì)基于深度卷積神經(jīng)網(wǎng)絡(luò)的自然環(huán)境下柑橘目標(biāo)識(shí)別模型。對(duì)實(shí)際采收環(huán)境下的柑橘目標(biāo)進(jìn)行數(shù)據(jù)測(cè)試。

1 柑橘目標(biāo)識(shí)別方法

基于圖像的柑橘目標(biāo)識(shí)別的基礎(chǔ)在于獲得可穩(wěn)定描述自然環(huán)境下柑橘目標(biāo)的圖像特征，而大部分傳統(tǒng)的目標(biāo)特征提取方法都是在提取目標(biāo)物體的淺層特征，如HOG特征、SIFT特征、顏色特征、局部二值特征等。這些人工設(shè)計(jì)的特征只適用于某些特定場(chǎng)景，復(fù)雜場(chǎng)景中表現(xiàn)的并不盡如人意，致使構(gòu)建的目標(biāo)識(shí)別模型難以滿足復(fù)雜田間場(chǎng)景的需求，檢測(cè)效果很不穩(wěn)定。深度學(xué)習(xí)模型具有模型層次深、特征表達(dá)能力強(qiáng)的特點(diǎn)，能自適應(yīng)地從大規(guī)模數(shù)據(jù)集中學(xué)習(xí)當(dāng)前任務(wù)所需要的特征表達(dá)[18]，在目標(biāo)識(shí)別領(lǐng)域，盧宏濤等[19]認(rèn)為使用深度學(xué)習(xí)方法提取到的特征具有傳統(tǒng)手工特征所不具備的重要特性，其通過(guò)逐層訓(xùn)練學(xué)習(xí)，最終得到蘊(yùn)涵清晰語(yǔ)義信息的特征表示，從而大大提高識(shí)別率。自然采摘環(huán)境的干擾因素多是典型的復(fù)雜場(chǎng)景，目標(biāo)隨環(huán)境干擾因素變化而難以獲得完備的目標(biāo)特征集，基于深度卷積神經(jīng)網(wǎng)絡(luò)模型的柑橘目標(biāo)視覺(jué)識(shí)別方法，可以克服自然環(huán)境下的多種干擾條件影響，獲得較高的識(shí)別準(zhǔn)確性和穩(wěn)定性。

基于深度卷積神經(jīng)網(wǎng)絡(luò)的柑橘識(shí)別模型主要分為圖像預(yù)處理模塊、深度特征提取模塊、特征處理模塊。柑橘識(shí)別模型結(jié)構(gòu)如圖1所示。

圖1 自然環(huán)境下的柑橘識(shí)別模型網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Network structure diagram of citrus recognition system in natural environment

圖像預(yù)處理模塊對(duì)圖像進(jìn)行降噪和數(shù)據(jù)擴(kuò)展等操作，調(diào)節(jié)圖像的色調(diào)、飽和度和亮度后，圖像在輸入網(wǎng)絡(luò)之前進(jìn)行預(yù)處理，尺寸縮放到416像素×416像素。深度特征提取模塊實(shí)現(xiàn)了基于DARKNET19網(wǎng)絡(luò)[20]的卷積池化構(gòu)建方法，提取完整圖像的高階特征，經(jīng)過(guò)卷積池化層后得到13×13特征圖。

特征處理模塊分為區(qū)域生成網(wǎng)絡(luò)模塊(Region proposal network，RPN)和預(yù)測(cè)框特征提取分類模塊。特征處理模塊通過(guò)多個(gè)交叉的卷積層對(duì)特征降維，并利用池化操作提取柑橘圖像的高階特征，進(jìn)而對(duì)特征進(jìn)行分類。區(qū)域生成網(wǎng)絡(luò)模塊利用錨框(Anchor boxes)方法在獲得的特征圖上預(yù)測(cè)初始預(yù)選框。利于K均值聚類(K-means clustering)算法求取錨框參數(shù)并預(yù)測(cè)出錨框尺寸和比例，K是聚類算法將樣本集劃分成簇的數(shù)量，實(shí)驗(yàn)測(cè)得K=5時(shí)錨框預(yù)測(cè)的正確率最高。深度特征提取模塊中，圖像經(jīng)過(guò)卷積池化層后，特征圖維數(shù)為13×13。對(duì)特征圖的每個(gè)網(wǎng)格按照預(yù)測(cè)出的比例劃出5個(gè)錨框(以圖1中13×13特征圖的第1行第1列網(wǎng)格為例，網(wǎng)格(1,1)表示該網(wǎng)格)并將這5個(gè)錨框映射回原圖得到初始預(yù)選框。預(yù)測(cè)框特征提取分類模塊的結(jié)構(gòu)基于DARKNET19網(wǎng)絡(luò)，在網(wǎng)絡(luò)訓(xùn)練階段移除DARKNET19網(wǎng)絡(luò)最后一個(gè)卷積層，增加3個(gè)3×3×1 024的卷積層，并且在后面與1個(gè)1×1×512的卷積層和2個(gè)1×1×30的卷積層交叉，從而提高模型的特征抽取能力。由于經(jīng)過(guò)多層卷積后特征向量的維度大幅增高，不利于數(shù)據(jù)分類與訓(xùn)練收斂，加大了網(wǎng)絡(luò)的訓(xùn)練和預(yù)測(cè)時(shí)間，因此設(shè)計(jì)3層3×3卷積層和3層1×1卷積層交叉結(jié)構(gòu)對(duì)特征降維，從而降低其深度以提高系統(tǒng)的訓(xùn)練效率與實(shí)時(shí)性。

將提取到的圖像特征全局平均池化，并將其輸入到Softmax層進(jìn)行分類得出預(yù)測(cè)結(jié)果。預(yù)測(cè)結(jié)果包含6個(gè)元素：對(duì)應(yīng)網(wǎng)格的偏移量x和y、預(yù)測(cè)出的柑橘目標(biāo)邊界框的寬度w和高度h、有無(wú)目標(biāo)置信度(Box confidence score)和柑橘目標(biāo)置信度。有無(wú)目標(biāo)置信度表示該目標(biāo)框包含柑橘目標(biāo)的可能性，柑橘目標(biāo)置信度表示如果包含柑橘目標(biāo)，則該目標(biāo)是柑橘的可能性，因此預(yù)測(cè)結(jié)果維度為(13,13,5×(4+1+C))，其中C是目標(biāo)類別。由于只需檢測(cè)柑橘，因此C=1，預(yù)測(cè)結(jié)果的維度即為(13,13,30)。本文在訓(xùn)練階段利用Softmax分類器將輸出數(shù)值與標(biāo)簽數(shù)據(jù)比較得到其總損失，進(jìn)而使用隨機(jī)梯度下降(Stochastic gradient descent, SGD)優(yōu)化損失函數(shù)使其收斂。在檢測(cè)階段，每個(gè)組合的結(jié)果分別是預(yù)選框位置相對(duì)于標(biāo)簽位置偏移量，有目標(biāo)的置信度、以及有某個(gè)指定目標(biāo)的置信度，柑橘識(shí)別模型只需要柑橘置信度，因此只有一類。

2 基于遷移學(xué)習(xí)的網(wǎng)絡(luò)初始化

遷移學(xué)習(xí)利用預(yù)先訓(xùn)練好的具有良好學(xué)習(xí)能力的網(wǎng)絡(luò)模型參數(shù)初始化某個(gè)小型訓(xùn)練集模型參數(shù)，這種參數(shù)初始化方法可以將已學(xué)習(xí)的知識(shí)能力遷移到另一個(gè)網(wǎng)絡(luò)中，使得新網(wǎng)絡(luò)具有快速學(xué)習(xí)能力[21]，從而顯著改善因訓(xùn)練數(shù)據(jù)集不足帶來(lái)的網(wǎng)絡(luò)過(guò)擬合問(wèn)題，增加識(shí)別模型在復(fù)雜自然條件下柑橘目標(biāo)識(shí)別的泛化能力。

ImageNet數(shù)據(jù)集是目前圖像深度學(xué)習(xí)領(lǐng)域應(yīng)用較廣的數(shù)據(jù)集，與圖像分類、定位、檢測(cè)相關(guān)的工作大多基于此數(shù)據(jù)集展開，成為目前深度學(xué)習(xí)圖像領(lǐng)域算法性能檢驗(yàn)的“標(biāo)準(zhǔn)”數(shù)據(jù)集。本文使用標(biāo)準(zhǔn)ImageNet1000類數(shù)據(jù)集預(yù)訓(xùn)練柑橘識(shí)別模型。對(duì)于每個(gè)網(wǎng)格5個(gè)預(yù)選框給出的30個(gè)數(shù)值，每個(gè)目標(biāo)只需要一個(gè)預(yù)選框預(yù)測(cè)器，根據(jù)預(yù)測(cè)區(qū)域與標(biāo)簽區(qū)域之間的重疊比例(IOU)最高值確定預(yù)測(cè)目標(biāo)，從而使預(yù)測(cè)器更好地適應(yīng)柑橘識(shí)別任務(wù)，從而改善整體召回率。訓(xùn)練期間的損失函數(shù)(Loss function)包含位置誤差和分類誤差。

若目標(biāo)存在于該網(wǎng)格單元中，則損失函數(shù)僅懲罰分類錯(cuò)誤；若預(yù)測(cè)器負(fù)責(zé)實(shí)際邊界框，則也懲罰邊界框坐標(biāo)錯(cuò)誤。網(wǎng)絡(luò)更加重視預(yù)測(cè)到目標(biāo)的預(yù)測(cè)框，加入預(yù)測(cè)到目標(biāo)的預(yù)測(cè)框系數(shù)λcoord來(lái)提高其數(shù)值占比。在VOC2007數(shù)據(jù)集下，這一數(shù)值為5，相應(yīng)的，對(duì)于沒(méi)有檢測(cè)到目標(biāo)的預(yù)測(cè)框，加入未預(yù)測(cè)到目標(biāo)的預(yù)測(cè)框系數(shù)λnoobj來(lái)降低其數(shù)值占比，本文取0.5。在訓(xùn)練過(guò)程中，通過(guò)優(yōu)化算法使得Loss函數(shù)收斂到最小。在預(yù)測(cè)階段，由于網(wǎng)格設(shè)計(jì)強(qiáng)化了邊界框預(yù)測(cè)中的空間多樣性，一些較大或靠近多個(gè)網(wǎng)格單元邊界的目標(biāo)可能會(huì)被多個(gè)網(wǎng)格單元定位，因此本文使用非極大值抑制算法[22]來(lái)修正多重檢測(cè)，從而獲得準(zhǔn)確的識(shí)別結(jié)果。

3 遷移學(xué)習(xí)結(jié)果與分析

3.1 實(shí)驗(yàn)設(shè)計(jì)

為保證數(shù)據(jù)集能夠較好地反映自然環(huán)境下柑橘目標(biāo)的真實(shí)特點(diǎn)，在廣西合浦柑橘種植園拍攝了1 200幅柑橘樣本圖像，拍攝時(shí)間包括晴天正午、晴天傍晚以及陰天正午3個(gè)時(shí)段。選用Basler acA2440-20gc型工業(yè)相機(jī)采集圖像數(shù)據(jù)，采用焦距為8 mm的定焦鏡頭。經(jīng)過(guò)人工挑選后制作了包括1 000幅柑橘圖像的VOC2007格式的數(shù)據(jù)集。為保證訓(xùn)練集的有效性，訓(xùn)練集中包含光照不均圖像241幅、前背景相似圖像134幅、果實(shí)以及枝葉相互遮擋圖像246幅、陰影覆蓋圖像211幅、過(guò)曝圖像168幅。將1 000幅圖像按照訓(xùn)練集、測(cè)試集、驗(yàn)證集7∶2∶1的比例配置。以端到端訓(xùn)練方式對(duì)上述訓(xùn)練集進(jìn)行訓(xùn)練，并計(jì)算平均損失率和在全體測(cè)試集和驗(yàn)證集上的平均準(zhǔn)確率(Mean average precision，MAP)。

同時(shí)為了驗(yàn)證本文方法的有效性，將可變性部件模型[23](Deformable part model，DPM)與本文模型進(jìn)行對(duì)比測(cè)試。DPM算法提取目標(biāo)的HOG特征，并使用支持向量機(jī)分類器，源碼版本選擇voc-release 4.01，訓(xùn)練50 000次，數(shù)據(jù)集依然采用VOC2007格式，按照訓(xùn)練集、測(cè)試集7∶3的配置分配訓(xùn)練。

3.2 實(shí)驗(yàn)數(shù)據(jù)性能指標(biāo)計(jì)算方法

本文方法和DPM算法均使用VOC2007格式數(shù)據(jù)集和P-R曲線測(cè)試網(wǎng)絡(luò)性能。P-R曲線的數(shù)據(jù)插值方法使用VOC2007規(guī)范，即11點(diǎn)插值法(Eleven-point interpolation)。對(duì)于網(wǎng)絡(luò)檢測(cè)出來(lái)的目標(biāo)，定為Positive樣本，未檢測(cè)出來(lái)的目標(biāo)定為Negative樣本。采用0.5為IOU閾值，大于0.5的認(rèn)定為檢測(cè)正確，檢測(cè)結(jié)果為T；反之，則為檢測(cè)錯(cuò)誤，檢測(cè)結(jié)果為F。故實(shí)驗(yàn)結(jié)果有4種，分別為檢測(cè)出來(lái)的IOU值小于等于0.5的目標(biāo)FP、檢測(cè)出來(lái)的IOU值大于0.5的目標(biāo)TP、未檢測(cè)出來(lái)的真值目標(biāo)FN、TN。本文不統(tǒng)計(jì)TN類樣本。準(zhǔn)確率(Precision)的計(jì)算方法為

(1)

式中TP——檢測(cè)出來(lái)的IOU值大于0.5的目標(biāo)數(shù)量

FP——檢測(cè)出來(lái)的IOU值小于等于0.5的目標(biāo)數(shù)量

召回率(Recall)為識(shí)別出的柑橘數(shù)占圖像中總目標(biāo)數(shù)的比例，其計(jì)算方法為

(2)

式中FN——未檢測(cè)出來(lái)的真值目標(biāo)數(shù)量

3.3 結(jié)果分析

遷移學(xué)習(xí)具有良好的泛化能力且具有良好的抑制過(guò)擬合能力，本文利用遷移學(xué)習(xí)和非遷移學(xué)習(xí)訓(xùn)練柑橘目標(biāo)識(shí)別模型，訓(xùn)練損失如圖2所示。

圖2 遷移學(xué)習(xí)與非遷移學(xué)習(xí)方法訓(xùn)練損失Fig.2 Training loss of transfer learning and non-transfer learning methods

從圖2可知，遷移學(xué)習(xí)可以使得訓(xùn)練過(guò)程更加平滑，在相同訓(xùn)練輪數(shù)下，其平均損失遠(yuǎn)低于未使用遷移學(xué)習(xí)。訓(xùn)練結(jié)束后，遷移學(xué)習(xí)在召回率大于后者的情況下，依然可以取得更好的平均準(zhǔn)確率。兩種訓(xùn)練方法的參數(shù)如表1所示。

表1 遷移學(xué)習(xí)與非遷移學(xué)習(xí)訓(xùn)練參數(shù)Tab.1 Training parameters of transfer learning and non-transfer learning methods

遷移學(xué)習(xí)與非遷移學(xué)習(xí)方法的基本訓(xùn)練參數(shù)相同，初始學(xué)習(xí)率取0.01，動(dòng)量為0.9，學(xué)習(xí)衰減率為0.000 5，每輪訓(xùn)練圖像數(shù)量為8。2 000輪訓(xùn)練后，遷移學(xué)習(xí)的學(xué)習(xí)率固定，陷入局部最優(yōu)。未使用遷移學(xué)習(xí)的網(wǎng)絡(luò)在達(dá)到局部最優(yōu)后，即使降低學(xué)習(xí)率也并不能使得網(wǎng)絡(luò)平均損失率明顯下降。遷移學(xué)習(xí)和非遷移學(xué)習(xí)訓(xùn)練方法的平均損失、最大召回率和平均準(zhǔn)確率如表2所示。

表2 遷移學(xué)習(xí)與非遷移學(xué)習(xí)訓(xùn)練結(jié)果Tab.2 Training results of transfer learning and non-transfer learning methods

由表2可知，非遷移學(xué)習(xí)訓(xùn)練的柑橘目標(biāo)識(shí)別模型獲得的平均損失為20.5，本文通過(guò)降低學(xué)習(xí)率的方法使得平均損失下降了12.8，最終平均損失達(dá)到了7.7。訓(xùn)練結(jié)束后，在驗(yàn)證、測(cè)試數(shù)據(jù)集上計(jì)算平均準(zhǔn)確率，分別為86.9%和78.3%?；谶w移學(xué)習(xí)方法訓(xùn)練的模型平均損失較低，平均準(zhǔn)確率較高，有效提高了模型的性能。

使用遷移學(xué)習(xí)和未使用遷移學(xué)習(xí)訓(xùn)練模型的柑橘目標(biāo)檢測(cè)結(jié)果如圖3所示。

圖3 遷移學(xué)習(xí)和非遷移學(xué)習(xí)訓(xùn)練模型檢測(cè)結(jié)果Fig.3 Test results of transfer learning and non-transfer learning methods

圖3a中標(biāo)號(hào)1的結(jié)果將兩個(gè)識(shí)別條件良好的柑橘識(shí)別成了一個(gè)，而且還存在目標(biāo)框重疊問(wèn)題，標(biāo)號(hào)2結(jié)果將兩個(gè)相互重疊的柑橘識(shí)別成一個(gè)目標(biāo)。作為對(duì)比，圖3b中標(biāo)號(hào)1、2的檢測(cè)結(jié)果都能正確區(qū)分并識(shí)別柑橘，并且圖3b識(shí)別出了更多的柑橘，可以看出遷移學(xué)習(xí)的檢測(cè)系統(tǒng)具有更高的召回率。由圖3可知，兩種訓(xùn)練方法都識(shí)別出柑橘目標(biāo)，但常規(guī)訓(xùn)練下的網(wǎng)絡(luò)識(shí)別出的柑橘目標(biāo)框存在較大的誤差與較低的召回率。由此可知遷移學(xué)習(xí)可以提高網(wǎng)絡(luò)的目標(biāo)檢測(cè)性能。

DPM算法是目前常用目標(biāo)檢測(cè)算法之一。DPM算法與本文方法在自然采摘環(huán)境下柑橘目標(biāo)識(shí)別的P-R曲線如圖4所示。測(cè)試集和驗(yàn)證集共包含300幅圖像，包括光照不均、前背景相似、果實(shí)以及枝葉相互遮擋、陰影覆蓋、過(guò)曝。

圖4 兩種方法的P-R曲線Fig.4 P-R curves of two methods

圖4a中DPM算法的P-R曲線平均準(zhǔn)確率為67.56%，遠(yuǎn)低于本文方法的86.91%。本文方法較DPM算法具有更高的召回率，且P-R曲線較DPM算法曲線更加平滑穩(wěn)定，在較高召回率情況下，依舊可以保持較高的準(zhǔn)確率。以人工進(jìn)行柑橘目標(biāo)識(shí)別標(biāo)注的結(jié)果為標(biāo)準(zhǔn)，在不同干擾因素下，DPM算法與本文方法的識(shí)別平均準(zhǔn)確率對(duì)比如表3所示。

表3 DPM算法與本文方法識(shí)別平均準(zhǔn)確率對(duì)比Tab.3 Experimental result of citrus using DPM and proposed method %

從表3可知，DPM算法的準(zhǔn)確率遠(yuǎn)低于本文方法。針對(duì)果實(shí)與枝葉遮擋條件，評(píng)估所用數(shù)據(jù)集包含67幅存在果實(shí)與枝葉遮擋的圖像，遮擋率的計(jì)算方法為67幅遮擋圖中被遮擋柑橘的遮擋面積占其總面積的比率均值，經(jīng)統(tǒng)計(jì)，平均遮擋率為48%，DPM算法檢測(cè)的準(zhǔn)確率只有60.8%，而本文方法準(zhǔn)確率為83.6%。同時(shí)，本文方法在表3的多個(gè)影響因素下的識(shí)別平均準(zhǔn)確率的均值為86.6%。

圖5 本文方法對(duì)自然條件下柑橘目標(biāo)識(shí)別結(jié)果Fig.5 Detecting results of citrus by proposed method under natural conditions

本文方法的目標(biāo)識(shí)別結(jié)果如圖5所示。圖5a中，枝葉遮擋面積小于50%(圖中標(biāo)號(hào)1、2、3)，其IOU值分別為0.8、0.95、0.9。但如果遮擋面積過(guò)大，則依舊無(wú)法成功識(shí)別(圖中藍(lán)框)。藍(lán)框中的柑橘具有標(biāo)簽值，但未被識(shí)別，相當(dāng)于IOU值為0，分類結(jié)果為FN。其他情形以此類推。圖5b中，標(biāo)號(hào)1、2、3的樣本存在陰影覆蓋和過(guò)曝，本文方法依然可以識(shí)別柑橘目標(biāo)。圖5c中，弱光條件下，柑橘紋理不明顯，同時(shí)顏色也有較大變化，個(gè)別位置甚至可能出現(xiàn)柑橘和枝葉顏色混合的現(xiàn)象，這時(shí)不管是SIFT特征還是HOG特征效果較差。但使用本文方法均可準(zhǔn)確識(shí)別柑橘。藍(lán)框標(biāo)出的柑橘由于光照條件太差，顏色信息損失太多并未成功識(shí)別。圖5d中，在前背景相似情況下，柑橘顏色幾乎和枝葉顏色融為一體，同時(shí)還伴有光照變化和陰影覆蓋等情況存在。本文所設(shè)計(jì)的模型取得了較好的效果，其中識(shí)別效果較差的2號(hào)柑橘的IOU仍可達(dá)到0.8，分類結(jié)果為TP。由圖5識(shí)別結(jié)果可知，本文方法能夠有效地應(yīng)對(duì)多種戶外采摘條件下的干擾因素。

實(shí)地拍攝的圖像尺寸為2 448像素×2 448像素，由于圖像像素較大，柑橘較小，因此將圖像分成4幅有重疊的子圖進(jìn)行識(shí)別，子圖尺寸為1 000像素×1 000像素。識(shí)別模型將子圖縮放到416像素×416像素，識(shí)別完成后將識(shí)別結(jié)果聚合，以此實(shí)現(xiàn)多尺度圖像的識(shí)別。本文所設(shè)計(jì)的柑橘目標(biāo)識(shí)別模型的運(yùn)算平臺(tái)為i7-6850K CPU，Nvidia GTX 1080Ti GPU，內(nèi)存32 GB。識(shí)別時(shí)間為從將圖像分割成4幅子圖到將4幅子圖識(shí)別結(jié)果聚合在一起輸出最后識(shí)別結(jié)果的總時(shí)間。經(jīng)測(cè)試，1 000幅圖像的平均識(shí)別速度為12.5幀/s，因此該模型具有良好的實(shí)時(shí)性，能夠滿足實(shí)際自動(dòng)化采摘的目標(biāo)識(shí)別速度要求。

4 結(jié)論

(1)設(shè)計(jì)的基于深度卷積神經(jīng)網(wǎng)絡(luò)的柑橘目標(biāo)識(shí)別模型對(duì)光照變化、亮度不勻、前背景相似、果實(shí)及枝葉相互遮擋、陰影覆蓋等實(shí)際采摘環(huán)境下常見(jiàn)干擾因素及其疊加情形具有良好的魯棒性，可為柑橘采摘機(jī)器人設(shè)計(jì)提供參考。

(2)本文方法對(duì)柑橘識(shí)別的平均準(zhǔn)確率均值達(dá)到了86.6%，平均損失為7.7，最大召回率為93%，實(shí)驗(yàn)結(jié)果表明，該模型能夠在自然采摘環(huán)境下進(jìn)行準(zhǔn)確和快速的柑橘目標(biāo)識(shí)別及定位。