汪伯軍 ， 郭保銀 ， 黃富饒 ， 趙 虎 ， 馮 川

（1.中國煙草總公司重慶市公司煙葉分公司，重慶 400023；2.西南大學(xué)工程技術(shù)學(xué)院，重慶 400716）

0 引言

煙葉在烘烤時(shí)所處階段的判別對于提升烤煙品質(zhì)具有重要意義。但目前烘烤師對于密集烤房內(nèi)煙葉的變黃和干燥程度的判斷，主要依據(jù)眼睛看和手觸摸，極易受主觀經(jīng)驗(yàn)的影響。因此，實(shí)現(xiàn)煙葉烘烤階段自動判別，減少人為影響，提高判別準(zhǔn)確率，是目前煙葉烘烤領(lǐng)域的研究重點(diǎn)[1]。

近年來，隨著人工智能的崛起，機(jī)器視覺技術(shù)在農(nóng)業(yè)領(lǐng)域應(yīng)用越來越廣泛。在煙葉烘烤階段中，陳飛程等[2]建立了對煙葉含水率進(jìn)行預(yù)測的BP 神經(jīng)網(wǎng)絡(luò)模型，得到的預(yù)測決定系數(shù)R2為0.998 7；吳娟[3]基于圖像特征建立GA-SVM 模型對烤房內(nèi)烤煙的烘烤階段進(jìn)行判定，總體識別精度為96.5%；李增盛等[4]利用由相關(guān)性分析得出的特征集測試了GA-SVM、PSOBP 和ELM 三種模型并進(jìn)行了比較，它們的準(zhǔn)確率分別是93.27%、89.35%和85.05%，最終發(fā)現(xiàn)基于遺傳算法的SVM 模型識別效果更加優(yōu)秀?？傮w來講，對于煙葉烘烤階段的判別主要還是依據(jù)顏色信息[2-5]。

目前的機(jī)器視覺技術(shù)雖然在實(shí)驗(yàn)中準(zhǔn)確率較高，但是烤房設(shè)備算力有限，部分設(shè)備難以部署神經(jīng)網(wǎng)絡(luò)，另外在嵌入式設(shè)備中進(jìn)行機(jī)器學(xué)習(xí)的程序框架還不成熟，以上種種問題導(dǎo)致算法易于研究卻難以落地[5]。所以，對于煙葉烘烤階段判斷這一特定問題，采用基于傳統(tǒng)計(jì)算機(jī)圖形學(xué)的方式進(jìn)行解決，就可以消除機(jī)器學(xué)習(xí)龐大的算力需求帶來的負(fù)擔(dān)，達(dá)到節(jié)約運(yùn)算成本的目的[2-5]。

1 材料與方法

1.1 實(shí)驗(yàn)材料

煙葉采烤一體項(xiàng)目實(shí)驗(yàn)于2022 年烘烤季在涪陵、黔江、奉節(jié)等地進(jìn)行，烤煙品種為云煙87。為了有效地采集烘烤全過程的圖像，整個(gè)烘烤操作皆由專業(yè)的烘烤師負(fù)責(zé)，在烤房中層設(shè)置溫濕度傳感器，保證烘烤工藝符合行業(yè)標(biāo)準(zhǔn)。在烤房出風(fēng)墻正對煙葉30 cm的位置安裝配備標(biāo)準(zhǔn)光源的圖像采集設(shè)備，調(diào)整攝像頭的角度和高度，每隔30 min在線實(shí)時(shí)采集烘烤過程中的煙葉圖像，并將圖像上傳至服務(wù)器，圖像采集設(shè)備裝置如圖1 所示。采集得到的圖像數(shù)據(jù)樣本類型為*.JPEG，分辨率為3 840×2 160。圖像樣本如圖2 所示，圖2（a）是鮮煙葉，圖2（b）是烘烤后的成品煙葉。

圖1 圖像采集裝置

圖2 圖像樣本

1.2 烤煙烘烤階段分級標(biāo)準(zhǔn)

按照國家現(xiàn)行標(biāo)準(zhǔn)煙葉烘烤“三段六步式”工藝，將整個(gè)烘烤過程分為10 個(gè)階段，除鮮煙期定義為第一階段，其他分別為變黃期、定色期和干筋期，根據(jù)溫度和卷邊特性，各設(shè)3 個(gè)階段[6-7]。因此，圖像樣本總分10 類，分別為Stage1 至Stage10。具體分類情況如表1 所示。

表1 烤煙烘烤階段分級劃分

1.3 數(shù)據(jù)預(yù)處理

烤煙圖像受背景、光照等不可抗力因素影響產(chǎn)生噪聲，且烘烤過程中烤煙的顏色和形狀差異導(dǎo)致圖像質(zhì)量發(fā)生變化，所以需對采集的圖像進(jìn)行改善處理，增強(qiáng)烤煙圖像的有效信息，提高圖像的辨識度[8]。

1.3.1 圖片有效信息裁剪

烤煙圖像的背景去除能有效地降低圖像的噪聲，增強(qiáng)圖像辨識度。首先，根據(jù)圖像的梯度直方圖將其均衡化，然后將圖像裁剪為100×100 的圖塊，再提取每一個(gè)圖塊的HSV 三通道值，根據(jù)閾值篩選出具有有效信息的圖塊，同時(shí)刪除無效的背景圖塊，最后得到去除背景后的完整烤煙彩色圖像，用于階段分級識別[9]。烤煙圖像背景去除過程如圖3所示。

圖3 烤煙圖像背景去除

1.3.2 數(shù)據(jù)增強(qiáng)

為了增強(qiáng)煙葉等級識別模型的魯棒性，避免過擬合，提高泛化能力，首先要對煙葉圖像數(shù)據(jù)進(jìn)行增強(qiáng)處理。圖像數(shù)據(jù)增強(qiáng)方式包含但不限于鏡像、平移、旋轉(zhuǎn)、縮放、增加亮度等，本文選擇的方式是水平鏡像和垂直鏡像[10]。

圖像的水平鏡像操作是將圖像的左右部分根據(jù)中軸線進(jìn)行鏡像對換。設(shè)點(diǎn)P0(x0,y0)經(jīng)過鏡像對換后得到P(x,y)，此時(shí)圖像高度為fH，寬度為fW，則原圖像P0(x0,y0)經(jīng)過水平鏡像后的坐標(biāo)將變?yōu)?fW-x0,y0)，經(jīng)過垂直鏡像后的坐標(biāo)將變?yōu)?x0,fH-y0)，代表式分別為[10]：

為了方便算法編寫，把它轉(zhuǎn)換為矩陣表達(dá)式：

鏡像后結(jié)果如圖4所示。

圖4 數(shù)據(jù)鏡像

1.4 基于HSV的特征提取器

HSV 是根據(jù)顏色的直觀特性創(chuàng)建的一種顏色空間，它表示著顏色的色調(diào)（H）、飽和度（S）和亮度（V）。可以通過RGB 顏色空間的參數(shù)換算得到HSV參數(shù)值[10-11]，具體算法步驟如下。

1）輸入：烘烤階段基于RGB 顏色空間的圖像f(x,y)|RGB樣本集。

2）過程：

①獲取圖像集像素點(diǎn)三通道值Rx,y,Gx,y,Bx,y；

③取最大值和最小值，Max=max(R'x,y,G'x,y,B'x,y),Min=min(R'x,y,G'x,y,B'x,y)，計(jì)算Δ=Max-Min；

④計(jì)算通道V數(shù)值：

⑤計(jì)算通道S 數(shù)值：

⑥計(jì)算通道H數(shù)值：

3）輸出：轉(zhuǎn)換為HSV顏色空間的圖像f(x,y)|HSV。

2 實(shí)驗(yàn)與結(jié)果

2.1 特征提取與分類模型

基于HSV 顏色空間的特征提取總共有三步。第一步是對圖像使用均衡化處理，然后裁剪并剔除背景較多的圖塊，篩選出有效信息最多的圖塊；第二步是對已篩選好的圖塊{1,2,3,...,i-1,i}進(jìn)行HSV 三通道值提取，得到i項(xiàng)（h1s1v1,h2s2v2,h3s3v3,...,hi-1si-1vi-1,hisivi）通道值，然后對這i張圖塊根據(jù)相同通道求其均值得到h、s、v；第三步是使用閾值篩選的方法將提取出來的通道值分解出10個(gè)類別，對應(yīng)10 個(gè)階段的圖像：

當(dāng)滿足h≥26且60≤s﹤80時(shí)，輸出結(jié)果為階段1；

當(dāng)滿足26≤h﹤30且80≤s﹤90時(shí)，輸出結(jié)果為階段2；

當(dāng)滿足24≤h﹤26時(shí)，輸出結(jié)果為階段3；

當(dāng)滿足22≤h﹤24時(shí)，輸出結(jié)果為階段4；

當(dāng)滿足20≤h﹤22時(shí)，輸出結(jié)果為階段5；

當(dāng)滿足18≤h﹤20時(shí)，輸出結(jié)果為階段6；

當(dāng)滿足16≤h﹤18且s≥72時(shí)，輸出結(jié)果為階段7；

當(dāng)滿足16≤h﹤18且s﹤72時(shí)，輸出結(jié)果為階段8；

當(dāng)滿足14≤h﹤16且s≥53時(shí)，輸出結(jié)果為階段9；

當(dāng)滿足14≤h﹤16且s﹤53時(shí)，輸出結(jié)果為階段10。

特征提取與分類如圖5 所示。

圖5 特征提取與分類

2.2 結(jié)果

采用本文2.1 節(jié)所描述的基于HSV 顏色空間的特征提取算法，每個(gè)階段的驗(yàn)證效果對比如表2所示。

表2 模型效果驗(yàn)證

由表2 可知，階段3 和階段4 達(dá)到了非常理想的效果，驗(yàn)證準(zhǔn)確率達(dá)到了100%，而階段5 因?qū)儆谧凕S期與定色期交接部分，相對而言區(qū)分度不高，區(qū)分難度較大。各階段驗(yàn)證錯(cuò)誤率對比情況，如圖6所示。

圖6 各階段驗(yàn)證情況對比

由表2 和圖6 可知，模型整體表現(xiàn)比較好，整體準(zhǔn)確率達(dá)到了90.64%，符合行業(yè)判斷標(biāo)準(zhǔn)。

驗(yàn)證曲線和實(shí)際曲線的擬合效果如圖7 所示。圖7 中展示了烘烤時(shí)的工藝曲線，可以從中清晰地了解到整體烘烤階段識別效果，圖像不僅展示了驗(yàn)證曲線和實(shí)際曲線的擬合效果，還表現(xiàn)出了各個(gè)階段的擬合水平。由圖7 可知，在第5 階段波動比較大，從實(shí)際情況看，是因?yàn)榇藭r(shí)烤房溫度處于44 ℃左右，屬于變黃期完—定色期始，此時(shí)煙葉氣孔基本打開，烤房內(nèi)部處于大排濕狀態(tài)，溫度變化不明顯，顏色變化小[12-14]；在第9 階段波動也比較明顯，從實(shí)際情況看，是因?yàn)榇藭r(shí)烤房溫度處于60 ℃以上，煙夾內(nèi)外葉片全干，主脈干燥1/3~1/2，主脈干燥難度大，圖像變化不明顯[12-14]。但整體上，從烘烤工藝曲線的表現(xiàn)來看，擬合度達(dá)90%以上。

圖7 驗(yàn)證曲線和實(shí)際曲線的擬合效果

3 結(jié)論

本文提出了基于HSV 顏色空間的特征提取算法，用于煙葉烘烤階段的識別，最終整體準(zhǔn)確率達(dá)到90.64%，階段3 和階段4 更是達(dá)到了100%。研究表明，將圖像處理技術(shù)應(yīng)用于煙葉烘烤階段的識別，對判斷烘烤進(jìn)程、指導(dǎo)烘烤參數(shù)（溫濕度、火力、升溫穩(wěn)溫時(shí)間等）調(diào)節(jié)、提高烘烤品質(zhì)、減少物料浪費(fèi)和烘烤成本具有實(shí)際意義。本研究為后續(xù)繞過深度學(xué)習(xí)等大算力算法但能提高實(shí)際應(yīng)用效果方面的研究提供了方向。