張玉榮，王強(qiáng)強(qiáng)，吳 瓊，祝方清

1.河南工業(yè)大學(xué) 糧油食品學(xué)院，河南糧食作物協(xié)同創(chuàng)新中心，糧食儲(chǔ)藏安全河南省協(xié)同創(chuàng)新中心,河南 鄭州 450001

2.湖北大學(xué)知行學(xué)院，湖北 武漢 430011

小麥?zhǔn)俏覈?guó)的三大儲(chǔ)備糧食之一，做好小麥品質(zhì)的檢測(cè)工作對(duì)于國(guó)家穩(wěn)定以及經(jīng)濟(jì)的平穩(wěn)發(fā)展具有重要意義[1]。目前，在小麥品質(zhì)檢驗(yàn)工作中，不完善粒的檢測(cè)完全是由檢驗(yàn)員感官檢測(cè)，工作量大、費(fèi)時(shí)費(fèi)力且主觀性強(qiáng)[2]。小麥不完善粒定義為受到損傷但尚有食用價(jià)值的籽粒，包括破損粒、生芽粒、蟲(chóng)蝕粒、病斑粒和霉變粒[3-8]。為克服人工檢驗(yàn)的不足以及實(shí)現(xiàn)小麥不完善?？焖贌o(wú)損檢測(cè)的要求，利用圖像處理技術(shù)與深度學(xué)習(xí)的小麥不完善粒識(shí)別研究一直是糧食品質(zhì)檢測(cè)領(lǐng)域的研究熱點(diǎn)[9]。國(guó)內(nèi)研究中，曹婷翠等[10]將小麥粒以無(wú)粘連的方式整齊擺放在透明的載物板上進(jìn)行圖像采集和處理，建立圖像數(shù)據(jù)庫(kù) WheatImage，設(shè)計(jì)并實(shí)現(xiàn)2個(gè)卷積層、2個(gè)池化層和1個(gè)全連接層的卷積神經(jīng)網(wǎng)絡(luò)模型的小麥不完善粒識(shí)別，較傳統(tǒng)的機(jī)器識(shí)別方法識(shí)別率提高了15%，對(duì)于加入噪聲干擾的圖像，識(shí)別率也達(dá)到 90%以上，有效解決了傳統(tǒng)小麥不完善粒識(shí)別中提取特征復(fù)雜等問(wèn)題，但深度模型的結(jié)構(gòu)淺、圖像信息單一。張博[11]使用MATLAB、Python軟件，對(duì)采集的整齊無(wú)粘連的小麥圖像進(jìn)行處理，通過(guò)對(duì)單籽粒圖像進(jìn)行旋轉(zhuǎn)、翻轉(zhuǎn)操作，擴(kuò)容樣本，建立傳統(tǒng) SVM 模型和經(jīng)典CNN網(wǎng)絡(luò)模型，識(shí)別結(jié)果表明，傳統(tǒng) SVM 模型和經(jīng)典 CNN 模型對(duì)小麥籽粒的正確識(shí)別率分別為80.2%和90.6%，深度學(xué)習(xí)識(shí)別模型可有效用于小麥不完善粒分類識(shí)別中，但旋轉(zhuǎn)與翻轉(zhuǎn)的樣本擴(kuò)容操作在深度模型訓(xùn)練中就可實(shí)現(xiàn)，擴(kuò)容操作導(dǎo)致圖像數(shù)據(jù)冗余，模型學(xué)習(xí)效率低。國(guó)外研究中，Thomson等[12]對(duì)小麥籽粒進(jìn)行逐粒掃描生成小麥三維圖形圖像，對(duì)小麥的完善粒和發(fā)芽粒進(jìn)行分類識(shí)別，識(shí)別率分別為83%、89%。Neethirajan等[13]通過(guò)人工提取小麥籽粒的55個(gè)特征，使用BP人工神經(jīng)網(wǎng)絡(luò)進(jìn)行分類識(shí)別，整體識(shí)別準(zhǔn)確率達(dá)到 95%。此外對(duì)基于高光譜圖像的機(jī)器視覺(jué)在小麥不完善粒識(shí)別中的應(yīng)用進(jìn)行了探索，光譜信息和圖像特征相結(jié)合可有效提高小麥不完善粒的識(shí)別準(zhǔn)確率[14-15]。這些研究方法處理的小麥圖像大都是排列整齊、方向一致，雖然具有較高的識(shí)別準(zhǔn)確率，但并不適合實(shí)際工作中小麥不完善粒在小麥籽粒堆中隨機(jī)分布的檢測(cè)識(shí)別。

OpenCV計(jì)算機(jī)視覺(jué)庫(kù)作為常用的圖像處理庫(kù)，支持目前先進(jìn)的圖像處理技術(shù)且功能完善，采用Matlab、Python結(jié)合Visual Studio調(diào)用OpenCV函數(shù)庫(kù)進(jìn)行不同類型圖像的濾波運(yùn)算，可顯著提高處理效率，降低編程設(shè)計(jì)成本[16-19]。Dominguez等[20]將ImageJ(用于生命科學(xué)的圖像分析程序)和OpenCV計(jì)算機(jī)視覺(jué)庫(kù)結(jié)合開(kāi)發(fā)了一個(gè)可用于生物醫(yī)學(xué)圖像有效處理且可公開(kāi)使用的IJ-OpenCV庫(kù)；吳林輝等[21]以Java編程語(yǔ)言為基礎(chǔ)，使用OpenCV圖像技術(shù)定位車牌、分割車牌，接著應(yīng)用Tensorflow成功識(shí)別車牌字符，但編程煩瑣、識(shí)別單一、移植性差。Python語(yǔ)言較Visual Studio和Java語(yǔ)言語(yǔ)法簡(jiǎn)潔清晰，具有豐富和強(qiáng)大的庫(kù)，能夠快捷調(diào)用OpenCV 庫(kù)中的函數(shù)進(jìn)行實(shí)時(shí)圖像處理[22]。李清洲等[23]使用Python-OpenCV函數(shù)庫(kù)設(shè)計(jì)車牌識(shí)別系統(tǒng)，充分利用計(jì)算機(jī)視覺(jué)類庫(kù)OpenCV對(duì)圖像的處理功能，完成多種類型的汽車車牌識(shí)別。此外深度學(xué)習(xí)和支持向量機(jī)被廣泛應(yīng)用于圖像處理和分類識(shí)別[24-26]。尚未見(jiàn)OpenCV函數(shù)庫(kù)在小麥不完善粒中應(yīng)用方面的研究。作者采用Python-OpenCV函數(shù)庫(kù)對(duì)小麥籽粒方向、位置隨機(jī)的原始圖像進(jìn)行處理，然后在Python環(huán)境下應(yīng)用基于Keras框架的卷積深度模型做小麥不完善粒識(shí)別測(cè)試，可有效解決OpenCV函數(shù)庫(kù)在C語(yǔ)言或Java語(yǔ)言環(huán)境下不易配置與調(diào)用的問(wèn)題，同時(shí)保證了小麥不完善粒識(shí)別的準(zhǔn)確性。

1 材料與裝置

1.1 原料與試驗(yàn)平臺(tái)

采用河南中儲(chǔ)糧質(zhì)量檢測(cè)中心提供的不同儲(chǔ)藏年限和不同品質(zhì)的1 000余份小麥小樣，從樣品中挑出完善粒、生芽粒、破損粒、蟲(chóng)蝕粒和病霉粒(病斑粒和生霉粒)。

圖像采集平臺(tái)：自主設(shè)計(jì)；計(jì)算機(jī)：戴爾有限公司；48MP相機(jī)：小米有限公司；Anaconda3 2019.10、Python 3.7.4、PyCharm 2019.3.1、Numpy 1.16.5、Matplotlib 3.1.1、Pandas 0.25.1、Keras 2.4.4、Tensorflow_gpu 1.13.1軟件。

1.2 圖像采集

為克服傳統(tǒng)圖像采集時(shí)采集到的圖像不能實(shí)時(shí)傳輸?shù)接?jì)算機(jī)及時(shí)標(biāo)記處理、鏡頭與載物板之間距離不易控制、光源不均、籽粒必須整齊擺放等問(wèn)題，本研究設(shè)計(jì)開(kāi)發(fā)了一個(gè)采集小麥圖像的簡(jiǎn)易裝置，如圖1所示，黑色吸光布與載物盤相結(jié)合組成接料盤，黑色吸光布具有不反光、質(zhì)地軟、摩擦大等特點(diǎn)，既能使采集到的原始圖像沒(méi)有反光陰影干擾又能使從一定距離落下的小麥籽粒不易彈起和滾動(dòng)，可避免籽粒黏結(jié)和區(qū)域籽粒聚集的現(xiàn)象，使小麥籽粒均勻、隨機(jī)地散落在接料盤上。

注：1.計(jì)算機(jī)； 2.相機(jī)； 3.光源； 4.限位槽; 5.載物盤；6.黑色吸光布； 7.底座； 8.右擋光板；9.左擋光板。

圖像采集時(shí)，將一個(gè)高10.0 mm、每個(gè)內(nèi)孔直徑為4.5 mm的蜂窩式自由落料器置于接料盤上方5.0 mm處，小麥籽粒通過(guò)落料器的不同孔下落到接料盤的黑色吸光布上，推到相機(jī)下方進(jìn)行拍照，傳輸?shù)接?jì)算機(jī)以JPG格式保存，完成小麥籽粒原始圖像采集。

2 Python-OpenCV圖像預(yù)處理

對(duì)采集到的小麥原始圖像使用Python-OpenCV函數(shù)庫(kù)進(jìn)行圖像預(yù)處理，步驟如圖2所示。

圖2 OpenCV圖像處理的步驟

2.1 圖像導(dǎo)入與圖像增強(qiáng)

2.1.1 圖像導(dǎo)入與格式轉(zhuǎn)換

OpenCV圖像處理時(shí)函數(shù)cv2.imread()用于讀取圖像文件，cv2.cvtColor()函數(shù)進(jìn)行顏色空間轉(zhuǎn)換得到RGB格式的小麥圖像，之后對(duì)圖像進(jìn)行灰度化處理使圖像特征增強(qiáng)，運(yùn)行結(jié)果如圖3所示。從圖3可以看出，原始圖像為RGB格式，灰度化格式圖像(圖3c)并不是通常意義上的黑白圖像。

圖3 圖像格式轉(zhuǎn)換結(jié)果

2.1.2 圖像去噪

對(duì)小麥原始圖像進(jìn)行去噪處理，可去除圖像中的噪聲干擾，使小麥籽粒在視覺(jué)上容易與背景區(qū)分。通過(guò)OpenCV圖像處理技術(shù)中常用的均值濾波cv2.blur()、高斯濾波cv2.GaussianBlur()、雙邊濾波cv2.bilateralFilter()、中值濾波cv2.medianBlur()[27]4種濾波器對(duì)小麥圖像進(jìn)行濾波操作，結(jié)果如圖4所示。從圖4可以看出，均值濾波(圖4c)的處理效果最優(yōu)。

圖4 圖像4種濾波結(jié)果

2.1.3 圖像二值化

對(duì)小麥籽粒圖像進(jìn)行二值化處理，可將圖像目標(biāo)物與圖像背景分類，以用于后續(xù)的分割識(shí)別處理。Otsu′s二值化是對(duì)圖像進(jìn)行一個(gè)雙峰直方圖計(jì)算，根據(jù)直方圖自動(dòng)計(jì)算出一個(gè)閾值數(shù)值，即雙峰的中間值，函數(shù)cv2.THRESH_OTSU根據(jù)這個(gè)閾值數(shù)值對(duì)圖像進(jìn)行二值化處理，運(yùn)行結(jié)果如圖5所示，該直方圖具有明顯的雙峰，圖像的自動(dòng)閾值數(shù)值計(jì)算結(jié)果為115。Otsu′s二值化的圖像結(jié)果較簡(jiǎn)單,閾值二值化(閾值設(shè)置為80)圖像結(jié)果更優(yōu)。

圖5 去噪Otsu′s二值化

2.2 圖像形態(tài)學(xué)處理

小麥籽粒原始圖像經(jīng)過(guò)灰度化處理、均值濾波去噪、圖像二值化處理后，籽粒圖像的許多細(xì)節(jié)信息得到了增強(qiáng)，對(duì)比度增加，但小麥籽粒圖像上仍存在少量的噪聲信息，如籽粒邊緣上存在一定細(xì)小的毛刺、斷裂或者邊界圖像信息模糊不清。運(yùn)用圖像形態(tài)學(xué)處理的圖像細(xì)化、像素化和修剪毛刺等技術(shù)在圖像后處理中進(jìn)一步優(yōu)化圖像,成為圖像增強(qiáng)的有力補(bǔ)充。OpenCV中膨脹、腐蝕、開(kāi)運(yùn)算以及閉運(yùn)算的函數(shù)如表1所示。

表1 OpenCV形態(tài)學(xué)處理函數(shù)

去噪小麥籽粒二值圖像形態(tài)學(xué)處理的結(jié)果如圖6所示，經(jīng)過(guò)均值濾波運(yùn)算后的小麥二值化圖像腐蝕操作后部分籽粒邊緣信息被掩蓋，膨脹操作后籽粒毛刺和黏結(jié)被放大，開(kāi)閉運(yùn)算處理后的圖像、噪聲得到了有效去除，人的視覺(jué)已可以清晰地觀察到籽粒形態(tài)。

圖6 去噪圖像形態(tài)學(xué)處理

2.3 圖像分割

用于圖像分割的常用方法有2種：一種是基于卷積神經(jīng)網(wǎng)絡(luò)和圖像處理技術(shù)的圖像分割新方法，具有粗糙圖像分割(CIS)算法和精細(xì)圖像分割(FIS)算法[28]；另一種是通過(guò)k-最近鄰方法進(jìn)行的k均值聚類數(shù)據(jù)分類，即k均值聚類圖像分割[29]。本研究采用k均值聚類圖像分割，首先對(duì)小麥完全預(yù)處理后的圖像進(jìn)行掩膜處理，然后對(duì)圖像中的籽粒進(jìn)行輪廓檢測(cè)，將檢測(cè)到的輪廓用一個(gè)矩形邊框包起來(lái)，最后通過(guò)計(jì)算矩形方框的矩陣坐標(biāo)將其剪裁保存下來(lái)完成圖像的分割。

在Python-OpenCV圖像處理中，掩膜的概念是從PCB版制作過(guò)程借鑒而來(lái)，通過(guò)掩膜操作，用選定的圖像對(duì)需要處理的圖像進(jìn)行遮擋，來(lái)控制圖像，使被分割處理的區(qū)域在剪裁時(shí)不被波及，從而保留完整的單籽粒信息。掩膜運(yùn)算函數(shù)cv2.bitwise_and()是一種圖像到圖像的“與”關(guān)系，運(yùn)算結(jié)果如圖7所示。完成小麥圖像掩膜操作后，使用cv2.findContours()函數(shù)對(duì)圖像中的籽粒進(jìn)行輪廓檢測(cè)，經(jīng)過(guò)參數(shù)試驗(yàn)，以生芽粒圖像為例，在圖像掩膜處理后得到的輪廓檢測(cè)效果如圖8所示，用cv2.minAreaRect()函數(shù)與cv2.boxPoints()函數(shù)對(duì)經(jīng)過(guò)輪廓檢測(cè)的圖像進(jìn)行最小矩形標(biāo)記處理用于圖像分割，結(jié)果如圖9所示。

圖7 掩膜操作

圖8 輪廓檢測(cè)

圖9 矩形邊框

完成矩形邊框標(biāo)記后，通過(guò)計(jì)算矩形方框的4個(gè)頂點(diǎn)矩陣坐標(biāo)值，據(jù)此坐標(biāo)將其剪裁保存下來(lái)完成圖像的分割，矩形方框矩陣坐標(biāo)計(jì)算方法如圖10所示，以整幅圖像像素點(diǎn)為基準(zhǔn)建立坐標(biāo)軸，將圖像中每一個(gè)最小矩形方框的左上角頂點(diǎn)定義為坐標(biāo)(x,y)，右下角頂點(diǎn)坐標(biāo)定義為(x+w,y+h)，使用crop_img和cv2.imwrite()函數(shù)將每一個(gè)剪裁到的小麥籽粒保存到指定文件夾下。

圖10 像素矩陣坐標(biāo)計(jì)算方法Fig.10 Pixel matrix coordinate calculation method

OpenCV函數(shù)庫(kù)中，k均值聚類函數(shù)cv2.kmeans()與相關(guān)參數(shù)構(gòu)成基于k均值聚類算法的圖像分割，執(zhí)行結(jié)果如圖11a所示，由圖11可知，原始圖像中小麥籽粒方向、位置的隨機(jī)性導(dǎo)致執(zhí)行k均值聚類圖像分割后得到的小麥單籽粒圖像大小不一，采用OpenCV圖像縮放函數(shù)cv2.resize()對(duì)單籽粒圖像進(jìn)行統(tǒng)一處理，結(jié)果如圖11b所示，從圖11可知，5類小麥籽粒圖像外觀特征得到了抽象化的增強(qiáng)，且與小麥籽粒原始形態(tài)一一映射。

3 基于VGG16模型的小麥不完善粒識(shí)別測(cè)試

3.1 基于Keras框架的VGG16模型

Keras是一個(gè)由Python語(yǔ)言編寫(xiě)的高度模塊化的深度學(xué)習(xí)框架，使用Keras框架時(shí)，只需調(diào)用Keras已經(jīng)封裝好的函數(shù)，在程序中就可以查看神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)，也可通過(guò)model.summary()函數(shù)輸出神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)。Keras框架下常用的卷積神經(jīng)網(wǎng)絡(luò)有AlexNet、VGGNet、GoogLeNet和ResNet，AlexNet的模型結(jié)構(gòu)含5個(gè)卷積層、3個(gè)池化層和3個(gè)全連接層，訓(xùn)練快，學(xué)習(xí)能力弱；VGGNet模型的經(jīng)典代表是VGG16，其結(jié)構(gòu)含13個(gè)卷積層、5個(gè)池化層和3個(gè)全連接層，訓(xùn)練慢，深度深，學(xué)習(xí)能力強(qiáng)；GoogLeNet和ResNet都是模塊化的大規(guī)模卷積神經(jīng)網(wǎng)絡(luò)，其規(guī)模是AlexNet和VGG16的數(shù)十倍，一般分類識(shí)別問(wèn)題不宜采用。綜合比較4種神經(jīng)網(wǎng)絡(luò)模型的深度和參數(shù)，VGG16模型的識(shí)別精度和運(yùn)行效率最佳，本研究采用VGG16神經(jīng)網(wǎng)絡(luò)模型，以(224,224,3)的RGB圖像作為輸入數(shù)據(jù)。

3.2 小麥籽粒圖像數(shù)據(jù)庫(kù)

采用直接讀取圖像數(shù)據(jù)的方法，建立小麥不完善粒圖像數(shù)據(jù)庫(kù)，數(shù)據(jù)庫(kù)文件夾下設(shè)3個(gè)數(shù)據(jù)集：訓(xùn)練集、驗(yàn)證集、測(cè)試集，每一個(gè)數(shù)據(jù)集分別包含5類小麥不完善粒圖像數(shù)據(jù)文件，3個(gè)數(shù)據(jù)集的圖像數(shù)據(jù)各自獨(dú)立、互不交叉。圖像數(shù)據(jù)庫(kù)數(shù)據(jù)如表2所示。

表2 圖像數(shù)據(jù)庫(kù)數(shù)據(jù)Table 2 Image database

3.3 訓(xùn)練與驗(yàn)證

訓(xùn)練與驗(yàn)證同時(shí)進(jìn)行，小麥圖像數(shù)據(jù)庫(kù)梯度增加，由VGG16模型結(jié)構(gòu)可知，輸入的單個(gè)小麥圖像數(shù)據(jù)均為(224,224,3)，訓(xùn)練過(guò)程中的數(shù)據(jù)參數(shù)如表3所示。

表3 訓(xùn)練數(shù)據(jù)與參數(shù)Table 3 Training data and parameters

本研究采用的GPU內(nèi)存為0.0/7.9GB，VGG16模型運(yùn)行按93MB/img進(jìn)行計(jì)算，batch_size的值為16、32、64，每個(gè)數(shù)據(jù)庫(kù)參與迭代10、100、500次得出訓(xùn)練模型。data15迭代100次中訓(xùn)練與驗(yàn)證的精度和損失變化如圖12所示。

圖12 data15迭代100次中訓(xùn)練與驗(yàn)證的精度和損失變化

3.4 測(cè)試與分析

使用同一個(gè)測(cè)試集分別對(duì)4個(gè)訓(xùn)練模型進(jìn)行測(cè)試，測(cè)試集(N)共5類，每類200個(gè)圖像數(shù)據(jù)，data15和data18測(cè)試結(jié)果如表4和表5所示。由表4和表5可知，同一數(shù)據(jù)庫(kù)不同迭代次數(shù)訓(xùn)練得到的預(yù)測(cè)模型測(cè)試結(jié)果隨著迭代次數(shù)的增加而提高，data15迭代100次較10次的總體正確率提升了3.1%，data18迭代500次較100次的總體正確率提升了3.8%；不同數(shù)據(jù)庫(kù)同一迭代次數(shù)訓(xùn)練得到的預(yù)測(cè)模型測(cè)試結(jié)果隨著數(shù)據(jù)庫(kù)圖像數(shù)據(jù)增加而提高，迭代100次時(shí)，data18較data15的總體正確率提升了7.4%。分析表明，隨著模型訓(xùn)練迭代次數(shù)的增加，訓(xùn)練參數(shù)通過(guò)去差留優(yōu)逐漸優(yōu)化，預(yù)測(cè)模型識(shí)別準(zhǔn)確率提高；數(shù)據(jù)庫(kù)圖像數(shù)據(jù)增多，圖像信息更全面，預(yù)測(cè)模型識(shí)別準(zhǔn)確率提高。結(jié)果表明，Python-OpenCV圖像處理得到的小麥圖像分類識(shí)別會(huì)隨著小麥圖像數(shù)據(jù)與訓(xùn)練迭代次數(shù)的增加，訓(xùn)練參數(shù)不斷優(yōu)化,圖像信息增多，預(yù)測(cè)模型的識(shí)別正確率提高，且不會(huì)因籽粒圖像信息單一而出現(xiàn)模型訓(xùn)練過(guò)擬合現(xiàn)象。

表4 data15測(cè)試結(jié)果Table 4 Data15 test results

表5 data18測(cè)試結(jié)果Table 5 Data18 test results

4 結(jié)論

通過(guò)Python-OpenCV圖像處理函數(shù)庫(kù)對(duì)小麥圖像進(jìn)行處理后小麥籽粒圖像外觀特征得到了增強(qiáng)，對(duì)于深度學(xué)習(xí)而言，增加了小麥方向、位置隨機(jī)分布以及resize化小麥單籽粒信息，模型訓(xùn)練時(shí)不會(huì)因圖像數(shù)據(jù)信息單一而過(guò)擬合。整齊排列的小麥圖像處理方式，雖然少量的數(shù)據(jù)就能快速訓(xùn)練出來(lái)識(shí)別度較高的分類檢測(cè)模型，但不具備廣泛的實(shí)用性。本研究結(jié)果表明，在小麥籽粒隨機(jī)分布的情況下使用該圖像處理技術(shù)處理完成的小麥籽粒圖像，圖像信息多變，深度模型訓(xùn)練會(huì)隨著訓(xùn)練數(shù)據(jù)與迭代次數(shù)的增加，模型信息越來(lái)越廣泛且不會(huì)訓(xùn)練過(guò)擬合，不完善粒的識(shí)別準(zhǔn)確率也會(huì)逐步提高，以此種圖像數(shù)據(jù)庫(kù)初步訓(xùn)練到的神經(jīng)網(wǎng)絡(luò)模型對(duì)小麥不完善粒的總體識(shí)別準(zhǔn)確率達(dá)到85.4%。本研究中的Python-OpenCV圖像處理方法，既有效增加了小麥籽粒的空間隨機(jī)性，又符合小麥不完善粒的實(shí)際場(chǎng)景檢測(cè)識(shí)別，可為小麥不完善粒的智能、快速、無(wú)損檢測(cè)設(shè)備的研發(fā)提供理論支撐。