陳 進(jìn)，顧 琰，練 毅，韓夢(mèng)娜

?

基于機(jī)器視覺(jué)的水稻雜質(zhì)及破碎籽粒在線識(shí)別方法

陳 進(jìn)，顧 琰，練 毅，韓夢(mèng)娜

（江蘇大學(xué)機(jī)械工程學(xué)院，鎮(zhèn)江 212013）

為了解決目前國(guó)內(nèi)聯(lián)合收獲機(jī)缺乏針對(duì)含雜率、破碎率的在線監(jiān)測(cè)裝置的問(wèn)題，該文提出基于機(jī)器視覺(jué)的水稻圖像采集，雜質(zhì)與破碎籽粒分類識(shí)別方法。采用帶色彩恢復(fù)的多尺度Retinex算法增強(qiáng)原始圖像，對(duì)HSV顏色模型的色調(diào)、飽和度兩個(gè)通道分別設(shè)定閾值進(jìn)行圖像分割，并結(jié)合形狀特征得到分類識(shí)別結(jié)果。采用綜合評(píng)價(jià)指標(biāo)對(duì)試驗(yàn)結(jié)果進(jìn)行量化評(píng)價(jià)，研究表明，莖稈雜質(zhì)識(shí)別的綜合評(píng)價(jià)指標(biāo)值達(dá)到了86.92%，細(xì)小枝梗雜質(zhì)識(shí)別的綜合評(píng)價(jià)指標(biāo)值為85.07%，破碎籽粒識(shí)別的綜合評(píng)價(jià)指標(biāo)值為84.74%，平均識(shí)別一幅圖像的時(shí)間為3.24 s。結(jié)果表明，所提出的算法能夠快速有效識(shí)別出水稻圖像中的雜質(zhì)以及破碎籽粒，為水稻含雜率、破碎率的在線監(jiān)測(cè)提供技術(shù)支撐。

機(jī)器視覺(jué)；圖像處理；雜質(zhì)；水稻；破碎籽粒；顏色模型；在線識(shí)別

0 引 言

水稻含雜率、破碎率是衡量聯(lián)合收獲機(jī)作業(yè)質(zhì)量的重要標(biāo)準(zhǔn)，根據(jù)2013年發(fā)布的《水稻聯(lián)合收割機(jī)作業(yè)質(zhì)量》規(guī)定，對(duì)全喂入式的聯(lián)合收獲機(jī)要求收獲的水稻含雜率、破碎率均要低于2.5%[1]。但是，目前國(guó)內(nèi)的聯(lián)合收獲機(jī)普遍缺乏作業(yè)過(guò)程中對(duì)含雜率、破碎率的監(jiān)測(cè)，只能停機(jī)后依靠人工完成[2-3]，效率低下。

近年來(lái)，機(jī)器視覺(jué)技術(shù)因其非破壞性、精度高、速度快等特點(diǎn)，在現(xiàn)代農(nóng)業(yè)生產(chǎn)中得到廣泛應(yīng)用[4]。國(guó)外的農(nóng)機(jī)公司和研究人員將機(jī)器視覺(jué)技術(shù)應(yīng)用到谷物雜質(zhì)、破碎籽粒含量的監(jiān)測(cè)上。德國(guó)克拉斯公司（CLAAS）采用高清彩色相機(jī)拍攝脫粒物的圖像，對(duì)非谷物成分和碎粒含量進(jìn)行分析，并在駕駛室操作面板上顯示為條形圖，還可顯示極限值警示[5]。比利時(shí)的Wallays等[6]采用機(jī)器視覺(jué)在線檢測(cè)聯(lián)合收獲機(jī)內(nèi)小麥的雜質(zhì)含量，通過(guò)遺傳算法對(duì)400～900 nm范圍內(nèi)的5個(gè)波段進(jìn)行組合，將圖像中的單個(gè)像素分類為小麥籽?；螂s質(zhì)。日本京都大學(xué)的Mahirah等[7]采用一種雙燈源視覺(jué)系統(tǒng)檢測(cè)水稻中雜質(zhì)和破碎籽粒，系統(tǒng)檢測(cè)的2值大于0.7，具有檢測(cè)相關(guān)性。國(guó)內(nèi)也有一些對(duì)谷物雜質(zhì)和破碎籽粒識(shí)別算法的研究[8-9]，但是所研究的均是理想狀態(tài)下的谷物圖像。除本課題組外對(duì)聯(lián)合收獲機(jī)在線采集的谷物圖像進(jìn)行識(shí)別未見(jiàn)有其他報(bào)道。筆者所在研究團(tuán)隊(duì)近年來(lái)對(duì)聯(lián)合收獲機(jī)含雜率、破碎率的監(jiān)測(cè)進(jìn)行探索[10-12]，陳璇[13]采用-Means算法與分水嶺算法結(jié)合進(jìn)行圖像分割，再利用BP神經(jīng)網(wǎng)絡(luò)模型識(shí)別雜余、破碎籽粒。但是分水嶺算法存在過(guò)分割現(xiàn)象[14]，分割不準(zhǔn)確影響后續(xù)識(shí)別結(jié)果；而且算法復(fù)雜，BP神經(jīng)網(wǎng)絡(luò)的計(jì)算量大[15]難以滿足實(shí)時(shí)性的要求。程序在Matlab平臺(tái)運(yùn)行，平均識(shí)別一幅圖像的時(shí)間在10 s左右。

本文要解決的關(guān)鍵問(wèn)題在于實(shí)現(xiàn)雜質(zhì)和破碎籽粒的精確識(shí)別并且達(dá)到實(shí)時(shí)性要求的識(shí)別速度。本文提出基于機(jī)器視覺(jué)的水稻圖像采集及識(shí)別方法。采用圖像采集裝置、處理器、顯示器搭建視覺(jué)系統(tǒng)，研究帶色彩恢復(fù)的多尺度Retinex算法（MSRCR）及HSV顏色空間閾值分割方法，解決水稻圖像雜質(zhì)及破碎籽粒的快速準(zhǔn)確識(shí)別問(wèn)題。

1 圖像采集系統(tǒng)的構(gòu)建

圖像采集系統(tǒng)主要由谷物采集裝置、處理器、工業(yè)相機(jī)、光源以及顯示器等部分組成（如圖1所示）。

谷物采集裝置1主要包括采樣槽9、下方的擋板5、與擋板相連接的推拉式電磁鐵6。采樣槽側(cè)面隔著透明亞克力板4與密閉空間連接，密閉空間內(nèi)裝有工業(yè)相機(jī)2和光源3。工業(yè)相機(jī)正對(duì)透明亞克力板拍攝，鏡頭距離亞克力板100 mm，拍攝范圍55 mm×40 mm。亞克力板表面有一層均勻透明耐磨涂層，能夠保證亞克力板不被籽粒損傷而造成成像模糊。光源采用貼片式LED條形光源，安裝于密閉空間的上下兩個(gè)面正對(duì)著照射，面上涂有白色的漫反射涂料，采用漫反射的方式進(jìn)行照射。

1.谷物采集裝置 2.工業(yè)相機(jī) 3.LED光源 4.透明亞克力板 5.擋板 6.電磁鐵 7.谷物 8.出糧口 9.采樣槽 10.嵌入式處理器 11.顯示器

嵌入式處理器具有體積小、功耗低、成本低[16]等優(yōu)點(diǎn)，本文選用NVIDIA公司的嵌入式Linux開(kāi)發(fā)板Jetson TK1作為視覺(jué)系統(tǒng)的處理核心。它包含四核2.3 GHz ARM Cortex-A15 CPU和Tegra K1 GPU[17]，可連續(xù)在惡劣環(huán)境下工作，適應(yīng)聯(lián)合收獲機(jī)的作業(yè)環(huán)境。

谷物采集裝置1安裝于聯(lián)合收獲機(jī)出糧口8下方，采集落入到采樣槽9中的谷物7，采樣槽下方的擋板5由推拉式電磁鐵6控制移動(dòng)。當(dāng)電磁鐵沒(méi)有通電時(shí)，擋板完全遮擋住采樣槽下方，阻止谷物繼續(xù)下落，谷物在采樣槽中迅速堆積，從而獲得一個(gè)相對(duì)穩(wěn)定的狀態(tài)，嵌入式處理器10控制工業(yè)相機(jī)2進(jìn)行一次谷物圖像采集并進(jìn)行圖像處理和識(shí)別，將識(shí)別結(jié)果送顯示器11顯示。一次圖像采集結(jié)束后，嵌入式處理器控制電磁鐵短暫通電移開(kāi)擋板，釋放掉采樣槽內(nèi)的谷物，等待下一次圖像采集和處理。圖像采集系統(tǒng)實(shí)物如圖2所示，主要由控制盒（里面包含了嵌入式處理器以及電源電路）、顯示器、圖像采集裝置組成。

圖2 圖像采集系統(tǒng)實(shí)物圖

2 圖像采集與處理

2.1 圖像采集

圖像采集工作于2017年11月在蘇州試驗(yàn)田完成。采用本文所述的圖像采集系統(tǒng)在聯(lián)合收獲機(jī)作業(yè)過(guò)程中采集糧箱內(nèi)的100幅水稻圖像，圖像采集設(shè)備為工業(yè)相機(jī)，選用MindVision彩色工業(yè)相機(jī)，搭配焦距16 mm相機(jī)鏡頭。工業(yè)相機(jī)通過(guò)GigE接口與嵌入式處理器連接。在開(kāi)發(fā)板的Linux操作系統(tǒng)中利用工業(yè)相機(jī)配套的SDK動(dòng)態(tài)庫(kù)libMVSDK.so控制相機(jī)工作。設(shè)定圖像分辨率為1 600×1 200像素，圖像格式為jpg。

2.2 圖像處理

在嵌入式處理器上利用計(jì)算機(jī)視覺(jué)庫(kù)OpenCV設(shè)計(jì)圖像處理算法。

本次試驗(yàn)所采集的水稻圖像中存在大量籽粒堆疊、粘連的現(xiàn)象，需要從復(fù)雜的圖像中識(shí)別出雜質(zhì)以及破碎籽粒。首先對(duì)圖像進(jìn)行預(yù)處理，增強(qiáng)圖像對(duì)比度，再進(jìn)行圖像的二值化，獲得圖像的前景和背景。然后將原圖像轉(zhuǎn)化到HSV顏色空間，通過(guò)對(duì)、兩個(gè)通道分別設(shè)定不同閾值范圍進(jìn)行雜質(zhì)和破碎籽粒的粗提取，再利用雜質(zhì)和破碎籽粒的不同形狀特征進(jìn)行進(jìn)一步的提取，得到雜質(zhì)和破碎籽粒的識(shí)別結(jié)果。圖像處理流程如圖3所示。

圖3 圖像處理流程圖

2.2.1 圖像預(yù)處理

圖像預(yù)處理包括圖像增強(qiáng)、圖像二值化。圖像增強(qiáng)的目的是增強(qiáng)圖像中的有用信息[18-19]，即籽粒和雜質(zhì)的邊緣輪廓，因?yàn)樗緢D像中光照和陰影等噪聲的存在給識(shí)別造成困難，所以有必要對(duì)原始彩色圖像進(jìn)行補(bǔ)償和消除，減小噪聲干擾。本文采用帶色彩恢復(fù)的多尺度Retinex增強(qiáng)算法（MSRCR，multi-scale Retinex with color restoration）。Retinex方法以人類視覺(jué)色彩恒常性為理論基礎(chǔ)，處理后的圖像往往能得到較高的視覺(jué)評(píng)價(jià)，更接近于人眼直接觀察到的真實(shí)場(chǎng)景[20]。

設(shè)圖像(,)中任一像素點(diǎn)的數(shù)值為，帶色彩恢復(fù)的多尺度Retinex增強(qiáng)算法表達(dá)式定義為[21]

圖像二值化的目的是將圖像的前景與背景區(qū)分開(kāi)，前景部分包括水稻籽粒及雜質(zhì)，背景部分即圖像中的間隙部分。最大類間方差法是一種常用的二值化方法，算法簡(jiǎn)單，自適應(yīng)能力強(qiáng)[22]。該方法首先假定一個(gè)灰度值將圖像分成前景和背景兩部分，然后通過(guò)類間方差的計(jì)算和比較確定最優(yōu)分割閾值使得背景與前景差別最大[23]。但是，當(dāng)圖像中存在不均勻光照時(shí)采用最大類間方差法效果不佳。圖4b是直接對(duì)圖4a的水稻原圖采用最大類間方差法得到的二值化結(jié)果，可以看出由于原圖的左上角部分光線較暗，部分籽粒未被正確二值化分割為前景部分；而且原圖中籽粒之間的輪廓不夠清晰，導(dǎo)致二值圖中存在大量的籽粒粘連情況。直接對(duì)原圖二值化所得到的結(jié)果不利于后續(xù)的處理，因此需要對(duì)原圖進(jìn)行增強(qiáng)后再進(jìn)行二值分割。本文采用MSRCR算法對(duì)圖4a的水稻原圖進(jìn)行處理之后的結(jié)果如圖4c所示。

可以看出經(jīng)過(guò)MSRCR算法的增強(qiáng)使得原圖中存在的部分不均勻光照得到了校正，而且圖像的對(duì)比度得到了提高。對(duì)MSRCR增強(qiáng)之后的圖像采用最大類間方差法得到二值圖如圖4d所示，與圖4b原圖的二值圖相比前景部分更加完整，籽粒得到了正確的二值分割，籽粒間的輪廓更加清晰。

2.2.2 水稻圖像分類識(shí)別

本文要識(shí)別水稻圖像中的雜質(zhì)和破碎籽粒，其中雜質(zhì)又包括莖稈雜質(zhì)以及枝梗雜質(zhì)。完整水稻籽粒如圖5a所示，可以看出水稻籽粒的形狀近似橢圓，表面有一層黃褐色的外殼包裹。而破碎籽粒形狀不完整，或是缺少外殼，表面透明。莖稈雜質(zhì)呈長(zhǎng)條形；枝梗雜質(zhì)較為細(xì)長(zhǎng)，通常與水稻籽粒連接，水稻圖像主要成分如圖5所示。

圖5 水稻圖像主要成分

從采集的100幅水稻圖像中隨機(jī)抽取20幅圖像作為樣本，人工選取樣本圖像中部分完整水稻籽粒、雜質(zhì)、破碎籽粒的內(nèi)部區(qū)域進(jìn)行截取，將截取的區(qū)域從RGB顏色空間轉(zhuǎn)化到HSV顏色空間，對(duì)區(qū)域內(nèi)像素點(diǎn)的、值參數(shù)進(jìn)行統(tǒng)計(jì)，得到完整水稻籽粒、雜質(zhì)、破碎籽粒各部分的值分布范圍統(tǒng)計(jì)結(jié)果，如圖6所示。可以看出完整水稻籽粒、雜質(zhì)、破碎籽粒之間存在界限。其中破碎籽粒的界限最為明顯，值分布范圍廣，但是值分布在0～60之間，而完整水稻籽粒和雜質(zhì)的值主要集中在60～255之間。從值上看完整水稻籽粒、雜質(zhì)存在部分的重合，但是整體上來(lái)看完整水稻籽粒的值小于莖稈雜質(zhì)值，莖稈雜質(zhì)的值小于枝梗雜質(zhì)值。由于水稻圖像顏色的復(fù)雜性，待識(shí)別的各部分像素存在重疊，單單依靠顏色特征還不足以實(shí)現(xiàn)準(zhǔn)確的識(shí)別，因此還需要結(jié)合雜質(zhì)、籽粒的形狀特征[27]進(jìn)行進(jìn)一步的篩選，剔除干擾部分。

圖6 h值和s值范圍統(tǒng)計(jì)圖

1）莖稈雜質(zhì)識(shí)別

圖7d是對(duì)圖7a的水稻原始圖像識(shí)別莖稈雜質(zhì)的結(jié)果,從識(shí)別結(jié)果來(lái)看，原圖中的大型莖稈雜質(zhì)基本都能被識(shí)別出來(lái)，而且莖稈的基本長(zhǎng)度、大小均保存良好。不足之處在于存在與莖稈粘連的水稻籽粒（圈內(nèi)）被誤識(shí)別。對(duì)于圖7a原圖中長(zhǎng)度較短的莖稈雜質(zhì)（圈內(nèi)）未能夠識(shí)別。

注：圖7a中圈內(nèi)表示未被識(shí)別的莖稈雜質(zhì)，圖7d中圈內(nèi)表示被誤識(shí)別為莖稈雜質(zhì)的水稻籽粒。

2）枝梗雜質(zhì)識(shí)別

4.4.1 青藏高原作為氣候變化敏感區(qū)，各地的熱量資源增加，農(nóng)作物生長(zhǎng)季延長(zhǎng)，同時(shí)由于降水變化的季節(jié)性和地域性的差異，干旱、冰雹、洪水等氣象災(zāi)害呈現(xiàn)出增多，霜凍、低溫冷害等呈現(xiàn)減少的趨勢(shì)，喜涼作物種植上線的海拔高度增加，主要糧食作物適宜種植的區(qū)域面積擴(kuò)大，農(nóng)業(yè)生產(chǎn)的結(jié)構(gòu)和布局在逐步發(fā)生變化。

注：圖8a中圈內(nèi)表示未被識(shí)別的枝梗雜質(zhì)，圖8b中圈內(nèi)表示被誤識(shí)別為枝梗雜質(zhì)的部分。

圖8b是對(duì)圖8a的水稻原始圖像識(shí)別枝梗雜質(zhì)的結(jié)果。從圖8b可以看出枝梗雜質(zhì)基本得到了準(zhǔn)確的識(shí)別，存在少量的誤識(shí)別（圈內(nèi)）。圖8a中有2處顏色接近水稻籽粒的細(xì)長(zhǎng)枝梗雜質(zhì)（圈內(nèi)）未得到識(shí)別。

3）破碎籽粒識(shí)別

注：圖9b中圈內(nèi)表示在破碎籽粒粗提取過(guò)程中被誤識(shí)別的部分，圖9d中圈內(nèi)表示在最終的識(shí)別結(jié)果中存在的誤識(shí)別籽粒。

3 結(jié)果與分析

3.1 雜質(zhì)及破碎籽粒識(shí)別結(jié)果

本文對(duì)采集的100幅水稻圖像進(jìn)行雜質(zhì)和破碎籽粒的分類識(shí)別，程序在嵌入式處理器上運(yùn)行，平均一幅圖的識(shí)別時(shí)間為3.24 s，滿足在線識(shí)別的要求。圖10是隨機(jī)抽取的3幅水稻圖像及其對(duì)應(yīng)的識(shí)別結(jié)果。

可以看出水稻中的雜質(zhì)及破碎籽粒均得到了有效識(shí)別。但是圖像中也存在著一定的誤識(shí)別或漏識(shí)別情況，從識(shí)別結(jié)果（圖10b、10d、10f）可以看出，莖稈雜質(zhì)存在部分籽粒粘連的現(xiàn)象（紅色圈內(nèi)的黃色部分），因?yàn)椴糠肿蚜Ｅc莖稈顏色相似，而且之間沒(méi)有清晰的邊界造成了誤識(shí)別。也存在部分完整籽粒被誤識(shí)別為破碎籽粒的情況（圖10b、10d中紅色圈內(nèi)的白色部分），原因在于該部分籽粒表面受白色光斑或白色病斑的影響導(dǎo)致了誤識(shí)別。從試驗(yàn)原圖（圖10a、10c、10e）中看，存在著部分雜質(zhì)或破碎籽粒未得到識(shí)別的情況（紅色圈內(nèi)），原因在于該部分顏色與水稻籽粒顏色接近，部分雜質(zhì)與籽粒長(zhǎng)度接近，低于設(shè)定的長(zhǎng)度閾值被剔除掉造成漏識(shí)別。

注：識(shí)別結(jié)果圖中黃色部分表示識(shí)別出的莖稈雜質(zhì)，綠色部分表示識(shí)別的枝梗雜質(zhì)，白色部分表示破碎籽粒。圖10a、10c、10e中圈內(nèi)表示未被正確識(shí)別的部分，圖10b、10d、10f中圈內(nèi)表示被錯(cuò)誤識(shí)別的部分。

3.2 識(shí)別結(jié)果量化評(píng)價(jià)

為了衡量本文算法分別識(shí)別雜質(zhì)和破碎籽粒的準(zhǔn)確度，采用查準(zhǔn)率、查全率這兩項(xiàng)指標(biāo)分別對(duì)雜質(zhì)及破碎籽粒的識(shí)別結(jié)果進(jìn)行量化評(píng)價(jià)。查準(zhǔn)率（precision）表示準(zhǔn)確率，它是衡量檢測(cè)信噪比的指標(biāo)，也就是指檢測(cè)結(jié)果中的正確部分占整個(gè)檢測(cè)結(jié)果的百分比。查全率（recall）表示召回率，它是衡量檢測(cè)出成功度的指標(biāo)，也就是檢測(cè)結(jié)果中的正確部分占實(shí)際整個(gè)正確部分的百分比[29]。計(jì)算公式為

式中T為正確識(shí)別的像素?cái)?shù)，F為錯(cuò)誤識(shí)別的像素?cái)?shù)，F為漏識(shí)別的像素?cái)?shù)。T、F、F均采用人工標(biāo)注的方式得到。

對(duì)于查準(zhǔn)率、查全率這2項(xiàng)指標(biāo)又可以采用綜合評(píng)價(jià)指標(biāo)1值進(jìn)行考量，綜合反映整體指標(biāo)。

對(duì)100幅圖像的評(píng)價(jià)結(jié)果進(jìn)行統(tǒng)計(jì)，取平均值如表1所示。

表1 識(shí)別結(jié)果量化評(píng)價(jià)

綜合查準(zhǔn)率和查全率，本文識(shí)別莖稈雜質(zhì)的1值達(dá)到了86.92%，大型莖稈類雜質(zhì)基本都能被識(shí)別，而且形狀大小保存良好。識(shí)別的誤差在于部分籽粒與莖稈粘連嚴(yán)重，顏色上過(guò)于接近所以未分割開(kāi)，造成誤識(shí)別；部分雜質(zhì)長(zhǎng)度較短，與水稻籽粒長(zhǎng)度相近，小于設(shè)定的長(zhǎng)度閾值造成漏檢測(cè)。枝梗雜質(zhì)識(shí)別的1值為85.07%，大部分枝梗雜質(zhì)得到了準(zhǔn)確的識(shí)別，小部分枝梗的顏色與籽粒顏色相似且堆疊，給識(shí)別造成一定的錯(cuò)誤。破碎籽粒識(shí)別的1值為84.74%，破碎籽粒能夠得到有效的識(shí)別，但是還存在著一些完整籽粒因?yàn)楣獍呋虿“叩挠绊懕诲e(cuò)誤地識(shí)別為破碎籽粒，導(dǎo)致識(shí)別錯(cuò)誤。本文主要采用了HSV顏色模型對(duì)雜質(zhì)和破碎籽粒進(jìn)行分類識(shí)別，為進(jìn)一步提高識(shí)別的準(zhǔn)確性，下一步考慮采用多種顏色模型相結(jié)合的形式進(jìn)行水稻圖像識(shí)別。

4 結(jié) 論

1）采用以嵌入式處理器為核心的機(jī)器視覺(jué)系統(tǒng)進(jìn)行水稻圖像的采集與處理，能夠采集到清晰的水稻圖像；在嵌入式處理器上利用開(kāi)源計(jì)算機(jī)視覺(jué)庫(kù)OpenCV進(jìn)行編程，所開(kāi)發(fā)的識(shí)別算法也能夠成功運(yùn)行，平均處理一幅圖像的時(shí)間為3.24 s。

3）為了對(duì)識(shí)別的結(jié)果進(jìn)行量化評(píng)價(jià)，采用綜合評(píng)價(jià)指標(biāo)1值對(duì)查準(zhǔn)率和查全率進(jìn)行考量，莖稈雜質(zhì)識(shí)別的1值達(dá)到了86.92%，細(xì)小枝梗雜質(zhì)識(shí)別的1值為85.07%，破碎籽粒識(shí)別的1值為84.74%。

本文提出的水稻雜質(zhì)及破碎籽粒在線識(shí)別方法能夠?qū)β?lián)合收獲機(jī)糧箱內(nèi)的水稻進(jìn)行圖像采集，并且能快速、有效、穩(wěn)定地識(shí)別雜質(zhì)和破碎谷粒，為水稻含雜率、破碎率的在線監(jiān)測(cè)提供技術(shù)支撐。后繼可采用本識(shí)別法與多種顏色模型相結(jié)合的算法進(jìn)行圖像識(shí)別，進(jìn)一步提高識(shí)別的精度。

[1] 中華人民共和國(guó)農(nóng)業(yè)部. NY/T498-2013水稻聯(lián)合收割機(jī)作業(yè)質(zhì)量[S]. 北京：中國(guó)標(biāo)準(zhǔn)出版社，2013.

[2] 王志明. 橫置差速軸流脫分選系統(tǒng)工作機(jī)理及設(shè)計(jì)研究[D]. 西安：長(zhǎng)安大學(xué)，2017.

Wang Zhiming. Study on Work Mechanism and Design of Axial Flow Differential-speed Threshing-separating-cleaning Unit[D]. Xi’an: Chang’an University, 2017. (in Chinese with English Abstract)

[3] 李舟. 小型聯(lián)合收割機(jī)清選裝置設(shè)計(jì)與試驗(yàn)研究[D]. 長(zhǎng)沙：中南林業(yè)科技大學(xué)，2016.

Li Zhou. Design and Experimental Research of the Cleaning Device for Small Scale Combine Harvester[D]. Changsha: Central South University of Forestry and Technology, 2016. (in Chinese with English Abstract)

[4] 刁智華，王會(huì)丹，魏偉. 機(jī)器視覺(jué)在農(nóng)業(yè)生產(chǎn)中的應(yīng)用研究[J]. 農(nóng)機(jī)化研究，2014，36(3)：206－211.

Diao Zhihua, Wang Huidan, Wei Wei. Summary of research on machine vision application in agricultural production[J]. Journal of Agricultural Mechanization Research, 2014, 36(3): 206－211. (in Chinese with English Abstract)

[5] 李崢崢，編譯. 2013年世界農(nóng)機(jī)創(chuàng)新精彩回顧（三）[N]. 中國(guó)農(nóng)機(jī)化導(dǎo)報(bào)，2014-02-24(7).

[6] Wallays C, Missotten B, Baerdemaeker J D, et al. Hyperspectral waveband selection for on-line measurement of grain cleanness[J]. Biosystems Engineering, 2009, 104(1): 1－7.

[7] Mahirah J, Yamamoto K, Miyamoto M，et al. Monitoring harvested paddy during combine harvesting using a machine vision-Double lighting system[J]. Engineering in Agriculture, Environment and Food, 2017, 10(2): 140－149.

[8] 蘇憶楠. 基于機(jī)器視覺(jué)和高光譜圖像技術(shù)的糧食水分檢測(cè)及雜質(zhì)與不完善粒識(shí)別方法研究[D]. 杭州：浙江大學(xué)，2011.

Su Yinan. Research on Grain Water Content Detection and Impurities Recognition Method Based on Machine Vision and Hyperspectral Image Technique[D]. Hangzhou: Zhejiang University, 2011. (in Chinese with English Abstract)

[9] 閆磊，劉芷寧，林劍輝，等. 一種粘連谷物圖像分割及雜質(zhì)識(shí)別算法開(kāi)發(fā)[J]. 吉林農(nóng)業(yè)科學(xué)，2012，37(4)：72－76.

Yan Lei, Liu Zhining, Lin Jianhui, et al. Development of splitting and identification algorithm of touching kernels in digital images[J]. Journal of Jilin Agricultural Sciences, 2012, 37(4): 72－76. (in Chinese with English Abstract)

[10] 李耀明，梁振偉，徐立章. 一種糧箱籽粒含雜率、破碎率監(jiān)測(cè)裝置及其監(jiān)測(cè)方法：CN106404679A [P]. 2017-02-15.

[11] 梁振偉，李耀明，徐立章. 一種糧箱籽粒含雜率、破碎率監(jiān)測(cè)裝置：CN206223641U [P]. 2017-06-06.

[12] 陳進(jìn)，陳璇，李耀明，等. 一種聯(lián)合收割機(jī)糧箱中谷物破碎在線監(jiān)測(cè)系統(tǒng)及方法：CN105806751A [P]. 2016-07-27.

[13] 陳璇. 聯(lián)合收獲機(jī)谷物破碎率、含雜率監(jiān)測(cè)方法及系統(tǒng)研究[D]. 鎮(zhèn)江：江蘇大學(xué)，2017.

Chen Xuan. Research on the Methods and Systems for Monitoring Grain’s Crushing Rate and Impurity Rate for Combine Harvester[D]. Zhenjiang: Jiangsu University, 2017. (in Chinese with English Abstract)

[14] 張毅. 分水嶺算法在圖像分割中的應(yīng)用研究[D]. 廣州：廣東工業(yè)大學(xué)，2013.

Zhang Yi. Applied Research in Image Segmentation Used by the Algorithm of Watershed[D]. Guangzhou: Guangdong University of Technology, 2013. (in Chinese with English Abstract)

[15] 曹永峰，趙燕君. 基于GA-BP神經(jīng)網(wǎng)絡(luò)的計(jì)算機(jī)智能化圖像識(shí)別技術(shù)探究[J]. 應(yīng)用激光，2017，37(1)：139－143.

Cao Yongfeng, Zhao Yanjun. Research on computer intelligent image recognition technology based on GA-BP neural network[J]. Applied Laser, 2017, 37(1): 139－143. (in Chinese with English Abstract)

[16] 李棟. 基于ARM嵌入式的圖像處理研究[D]. 石家莊：河北科技大學(xué)，2010.

Li Dong. The Remote Control System of Video Based on Web Service in Embedded Linux Environment[D]. Shijiazhuang: Hebei University of Science and Technology, 2010. (in Chinese with English Abstract)

[17] 許美珍. 嵌入式圖像處理系統(tǒng)研究[D]. 呼和浩特：內(nèi)蒙古工業(yè)大學(xué)，2016.

Xu Meizhen. Research On Embedded Image Processing System[D]. Hohhot: Inner Mongolia University of Technology, 2016. (in Chinese with English Abstract)

[18] 張亞秋，吳文福，王剛. 基于逐步改變閾值方法的玉米種子圖像分割[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2011，27(7)：200－204.

Zhang Yaqiu, Wu Wenfu, Wang Gang. Separation of corn seeds images based on threshold changed gradually[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2011, 27(7): 200－204. (in Chinese with English Abstract)

[19] 周德祥，毋桂萍，楊紅衛(wèi)，等. 基于數(shù)學(xué)形態(tài)學(xué)粘連糧食籽粒圖像分割算法的改進(jìn)[J]. 農(nóng)機(jī)化研究，2010，32(7)：49－52.

Zhou Dexiang, Wu Guiping, Yang Hongwei, et al. The improvement of adhesive grain particles image segmentation algorithm based on the mathematical morphology[J]. Journal of Agricultural Mechanization Research, 2010, 32(7): 49－52. (in Chinese with English Abstract)

[20] 李瑩. 基于Retinex理論的圖像增強(qiáng)算法研究[D]. 西安：西北大學(xué)，2014.

Li Ying. Research on Image Enhancement Algorithm Based on Retinex Theory[D]. Xi’an: Northwest University, 2014. (in Chinese with English Abstract)

[21] 竇易文，周鳴爭(zhēng)，唐肝翌，等. 焦點(diǎn)引導(dǎo)的帶顏色恢復(fù)的多尺度Retinex算法[J]. 計(jì)算機(jī)工程與應(yīng)用，2013，49(2)：207－210,270.

Dou Yiwen, Zhou Mingzheng, Tang Ganyi, et al. Focus-guided multi-scale Retinex with color restore algorithm[J]. Computer Engineering and Applications, 2013, 49(2): 207－210,270. (in Chinese with English Abstract)

[22] 張晴晴，張?jiān)讫?，齊國(guó)紅. 基于最大類間方差法的黃瓜病害葉片分割[J]. 安徽農(nóng)業(yè)科學(xué)，2017，45(12)：193－195,234.

Zhang Qingqing, Zhang Yunlong, Qi Guohong. Segmentation of cucumber disease leaves based on Otsu method[J]. Journal of Anhui Agricultural Sciences, 2017, 45(12): 193－195,234. (in Chinese with English Abstract)

[23] 朱言江，韓震，和思海，等. 基于最大類間方差法和數(shù)學(xué)形態(tài)學(xué)的遙感圖像潮溝提取方法[J]. 上海海洋大學(xué)學(xué)報(bào)，2017，26(1)：146－153.

Zhu Yanjiang, Han Zhen, He Sihai, et al. Remote sensing image extraction of tidal channels based on Otsu and mathematical morphology[J]. Journal of Shanghai Ocean University, 2017, 26(1): 146－153. (in Chinese with English Abstract)

[24] 郭英華. 基于HSV色彩空間的圖像分割[J]. 黑龍江冶金，2011，31(2)：35－37.

Guo Yinghua. Image segmentation based on HSV color space[J]. Heilongjiang Metallurgy, 2011, 31(2): 35－37. (in Chinese with English Abstract)

[25] 張麗靜，孫杰，殷曉宇. 基于HSV顏色空間的車牌定位方法[J]. 微計(jì)算機(jī)信息，2008(7)：247－248.

Zhang Lijing, Sun Jie, Yin Xiaoyu. A mothed of vehicle license plate location based on HSV space[J]. Microcomputer Information, 2008(7): 247－248. (in Chinese with English Abstract)

[26] 韓丁，武佩，張強(qiáng)，等. 基于顏色矩的典型草原牧草特征提取與圖像識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2016，32(23)：168－175.

Han Ding, Wu Pei, Zhang Qiang, et al. Feature extraction and image recognition of typical grassland forage based on color moment[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(23): 168－175. (in Chinese with English Abstract)

[27] 葛杰，曹晨晨，李光. 基于機(jī)器視覺(jué)的圖像形狀特征提取方法研究進(jìn)展[J]. 包裝學(xué)報(bào)，2015，7(1)：54－60.

Ge Jie, Cao Chenchen, Li Guang. Research progress in shape feature extraction methods based on machine vision[J]. Packaging Journal, 2015, 7(1): 54－60. (in Chinese with English Abstract)

[28] 耿帥. 基于數(shù)學(xué)形態(tài)學(xué)的圖像去噪[D]. 濟(jì)南：山東師范大學(xué)，2012.

Geng Shuai. Image Denoising Based on Mathematical Morphology[D]. Ji’nan: Shandong Normal University, 2012. (in Chinese with English Abstract)

[29] 郭守寬. 高速印刷品質(zhì)量圖像檢測(cè)系統(tǒng)研究和開(kāi)發(fā)[D]. 武漢：華中科技大學(xué)，2012.

Guo shoukuan. Research and Design on High-speed Press Quality Image Detection System[D]. Wuhan: Huazhong University of Science & Technology, 2012. (in Chinese with English Abstract)

Online recognition method of impurities and broken paddy grains based on machine vision

Chen Jin, Gu Yan, Lian Yi, Han Mengna

(,212013,)

The status of grains, including impurity and breakage, is one of the key criteria for the assessment of combine harvester, whereas the on-line monitoring system for grain impurity and breakage is not yet well understood. In this paper a method of image capturing and processing for rice impurity and breakage based on machine vision was presented. The machine vision system designed was mainly composed of grain collection device, embedded processor, industrial camera, light source and display module. One hundred paddy images were collected when the combine harvester was working. The image resolution was set to 1 600×1 200 pixels, and the image format was jpg. There were lots of phenomena of grain stacking and adhesion in the rice images collected from this experiment. It was necessary to recognize MOG (material other than grain) and broken paddy grains from an image in complex background. HSV (hue, saturation, value) color space is closer to human perception of color and is more suitable for color expression based on machine vision than RGB (red, green, blue) color space. The interval ranges of hue channel and saturation channel of whole grains, impurities and broken grains were analyzed from 20 images sampled randomly from 100 images, and the boundaries between intact rice, impurities and broken grains were found. Among them, the saturation value of broken grain was between 0 and 60, while the saturation values of intact rice and impurity were mainly between 60 and 255. From the hue value as a whole, the hue value of intact rice was smaller than that of stem impurities, and the hue value of stem impurities was less than that of branch impurities. But mere color feature was not enough to recognize the accurate recognition, and the shape characteristics of impurities and grains such as length, width and area were also needed to eliminate the interference part. On the embedded processor, the computer vision library OpenCV was used to design the image processing algorithm. The multi-scale Retinex with color recovery algorithm was used to enhance the original image and then different thresholds were set up in the hue and saturation channel of the HSV color model for image segmentation respectively. Then the shape features of impurity and broken paddy grains were used to obtain the detection results. The comprehensive evaluation index F1-score was used on the detection results for the quantitative evaluation.1 is a comprehensive consideration of precision and recall rate. It was showed that the1 of detected stem of impurity reached 86.92%, the F1-score of detected small branch of impurity was 85.07%, the1 of detected broken paddy grain was 84.74%, and the average time for the detection of an image was 3.24 s. The proposed technology can effectively recognize the impurities and broken paddy grains from the captured images, which provides a solid foundation for monitoring impurity and breakage rate of paddy grain during harvesting, and also provides a reference for future research on the identification methods of wheat images containing impurities and broken grains. Later, this recognition method can be combined with a variety of color models for image recognition, which can further improve the accuracy of recognition.

computer vision ; image processing; impurities ;paddy; broken grain; color model; online recognition

陳 進(jìn)，顧 琰，練 毅，韓夢(mèng)娜. 基于機(jī)器視覺(jué)的水稻雜質(zhì)及破碎籽粒在線識(shí)別方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2018，34(13)：187－194. doi：10.11975/j.issn.1002-6819.2018.13.022 http://www.tcsae.org

Chen Jin, Gu Yan, Lian Yi, Han Mengna. Online recognition method of impurities and broken paddy grains based on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(13): 187－194. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2018.13.022 http://www.tcsae.org

2018-04-09

2018-05-15

國(guó)家重點(diǎn)研發(fā)計(jì)劃重點(diǎn)專項(xiàng)（2016YFD0702001）；江蘇省重點(diǎn)研發(fā)計(jì)劃（BE2017358）；鎮(zhèn)江市重點(diǎn)研發(fā)計(jì)劃（NY2016016）。

陳 進(jìn)，江蘇鹽城人，教授，博士生導(dǎo)師，主要從事智能化農(nóng)業(yè)裝備和機(jī)器系統(tǒng)監(jiān)測(cè)與控制研究。Email：chenjinjd126@126.com

10.11975/j.issn.1002-6819.2018.13.022

TP391.41

A

1002-6819(2018)-13-0187-08