鄭小東 高 潔 張曉煜

（鄭州航空工業(yè)管理學(xué)院計(jì)算機(jī)科學(xué)與應(yīng)用系，鄭州 450015）

基于顏色空間轉(zhuǎn)換的混合豆類分類識(shí)別

鄭小東 高 潔 張曉煜

（鄭州航空工業(yè)管理學(xué)院計(jì)算機(jī)科學(xué)與應(yīng)用系，鄭州 450015）

在豆制品生產(chǎn)過(guò)程，有時(shí)需要對(duì)混合豆類進(jìn)行品質(zhì)檢測(cè)，介紹了基于顏色空間轉(zhuǎn)換的混合豆類自動(dòng)分類識(shí)別方法。首先利用掃描儀獲取混合豆類圖像，然后通過(guò)3次顏色空間轉(zhuǎn)換，依次找到各種豆類與背景和其他豆類的顏色數(shù)據(jù)差異，實(shí)現(xiàn)各種豆類的分類識(shí)別。將該方法對(duì)灰色、白色、藍(lán)色3種不同顏色背景下采集的圖像進(jìn)行了測(cè)試，結(jié)果表明該方法能夠?qū)崿F(xiàn)混合豆類分類識(shí)別，識(shí)別精度受圖像質(zhì)量影響，可用于開(kāi)發(fā)自動(dòng)檢測(cè)設(shè)備。

豆類 品質(zhì)檢測(cè) 顏色空間 機(jī)器視覺(jué)

豆制品營(yíng)養(yǎng)豐富，深受人們喜愛(ài)。在豆制品生產(chǎn)過(guò)程，有時(shí)需要將不同種類的豆類先進(jìn)行混合，然后再進(jìn)行生產(chǎn)，各種豆類的混合比例與均勻度影響后續(xù)豆制品生產(chǎn)的質(zhì)量。以豆?jié){為例，市場(chǎng)上銷售的豆?jié){豆通常由黃豆、紅豆、蕓豆、黑豆、青豆組成，各種豆類的比例和質(zhì)量決定了豆?jié){豆的品質(zhì)和價(jià)格，也影響豆?jié){的質(zhì)量。實(shí)現(xiàn)豆制品精細(xì)生產(chǎn)需要檢測(cè)混合豆類的品質(zhì)，人工檢測(cè)方式繁瑣、低效，可以研發(fā)基于機(jī)器視覺(jué)的自動(dòng)檢測(cè)技術(shù)，然后開(kāi)發(fā)相關(guān)檢測(cè)裝置和設(shè)備。

目前機(jī)器視覺(jué)在農(nóng)產(chǎn)品品質(zhì)檢測(cè)中的應(yīng)用研究非常多［1－3］，涉及的豆類包括大豆［4－7］、蕓豆［8］、青豆［9］等。這些研究基本上都是針對(duì)單一種類的農(nóng)產(chǎn)品，很少涉及混合種類［10］。

混合豆類品質(zhì)自動(dòng)檢測(cè)首先需要從混合豆類中識(shí)別出各種豆類，本研究介紹了基于顏色空間轉(zhuǎn)換的混合豆類分類識(shí)別方法，使用在灰色、白色、藍(lán)色3種圖像采集背景下獲得的圖像對(duì)方法進(jìn)行了對(duì)比測(cè)試，分析了方法的適用性。

1 圖像采集

將一定數(shù)量的豆?jié){豆平鋪于掃描儀掃描板上，使用一個(gè)較大的蓋子遮住掃描板進(jìn)行圖像采集，得到灰色背景的混合豆類圖像，如圖1a所示。將采集的圖像在計(jì)算機(jī)中保存為JPEG文件，這樣不僅能夠保持圖像質(zhì)量，而且存儲(chǔ)量小。

圖1 原始圖像與顏色空間轉(zhuǎn)換結(jié)果

2 分類識(shí)別方法

從原始圖像中識(shí)別各種豆類可看做多目標(biāo)圖像分割問(wèn)題。圖像分割方法有多種，如基于閾值的方法、基于區(qū)域的方法、基于邊緣的方法等。從圖1a可以看到，原始圖像中各種豆類的顏色差異較為明顯，因此可選用經(jīng)典的閾值分割方法。

圖1a中存在多類目標(biāo)，通過(guò)對(duì)各類目標(biāo)的顏色數(shù)據(jù)采樣分析，發(fā)現(xiàn)無(wú)法一次確定多個(gè)閾值完成整幅圖像分割，只能分步驟進(jìn)行。

2.1 識(shí)別紅豆與青豆

將原始圖像顏色數(shù)據(jù)從RGB顏色空間轉(zhuǎn)換到HSV顏色空間［11］，將 S（飽和度）、V（明度）2個(gè)顏色分量均置為1，然后再轉(zhuǎn)換到RGB顏色空間［11］，得到如圖1b所示結(jié)果。圖1b中各種豆類及背景的顏色發(fā)生了變化，通過(guò)對(duì)各種豆類進(jìn)行顏色采樣分析，發(fā)現(xiàn)了一些規(guī)律，見(jiàn)表1。

表1 豆類顏色數(shù)據(jù)分析

從表1可以看出，1）根據(jù)R分量和B分量可以將圖像分為2部分，第一部分包括紅豆、青豆、蕓豆、黃豆，第二部分包括黑豆和背景。2）在第一部分中，根據(jù)G分量可以識(shí)別紅豆和青豆，剩余部分為蕓豆和黃豆。蕓豆和黃豆的G分量存在重疊，在該步驟無(wú)法準(zhǔn)確識(shí)別。3）黑豆與背景顏色值重疊，也無(wú)法識(shí)別。

設(shè)定紅豆與青豆的圖像分割條件：R＞0.5＆＆G＋B＜0.3為紅豆，R＞0.5＆＆G＞0.8為青豆。

紅豆與青豆的圖像分割結(jié)果分別如圖2a、圖2b所示。其中包含了一些噪聲，較小的點(diǎn)狀噪聲可通過(guò)中值濾波去除；較大的斑塊噪聲可根據(jù)連通區(qū)域面積去除，即計(jì)算各連通區(qū)域面積，去掉面積較小的斑塊。細(xì)化處理結(jié)果分別如圖2c、圖2d所示。

圖2 紅豆和青豆分割與細(xì)化處理

2.2 識(shí)別蕓豆與黃豆

將原始圖像顏色數(shù)據(jù)從RGB顏色空間轉(zhuǎn)換到HSV顏色空間，將V分量均置為1，然后再轉(zhuǎn)換到RGB顏色空間，得到如圖1c所示結(jié)果。對(duì)圖1c中蕓豆與黃豆的顏色數(shù)據(jù)采樣分析，見(jiàn)表2。表2中蕓豆與黃豆的R分量都接近1，蕓豆的G分量與黃豆有一些重疊，蕓豆的B分量基本都大于黃豆。

表2 蕓豆與黃豆顏色數(shù)據(jù)采樣

繪制圖1c中蕓豆與黃豆所占區(qū)域的B分量直方圖，結(jié)果如圖3所示（橫坐標(biāo)為B分量256級(jí)灰度階數(shù)，縱坐標(biāo)為像素?cái)?shù)量），具有明顯的雙峰。綜合表2和圖3可知，根據(jù)B分量可以識(shí)別蕓豆和黃豆。

采用迭代法［12］找到圖3中雙峰之間的谷底，分割蕓豆與黃豆。圖4為蕓豆與黃豆圖像分割的結(jié)果和細(xì)化處理后的結(jié)果，細(xì)化處理方法與紅豆和青豆識(shí)別類似。

2.3 識(shí)別黑豆

將原始圖像顏色數(shù)據(jù)從RGB顏色空間轉(zhuǎn)換到HSV顏色空間，得到V分量圖像，如圖1d所示。

圖1d中黑豆與背景具有較為明顯的視覺(jué)差異。繪制黑豆與背景的V分量直方圖，如圖5所示。直方圖中橫坐標(biāo)與縱坐標(biāo)較大的部分為背景，橫坐標(biāo)與縱坐標(biāo)較小的部分為黑豆，找到兩部分之間的谷底，即可分割出黑豆。

圖5 黑豆與背景V分量直方圖

采用Otsu法選擇閾值［12］，黑豆分割結(jié)果如圖6a所示。圖6a中黑豆表面出現(xiàn)較大空洞，這是因?yàn)檫@部分黑豆表面較光滑，圖像采集過(guò)程發(fā)生了反光情況，使得圖像中這部分的亮度較大，與背景相似，被當(dāng)成背景去除。在細(xì)化處理時(shí)，可以通過(guò)孔洞填充予以修復(fù)。細(xì)化處理結(jié)果如圖6b所示。

圖6 黑豆分割與細(xì)化處理

3 測(cè)試與分析

混合豆類分類識(shí)別方法是針對(duì)灰色背景的圖像設(shè)計(jì)，為了測(cè)試方法的適用性，又分別采集了白色、藍(lán)色2種背景的圖像進(jìn)行測(cè)試，共3類測(cè)試。

3.1 灰色背景圖像測(cè)試

對(duì)多幅灰色背景圖像進(jìn)行了測(cè)試，處理結(jié)果基本一致，都能成功分割各種豆類，但也存在一些問(wèn)題。

1）如果同類豆類在原始圖像中緊密相連，分割結(jié)果中二者也連接在一起，圖6b中顯示了這樣的情況。如果實(shí)際應(yīng)用只是統(tǒng)計(jì)各種豆類的數(shù)量和顏色特征，這種結(jié)果則可以直接應(yīng)用，比如根據(jù)面積估計(jì)豆類數(shù)量。如果實(shí)際應(yīng)用需要分割出每一顆豆粒，還需設(shè)計(jì)黏連豆粒分割方法。

2）紅豆側(cè)面有白色種臍，通常會(huì)被當(dāng)成非紅豆部分去掉，但基本不影響紅豆計(jì)數(shù)和顏色特征分析。

3）黑豆是識(shí)別中的難點(diǎn)，困難來(lái)自兩方面：黑豆表面反光、圖像中存在陰影。反光造成圖像分割后黑豆表面出現(xiàn)空洞，部分陰影則會(huì)被當(dāng)成黑豆保留在圖像分割結(jié)果中。為了保證黑豆在結(jié)果中盡量完整，細(xì)化處理中必須進(jìn)行孔洞填充，但孔洞填充有時(shí)會(huì)引起其他問(wèn)題，如圖7所示，如何解決還需進(jìn)一步研究。

圖7 空洞填充的不利影響示例

3.2 白色背景圖像測(cè)試

圖像采集時(shí)在混合豆類上覆蓋一張白紙作為背景，得到白色背景圖像。將上述方法對(duì)白色背景圖像進(jìn)行了測(cè)試，圖8為一次測(cè)試情況。

圖8 白色背景圖像測(cè)試示例

測(cè)試表明，當(dāng)背景為白色時(shí)，青豆與黃豆的識(shí)別效果較好，其次為蕓豆，紅豆與黑豆的識(shí)別精度顯著降低。

影響紅豆與黑豆識(shí)別精度的主要因素是圖像中豆類周圍的陰影。紅豆較小，圖像中其周圍的陰影雖然視覺(jué)感知為黑色，但實(shí)際的顏色值與紅豆邊緣部分接近，紅豆易產(chǎn)生過(guò)度分割情況。黑豆受陰影影響更嚴(yán)重，幾乎很難分割出完整的黑豆顆粒。

3.3 藍(lán)色背景圖像測(cè)試

圖像采集時(shí)在混合豆類上覆蓋一張藍(lán)色的紙作為背景，得到藍(lán)色背景圖像。將上述方法對(duì)藍(lán)色背景圖像進(jìn)行測(cè)試，圖9為一次測(cè)試情況。

圖9 藍(lán)色背景圖像測(cè)試示例

測(cè)試表明，當(dāng)背景為藍(lán)色時(shí)，紅豆、青豆、黃豆的識(shí)別較高較好；蕓豆受到一些影響，識(shí)別結(jié)果不完整；黑豆受影響嚴(yán)重，無(wú)法獲得完整的黑豆。影響識(shí)別結(jié)果的主要因素仍然是圖像中豆類周圍的陰影。

3.4 綜合分析

采用閾值法進(jìn)行圖像分割時(shí)，如果圖像中不同部分的顏色數(shù)據(jù)差異明顯，通常能夠獲得較好的分割效果。如果不同部分的顏色數(shù)據(jù)存在重疊，會(huì)出現(xiàn)過(guò)度分割和分割不完整的現(xiàn)象。

不同豆類的顏色在視覺(jué)感知上存在明顯差異，具備實(shí)施閾值法的可能性。識(shí)別過(guò)程進(jìn)行顏色空間轉(zhuǎn)換的目的是尋找不同對(duì)象之間的顏色數(shù)據(jù)差異。從對(duì)3種不同顏色背景的圖像測(cè)試結(jié)果看，本研究設(shè)計(jì)的混合豆類識(shí)別方法是可行的，通過(guò)顏色空間轉(zhuǎn)換能夠找到不同豆類之間的顏色數(shù)據(jù)差異，但是最終識(shí)別結(jié)果受圖像采集背景影響。

這是因?yàn)閳D像采集時(shí)，不同顏色的背景會(huì)影響圖像中豆粒周圍陰影的形成。雖然在人眼看來(lái)陰影都是黑色或灰色，但其對(duì)應(yīng)的顏色數(shù)據(jù)卻并非如此，而是與豆粒邊緣部分有一定相似性，相似程度受圖像采集背景影響。當(dāng)陰影與豆粒邊緣的顏色值過(guò)于接近時(shí)，就造成了豆粒與背景的顏色重疊，豆粒分割會(huì)出現(xiàn)過(guò)度分割、分割不完整的情況，使得豆類識(shí)別結(jié)果不完整。

陰影或者說(shuō)圖像采集背景是影響豆類識(shí)別效果的主要因素。如果要提高豆類識(shí)別精度，最佳的途徑是改進(jìn)圖像采集質(zhì)量，盡量消除陰影。比如在豆類周圍使用多個(gè)比較柔和的光源，形成類似于無(wú)影燈的效果，然后進(jìn)行圖像采集，這時(shí)采用本方法可以獲得精準(zhǔn)的結(jié)果，黏連豆粒問(wèn)題也不會(huì)再發(fā)生。

劉光蓉等［10］研究混合農(nóng)產(chǎn)品檢測(cè)時(shí)，使用掃描儀進(jìn)行圖像采集，背景設(shè)置為藍(lán)色，混合農(nóng)產(chǎn)品包括大米、黃豆、綠豆，農(nóng)產(chǎn)品顆粒之間基本上都有明顯間隔，圖像中農(nóng)產(chǎn)品顆粒周圍的陰影對(duì)農(nóng)產(chǎn)品顆粒分割影響較小，因而可以先分割各顆粒，然后根據(jù)各顆粒的顏色和形狀特征識(shí)別各顆粒的種類。如果其中有黑豆或其它受圖像采集背景影響的農(nóng)產(chǎn)品，其方法中的二值化處理會(huì)受到受到影響，進(jìn)而影響整個(gè)檢測(cè)結(jié)果。

4 結(jié)論

混合豆類識(shí)別方法能夠找到不同豆類之間的顏色數(shù)據(jù)差異，實(shí)現(xiàn)混合豆類分割和識(shí)別。各種豆類的識(shí)別精度受圖像采集質(zhì)量影響，如果圖像采集時(shí)能夠消除豆粒周圍的陰影，將獲得最佳的識(shí)別結(jié)果。

該方法可用于混合豆類品質(zhì)自動(dòng)檢測(cè)設(shè)備和裝置開(kāi)發(fā)，其思路也可用于其它混合農(nóng)產(chǎn)品檢測(cè)。如果應(yīng)用于在線檢測(cè)，需根據(jù)具體的成像條件，如圖像采集設(shè)備、光照條件等對(duì)方法中紅豆與青豆的圖像分割閾值重新標(biāo)定，因?yàn)椴煌某上駰l件獲取的圖像可能存在一些差異。如果某些豆粒存在表皮破損或脫落情況，需綜合考慮2個(gè)因素后決定方法是否需要調(diào)整：缺陷顏色與豆粒表皮顏色的差異、缺陷在豆粒表面發(fā)生的位置，具體如何實(shí)施還需進(jìn)一步分類研究。

［1］Janardhana S，Jaya J，Sabareesaan K J，et al.Computer aided inspection system for food products using machine vision—A review［C］.In Current Trends in Engineering and Technology（ICCTET），2013 International Conference on.IEEE，2013：29－33

［2］李景彬，鄧向武，坎雜，等.機(jī)器視覺(jué)在農(nóng)產(chǎn)品表面缺損檢測(cè)中的應(yīng)用研究［J］.農(nóng)機(jī)化研究，2013，35（7）：221－224

［3］Patel K K，Kar A，Jha SN，et al.Machine vision system：a tool for quality inspection of food and agricultural products［J］.Journal of Food Science and Technology，2012，49（2）：123－141

［4］王潤(rùn)濤，張長(zhǎng)利，房俊龍，等.基于機(jī)器視覺(jué)的大豆籽粒精選技術(shù)［J］.農(nóng)業(yè)工程學(xué)報(bào)，2011，27（8）：355－359

［5］趙丹婷.基于圖像處理技術(shù)的大豆外觀品質(zhì)檢測(cè)系統(tǒng)的研究［D］.東北農(nóng)業(yè)大學(xué)，2010

［6］朱偉興，蘇威，張懷德.基于支持向量機(jī)的重疊大豆顆粒計(jì)數(shù)［J］.大豆科學(xué)，2009，28（1）：152－155

［7］高艷霞，李禹生.基于粒子群算法和神經(jīng)網(wǎng)絡(luò)的大豆識(shí)別研究［J］.中國(guó)糧油學(xué)報(bào)，2007，22（4）：121－124

［8］趙莉.霉變蕓豆的計(jì)算機(jī)視覺(jué)識(shí)別［J］.硅谷，2009，12：006

［9］李春勝，王蔚，李娜.青豆檢測(cè)機(jī)的設(shè)計(jì)［J］.價(jià)值工程，2012，31（3）：288－289

［10］劉光蓉，周紅，管庶安.顆粒形混合農(nóng)產(chǎn)品的圖像檢測(cè)與分類 ［J］.農(nóng)業(yè)工程學(xué)報(bào)，2011，27（11）：344－348

［11］岡薩雷斯著，阮秋琦譯.數(shù)字圖像處理（Matlab版）［M］.北京：電子工業(yè)出版社，2005：152－153

［12］姚敏.數(shù)字圖像處理［M］.北京：機(jī)械工業(yè)出版社，2012：209－211.

Classification of Mixed Beans Based on Color Space Transformation

Zheng Xiaodong Gao Jie Zhang Xiaoyu

（Department of Computer Science and Application，Zhengzhou Institute of Aeronautical Industry Management，Zhengzhou 450015）

Quality inspection of the mixed beans need to be conducted in production of some bean products.An automatic classification method of mixed beans based on color space transformation was presented in the paper.First，a scanner was used to acquire the image of the mixed beans.The color data difference between each bean and their backgrounds or other beans was found successively with three color space transformations.So each bean was distinguished.The method had been tested with images acquired under three different color backgrounds，which were gray，white and blue.The test results showed that the method can achieve the automatic classification of the mixed beans.The detection precision is influenced by the image quality.The proposed method is applicable to the development of automatic detection equipment.

beans，quality detection，color space，machine vision

TP274＋.3

A

1003－0174（2015）04－0102－05

2013－12－22

鄭小東，男，1974年出生，副教授，計(jì)算機(jī)視覺(jué)