摘?要:裂紋是缺陷棗的一種常見外部呈現(xiàn)形態(tài),剔除裂紋紅棗可提升紅棗附加值。本文先采用機器視覺系統(tǒng)采集紅棗,選出正常紅棗和裂紋紅棗各20粒作為實驗對象,并對這20組紅棗進行預(yù)處理,然后通過實驗驗證正常紅棗和裂紋紅棗各自的不變矩特性,再將正常紅棗和裂紋紅棗的原始圖像轉(zhuǎn)換成HSI圖像,通過在I分量上的差別采用二值圖像不變矩進行圖像處理,表明此方法的可行性,對紅棗具有較好的區(qū)分功能。
關(guān)鍵詞:機器視覺;紅棗;裂紋
Crack?Feature?Extraction?of?Red?Jujube?Based?on?Machine?Vision
Zhu?Lijuan
Xinjiang?Institute?of?Technology?XinjiangAksu?843000
Abstract:The?crack?is?a?common?external?appearance?of?defective?jujube,and?the?added?value?of?jujube?can?be?increased?by?eliminating?the?crack.In?this?paper,the?machine?vision?system?is?first?used?to?collect?red?dates,20?normal?dates?and?20?cracked?dates?are?selected?as?test?objects,and?the?20?groups?of?red?dates?are?preprocessed,and?then?the?invariant?moment?characteristics?of?normal?dates?and?cracked?dates?are?verified?through?experiments,and?the?original?images?of?normal?dates?and?cracked?dates?are?converted?into?HSI?images.Through?the?difference?of?I?component,the?binary?image?invariant?moment?is?used?to?process?the?image,which?shows?the?feasibility?of?this?method,and?has?a?good?function?of?distinguishing?jujube.
Keywords:machine?vision;red?jujube;crack
“世界紅棗在中國,中國紅棗在新疆”——我國棗種植面積及產(chǎn)量居世界第一,占世界棗種植面積及產(chǎn)量的98%以上。近幾年來,新疆的紅棗栽植面積和產(chǎn)量增長迅猛,成為全國最大的商品化紅棗種植基地。據(jù)統(tǒng)計年鑒數(shù)據(jù),2019年新疆紅棗產(chǎn)量占到我國紅棗總量的50%,是我國紅棗的絕對主體。新疆紅棗主要分布在和田、喀什、阿克蘇、巴州和東疆的吐魯番、哈密等地,并已形成和田駿棗、阿克蘇紅棗、若羌棗、哈密大棗等四大獲得國家農(nóng)產(chǎn)品的地理標志保護的暢銷品牌。
隨著居民可支配收入的提升以及對高生活品質(zhì)的需求,人們對棗果的外觀品質(zhì)[1]和內(nèi)在營養(yǎng)成分有更高的要求。紅棗的外部品質(zhì)主要是指大小、表面褶皺、缺陷[2]等。紅棗外部品質(zhì)分級一般是通過顏色、質(zhì)地、大小和質(zhì)量等外部品質(zhì)標準在工業(yè)分級機上自動完成的,但是根據(jù)其他外觀標準對紅棗進行分級,如擦傷、腐爛和裂紋等一些不明顯的缺陷,這些缺陷使健全的果皮呈現(xiàn)相同的顏色和質(zhì)地,因此仍然是通過人工分選。人工分選存在主觀性較強、耗時、分選不一致等缺點,并且容易受到周圍環(huán)境的影響。
隨著科學技術(shù)的進步,基于機器視覺[3]的無損檢測在干果分級上有著突飛猛進的發(fā)展。機器視覺也被稱為計算機視覺,其分級系統(tǒng)是首先通過相機獲取紅棗的圖像,然后將紅棗圖像傳入計算機中并進行一系列處理,從而提取紅棗的外部品質(zhì)信息并對信息進行分析,依據(jù)分析結(jié)果對紅棗進行分級。
針對紅棗缺陷分類問題,海潮等[4]在HSV顏色空間中提取H分量和S分量,將Blob算法應(yīng)用在紅棗與其背景分離上,取得90%的缺陷果識別效果。參考文獻[5]將高光譜成像技術(shù)應(yīng)用于裂紋、蟲害和瘀傷等果子缺陷識別之上,雖然加入高光譜成像技術(shù)使得檢測精度高,但速度慢,成本高,不利于市場的推廣。楊志銳等[6]將基于網(wǎng)中網(wǎng)卷積神經(jīng)網(wǎng)絡(luò)這一深度學習算法應(yīng)用在紅棗缺陷檢測上,該方法相較于基于常規(guī)SVM(Support?Vector?Machine)的視覺檢測方法和基于AlexNet網(wǎng)絡(luò)的分類方法更有效。方雙等[7]通過增加深度和寬度對AlexNet卷積神經(jīng)網(wǎng)絡(luò)進行改進,采用多尺度卷積神經(jīng)網(wǎng)絡(luò)對霉變棗、破頭棗和正常棗進行了檢測,提高了模型的檢測準確率。參考文獻[8]提出了一種基于特征關(guān)注度的多標簽棗缺陷分類關(guān)系網(wǎng)絡(luò),實現(xiàn)對同一紅棗多種缺陷類別的檢測與識別。
1?原料與方法
1.1?試驗樣品
本研究所使用的實驗樣品購買于阿克蘇農(nóng)副產(chǎn)品批發(fā)市場,該紅棗是僅僅經(jīng)過人工簡單清洗,未被烘干的阿克蘇當?shù)匕敫苫覘?,人工選擇各20粒正常紅棗和裂紋紅棗作為實驗樣本。
1.2?機器視覺采集系統(tǒng)
本研究的圖像采集系統(tǒng)主要由計算機、工業(yè)攝像頭、光源、圖像采集卡等組成。由于該采集系統(tǒng)需要處理大量的圖像數(shù)據(jù),故計算機配置為2.80GHzCPU,16GB內(nèi)存和1T硬盤;采用維視智造推出的超高性價比高速數(shù)字相機MVHS系列工業(yè)相機,體積較小且適合安裝固定;為了減少不合理的光照分布對采集的圖像造成的影響,照明裝置采用直流供電、無頻閃和光照均勻的LED環(huán)形光源;采用中安視訊SV2000圖像采集卡。為了達到較好的分離效果,在實驗平臺上選用不同顏色背景進行測試,最終決定使用白色作為圖像采集背景,這樣可以將目標更加容易凸顯分辨。
1.3?圖像處理軟件
在相機采集紅棗圖像過程中,用到相機自帶的圖像采集軟件;在后期的圖像處理過程中,本研究用MATLAB?R2019b軟件對紅棗圖像進行數(shù)字化處理分析。
2?紅棗的裂紋特征提取
2.1?裂紋圖像不變矩
矩本身是概率與統(tǒng)計中的概念,其本質(zhì)是數(shù)學期望。一階矩與形狀有關(guān),二階矩顯示曲線圍繞直線平均值的擴展程度,三階矩則是關(guān)于平均值的對稱性的測量。由二階矩和三階矩可以導出一組共7個不變矩,即Hu.M.K提出的7個幾何不變矩。不變矩是圖像的統(tǒng)計特性,滿足平移、伸縮、旋轉(zhuǎn)均不變的不變性,在圖像處理中可以作為一個重要的特征來表示物體,可以據(jù)此特征來對圖像進行分類等操作,在圖像識別領(lǐng)域得到了廣泛的應(yīng)用。
一副M×N的數(shù)字圖像f(i,j),其p+q階中心矩μpq為:
mpq=∑Mi=1∑Nj=1ipjqf(i,j)p,q=0,1,2…
μpq=∑Mi=1∑Nj=1(i-i-)p(j-j-)qf(i,j)p,q=0,1,2…
式中,i-=m10m00,j-=m01m00
為了消除圖像比例變化帶來的影響,定義規(guī)格化中心矩為:
ηpq=μpqμγ00,γ=p+q2+1,p+q=2,3…
2.2?紅棗圖像處理
將采集的紅棗圖像讀入MATLAB?R2019b軟件中進行圖像濾波,對正常紅棗和裂紋紅棗各自進行不變矩驗證實驗,然后將濾波后的原始彩色圖像轉(zhuǎn)換得到其HSI圖像,并獲取I分量圖,然后在I分量上對紅棗區(qū)域使用OTSU大津法閾值分割求得裂紋分割圖像,再提取裂紋二值圖,將裂紋二值圖7個不變矩組作為特征參數(shù)。以一組正常紅棗和裂紋紅棗為例,其旋轉(zhuǎn)不變矩如圖1~圖4所示,其原始圖像、HSI圖像、I分量圖如圖5、圖6所示。
2.3?結(jié)果分析
本文以各20粒正常紅棗和裂紋紅棗作為實驗樣品,使用MATLAB?R19b軟件完成實驗。從上圖的I分量圖中可得出帶有裂紋的紅棗其裂紋處亮度比正常紅棗的亮度低,裂紋處顏色更深,表明通過此方法提取裂紋特征的可行性,進而可以對紅棗進行分類。
3?結(jié)論
本文采用機器視覺采集紅棗,對正常紅棗和裂紋紅棗各自進行不變矩驗證實驗,然后將原始彩色圖像轉(zhuǎn)化成HSI圖像,提取圖像的I分量,根據(jù)裂紋紅棗和正常紅棗在I分量的差別采用二值圖像不變矩進行圖像處理,進而區(qū)分裂紋紅棗與正常紅棗,對紅棗的分級具有十分重要的意義。
參考文獻:
[1]饒劍,呂自玉.基于機器視覺的類球形水果外部品質(zhì)分級方法研究[J].科技與創(chuàng)新,2022(05):6365.
[2]馬博.基于機器視覺的紅棗缺陷檢測及分選系統(tǒng)的研究[D].塔里木大學,2021.
[3]李聰,李玉潔,李小占,等.基于機器視覺的紅棗外部品質(zhì)檢測技術(shù)研究進展[J].食品工業(yè)科技,2022,43(20):447453.
[4]海潮,趙鳳霞,孫爍.基于Blob分析的紅棗表面缺陷在線檢測技術(shù)[J].食品與機械,2018,34(01):126129.
[5]WU?L?G,HE?J?G,LIU?G?S,et?al.Detection?of?common?defects?on?jujube?using?VisNIR?and?NIR?hyperspectral?imaging[J].Postharvest?Biology?and?Technology,2016,112:134142.
[6]楊志銳,鄭宏,郭中原,等.基于網(wǎng)中網(wǎng)卷積神經(jīng)網(wǎng)絡(luò)的紅棗缺陷檢測[J].食品與機械,2020,36(02):140145+181.
[7]方雙,趙鳳霞,楚松峰,等.基于多尺度卷積神經(jīng)網(wǎng)絡(luò)的缺陷紅棗檢測方法[J].食品與機械,2021,37(02):158163+168.
[8]XU?X?H,ZHENG?H,YOU?C?H,et?al.Farnet:Featurewise?attentionbased?relation?network?for?multilabel?jujube?defect?classification[J].Sensors,2021,21:E392.
項目:新疆理工學院校級項目“基于機器視覺的紅棗外觀品質(zhì)分級方法研究”(項目編號:ZZ202104)
作者簡介:朱麗娟(1987—?),女,漢族,山東菏澤人,研究生,副教授,研究方向:人工智能、機器視覺、圖像處理。