陳羽立，孫付春，郭興華，郭地偉，劉李逵,張廷婷

(1.成都大學(xué) 機(jī)械工程學(xué)院，四川 成都 610106;2.一汽東機(jī)工減振器成都有限公司，四川 成都 610100)

0 引 言

隨著生活品質(zhì)的提升，人們對雞蛋數(shù)量和雞蛋品質(zhì)的要求都在不斷提高.截止我國國家統(tǒng)計(jì)局在2020年1月發(fā)布的數(shù)據(jù)，我國的禽蛋產(chǎn)量已經(jīng)在2016年突破30 Mt，2019年總產(chǎn)量達(dá)到33.09 Mt，而其中雞蛋的產(chǎn)量約占總產(chǎn)量的84%.據(jù)分析，市場需求及蛋雞補(bǔ)欄速度都未呈現(xiàn)降低趨勢，因此雞蛋的產(chǎn)量在未來幾年還會持續(xù)增長[1].

圖1是雞蛋分級生產(chǎn)線加工流程圖.據(jù)統(tǒng)計(jì)，裂紋蛋和破損蛋占據(jù)了整個(gè)蛋品產(chǎn)量的6%.對于不良蛋的檢測分選，是整個(gè)蛋品加工中重要的一環(huán)，是食品安全的保障.目前，在蛋品檢測環(huán)節(jié)中，我國采用進(jìn)口裂紋檢測設(shè)備或直接使用人工進(jìn)行蛋品的檢測.人工檢測方法限制了蛋品加工的速度與產(chǎn)品質(zhì)量，難以釋放國內(nèi)蛋品加工行業(yè)的生產(chǎn)力，而進(jìn)口設(shè)備則增加了蛋品加工的成本，且后期保養(yǎng)與維修也給企業(yè)生產(chǎn)穩(wěn)定性帶來了一定的阻礙,所以需要應(yīng)用智能化與自動(dòng)化的手段來提升雞蛋的產(chǎn)量與質(zhì)量.

國內(nèi)已有很多研究者在雞蛋的裂紋檢測方面作出了探索，其檢測方法包括基于機(jī)器視覺的檢測、基于聲學(xué)特性的檢測及基于光學(xué)特性的檢測等.其中，機(jī)器視覺多被用于檢測雞蛋的外形尺寸、哈夫單位、蛋內(nèi)瑕疵、氣室大小及表面裂紋和污漬等特征.李新城等[2]分別對外部特征、蛋黃特征及氣室特征等進(jìn)行提取，建立與哈夫單位關(guān)聯(lián)的回歸模型.段茜等[3]提出了一種像素面投影法用于估算雞蛋表面積.熊利榮等[4]在圖像預(yù)處理基礎(chǔ)上提取了13種特征值，采用Adaboosting優(yōu)化，選出其中2類值作為最優(yōu)組合，且作為特征向量，輸入SVM進(jìn)行分類，模型正確率達(dá)97.5%.魏萱等[5]對采集的圖片預(yù)處理后，利用灰度共生矩陣進(jìn)行特征提取，并分別結(jié)合SVM、LDA和SIMCA分類，其中LDA模型判別準(zhǔn)確率達(dá)96.0%.潘磊慶等[6]結(jié)合計(jì)算機(jī)視覺和聲學(xué)響應(yīng)信息，并繼續(xù)深入研究進(jìn)行多傳感器融合的雞蛋裂紋檢測系統(tǒng)[7]，其中計(jì)算機(jī)視覺單項(xiàng)判別準(zhǔn)確率為62%，綜合準(zhǔn)確率為98%.宋超等[8]結(jié)合K-means與SVM對裂紋蛋進(jìn)行判別，準(zhǔn)確率達(dá)94.6%.Goodrum等[9]在圖像采集中分別對雞蛋以長軸為旋轉(zhuǎn)軸，進(jìn)行了120°、240°、360°的圖像采集，綜合進(jìn)行判別，準(zhǔn)確率達(dá)94%.Lin等[10]設(shè)計(jì)了一套共振系統(tǒng)來判別單品是否為裂紋蛋，從反饋信號中提取5個(gè)特征變量后分別使用支持向量機(jī)、人工神經(jīng)網(wǎng)絡(luò)及K臨近法3種模式識別算法進(jìn)行結(jié)果對比研究，結(jié)果表明支持向量機(jī)的效果最好，校正集的識別率為95%，預(yù)測集的識別率為97%.Sun等[11]設(shè)計(jì)了基于DSP處理器的蛋品裂紋檢測系統(tǒng)，分析了蛋品重量、沖擊位置、傳送速度和沖擊強(qiáng)度對響應(yīng)信號的影響，并提取了5個(gè)特征變量進(jìn)行模型搭建，最終對裂紋蛋的辨別率達(dá)到96.1%.

研究者針對雞蛋表面裂紋的識別作出了很多的探索.在此基礎(chǔ)上，本研究通過對機(jī)器視覺裂紋識別系統(tǒng)的圖像采集有效性進(jìn)行探討，分析對樣品蛋進(jìn)行信息采集的最合適方位，改進(jìn)圖像采集的方法，結(jié)合EfficientNet_B0網(wǎng)絡(luò)構(gòu)造分類模型，利用機(jī)器視覺技術(shù)，提升了對裂紋蛋的識別精度.

1 雞蛋裂紋圖像采集及研究

1.1 實(shí)驗(yàn)材料

湖北某雞蛋廠生產(chǎn)的新鮮雞蛋150枚，重量在40 g到55 g之間隨機(jī)分布；某石膏廠的石膏空心雞蛋模型15枚；自制簡易模擬滾動(dòng)破蛋裝置；圖像采集設(shè)備包括暗箱、1W LED光源(燈頭作聚光處理)、模擬輸送臺、相機(jī)(國產(chǎn)，有效分辨率為3 024×4 032，圖像位深度為3×8 bit)及計(jì)算機(jī)(型號為Precision 3540).值得說明的是，光源燈頭作聚光處理后，使光斑聚集于雞蛋主體，提高了裂紋辨識度，減少了漏光對上方相機(jī)采集質(zhì)量的影象，避免了在預(yù)處理中單獨(dú)作漏光分割的操作，從而簡化了預(yù)處理流程.

1.2 實(shí)驗(yàn)裂紋蛋樣本制作

為模擬雞蛋在生產(chǎn)線上的滾動(dòng)而產(chǎn)生的碰撞，本研究設(shè)計(jì)了一種簡易滾動(dòng)模擬破蛋裝置，如圖2所示.該裝置主要由主箱體、軸和底座構(gòu)成，其中箱體內(nèi)側(cè)底面設(shè)置有2條凸型減速帶，以便防止?jié)L動(dòng)過程中雞蛋之間不能互相碰撞卻過多碰撞箱體壁面產(chǎn)生裂紋的現(xiàn)象.雞蛋滾動(dòng)過程中，先下滑的雞蛋因凸型減速帶減速與后下滑的雞蛋前后追尾，從而模擬在蛋品加工生產(chǎn)線中雞蛋互相碰撞產(chǎn)生的裂紋.使用湖北某石膏制品廠的15枚空心石膏雞蛋進(jìn)行初步實(shí)驗(yàn)時(shí)發(fā)現(xiàn)，當(dāng)凸型減速帶高度設(shè)為15 mm時(shí)，雞蛋互相碰撞次數(shù)效果較好.

取90枚雞蛋，依次將15枚雞蛋放入模擬滾動(dòng)破蛋裝置主箱的一側(cè)內(nèi)，以相同的速率來回升降主箱體兩側(cè)，進(jìn)行10次來回升降操作，使得箱體內(nèi)的雞蛋不斷獲得重力勢能而從當(dāng)前位置向高度較低的一側(cè)滾動(dòng)，在滾動(dòng)過程中不斷產(chǎn)生碰撞及適當(dāng)與箱體壁面碰撞.實(shí)驗(yàn)分為6組，每組來回升降主箱體的次數(shù)遞增5次.實(shí)驗(yàn)結(jié)束后，人工仔細(xì)檢查，記錄出現(xiàn)的裂紋個(gè)數(shù)、種類及出現(xiàn)在雞蛋表面的裂紋位置和形狀，如表1所示.

表1 裂紋統(tǒng)計(jì)

由表1可知，位于雞蛋赤道的線形裂紋，是在雞蛋滾動(dòng)過程中最容易產(chǎn)生的裂紋.在維護(hù)良好的蛋品生產(chǎn)線上，主要的檢測對象也是線形裂紋蛋，而雞蛋的微小線形裂紋也是最不容易被識別的，所以裂紋圖像信息的采集必須嚴(yán)格，為后續(xù)信息的提取及分類器的訓(xùn)練等提供基礎(chǔ).

1.3 圖像采集有效性規(guī)律實(shí)驗(yàn)

將上述裂紋蛋小心收集，并依次置入圖像采集設(shè)備的暗箱中進(jìn)行逐步轉(zhuǎn)動(dòng)，進(jìn)行多方位圖像采集，而將其余雞蛋作為完好蛋依次置入暗箱并進(jìn)行多方位圖像采集.將采集到的圖像經(jīng)過限制對比度與自適應(yīng)直方圖均衡化等常規(guī)圖像增強(qiáng)操作，并優(yōu)化細(xì)節(jié)，收集以備用.

采集過程中，將雞蛋放置于裂紋整體朝向鏡頭的角度，記為0°初始角.隨著雞蛋以長軸為中軸線轉(zhuǎn)動(dòng)，從相機(jī)中裂紋的可見性逐漸降低，旋轉(zhuǎn)至某一角度后線形裂紋的可見性完全消失.具體實(shí)例如圖3所示，為更直觀展示實(shí)驗(yàn)結(jié)果，已用“×”對雞蛋表面進(jìn)行定點(diǎn)對比標(biāo)記.

本研究對雞蛋裂紋圖像的有效采集定義為，通過該采集的圖像可以經(jīng)過人眼或邊緣檢測算法提取出有效邊界信息.由圖3可看出，實(shí)例中的雞蛋存在一條豎向線形裂紋，在繞長軸緩慢旋轉(zhuǎn)約55°后，無法以人眼或基于Canny算子辨識出有效的裂紋邊緣特征.對此，以上述55枚含線形裂紋的雞蛋作為對象進(jìn)行旋轉(zhuǎn)在線圖像采集實(shí)驗(yàn)，對每一枚蛋上裂紋采集無效時(shí)的角度(簡稱失效角)進(jìn)行統(tǒng)計(jì)，如表2所示.

表2 失效角統(tǒng)計(jì)

1.4 6方位雞蛋裂紋采集方法

由表2可知，樣本裂紋蛋中有近9.1%的裂紋在雞蛋旋轉(zhuǎn)到60°前，上方的攝像頭已對裂紋構(gòu)成失效采集.環(huán)雞蛋赤道的120°、240°和360°的圖像采集方法也存在裂紋采集的盲點(diǎn)區(qū)域，有無法有效采集部分微裂紋的風(fēng)險(xiǎn)，可能使得裂紋檢測系統(tǒng)得不到該類裂紋的圖像信息，降低了整體裂紋檢測系統(tǒng)的正確性.所以，本研究提出改進(jìn)的裂紋圖像采集方法，即6方位采集方法，可在實(shí)際實(shí)驗(yàn)及生產(chǎn)中使用.6方位采集方法的思路是，分別在雞蛋的環(huán)赤道90°、180°、270°、360°位置及尖端、鈍端共進(jìn)行6次圖像采集，后續(xù)利用訓(xùn)練的模型進(jìn)行單獨(dú)分類.在實(shí)驗(yàn)中，旋轉(zhuǎn)角在45°前未出現(xiàn)失效角，此時(shí)，樣本雞蛋的所有裂紋均被有效采集，即在繞雞蛋中軸線順時(shí)針或逆時(shí)針旋轉(zhuǎn)45°以內(nèi)時(shí)，微裂紋均可被有效采集.因此，實(shí)際的雞蛋圖像采集過程中，單枚雞蛋繞其中軸線每遞增90°,就進(jìn)行一次圖像采集，即分別在雞蛋的環(huán)赤道90°、180°、270°及360°分別采集一次，并附加采集雞蛋尖端、鈍端，即共6次圖像采集，以保證雞蛋表面裂紋信息的有效采集，從而避免裂紋信息遺漏，為下一步構(gòu)建圖像分類模型提供基礎(chǔ).

2 基于EfficientNet的雞蛋裂紋圖像分類方法

2.1 EfficientNet網(wǎng)絡(luò)簡介

隨計(jì)算機(jī)計(jì)算能力的提高，各類云計(jì)算服務(wù)為各類場景的研究提供了強(qiáng)大的計(jì)算基礎(chǔ).深度學(xué)習(xí)網(wǎng)絡(luò)不斷應(yīng)用于各個(gè)領(lǐng)域，特別是圖像分類與物體識別(即目標(biāo)識別)領(lǐng)域，在傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)等上進(jìn)行改進(jìn)與優(yōu)化得到新型網(wǎng)絡(luò)，例如AlexNet[12]、ResNet、ShuffleNet及MobileNet.在保證準(zhǔn)確率的前提下，對數(shù)據(jù)集和訓(xùn)練時(shí)間的要求也不斷降低.其中，EfficientNet網(wǎng)絡(luò)是評價(jià)經(jīng)典高效分類的網(wǎng)絡(luò)之一.

傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)一般通過調(diào)整輸入圖像分辨率、網(wǎng)絡(luò)深度及卷積通道數(shù)來進(jìn)行網(wǎng)絡(luò)擴(kuò)展，而EfficientNet則利用模型復(fù)合縮放方法對三者進(jìn)行綜合擴(kuò)展，具體方式為指定復(fù)合系數(shù)Φ，用于同時(shí)約束圖像分辨率、網(wǎng)絡(luò)寬度及深度，如式(1)所示.

(1)

主干網(wǎng)絡(luò)使用MobileNet V2網(wǎng)絡(luò)中的MBConv模塊來構(gòu)建，主要改進(jìn)在于將其中(3×3Conv+BN+ReLU)的結(jié)構(gòu)分解為(1×1ConV+BN+ReLU+3×3ConV+BN+ReLU).短連接部分使用SE層，采用drop_connect替換普通drop方法.Swish函數(shù)無上界，有下界，非單調(diào)且平滑，在多種深層模型的top1等準(zhǔn)確率上表現(xiàn)優(yōu)于傳統(tǒng)的ReLU函數(shù).本研究所使用的EfficientNet_B0網(wǎng)絡(luò)中，將MBConv中的激活函數(shù)由ReLU部分地替換為Swish.主干網(wǎng)絡(luò)數(shù)據(jù)處理流程如圖4所示.

2.2 模型的構(gòu)建與訓(xùn)練

樣本總數(shù)為401幅圖像，數(shù)據(jù)集總量較少，故針對性地選擇EfficientNet系列中的EfficientNet_B0 small網(wǎng)絡(luò).該網(wǎng)絡(luò)相比EfficientNet_B0，去除了SE模塊，提高了訓(xùn)練速度，結(jié)果更為精簡，但精度有所下降.設(shè)置Brightness、Invert和AutoConstrast 3類圖像增強(qiáng)算法，處理概率均設(shè)置為0.2，分別隨機(jī)調(diào)整圖像的亮度、色彩和對比度，實(shí)現(xiàn)數(shù)據(jù)增強(qiáng)來緩沖不同雞蛋之間的透射光線色差和其他影響因素.引入EfficientNet遷移學(xué)習(xí)庫，并搭建基于EfficientNet_B0 small的遷移學(xué)習(xí)網(wǎng)絡(luò)，使用分段衰減學(xué)習(xí)率函數(shù)piecewise_decay，并使用Auto model search進(jìn)行包括初始學(xué)習(xí)率的超參數(shù)自動(dòng)調(diào)節(jié)對比.訓(xùn)練結(jié)果如表3所示.

表3 訓(xùn)練結(jié)果

如表3所示，訓(xùn)練集與測試集的準(zhǔn)確率分別為97.3%和97.2%，顯示所訓(xùn)練模型的擬合效果較好，且未出現(xiàn)明顯的過擬合現(xiàn)象，表明可以進(jìn)行下一步驗(yàn)證實(shí)驗(yàn).

3 分類檢測模型的驗(yàn)證

本研究再次利用圖2中自制的滾動(dòng)模擬破蛋裝置，取60枚新鮮雞蛋進(jìn)行模擬滾動(dòng)破蛋處理，得到47枚含有裂紋的雞蛋，將60枚雞蛋均勻混合后，依次遞入圖像采集系統(tǒng)中進(jìn)行6方位圖像采集.每一枚雞蛋采集6幅圖像，輸入到模型進(jìn)行判別，若其中1幅及以上被判別為裂紋蛋，則綜合判別輸出為裂紋蛋.若6幅圖像被判別為裂紋蛋的數(shù)量為0，則綜合判別輸出為完好蛋.實(shí)驗(yàn)驗(yàn)證結(jié)果如表4所示.

表4 驗(yàn)證結(jié)果

由表4可知，在驗(yàn)證集中，結(jié)合6方位裂紋采集法的綜合判別準(zhǔn)確率為96.7%，與表3中模型測試集準(zhǔn)確率度相符合，表明模型有效且可以用于類似環(huán)境中的實(shí)際生產(chǎn).

4 結(jié) 語

本研究分別對圖像采集方法和圖像分類方法進(jìn)行了探討，證明了傳統(tǒng)環(huán)繞雞蛋赤道3方位的裂紋采集方法存在盲區(qū)，提出了6方位雞蛋裂紋采集方法，避免了該類盲區(qū)的出現(xiàn)，并基于EfficientNet_B0 small網(wǎng)絡(luò)訓(xùn)練了裂紋蛋與完好蛋的圖像分類模型，最終模型在訓(xùn)練集、測試集中分別達(dá)到了97.3%與97.2%的準(zhǔn)確率，并在驗(yàn)證集中的綜合判別準(zhǔn)確率達(dá)到了96.7%.實(shí)驗(yàn)結(jié)果表明，基于EfficientNet的雞蛋裂紋檢測方法是可行的，為蛋品加工行業(yè)中自動(dòng)化雞蛋裂紋檢測裝備國產(chǎn)化奠定了基礎(chǔ)，也為研究雞蛋裂紋檢測自動(dòng)化的實(shí)現(xiàn)方法提供了參考.