谷林峰，李亞

天津市輕工與食品工程機(jī)械裝備集成設(shè)計(jì)與在線監(jiān)控重點(diǎn)實(shí)驗(yàn)室，天津科技大學(xué)（天津 300222）

油炸花生是生花生米在高溫?zé)嵊拖录眲∈軣岷蟮募庸な称贰ｋS著出口貿(mào)易的不斷發(fā)展，油炸花生的需求量也越來越大，對(duì)油炸花生的品質(zhì)要求也逐漸提高[1-2]。目前，傳統(tǒng)的基于傳送帶的油炸花生分揀生產(chǎn)線主要依賴于人眼識(shí)別，人工挑揀次品，人力分裝成品，勞動(dòng)力成本大，誤檢率較高，且抗疲勞能力較差。也有少數(shù)企業(yè)采用光電色選機(jī)[3]等自動(dòng)化設(shè)備進(jìn)行分揀工作，但誤檢率也比較高。近幾年，機(jī)器視覺技術(shù)被逐漸應(yīng)用于檢測(cè)產(chǎn)品質(zhì)量[4-6]，并引導(dǎo)機(jī)器人完成分揀工作[7-8]，代替人工重復(fù)性操作，配合高幀頻工業(yè)相機(jī)和機(jī)器人，為油炸花生智能分揀提供了可能。

機(jī)器視覺技術(shù)在揀選系統(tǒng)中有兩個(gè)功能：獲取目標(biāo)定位信息和通過圖像信息判別目標(biāo)缺陷特征。搭建油炸花生分揀的系統(tǒng)主要有兩個(gè)難點(diǎn)：一是花生的油炸過程會(huì)使整個(gè)分揀過程處在油污環(huán)境中，以純潔氣源為動(dòng)力的“吸盤”抓取裝置并不適用；二是生花生經(jīng)過油炸處理后，采集的圖像易受噪聲污染且缺陷特征變復(fù)雜，單一的分類器無法有效篩檢優(yōu)品類。

針對(duì)以上問題，提出一個(gè)基于機(jī)器視覺的油炸花生分類揀選系統(tǒng)。該系統(tǒng)考慮相機(jī)視野和機(jī)器人工作范圍無重疊的狀況，優(yōu)化現(xiàn)場(chǎng)手眼標(biāo)定操作方法[9]，保證了目標(biāo)定位精度；利用柔性抓取手爪代替吹吸剔除裝置，避免發(fā)生誤揀或油污堵塞氣路；針對(duì)復(fù)雜的油炸花生缺陷特征，設(shè)計(jì)組合分類器代替單一的分類指標(biāo)[10-12]，提高油炸花生檢測(cè)準(zhǔn)確率。

1 系統(tǒng)整體結(jié)構(gòu)

油炸花生揀選系統(tǒng)主要由視覺采集模塊、分揀模塊、傳輸模塊組成，所需硬件框架如圖1所示。

圖1 系統(tǒng)硬件框架

1.1 圖像采集模塊

圖像采集模塊由面陣相機(jī)、環(huán)形無影光源、鏡頭組成。為適應(yīng)傳送帶移動(dòng)物體高速拍攝要求，并考慮傳送帶工作區(qū)域視野大小，選用CMOS型工業(yè)相機(jī)，幀率50 fps，鏡頭選用Computar公司12 mm定焦鏡頭。因?yàn)橄鄼C(jī)曝光時(shí)間較短，需要采用大功率LED燈，提高亮度保證光通量。打光方式如圖2所示，利用環(huán)形無影光源采用低角度照明，提取花生表面紋理結(jié)構(gòu)，實(shí)現(xiàn)一定傳送帶區(qū)域內(nèi)無遺漏的均勻照明，消除對(duì)角陰影。

圖2 打光方式

1.2 分揀模塊

機(jī)器人通過控制柜與上位機(jī)建立TCP通信，共享上位機(jī)圖像處理信息，經(jīng)過手眼標(biāo)定矩陣轉(zhuǎn)換得到目標(biāo)位置，進(jìn)而控制末端手爪進(jìn)行抓取。因油炸花生質(zhì)地酥脆，傳統(tǒng)剛性手爪受材質(zhì)和抓取方式影響，易夾碎目標(biāo)，采用微型仿生柔性夾爪。

1.3 傳輸模塊

傳送皮帶由步進(jìn)電機(jī)驅(qū)動(dòng)，應(yīng)用矢量型閉環(huán)控制技術(shù)，保證速度穩(wěn)定，避免電機(jī)丟步問題，脈沖頻率200 kHz。因部分油炸花生缺陷特征在背面難以檢測(cè)，設(shè)置兩套檢測(cè)系統(tǒng)前后重復(fù)篩檢，用帶有一定坡度的振動(dòng)板相連接，翻滾花生使視覺系統(tǒng)能夠檢測(cè)花生正反面特征，降低漏檢率。

2 系統(tǒng)工作原理

油炸花生揀選系統(tǒng)根據(jù)輪廓檢測(cè)和特征提取原理獲取運(yùn)動(dòng)目標(biāo)的圖像，當(dāng)上位機(jī)圖像處理完畢，利用相機(jī)與機(jī)器人標(biāo)定結(jié)果，將定位坐標(biāo)和檢測(cè)結(jié)果傳輸給機(jī)器人，驅(qū)動(dòng)末端夾爪移動(dòng)進(jìn)行分揀動(dòng)作，系統(tǒng)工作流程如圖3所示。

圖3 系統(tǒng)流程圖

2.1 圖像校正

因鏡頭會(huì)有一定的制造精度誤差，導(dǎo)致鏡頭存在切向畸變和徑向畸變[13]，在圖像處理之前需要對(duì)已采集圖片進(jìn)行校正，其中徑向畸變對(duì)成像影響最大，此次計(jì)算中充分地將誤差畸變其近似為徑向畸變，設(shè)(u～,v～)為校正前的像素坐標(biāo)，則畸變校正后的坐標(biāo)(u,v)表示為

式中：為徑向畸變量級(jí)，決定圖像畸變程度。

2.2 手眼標(biāo)定

工業(yè)相機(jī)安裝在傳送帶正上方調(diào)整水平，勻速轉(zhuǎn)動(dòng)傳送帶，得到標(biāo)定塊前后移動(dòng)的圖像照片和編碼器對(duì)應(yīng)讀數(shù)，可求得像素平面與傳送帶平面坐標(biāo)的轉(zhuǎn)換關(guān)系；控制機(jī)器人末端多次觸碰傳送帶上指定標(biāo)定點(diǎn)，可得出機(jī)器人基坐標(biāo)與傳送帶平面坐標(biāo)的轉(zhuǎn)換關(guān)系，進(jìn)而計(jì)算視覺與機(jī)器人之間的閉環(huán)轉(zhuǎn)換關(guān)系，標(biāo)定過程如圖4所示。

圖4 坐標(biāo)系位置關(guān)系

根據(jù)已得的手眼標(biāo)定關(guān)系，像素坐標(biāo)(u,v)與對(duì)應(yīng)機(jī)器人坐標(biāo)(xR,yR)之間轉(zhuǎn)換關(guān)系為

式中：α為像素坐標(biāo)系與傳送帶坐標(biāo)系X軸之間的夾角；θ為傳送帶坐標(biāo)系與機(jī)器人基坐標(biāo)系之間X軸之間的夾角；(u0,v0)分別為像素坐標(biāo)系原點(diǎn)與傳送帶坐標(biāo)系原點(diǎn)的X軸和Y軸方向的偏移距離；Tx、Ty分別為傳送帶坐標(biāo)系與機(jī)器人基坐標(biāo)系X軸、Y軸方向的偏移距離。

2.3 機(jī)器人抓取算法

為保證目標(biāo)抓取準(zhǔn)確度，采用步進(jìn)電機(jī)驅(qū)動(dòng)傳送帶并應(yīng)用矢量型閉環(huán)控制技術(shù)，對(duì)上位機(jī)反饋目標(biāo)采用微分追蹤攔截算法[14]。如圖5所示，該算法根據(jù)傳送帶運(yùn)行速率v和過去時(shí)間段i，計(jì)算偏移量Xj，公式可表示為

圖5 微分?jǐn)r截抓取算法

3 圖像處理

花生在經(jīng)過油炸加工處理后，現(xiàn)場(chǎng)對(duì)比其缺陷特征主要有四類：異型、發(fā)芽、焦糊、霉斑，如表1所示，難以通過單一指標(biāo)有效篩檢，采用輪廓形態(tài)特征比對(duì)和區(qū)域閾值對(duì)比算法，檢測(cè)批量油炸花生中的缺陷目標(biāo)。

表1 缺陷分類

3.1 圖像預(yù)處理

經(jīng)過工業(yè)相機(jī)現(xiàn)場(chǎng)采集的油炸花生彩色圖像，圖片會(huì)受到現(xiàn)場(chǎng)環(huán)境光影響，夾雜噪聲干擾信息，將彩色圖像分離為單通道圖像，根據(jù)HSV顏色空間下的目標(biāo)圖像[15]，直觀性地對(duì)比后選擇明亮度V通道圖像，計(jì)算公式為

為了消除圖像尖銳噪聲，先對(duì)所選V通道圖像進(jìn)行低通濾波，計(jì)算得到每個(gè)像素點(diǎn)與其8鄰域像素點(diǎn)的平均值，然后進(jìn)行對(duì)比度調(diào)整算法，最終調(diào)整灰度值為：

式中：Factor為對(duì)比度因子，表示對(duì)比度增加量；mean為經(jīng)過均值濾波后的像素灰度值；In為V通道圖像原始像素灰度值；Out為對(duì)比度調(diào)整后的結(jié)果像素灰度值。

3.2 圖像分割

預(yù)處理后的圖像包括目標(biāo)和背景信息，因深色傳送帶與花生圖像像素灰度值變化較為明顯，利用設(shè)定閾值將圖像二值化，最終得到像素點(diǎn)灰度值結(jié)果為：

式中：σ為固定閾值；s(x,y)為像素點(diǎn)原始灰度值。

3.3 特征提取

異型和發(fā)芽的花生在采集圖像中大多數(shù)呈畸形，根據(jù)形態(tài)特征提取花生輪廓信息，利用飽滿度和褶皺度參數(shù)指標(biāo)，易于篩除形態(tài)缺陷目標(biāo)。

1) 在預(yù)處理后的二值化圖像中，像素灰度值被分割為0和255區(qū)域，二者交界近似為花生目標(biāo)輪廓，采用逐行列掃描像素點(diǎn)灰度值，通過對(duì)圖像二維離散像素點(diǎn)(x,y)求偏導(dǎo)數(shù)，表示前后灰度值梯度ΔF：

在花生輪廓的邊緣，一定有較大的灰度梯度，此次使用八鄰域像素點(diǎn)之間的灰度差值，近似偏導(dǎo)數(shù)，公式見式（9）。

對(duì)于梯度大于設(shè)定閾值的像素點(diǎn)集合即目標(biāo)輪廓邊緣。

2) 利用提取的輪廓花生目標(biāo)面積與擬合最小矩形面積的比例，來反映花生的飽滿度Q，如圖6（a）所示。具體方法：通過花生外形輪廓擬合的矩形長軸a、短軸b、花生輪廓與矩形面積的交集S1，油炸花生飽滿度Q按式（10）計(jì)算。

圖6 特征提取

3) 利用提取的花生輪廓周長與擬合橢圓周長的比值，來反映花生的褶皺度L，如圖6（b）所示。具體方法：通過對(duì)花生二值化圖像邊緣強(qiáng)化處理，計(jì)算邊緣的像素點(diǎn)個(gè)數(shù)記為C1，利用直接最小二乘法擬合橢圓輪廓，得到橢圓長半軸和短半軸分別所占像素點(diǎn)個(gè)數(shù)c和d，L按式（11）計(jì)算。

3.4 區(qū)域灰度差

花生的霉斑特征在經(jīng)過油炸處理后，顏色會(huì)變黑，但對(duì)于不同的花生黑化程度不同，用單一的閾值分割難以檢測(cè)不同色度的花生缺陷。對(duì)于預(yù)處理后的二值化圖像存在256個(gè)灰度級(jí)，區(qū)域內(nèi)花生表面灰度值差異較大，可通過讀取花生目標(biāo)區(qū)域的灰度直方圖，計(jì)算該區(qū)域灰度值的最大差異值。計(jì)算步驟：

1) 初始化灰度直方圖h[k]=0,k∈[0, 255]。

2) 遍歷指定區(qū)域x0≤x≤x0+M；y0≤y≤y0+N的灰度值，記錄到h[f(x,y)]中。

3) 計(jì)算各灰度級(jí)出現(xiàn)的概率h[f(x,y)]/(M2-M1)×(N2-N1)，完成后通過灰度直方圖可以直觀地得出灰度級(jí)覆蓋范圍，閾值差值過大且最小灰度值小于設(shè)定閾值，可判定為缺陷。

圖7 灰度直方圖

4 試驗(yàn)及數(shù)據(jù)分析

為了驗(yàn)證此揀選系統(tǒng)的可行性，采用計(jì)算機(jī)CPU為Intel i7-4790（3.6 GHz），內(nèi)存8 GB及OpenCV3.3搭建系統(tǒng)運(yùn)行環(huán)境，并建立上位機(jī)與機(jī)器人控制器之間的穩(wěn)定通信。通過文中提到的圖像處理算法，篩選缺陷油炸花生目標(biāo)，并將缺陷目標(biāo)的坐標(biāo)信息即時(shí)發(fā)送給下位機(jī)控制器，然后機(jī)器人進(jìn)行揀選動(dòng)作，流程如圖8所示。

圖8 圖像處理算法

試驗(yàn)將油炸花生分為正常粒和缺陷粒，經(jīng)人工篩選出50粒異型、焦糊、霉斑等缺陷粒和50粒正常粒，混合兩種類別的樣本進(jìn)行在線檢測(cè)和揀選準(zhǔn)確性試驗(yàn)。根據(jù)文中提出的手眼標(biāo)定方法計(jì)算轉(zhuǎn)換矩陣，對(duì)100?；ㄉM(jìn)行在線檢測(cè)，計(jì)算每粒油炸花生圖像的飽滿度、褶皺度、灰度差分別如圖9（a）～（c）所示。同時(shí)上位機(jī)將缺陷目標(biāo)坐標(biāo)定位發(fā)送給機(jī)器人控制器進(jìn)行抓取動(dòng)作，進(jìn)行3次重復(fù)性試驗(yàn)，每次傳送帶輸送距離在1200 mm左右，測(cè)試分揀定位精度，試驗(yàn)結(jié)果如表2所示。

圖9 圖像特征提取

表2 定位精度

5 結(jié)論

對(duì)機(jī)器視覺在油炸花生實(shí)時(shí)檢測(cè)和揀選方面的應(yīng)用進(jìn)行了研究。利用組合分類器檢測(cè)缺陷目標(biāo)，經(jīng)過大量樣試驗(yàn)，在當(dāng)前試驗(yàn)環(huán)境下設(shè)定飽滿度閾值為0.69，褶皺度閾值為5.1，局部區(qū)域像素灰度差為90時(shí)，油炸花生檢測(cè)效果最好，誤檢率可降低到5%以下。根據(jù)提出的適合現(xiàn)場(chǎng)操作的手眼標(biāo)定方法進(jìn)行坐標(biāo)轉(zhuǎn)換，機(jī)器人采用微分追蹤算法進(jìn)行抓取，進(jìn)行3組重復(fù)性試驗(yàn)，定位偏差在0.68 mm，該系統(tǒng)具有可行性。