肖哲非,馬田田,張軍文,李彥龍,沈 建,4

(1 中國(guó)水產(chǎn)科學(xué)研究院漁業(yè)機(jī)械儀器研究所,上海 200092;2 農(nóng)業(yè)農(nóng)村部遠(yuǎn)洋漁船與裝備重點(diǎn)實(shí)驗(yàn)室,上海 200092;3 國(guó)家水產(chǎn)品加工裝備研發(fā)分中心,上海 200092;4 大連工業(yè)大學(xué)海洋食品精深加工關(guān)鍵技術(shù)省部共建協(xié)同創(chuàng)新中心,遼寧 大連,116034)

中國(guó)水產(chǎn)品加工行業(yè)在過(guò)去的幾十年中取得了顯著發(fā)展,目前已經(jīng)成為世界上首屈一指的水產(chǎn)品加工大國(guó),2021年水產(chǎn)品加工總量達(dá)到了2 522.68萬(wàn)t[1]。然而隨著市場(chǎng)的發(fā)展,中國(guó)水產(chǎn)品加工線逐漸暴露出其機(jī)械化、自動(dòng)化程度低的問(wèn)題[2-5],大部分的切魚作業(yè)依舊由人工完成;而與此同時(shí),2021年中國(guó)漁業(yè)從業(yè)人口比2020年下降了54.96萬(wàn)人[1]。由此可見(jiàn),研發(fā)出符合產(chǎn)業(yè)需求的高效自動(dòng)魚片切段加工設(shè)備已經(jīng)迫在眉睫。

水刀切割由于其清潔節(jié)能且不會(huì)改變加工物體物理化學(xué)特性的優(yōu)點(diǎn),現(xiàn)已在各行業(yè)中廣泛應(yīng)用[6-7]。由于消費(fèi)者對(duì)食品安全和健康日益關(guān)注,學(xué)者們逐漸開(kāi)始研究水刀在水產(chǎn)品加工中的應(yīng)用方向。Kasperowiczm等[8]研究了水刀切割虹鱒魚的基本參數(shù)數(shù)值,在恒定的進(jìn)料速度、噴嘴角度和噴嘴距離下,得到了切斷不同位置的魚體所需的最小水壓。李仁杰等[9]研究了射流角度、距離以及進(jìn)料速度對(duì)鯽魚去鱗率和損傷率之間的關(guān)系。Azarmdel等[10]通過(guò)提取RGB通道的特征,識(shí)別圖像中鱒魚的方向和胸鰭、肛門、腹鰭和尾鰭的位置,以胸鰭的起點(diǎn)和肛門鰭的終點(diǎn)將被應(yīng)用于鱒魚加工系統(tǒng)作為頭部和腹部切割點(diǎn)。自動(dòng)化切割要求設(shè)備精準(zhǔn)對(duì)魚片的位置、輪廓都能夠進(jìn)行較為精準(zhǔn)的識(shí)別。近年來(lái),深度學(xué)習(xí)由于其準(zhǔn)確可靠的特性,現(xiàn)已在農(nóng)業(yè)中有越來(lái)越多的應(yīng)用[11-13]。翟永杰等[14]設(shè)計(jì)的基于視覺(jué)檢測(cè)的蝴蝶蘭自動(dòng)切割系統(tǒng),將上機(jī)位識(shí)別結(jié)果轉(zhuǎn)化為切割坐標(biāo)傳輸?shù)綀?zhí)行機(jī)構(gòu),在試驗(yàn)中可達(dá)到86%的切割合格率。楊柯等[15]提出了非接觸式的大蒜定位切割方法,采用深度學(xué)習(xí)對(duì)大蒜圖像進(jìn)行目標(biāo)檢測(cè),電機(jī)控制系統(tǒng)調(diào)整刀具完成切根處理,在實(shí)驗(yàn)中切割合格率達(dá)到96.7%。李艷君等[16]通過(guò)實(shí)例分割網(wǎng)絡(luò)對(duì)魚體進(jìn)行檢測(cè),配合雙目攝像機(jī)的三維點(diǎn)云數(shù)據(jù),實(shí)現(xiàn)了測(cè)量自由活動(dòng)下的魚體尺寸。

提出了一種基于深度學(xué)習(xí)的魚片切段控制系統(tǒng),該系統(tǒng)使用深度學(xué)習(xí)識(shí)別魚片輪廓并根據(jù)用戶需求計(jì)算切割路徑,控制切割執(zhí)行裝置以完成切割作業(yè),并在樣機(jī)上進(jìn)行了實(shí)際試驗(yàn)。

1 材料與方法

1.1 數(shù)據(jù)集制作

試驗(yàn)采用鮐魚魚片,來(lái)源于浙江興業(yè)集團(tuán)。為了獲取鮐魚片的數(shù)據(jù)集,選取完整、表面無(wú)明顯缺陷和破損的20條鮐魚片,對(duì)其進(jìn)行拍攝采樣。將鮐魚片隨意得擺放在輸送帶上向前傳送,使用工業(yè)相機(jī)Basler acA1920-155ucMED不間斷采樣,拍攝圖像大小為1 920×1 200。從拍攝的圖像中選取400張作為數(shù)據(jù)集,使用Labelme進(jìn)行標(biāo)注,標(biāo)注方法是人工使用多點(diǎn)折線描畫出圖像中的魚片,標(biāo)注示例如圖1所示。

圖1 標(biāo)注圖片示例

為了簡(jiǎn)化模型,無(wú)論是圖像中是魚肉還是魚皮朝上,都視為同一類別。除了Mosaic數(shù)據(jù)增強(qiáng)外,還使用了增加噪聲、高斯模糊、動(dòng)態(tài)模糊、增加亮度、水平翻轉(zhuǎn)和垂直翻轉(zhuǎn)的方式擴(kuò)充數(shù)據(jù)集,將400張圖像最終擴(kuò)充到2 500張,并按照4∶1的比例劃分訓(xùn)練集和測(cè)試集。共有2 000張圖像參與訓(xùn)練和驗(yàn)證,500張圖片用于測(cè)試模型的泛化能力。

1.2 魚片切段機(jī)整體設(shè)計(jì)

魚片切割機(jī)構(gòu)主要由視覺(jué)識(shí)別模塊、輸送裝置、切割執(zhí)行機(jī)構(gòu)、高壓水裝置以及控制系統(tǒng)組成,如圖2所示。視覺(jué)識(shí)別模塊包括工業(yè)相機(jī)和條形光源。控制系統(tǒng)中的工控機(jī)根據(jù)視覺(jué)識(shí)別模塊拍攝的圖像識(shí)別魚片并計(jì)算切割路徑,當(dāng)傳感器被魚片觸發(fā)后,切割執(zhí)行機(jī)構(gòu)根據(jù)運(yùn)動(dòng)控制器輸入的指令,完成切割作業(yè)。切割作業(yè)流程如圖3所示。

圖2 魚片切段機(jī)結(jié)構(gòu)圖

圖3 控制流程圖

程序啟動(dòng)后,首先設(shè)置記錄拍照數(shù)量和切割數(shù)量,分別用參數(shù)fish和cut表示。啟動(dòng)輸送帶,當(dāng)光電傳感器1號(hào)檢測(cè)到信號(hào)后,工控機(jī)將相機(jī)拍攝的圖像送入深度學(xué)習(xí)模型。如果輸出的結(jié)果置信度閾值大于設(shè)定值,則認(rèn)為圖像中包含可被切割的魚片,參數(shù)fish在原有基礎(chǔ)上加1。接著,工控機(jī)將規(guī)劃好的切割路徑存入控制器的緩存區(qū)域。緩存區(qū)實(shí)行先進(jìn)先出,即每一次新存入的路徑數(shù)據(jù)都放在緩存區(qū)的隊(duì)末。當(dāng)光電傳感器2號(hào)檢測(cè)到信號(hào)并且參數(shù)fish的值大于參數(shù)cut的值時(shí),控制器從緩存區(qū)取出排在最前列的路徑數(shù)據(jù)并執(zhí)行。否則,控制器一直處于等待狀態(tài)。在執(zhí)行切割的過(guò)程中,輸送帶會(huì)停止,直到切割完成后再繼續(xù)啟動(dòng)。

1.3 硬件控制系統(tǒng)設(shè)計(jì)

1.3.1 硬件控制系統(tǒng)結(jié)構(gòu)設(shè)計(jì)

硬件控制系統(tǒng)由位置控制系統(tǒng)、電機(jī)控制系統(tǒng)、高壓水控制系統(tǒng)、工業(yè)相機(jī)以及工控機(jī)組成,如圖4所示。光電傳感器1號(hào)和2號(hào)用于確定魚片在輸送帶上的位置,X軸、Y軸和Z軸的原點(diǎn)開(kāi)關(guān)用于確定每次切割的起始位置,X軸和Y軸的限位開(kāi)關(guān)用于防止機(jī)構(gòu)的行程超出極限而發(fā)生碰撞,導(dǎo)致機(jī)構(gòu)損壞;Z軸限位開(kāi)關(guān)的信號(hào)由與高壓水裝置中的PLC讀取。當(dāng)限位開(kāi)關(guān)被觸發(fā)后,高壓水裝置開(kāi)始出水,當(dāng)信號(hào)消失后,則停水。電機(jī)控制系統(tǒng)中,運(yùn)動(dòng)控制器將運(yùn)動(dòng)指令分配給對(duì)應(yīng)軸的伺服驅(qū)動(dòng)器,使其按照上層軟件計(jì)算好的路徑和運(yùn)動(dòng)參數(shù)完成運(yùn)動(dòng)。工控機(jī)與工業(yè)相機(jī)和運(yùn)動(dòng)控制器相連,一方面,從工業(yè)相機(jī)獲取拍攝的圖像,經(jīng)過(guò)深度學(xué)習(xí)后計(jì)算切割路徑;一方面,將切割路徑拆解為運(yùn)動(dòng)指令,輸出到運(yùn)動(dòng)控制器中。

圖4 控制系統(tǒng)硬件圖

1.3.2 硬件系統(tǒng)選型

切割執(zhí)行機(jī)構(gòu)由成都福譽(yù)科技生產(chǎn)的FSL80三軸絲桿直線模組構(gòu)成,由于涉及水刀切割,絲桿為全封閉結(jié)構(gòu)。絲桿寬度為80 mm,其中X軸的行程為800 mm,Y軸為350 mm,Z軸為100 mm,精度均為0.05 mm。水刀噴嘴安裝在Z軸的滑塊上,可在三軸的行程范圍內(nèi)達(dá)到空間中的任意一點(diǎn)。

三軸的伺服電機(jī)采用臺(tái)達(dá)ECMA-C20604RS,伺服驅(qū)動(dòng)器采用臺(tái)達(dá)ASD-B2-1521-F。運(yùn)動(dòng)控制器采用正運(yùn)動(dòng)技術(shù)開(kāi)發(fā)的ECI1408網(wǎng)絡(luò)運(yùn)動(dòng)控制卡,支持4軸運(yùn)動(dòng)控制并內(nèi)置直線插補(bǔ)、圓弧插補(bǔ)等運(yùn)動(dòng)指令,每軸最大輸出脈沖頻率5 MHz,內(nèi)部包括36路輸入口以及12路輸出口,支持以太網(wǎng)和RS232通訊方式。光電傳感器為NPN常開(kāi)型。

1.4 軟件系統(tǒng)設(shè)計(jì)

1.4.1 深度學(xué)習(xí)算法

本研究旨在根據(jù)圖像中識(shí)別的魚片輪廓規(guī)劃切割路徑。盡管魚片形狀具有一定規(guī)律性,但在實(shí)際生產(chǎn)中,上料時(shí)很難保證魚片的位置和姿態(tài)始終保持不變。此外,輸送帶鏈條、復(fù)雜的背景和殘留的魚肉都會(huì)對(duì)視覺(jué)檢測(cè)造成干擾。因此,為了準(zhǔn)確檢測(cè)出魚片的輪廓,采用了Mask R-CNN作為實(shí)例分割魚片的基準(zhǔn)模型,并在此基礎(chǔ)上進(jìn)行了一定的改進(jìn)。

整體網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示,分為輸入、骨架網(wǎng)絡(luò)、區(qū)域建議網(wǎng)絡(luò)、ROI Align以及最終的三分支輸出。

圖5 改進(jìn)Mask R-CNN模型

Mask R-CNN是2017年出現(xiàn)的實(shí)例分割算法[17],由于其靈活性以及出色的檢測(cè)效果,一經(jīng)提出,就在各個(gè)領(lǐng)域取得了廣泛的應(yīng)用[18-19]。

Mask R-CNN使用ResNet和特征金字塔網(wǎng)絡(luò)(FPN)結(jié)合作為骨架網(wǎng)絡(luò),提取輸入圖像的特征圖(feature map);在區(qū)域建議網(wǎng)絡(luò)(Region Proposal Network)中特征圖上的每一點(diǎn)生成多個(gè)感興趣區(qū)域(ROI),對(duì)這些候選的感興趣區(qū)域進(jìn)行二值分類以及回歸,淘汰不包含目標(biāo)物體的以及偏移量過(guò)大的感興趣區(qū)域;剩余的感興趣區(qū)域和原始特征圖通過(guò)ROI Align進(jìn)行像素級(jí)對(duì)齊,通過(guò)后續(xù)的全連接層以及全卷積層得到最終的輸出結(jié)果,即類別、邊界框以及掩膜。

為了更好適應(yīng)實(shí)際生產(chǎn)環(huán)境中各種變化,本研究對(duì)Mask R-CNN進(jìn)行了改進(jìn),首先,引入了Mosaic數(shù)據(jù)增強(qiáng)[20],將多個(gè)魚片圖像經(jīng)過(guò)旋轉(zhuǎn)、裁剪等操作后拼接在一起,提高了模型的魯棒性以及泛化能力。其次,使用ResNeXt50作為骨架網(wǎng)絡(luò),并在其中插入注意力機(jī)制SKNet,在減少網(wǎng)絡(luò)層數(shù)的同時(shí)使模型更加關(guān)注魚片的關(guān)鍵部位,忽略背景等干擾因素,提高了魚片輪廓的識(shí)別精度[21-22]。

1.4.2 切割路徑規(guī)劃

在實(shí)際生產(chǎn)過(guò)程中,切割需求千差萬(wàn)別?？紤]到僅僅通過(guò)單目攝像頭無(wú)法獲取魚片的三維體積,本研究中的切割方案僅考慮二維圖像設(shè)定。切割路徑規(guī)劃的參考依據(jù)主要為深度學(xué)習(xí)模型輸出的掩膜。以掩膜中最左端點(diǎn)作為切割起始點(diǎn),并連接起始點(diǎn)和魚片的平面質(zhì)心,切割長(zhǎng)度為掩膜最小外接矩形的長(zhǎng)。為了消除深度學(xué)習(xí)分割誤差等因素對(duì)切割的影響,在切割路徑上增加了一定的切割余量。

質(zhì)心的計(jì)算方法為:

(1)

式中:xC,yC為質(zhì)心的橫坐標(biāo)和縱坐標(biāo);M,N表示圖像的行數(shù)和列數(shù);f(i.j)表示掩膜,即深度學(xué)習(xí)輸出結(jié)果,在圖像中屬于魚片的像素點(diǎn)合集。

在規(guī)劃切割路徑同時(shí)要考慮到中相機(jī)所處的相機(jī)坐標(biāo)系、獲取圖像的像素坐標(biāo)系、魚片所處的世界坐標(biāo)系以及三軸的坐標(biāo)系之間的轉(zhuǎn)化。坐標(biāo)系之間的轉(zhuǎn)化公式如下:

(2)

式中:s為比例因子;u,v為圖像坐標(biāo)系中橫坐標(biāo)和縱坐標(biāo)的坐標(biāo)值;Cx,Cy為基準(zhǔn)坐標(biāo);Fx,Fy是單位為像素的相機(jī)焦距;R是相機(jī)旋轉(zhuǎn)矩陣;T偏移向量矩陣;(xw,yw,zw)某點(diǎn)在世界坐標(biāo)系下的坐標(biāo)值;Δxm,Δym,Δzm三軸的原點(diǎn)和世界坐標(biāo)系的原點(diǎn)的距離差。

切割路徑規(guī)劃方案如圖6所示。

圖6 切割路徑規(guī)劃方案

在實(shí)際生產(chǎn)中切割的需求多種多樣,并考慮到僅通過(guò)單目攝像頭無(wú)法獲得魚片的三維體積,本研究中的切割方案僅根據(jù)二維圖像設(shè)定。切割路徑規(guī)劃的參考依據(jù)主要為深度學(xué)習(xí)模型輸出的掩膜。將掩膜中最左端點(diǎn)設(shè)為切割起始點(diǎn),第一刀連接起始點(diǎn)和魚片的平面質(zhì)心,長(zhǎng)度為掩膜最小外接矩形的長(zhǎng),將魚片一分為二;再沿著魚片的短邊方向,根據(jù)最小外接矩形的長(zhǎng)度,將魚片平均等距切為3份,最終經(jīng)過(guò)三刀,魚片被切為6份。為了消除深度學(xué)習(xí)分割誤差等因素,在每一次切割路徑上增加切割余量,即延長(zhǎng)切割路徑。

1.4.3 控制系統(tǒng)界面

采用Python+Tkinter開(kāi)發(fā)了基于深度學(xué)習(xí)的高壓水魚片切割控制系統(tǒng)的操作界面,如圖7所示。

圖7 控制系統(tǒng)界面

界面包括視覺(jué)檢測(cè)、系統(tǒng)控制、信息提示和設(shè)備參數(shù)監(jiān)控4個(gè)功能區(qū)。光電傳感器收到信號(hào)后,視覺(jué)檢測(cè)界面顯示識(shí)別結(jié)果和切割路徑。系統(tǒng)控制界面提供設(shè)備啟動(dòng)、緊急停止和參數(shù)設(shè)定功能。信息提示界面顯示系統(tǒng)反饋信息。設(shè)備參數(shù)監(jiān)控界面顯示切割坐標(biāo)、三軸直線模組運(yùn)行參數(shù)以及切割數(shù)據(jù)。

2 結(jié)果與分析

2.1 深度學(xué)習(xí)模型訓(xùn)練與結(jié)果分析

深度學(xué)習(xí)的訓(xùn)練在框架Pytorch 1.10.0以及Torchvision 0.11.0下進(jìn)行,使用Ubuntu 18.04 系統(tǒng),處理器和圖像處理器分別為Intel酷睿i 7和NVIDIA RTX 2080 Ti。采用動(dòng)量為0.9的隨機(jī)梯度下降,設(shè)置100個(gè)訓(xùn)練周期,前50個(gè)周期學(xué)習(xí)率為0.001,后50個(gè)周期學(xué)習(xí)率為0.000 1。為了縮小訓(xùn)練時(shí)間,將訓(xùn)練集的圖像大小縮小為原先的1/2,即960×600。

采用準(zhǔn)確率(p,Precision)、召回率(r, Recall)、mAP@0.5和mAP@0.5-0.95作為指標(biāo)評(píng)價(jià)深度學(xué)習(xí)模型的目標(biāo)檢測(cè)能力。計(jì)算公式如下:

(3)

(4)

(5)

(6)

式中:tp表示真正類(True Positive),即被正確分類的正樣本的數(shù)量;Fp為假正類(False Positive),即原本為負(fù)樣本卻被錯(cuò)誤識(shí)別為正樣本的數(shù)量;Fn為假負(fù)類(False Negative),原本為正樣本卻被錯(cuò)誤分類為負(fù)樣本數(shù)量。tp+Fp為所有被識(shí)別為正樣本的數(shù)量;tp+Fn為數(shù)據(jù)集中正樣本的數(shù)量。Ap(average precision)表示平均精度,為召回率從0到1所有值對(duì)應(yīng)的準(zhǔn)確率的平均值。mAP@0.5表示當(dāng)IoU(Intersection over Union)設(shè)為0.5時(shí),在所有分類上的平均精度;mAP@0.5-0.95表示IoU取值范圍從0.50到0.95,步長(zhǎng)為0.05,計(jì)算得到所有mAP的平均值。圖8展示了訓(xùn)練過(guò)程中模型3個(gè)分支輸出的函數(shù)值變化曲線。

圖8 訓(xùn)練過(guò)程中損失值變化曲線

其中分類損失值最低,并且很快收斂,原因是模型中僅有一種目標(biāo)物體需要識(shí)別。矩形框損失值一開(kāi)始高于分割損失值,但收斂迅速,最終穩(wěn)定在0.011左右。分割損失值較高的,原因在于使用二進(jìn)制交叉熵計(jì)算每一個(gè)像素值的損失,其最小值出現(xiàn)在第97次迭代,為0.019 11。在訓(xùn)練過(guò)程中,掩膜的準(zhǔn)確率、召回率和mAP@0.5以及mAP@0.5-0.95的最大值分別出現(xiàn)在第96、98、91以98 迭代。綜合考慮選擇第98次迭代的權(quán)重文件作為最終結(jié)果。

2.2 模型有效性驗(yàn)證

為驗(yàn)證本研究提出改進(jìn)算法對(duì)原深度學(xué)習(xí)模型準(zhǔn)確率提高的有效性,在相同的數(shù)據(jù)集上訓(xùn)練和測(cè)驗(yàn),并以矩形框的各項(xiàng)指標(biāo)為評(píng)價(jià)標(biāo)準(zhǔn)進(jìn)行消融實(shí)驗(yàn),表1展示了試驗(yàn)結(jié)果。

表1 消融試驗(yàn)結(jié)果

SKNet注意力機(jī)制和Mosaic數(shù)據(jù)增強(qiáng)對(duì)模型的各項(xiàng)指標(biāo)均有明顯提升,特別是回歸率,在原模型的基礎(chǔ)上提高了9.92%。這是因?yàn)镾KNet加強(qiáng)了網(wǎng)絡(luò)中有價(jià)值通道的權(quán)重,并增大了感受野,從而提高了模型對(duì)特征的學(xué)習(xí)能力。同時(shí),Mosaic數(shù)據(jù)增強(qiáng)通過(guò)豐富現(xiàn)有數(shù)據(jù)集的樣本,提高了模型的泛化能力。

為了驗(yàn)證模型的有效性,使用ResNet50、ResNet101、ResNeXt50、ResNeXt101以及改進(jìn)的算法作為主干網(wǎng)絡(luò),在相同的數(shù)據(jù)集上進(jìn)行了試驗(yàn)。計(jì)算了矩形框和掩膜的準(zhǔn)確率、回歸率以及mAP@0.5、mAP@0.5-0.95和平均單張所需的檢測(cè)時(shí)間,并將結(jié)果展示在表2中。

表2 不同算法對(duì)比

試驗(yàn)結(jié)果顯示,5種主干網(wǎng)絡(luò)均可有效識(shí)別并分割魚片。具體而言,以ResNet50作為主干網(wǎng)絡(luò)時(shí),各項(xiàng)結(jié)果均為最低,但平均單張檢測(cè)時(shí)間最短。而ResNet101的準(zhǔn)確率和mAP明顯高于ResNet50,但平均單張檢測(cè)時(shí)間也多耗時(shí)0.016 s。改進(jìn)的算法的準(zhǔn)確率、mAP等均高于ResNet101,并且檢測(cè)時(shí)間更短。以ResNeXt101作為主干網(wǎng)絡(luò)時(shí),魚片識(shí)別的矩形框以及分割的掩膜準(zhǔn)確率均為最高,其中掩膜的準(zhǔn)確率較ResNet50提高了0.146。此外,改進(jìn)算法掩膜的準(zhǔn)確率略高于ResNeXt101,并且平均單張檢測(cè)時(shí)間僅為ResNetXt101的77%。

綜合考慮各項(xiàng)指標(biāo),改進(jìn)算法在保證檢測(cè)速度的前提下達(dá)到了掩膜分割的最高準(zhǔn)確率,更適合魚片的檢測(cè)和分割任務(wù)。因此,認(rèn)為改進(jìn)算法具有實(shí)用價(jià)值和應(yīng)用前景。

圖9展示了以ResNet50作為主干網(wǎng)絡(luò)和本研究改進(jìn)后算法在同一張圖片上的分割結(jié)果。ResNet50為主干網(wǎng)絡(luò)時(shí),魚片左側(cè)尖端并未有效分割。改進(jìn)算法完全將魚片從背景中分割出來(lái),而且分割曲線也更加平順。

圖9 ResNet50與本研究算法識(shí)別結(jié)果對(duì)比圖

2.3 魚片切段試驗(yàn)

為了驗(yàn)證鮐魚片切割系統(tǒng)的實(shí)際效果,選取50片鮐魚片,分為5組,每組10片進(jìn)行切割實(shí)驗(yàn)。在試驗(yàn)中,設(shè)置輸送帶的速度為120 mm/s,三軸中x軸的運(yùn)動(dòng)速度為120 mm/s,y軸和z軸運(yùn)動(dòng)速度為100 mm/s,高壓水壓為50 MPa,使用的噴頭為紅寶石噴頭,直徑為0.25 mm。

由于魚片薄厚分布不均勻,難以以質(zhì)量評(píng)價(jià)魚片切割效果,因此本研究約定,如被切割的魚片達(dá)到以下條件,本研究將視其為切割合格:切割的第一刀貫穿魚片的重心,大致位置正確且切割路徑足夠長(zhǎng),可使魚片一切為二無(wú)明顯粘連;切割的第二刀以及第三刀可將魚片等距分為3份,距離誤差在5%以內(nèi)。試驗(yàn)現(xiàn)場(chǎng)的相關(guān)圖像如圖10所示。

圖10 切割現(xiàn)場(chǎng)圖

切割統(tǒng)計(jì)結(jié)果如表3所示。在5組試驗(yàn)中,魚片切割合格率最高為100%,平均合格率為90%。第一刀的最高合格率為100%,平均合格率為98%,第二刀和第三刀的最高合格率為100%,平均合格率為92%。

表3 魚片切割試驗(yàn)結(jié)果

在不合格的樣本中,因第一刀失誤判定不合格的有1個(gè),因魚片尖端未被有效識(shí)別,導(dǎo)致切割起始點(diǎn)和重心計(jì)算失誤,切割路徑明顯偏移。第二、三刀判定不合格的有4個(gè),原因在于光電傳感器未感應(yīng)到魚片過(guò)薄的前端,導(dǎo)致魚片定位不準(zhǔn),從而使魚片分割不均勻。后續(xù)研究中,將針對(duì)上述幾種情況進(jìn)行提高和改善。

3 討論

3.1 改進(jìn)算法對(duì)比

相比于人工,計(jì)算機(jī)視覺(jué)具有高通量、高精度的特點(diǎn)[23-24],并且無(wú)侵入式的檢測(cè)識(shí)別減少了樣品被污染的可能性。相較于傳統(tǒng)的圖像處理方法,深度學(xué)習(xí)在復(fù)雜環(huán)境中有更強(qiáng)的魯棒性[25-27],因此在養(yǎng)殖、加工等領(lǐng)域中應(yīng)用案例越來(lái)越多。李琦等[28]為解決傳統(tǒng)方法測(cè)量牛體耗時(shí)耗力的問(wèn)題,使用Mask R-CNN識(shí)別牛體,最終平均準(zhǔn)確率為0.87。張凱中等[29]使用改進(jìn)的Mask R-CNN模型識(shí)別群豬圖像,在驗(yàn)證集上達(dá)到了0.851的召回率,為智能化管理大量豬只提供了新的思路和方法。鐘偉鎮(zhèn)等[30]使用Mask R-CNN對(duì)4中植物進(jìn)行識(shí)別和分割,分割準(zhǔn)確率達(dá)到97.51%。本研究在ResNet50作為骨架網(wǎng)絡(luò)的基礎(chǔ)上對(duì)Mask R-CNN進(jìn)行改進(jìn),在掩膜分割的準(zhǔn)確率和召回率上分別達(dá)到0.98和0.932,證明本研究改進(jìn)方法的可靠性。

3.2 影響切割精度和成功率的因素

除了識(shí)別算法,伺服電機(jī)、傳感器、控制系統(tǒng)邏輯等都對(duì)切割精度和成功率有一定的影響。本研究在試驗(yàn)過(guò)程中發(fā)現(xiàn),部分魚片因厚度較薄,無(wú)法被光電傳感器有效識(shí)別,導(dǎo)致切割失敗。另外,水刀在連續(xù)切割作業(yè)過(guò)程中產(chǎn)生的水霧,會(huì)使光在光電傳感器發(fā)射端發(fā)生折射,接收端無(wú)法準(zhǔn)確接收,從而導(dǎo)致控制系統(tǒng)誤判。由此可見(jiàn),使用水刀的切割裝置不能僅僅依靠光電傳感器作為定位的依據(jù)。開(kāi)發(fā)基于多傳感器信息融合的定位方法是本研究未來(lái)的研究方向之一。使用超聲波、紅外線、視覺(jué)和其他類型傳感器的組合,可以精確定位魚片位置,提供更準(zhǔn)確的信息和更高的精度,提高設(shè)備的準(zhǔn)確性和可靠性。此外,也可加入壓力傳感器,用于檢測(cè)和調(diào)整水射流的壓力,使設(shè)備能夠相應(yīng)調(diào)整其切割參數(shù)。

本研究所試驗(yàn)的切割路徑只是眾多可能性中的一種,在實(shí)際生產(chǎn)中,切割需求多種多樣,例如等重切段[31]、定制切段[32]等。本研究?jī)H使用了單目攝像機(jī),因此,局限于獲取的信息僅為二維平面圖像,無(wú)法進(jìn)行等重或者定重切段。加入線激光相機(jī),獲取魚片的外輪廓,實(shí)現(xiàn)等重切段,也是本研究的未來(lái)研究方向之一。

4 結(jié)論

設(shè)計(jì)了一種基于深度學(xué)習(xí)的高壓水魚片切割控制系統(tǒng),該系統(tǒng)采用了改進(jìn)的實(shí)例分割模型Mask R-CNN作為魚片輪廓的檢測(cè)器,并基于識(shí)別的結(jié)果規(guī)劃切割路徑,使用手眼標(biāo)定完成視覺(jué)識(shí)別系統(tǒng)和切割執(zhí)行機(jī)構(gòu)之間的坐標(biāo)轉(zhuǎn)換,通過(guò)運(yùn)動(dòng)控制器對(duì)三軸直線模組進(jìn)行控制,以完成對(duì)魚片的精準(zhǔn)切割。改進(jìn)算法的準(zhǔn)確率達(dá)到98%,相比于原模型提高0.99%,平均單張檢測(cè)時(shí)間為0.058 s。在樣機(jī)上進(jìn)行切割試驗(yàn),最終魚片切割成功率為90%。