唐 潮, 胡海剛*, 史 策, 錢云霞

基于改進(jìn)Mask RCNN和SVR的無接觸梭子蟹體質(zhì)量預(yù)測(cè)研究

唐 潮1, 胡海剛1*, 史 策2, 錢云霞2

（1.寧波大學(xué) 海運(yùn)學(xué)院, 浙江 寧波 315832; 2.寧波大學(xué)海洋學(xué)院, 浙江 寧波 315832）

提出了一個(gè)改進(jìn)Mask RCNN目標(biāo)檢測(cè)算法用以對(duì)養(yǎng)殖梭子蟹進(jìn)行視覺特征測(cè)量. 通過在養(yǎng)殖區(qū)域采集梭子蟹圖像, 用上位機(jī)識(shí)別梭子蟹旋轉(zhuǎn)角度以及甲長和甲寬方向, 對(duì)輸出的Mask進(jìn)行模板修補(bǔ), 提高模板內(nèi)區(qū)域的置信度. 通過圖像-實(shí)景對(duì)應(yīng)關(guān)系換算梭子蟹的真實(shí)尺寸, 并估算其投影面積、甲寬與甲長, 結(jié)果準(zhǔn)確率高于85%. 同時(shí), 對(duì)視覺算法得到的梭子蟹尺寸特征與其體質(zhì)量進(jìn)行擬合, 引入-means聚類, 實(shí)現(xiàn)雙模型支持向量回歸機(jī)(SVR)預(yù)測(cè)結(jié)構(gòu). 通過差分進(jìn)化算法對(duì)SVR適應(yīng)度函數(shù)進(jìn)行尋優(yōu), 設(shè)計(jì)了隨迭代次數(shù)、尋優(yōu)效果同步變化的縮放因子, 以及適者更易生存策略的交叉概率因子, 以驗(yàn)證改進(jìn)算法的尋優(yōu)能力. 測(cè)試時(shí), 對(duì)新傳入的數(shù)據(jù)首先進(jìn)行歸一化處理, 然后判斷所歸屬的聚類中心, 再傳至相應(yīng)的SVR模型進(jìn)行預(yù)測(cè). 測(cè)試結(jié)果相對(duì)誤差小于18%.

梭子蟹; 視覺特征; 體質(zhì)量; Mask RCNN; 無接觸測(cè)量

在梭子蟹工廠化循環(huán)水養(yǎng)殖過程中, 工作人員需要定期檢測(cè)其尺寸、形狀, 觀察其顏色等特征, 為餌量、用藥、分級(jí)等提供依據(jù)[1]. 目前養(yǎng)殖蟹主要通過人工肉眼判斷, 手工接觸或使用簡單工具進(jìn)行測(cè)量, 不僅效率低還容易導(dǎo)致蟹感染疾病, 甚至死亡[2]. 通過計(jì)算機(jī)視覺技術(shù), 在養(yǎng)殖環(huán)境下實(shí)現(xiàn)對(duì)水生生物特征進(jìn)行無損檢測(cè)已成為趨勢(shì)[3]. 該方法可實(shí)現(xiàn)對(duì)水質(zhì)和生物生長、行為等監(jiān)控[4], 這種監(jiān)測(cè)具有經(jīng)濟(jì)、可遠(yuǎn)程操作、無須接觸和精度高等特點(diǎn)[5]. 傳統(tǒng)機(jī)器視覺的無監(jiān)督分割方法的效果主要取決于目標(biāo)與背景的差異[6], 在水產(chǎn)養(yǎng)殖中應(yīng)用較少. 文獻(xiàn)[7-9]分別在專設(shè)背景下對(duì)魚、蟹目標(biāo)進(jìn)行分割, 提取尺寸特征后建立了目標(biāo)物與其體質(zhì)量的回歸模型. 但在梭子蟹養(yǎng)殖中, 水中會(huì)出現(xiàn)蟲蛾、殘餌、泥沙等雜質(zhì), 這對(duì)傳統(tǒng)的無監(jiān)督圖像目標(biāo)檢測(cè)和分割方法帶來了挑戰(zhàn). 隨著計(jì)算機(jī)技術(shù)的進(jìn)步, 特別是深度學(xué)習(xí)的發(fā)展, 基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)方法在復(fù)雜背景下展現(xiàn)了優(yōu)勢(shì), 不再需要將生物體移框到專設(shè)的拍攝區(qū)域[10-11].

目前學(xué)界將深度學(xué)習(xí)的目標(biāo)檢測(cè)算法分為兩類[12]: 一類是基于回歸的YOLO系列算法[13], 將類別和邊界框的坐標(biāo)同時(shí)進(jìn)行預(yù)測(cè), 該算法速度快, 但召回率稍差; 趙德安等[14]利用該算法對(duì)水下的灰度河蟹圖像進(jìn)行了檢測(cè), 取得了較好效果. 另一類是基于區(qū)域的RCNN系列算法[15], 將前景與背景分割, 前景分類, 該算法識(shí)別速度較慢, 但召回率較高. 這兩類算法都只能識(shí)別出目標(biāo)的范圍, 不能較好地分割出物體的輪廓, 也不能根據(jù)物體旋轉(zhuǎn)的角度對(duì)邊界框進(jìn)行旋轉(zhuǎn), 因此不能滿足對(duì)尺寸識(shí)別的需要. 為此, He等[16]提出了Mask RCNN算法,該算法具有物體掩膜(Mask)的預(yù)測(cè)分支, 可以分割出圖像中的實(shí)例, 從而可進(jìn)一步由面積等參數(shù)回歸獲得梭子蟹實(shí)時(shí)體質(zhì)量的預(yù)測(cè). 在體質(zhì)量預(yù)測(cè)方面, 王靜安等[17]對(duì)河蟹甲殼尺寸與體質(zhì)量進(jìn)行了線性擬合, 發(fā)現(xiàn)雌雄河蟹甲長、甲寬等與體質(zhì)量密切相關(guān). 張超[18]利用最小二乘法對(duì)梭子蟹面積和體質(zhì)量進(jìn)行了單因子擬合. 為進(jìn)一步提高精度, 唐楊捷等[19]采用甲寬、甲長和面積實(shí)現(xiàn)了3因子對(duì)體質(zhì)量的擬合, 將預(yù)測(cè)誤差降至2.23%以下.但現(xiàn)有方案還不能做到在養(yǎng)殖背景下的基于實(shí)時(shí)圖像的尺寸測(cè)量. 因此, 如何將多元體質(zhì)量擬合方法與無接觸圖像算法進(jìn)行有機(jī)結(jié)合, 以進(jìn)一步提高模型性能具有重要意義.

本文以無接觸圖像識(shí)別為出發(fā)點(diǎn), 提出了一種通過獲取養(yǎng)殖環(huán)境下梭子蟹投影面積、甲寬與甲長, 并經(jīng)特征聚類后對(duì)應(yīng)不同聚類中心建立體質(zhì)量的預(yù)測(cè)模型, 通過靜態(tài)圖像識(shí)別估測(cè)梭子蟹的體質(zhì)量. 該技術(shù)可輔助實(shí)現(xiàn)餌料投放的“閉環(huán)”控制, 有助于提高水產(chǎn)養(yǎng)殖的智能化水平.

1 檢測(cè)材料和方法

1.1 實(shí)驗(yàn)平臺(tái)的搭建

實(shí)驗(yàn)平臺(tái)設(shè)備主要包括三腳架、CCD工業(yè)相機(jī)、定焦鏡頭、連接設(shè)備和上位機(jī)PC.

實(shí)驗(yàn)對(duì)象為單筐養(yǎng)殖梭子蟹. 選取生長狀況良好、個(gè)體大小不同, 共200只梭子蟹, 依次放置在養(yǎng)殖筐內(nèi), 在養(yǎng)殖筐中注入海水和泥沙模擬養(yǎng)殖環(huán)境. 用三腳架將工業(yè)相機(jī)架設(shè)在養(yǎng)殖筐上方, 視野保持在養(yǎng)殖筐范圍. 相機(jī)鏡頭的選型與實(shí)際工作匹配. 實(shí)驗(yàn)采集裝置的工作距離(WD)約1m. 為便于一對(duì)一編號(hào)和基于視覺尺寸提取, 單次拍攝的視場(chǎng)尺寸(FOV)與框體尺寸(400mm×300mm)一致. 相機(jī)鏡頭焦距的計(jì)算公式為:

式中:CCD為相機(jī)靶面尺寸, 取12.7mm(1/2英寸), 有效像素1920×1440.

為保證整個(gè)框體完全處于視野中, 分橫縱2個(gè)方向分別計(jì)算值, 取兩者較小值, 即選用焦距為16mm的定焦鏡頭, 鏡頭像面尺寸為19.9mm(2/3英寸), 大于相機(jī)的靶面尺寸, 以互相兼容[20].

1.2 模板修正的Mask RCNN尺寸提取

圖1 Mask RCNN網(wǎng)絡(luò)結(jié)構(gòu)

Mask分支將特征圖池化為28×28像素, 并在預(yù)測(cè)時(shí)計(jì)算出每個(gè)像素前景可能性的概率, 超過閾值則被判定為前景. 小尺度的Mask特征圖減小了生成掩膜所需的算力, 使得Mask RCNN在增加實(shí)例分割功能的基礎(chǔ)上不增加運(yùn)算時(shí)間.

殘餌、反光等會(huì)影響梭子蟹輪廓的識(shí)別, 或有部分螯足被虛警, 造成甲殼識(shí)別出現(xiàn)小面積的畸形. 為了提高M(jìn)ask識(shí)別的準(zhǔn)確度和識(shí)別養(yǎng)殖環(huán)境下梭子蟹的旋轉(zhuǎn)角度, 本文在Mask分支預(yù)測(cè)出的概率矩陣基礎(chǔ)上, 提出了優(yōu)化梭子蟹甲殼分割的方法, 即通過統(tǒng)計(jì)大量甲殼形狀找到最具普適性的甲殼模板, 并將模板最佳匹配到生成的掩膜位置, 按照模板形狀對(duì)Mask的概率矩陣進(jìn)行修正, 以進(jìn)一步削弱超出正常梭子蟹輪廓部分, 刪除明顯離群的虛警部分.

1.3 聚類優(yōu)化梭子蟹體質(zhì)量預(yù)測(cè)

圖2為梭子蟹體質(zhì)量建模和預(yù)測(cè)過程. 依據(jù)梭子蟹體質(zhì)量與甲殼長和寬的密切關(guān)系[22], 在采用面積的基礎(chǔ)上, 加入甲長、甲寬, 搭建3因子回歸模型, 以提高預(yù)測(cè)的準(zhǔn)確度. 模型根據(jù)梭子蟹3個(gè)視覺特征的內(nèi)在屬性, 通過聚類建立各類預(yù)測(cè)模型, 并將其輸入到支持向量機(jī)(SVM)中加以訓(xùn)練.

圖2 梭子蟹體質(zhì)量預(yù)測(cè)模型

2 基于后驗(yàn)邏輯的模板匹配

2.1 模板獲取

由于掩膜的修正依賴模板, 因此改進(jìn)效果優(yōu)劣直接取決于模板能否代表絕大多數(shù)梭子蟹的甲殼范圍. 梭子蟹通過多次脫殼實(shí)現(xiàn)生長, 每次脫殼后甲寬和甲長都有一定增長, 但增長趨勢(shì)十分接近, 長寬比基本保持不變[23].

本文采用200只水平放置的梭子蟹甲殼區(qū)域的二值圖作為樣本集, 按甲殼寬等比歸一化, 得到甲寬相同甲長各異的新樣本; 按照重心位置疊加, 取所有樣本圖像的交集, 得到一張可以覆蓋各種形狀的初始甲殼模板t. 始終固定模板寬度不變, 長度從樣本的最小值按照設(shè)定步長增至最大值, 模板與樣本(=200)的平均交并比(Avg IOU)的計(jì)算公式為:

將滿足平均交并比最大的位置所對(duì)應(yīng)圖片的長和寬作為最終模板尺寸(圖3).

圖3 梭子蟹甲殼模板

2.2 基于圖像矩的重心和傾角識(shí)別

由網(wǎng)絡(luò)推斷出的實(shí)例雖然具有語義, 但并不能識(shí)別其相對(duì)于模板旋轉(zhuǎn)的角度, 這為模板的匹配帶來了困難. 針對(duì)梭子蟹甲殼的對(duì)稱性, 本文采用二階矩計(jì)算輸出掩膜的傾斜角度.

實(shí)例分割出的Mask為甲長方向個(gè)像素, 甲寬方向個(gè)像素的二值圖像,(,)表示坐標(biāo)為(,)點(diǎn)對(duì)應(yīng)的像素值, 若位于實(shí)例內(nèi), 則為1, 否則為0.

式(3)可分別計(jì)算出預(yù)測(cè)Mask的圖像矩, 其中00為零階矩,01和10為一階矩,20、02和11表示二階矩, 通過式(4)可求出實(shí)例的重心(c,c)和旋轉(zhuǎn)角.

2.3 模板后驗(yàn)匹配

為了減少匹配產(chǎn)生誤差, 需要對(duì)模板圖按實(shí)例大小進(jìn)行縮放, 以重心為中心旋轉(zhuǎn)至Mask相同的角度. 由于水中顆粒存在散射, 會(huì)造成實(shí)例尺寸明顯大于梭子蟹的真實(shí)甲殼, 若按回歸Mask長寬放大模板會(huì)導(dǎo)致模板包含過多的背景部分. 經(jīng)比較最終采用面積匹配法, 放大倍數(shù)的計(jì)算公式為:

式中:SJ為衰減因子, 取0.9左右, 以平衡圖像噪音的干擾, 并防止放大倍數(shù)過大;Mask為實(shí)例面積, 隨個(gè)體大小變化;Temp為模板面積, 取定值.

完成放縮后旋轉(zhuǎn), 為保證旋轉(zhuǎn)前后模板甲殼區(qū)域面積不發(fā)生改變, 需要對(duì)仿射變換后的圖片重心位置和邊界框尺寸進(jìn)行如下調(diào)整:

采用Python 3.6軟件中pencv模塊下cv2.Get- RotationMatrix2D函數(shù)計(jì)算按模板重心(C,C)給定角度的變換矩陣, 并根據(jù)式(7)對(duì)稍作調(diào)整, 矩陣中前2列實(shí)現(xiàn)旋轉(zhuǎn), 最后1列實(shí)現(xiàn)移動(dòng)轉(zhuǎn)軸至任意點(diǎn), 并修正因旋轉(zhuǎn)可能導(dǎo)致的越界部分.

將修正后的變換矩陣傳入warpAffine函數(shù)進(jìn)行仿射變換和邊界調(diào)整, 計(jì)算輸出模板重心. 根據(jù)新模板和Mask重心完成Mask與模板圖片的匹配, 此時(shí)模板圖與Mask產(chǎn)生3處邏輯關(guān)系(圖4).

圖4 模板與掩膜邏輯關(guān)系

圖4中S1為模板和Mask的共同置信區(qū)域, 最有把握識(shí)別正確; S2為Mask識(shí)別出而不包含在模板中的部分, 很可能是水中顆粒散射造成的虛警部分, 應(yīng)予衰減; S3是由于甲殼邊緣部分特征不明顯很難被識(shí)別出的部分, 應(yīng)增大Mask矩陣中相應(yīng)位置的概率. 對(duì)不同區(qū)域Mask的概率進(jìn)行增益或衰減的具體數(shù)值計(jì)算公式為:

3 模型訓(xùn)練與測(cè)試

3.1 實(shí)驗(yàn)數(shù)據(jù)集制作

(1)圖像收集. 為消除地域和人工選育的影響, 分別選用產(chǎn)地為浙江寧波和山東青島的梭子蟹, 品種為養(yǎng)殖蟹和野生蟹, 共收集梭子蟹甲殼訓(xùn)練集1000張, 驗(yàn)證集200張, 測(cè)試集85張, 測(cè)試集與訓(xùn)練集圖片采自不同時(shí)間和產(chǎn)地的梭子蟹.

(2)數(shù)據(jù)增廣. 在梭子蟹識(shí)別中經(jīng)常會(huì)因?yàn)橐暯堑膬A斜、鏡頭畸變、光線變化、局部遮擋、波紋和旋轉(zhuǎn)等造成識(shí)別準(zhǔn)確率下降, 因此通過變換訓(xùn)練集以達(dá)到提前模擬這些工況. 數(shù)據(jù)增廣方式為: 首先對(duì)所有圖片進(jìn)行水平和垂直翻轉(zhuǎn), 然后對(duì)3倍大小的訓(xùn)練集隨機(jī)進(jìn)行仿射變換、高斯噪聲、亮度調(diào)整、局部涂黑和高斯模糊中的一種或多種變換, 從而將訓(xùn)練集擴(kuò)充至6000張.

(3)前景標(biāo)記. 采用Labelme插件完成數(shù)據(jù)ground truth標(biāo)注.

3.2 模型的遷移學(xué)習(xí)

訓(xùn)練和測(cè)試配置為Intel i7 6700K處理器及七彩虹GTX1070顯卡, 內(nèi)存16GB, 采用GPU加速. 訓(xùn)練采用遷移學(xué)習(xí)方式, 輸入標(biāo)記好前景的訓(xùn)練集圖像進(jìn)行前向模型計(jì)算, 反向誤差傳遞, 更新頂層權(quán)重, 訓(xùn)練階段采用異步隨機(jī)梯度下降算法防止訓(xùn)練陷入馬鞍點(diǎn). momentum參數(shù)選為0.9, 訓(xùn)練重復(fù)次數(shù)(epoch)為30, 權(quán)值初始學(xué)習(xí)率設(shè)為0.001. 隨著epoch次數(shù)增加逐漸減小, 衰減系數(shù)設(shè)為0.0001. 圖5是改進(jìn)Mask RCNN訓(xùn)練損失值及交并比曲線.

雖然很多高校都成立了諸如大學(xué)生創(chuàng)業(yè)園、創(chuàng)業(yè)孵化基地、創(chuàng)客空間等創(chuàng)新創(chuàng)業(yè)平臺(tái)，也開發(fā)了創(chuàng)新創(chuàng)業(yè)教育教材，并設(shè)置了固定創(chuàng)新創(chuàng)業(yè)學(xué)時(shí)，但存在著投入大、收效小的尷尬局面，實(shí)際成效難以量化，象征性意義大于實(shí)質(zhì)性意義，對(duì)于提升人才培養(yǎng)質(zhì)量、提高人才核心職業(yè)競(jìng)爭力的幫助極為有限。

圖5 損失值與交并比隨改進(jìn)Mask RCNN訓(xùn)練次數(shù)的變化

由圖5可看出, 隨著訓(xùn)練迭代次數(shù)的增加, 損失值迅速降低, 并逐漸收斂穩(wěn)定在0附近; 交并比逐漸增大, 但因?qū)嶋H測(cè)試環(huán)境較為復(fù)雜, 受波紋、殘餌等影響, Mask RCNN始終不能完全精確地將梭子蟹甲殼部分與背景分割開, 最終交并比穩(wěn)定在0.9以上. 從上述各參數(shù)的訓(xùn)練過程看, 模型的收斂結(jié)果較為理想.

3.3 圖像與實(shí)際尺寸的轉(zhuǎn)化

由于在鏡頭選型時(shí)確保視野內(nèi)只包含單只蟹框, 因此在硬件不變條件下, 每次采集圖像的視野長、寬和包含像素始終固定, 可以通過每個(gè)像素的長度換算圖像中梭子蟹對(duì)應(yīng)的真實(shí)尺寸. 定義單位真實(shí)尺寸對(duì)應(yīng)圖像中個(gè)像素, 其單位為像素·mm-1, 滿足:

式中:pixel為采集圖像在寬度上分布的像素?cái)?shù)目,針對(duì)同一鏡頭和相機(jī)感光元件, 存在固定的分辨率和像素, 像素與分辨率的比值確定圖像的像素尺寸;0為整個(gè)視野真實(shí)的寬度, 測(cè)量時(shí)選取與梭子蟹主體位于同一水平面的最大視野的實(shí)際長度.

本例采用1920×1440像素與96ppi, 取像素寬度為1440, 視野寬度為養(yǎng)殖框的寬度, 取300mm, 代入式(9), 得=4.8. 由此可以根據(jù)梭子蟹圖像在長度(或?qū)挾?方向所占據(jù)的像素?cái)?shù)目(L)和梭子蟹實(shí)例在圖像上所占據(jù)的總像素?cái)?shù)(A), 根據(jù)式(10)推導(dǎo)出所對(duì)應(yīng)的真實(shí)尺寸()及真實(shí)投影面積(), 其計(jì)算公式為:

3.4 算法性能對(duì)比

85張測(cè)試集圖像采自真實(shí)養(yǎng)殖狀態(tài), 背景包含水面、殘餌、糞便、泥沙等. 推斷時(shí)將測(cè)試集依次傳入訓(xùn)練所得模型, 由于蟹螯足、殘餌與蟹甲殼紋理接近, 據(jù)先驗(yàn)知識(shí)將檢測(cè)框分辨率像素設(shè)為128×128、256×256、512×512, 即刪除不匹配梭子蟹甲殼的推薦區(qū)域(RPN)尺寸, 避免對(duì)非目標(biāo)區(qū)域的誤識(shí)別, 識(shí)別的綜合效果見表1. 性能評(píng)價(jià)采用召回率()和平均精度(P)2項(xiàng)指標(biāo), 其計(jì)算公式分別為:

式中:為測(cè)試集包含的圖片數(shù);P為每張圖像中真陽性個(gè)數(shù);N為虛警語義個(gè)數(shù);P為出現(xiàn)的假陽性個(gè)數(shù).

3.5 驗(yàn)證結(jié)果分析

表1 梭子蟹識(shí)別模型的平均性能

圖6和圖7分別是改進(jìn)前后掩膜范圍對(duì)比, 以及梭子蟹甲長、甲寬和面積算法推斷與人工實(shí)測(cè)誤差對(duì)比. 從圖6和圖7可看出, 梭子蟹面積、甲長和甲寬的估算準(zhǔn)確率基本保持在85%以上, 對(duì)甲殼部分分割良好. 甲寬誤差大部分呈負(fù)值, 說明算法對(duì)甲殼尖端部分分割效果較差, 造成甲寬估算過短, 如編號(hào)6、54、71等樣品; 甲長估測(cè)有部分誤差超過10%, 如編號(hào)5、11、53等樣品, 其原因?yàn)檎`將收起的梭子蟹大螯識(shí)別為甲殼, 造成甲長被錯(cuò)誤地放大.

圖6 改進(jìn)前后掩膜范圍對(duì)比

圖7 算法改進(jìn)前后測(cè)量誤差對(duì)比

由圖7(a)可看出, 在甲長識(shí)別時(shí), 改進(jìn)算法明顯減小了誤差折線的波動(dòng)和誤差峰值, 將甲長誤差絕對(duì)值基本保持在10%以下. 從圖7(b)可看出, 由于梭子蟹大螯部分被誤識(shí)別時(shí)會(huì)明顯增加甲長的估測(cè)值, 但其相對(duì)于甲殼部分面積較小, 改進(jìn)算法能有效地依照模板將多余部分刪除, 提高甲長估測(cè)的準(zhǔn)確性. 改進(jìn)算法由于依靠原始算法的掩膜輸出, 面積誤差部分與原算法趨勢(shì)相同, 優(yōu)化程度較小(圖7(c)). 由表1可知, 改進(jìn)后誤差均方波動(dòng)減小較為明顯, 改進(jìn)前后測(cè)試集中甲長、甲寬和面積3個(gè)尺度的誤差絕對(duì)值均保持在0.10以下的樣本數(shù)量由44個(gè)增加到60個(gè), 均保持在0.05以下的樣本數(shù)量由6個(gè)增加到29個(gè). 在峰值誤差方面, 由于某些樣本中采集模糊、反光, 如編號(hào)50的梭子蟹圖像, 造成原始算法對(duì)梭子蟹甲長、寬和面積估測(cè)顯著減少, 誤差較大的初始掩膜對(duì)改進(jìn)算法的效果也產(chǎn)生負(fù)面影響, 最終因模板變形后對(duì)甲寬方向的伸長作用, 初始掩膜和模板疊加后一定程度上補(bǔ)償了面積和甲寬的缺失, 但是由于面積的負(fù)誤差, 造成模板對(duì)甲長方向沒有改進(jìn)效果, 最終使得算法針對(duì)某些樣本出現(xiàn)較大的峰值誤差. 適當(dāng)采用較大的模板放大系數(shù)、良好的補(bǔ)光、穩(wěn)定的高速攝像機(jī)可緩解這類問題的產(chǎn)生.

綜上可知, 改進(jìn)算法對(duì)于提取梭子蟹的視覺尺寸相比原始算法在精確度和穩(wěn)定性上都有一定提高, 為后續(xù)體質(zhì)量回歸提供了更準(zhǔn)確的數(shù)據(jù).

4 梭子蟹體質(zhì)量預(yù)測(cè)

4.1 改進(jìn)的差分進(jìn)化算法

差分進(jìn)化算法是一種尋優(yōu)算法, 其基本思想是隨機(jī)產(chǎn)生初始種群, 通過變異得到新個(gè)體, 將新個(gè)體與當(dāng)代種群中預(yù)先決定的個(gè)體相比較, 優(yōu)勝劣汰, 引導(dǎo)搜索過程向最終的最優(yōu)解靠近.

4.1.1 差分進(jìn)化算法的參數(shù)改進(jìn)

(1)追逐適應(yīng)度的自適應(yīng)變異因子

在尋優(yōu)初期, 通過較大的尋優(yōu)函數(shù)返回值加大變異縮放因子, 保持群體多樣性, 避免早熟[24]. 隨著代數(shù)的增加和均方誤差的下降, 縮放因子迅速減小, 回到設(shè)定值0附近[25], 提高搜索到最優(yōu)解的概率. 但只通過代數(shù)的增長進(jìn)行衰減較為刻板, 不能根據(jù)當(dāng)前尋優(yōu)過程的特異性優(yōu)化尋優(yōu)過程, 若代數(shù)設(shè)置較大, 則尋優(yōu)過程會(huì)經(jīng)歷長時(shí)間的較大變異縮放因子, 引起尋優(yōu)過程頻繁跳過最優(yōu)值, 浪費(fèi)算力. 本文通過Sigmoid函數(shù)縮放兩代之間的適應(yīng)度以調(diào)整取值, 隨著適應(yīng)度減少, 調(diào)整變異幅度, 減小尋找最優(yōu)值所需的步數(shù). 本文設(shè)置的縮放因子計(jì)算公式為:

式中:0為預(yù)設(shè)的縮放因子, 取0.5;為算法當(dāng)前代數(shù);n為預(yù)設(shè)進(jìn)化總代數(shù);為權(quán)重常數(shù), 經(jīng)實(shí)驗(yàn)選取0.8時(shí)表現(xiàn)較好;為源自神經(jīng)網(wǎng)絡(luò)生長曲線S型激活函數(shù), 可將實(shí)數(shù)域的適應(yīng)度之差縮放為0~1之間數(shù)值, 其表達(dá)式為:

best()表示第代種群中適應(yīng)度最高個(gè)體對(duì)應(yīng)的適應(yīng)度, 當(dāng)超過3代后, 便可計(jì)算前兩代間的適應(yīng)度差異, 從而指導(dǎo)進(jìn)行自適應(yīng)變化.

(2)適者生存的交叉策略

除縮放因子外, 交叉概率(r)也會(huì)影響尋優(yōu)效果.r主要反映在交叉過程中, 子代與父代、中間變異體之間交換信息量的大小程度.r值越大, 包含新信息程度越大, 收斂速度較慢, 但有利于保存物種多樣性; 反之, 如果r值偏小, 雖然收斂速度加快, 但會(huì)使種群的多樣性快速減小, 不利于全局尋優(yōu).

本文設(shè)計(jì)的自適應(yīng)交叉概率可根據(jù)每個(gè)個(gè)體與當(dāng)代整體水平的關(guān)系進(jìn)行調(diào)整, 對(duì)優(yōu)秀個(gè)體的性狀更加寬容, 能夠兼顧收斂速度和種群多樣性.r的計(jì)算公式為:

4.1.2 尋優(yōu)性能驗(yàn)證

為了測(cè)試本文提出的改進(jìn)算法(-r-DE)的收斂性能和逃出馬鞍點(diǎn)能力, 將-r-DE算法與標(biāo)準(zhǔn)差分進(jìn)化算法(DE)以及自適應(yīng)交叉因子的DE算法(r-DE)進(jìn)行仿真結(jié)果對(duì)比. 實(shí)驗(yàn)參數(shù)設(shè)置為: 粒子種群大小Z=20, 最大迭代次數(shù)max=500, 搜索區(qū)間為[-10,10].

表2 3種算法在不同適應(yīng)度函數(shù)下的收斂精度

注: 1)Ackley函數(shù)因Python計(jì)算精度原因, 在0處仍出現(xiàn)-4.44×10-16的誤差, 因此認(rèn)為當(dāng)?shù)霈F(xiàn)相應(yīng)精度時(shí), 誤差為0.

選取Rosenbrock、Rastrigin、()和Ackley測(cè)試函數(shù)[26], 這些函數(shù)存在眾多局部最小值區(qū)域, 且均存在最小值(0). 分別用上述函數(shù)進(jìn)行標(biāo)準(zhǔn)DE算法、rDE算法以及r-DE算法試驗(yàn)對(duì)比, 結(jié)果見表2.

由表2可知, 當(dāng)差分進(jìn)化進(jìn)行迭代時(shí), DE算法更容易陷入局部最優(yōu)的馬鞍點(diǎn)且難以逃離, 導(dǎo)致算法收斂性能較弱.r-DE算法對(duì)于優(yōu)秀的個(gè)體降低采納標(biāo)準(zhǔn), 可以顯著提高進(jìn)化過程的收斂速度.-r-DE算法增強(qiáng)了防止越過最優(yōu)值的性能, 隨著代數(shù)次數(shù)的增加逐漸減小變異因子. 但只通過代數(shù)的增長進(jìn)行衰減不能反映數(shù)據(jù)衰減的特性, 不能緊跟適應(yīng)度的減少調(diào)整變異幅度. 通過Sigmoid函數(shù)縮放兩代之間的適應(yīng)度, 用差值進(jìn)一步減小取值, 匹配空間搜索速度, 可顯著減小尋找最優(yōu)值所需的步數(shù).

r-DE算法和-r-DE算法比DE算法精度有顯著提升. 以尋優(yōu)精度達(dá)到0為前提, 在尋優(yōu)步數(shù)方面,-r-DE算法收斂時(shí)的迭代次數(shù)比r-DE算法與DE算法平均減少了16.7%與38.7%; 在精度方面,-r-DE算法始終能搜尋到3種方案中的最優(yōu)值. 因此,-r-DE算法在適應(yīng)度函數(shù)的尋優(yōu)步數(shù)和精度上均有優(yōu)勢(shì), 其交叉因子和變異因子的自適應(yīng)改進(jìn)均有效.

4.2 基于k-means聚類和自適應(yīng)DE算法的支持向量回歸(SVR)梭子蟹體質(zhì)量預(yù)測(cè)模型

4.2.1 數(shù)據(jù)來源

用于體質(zhì)量預(yù)測(cè)的梭子蟹特征數(shù)據(jù)來自寧波大學(xué)智慧養(yǎng)殖實(shí)驗(yàn)室. 樣本為帶有體質(zhì)量標(biāo)簽的175只梭子蟹養(yǎng)殖圖像, 詳見表3. 經(jīng)改進(jìn)Mask RCNN方法提取樣本梭子蟹甲長、甲寬、面積3個(gè)視覺特征作為訓(xùn)練特征, 對(duì)應(yīng)的體質(zhì)量信息作為預(yù)測(cè)目標(biāo).

表3 原始數(shù)據(jù)

續(xù)表

4.2.2 樣本的-means聚類

-means聚類是在給定個(gè)初始中心點(diǎn)情況下, 把每個(gè)點(diǎn)分到離其最近的簇中心點(diǎn)所代表的簇中, 所有點(diǎn)分配完畢后, 再根據(jù)一個(gè)簇內(nèi)的所有點(diǎn)重新計(jì)算該簇的中心點(diǎn), 然后再迭代進(jìn)行分配點(diǎn)和更新簇中心點(diǎn), 直至簇中心點(diǎn)的變化很小, 或者達(dá)到指定的迭代次數(shù).

在對(duì)數(shù)據(jù)進(jìn)行聚類前, 為排除3個(gè)坐標(biāo)尺度不同對(duì)聚類產(chǎn)生的影響, 根據(jù)式(17)分別將3個(gè)視覺參數(shù)歸一化到[0,1]區(qū)間, 其中X和分別表示歸一化前后的視覺參數(shù),為個(gè)數(shù)據(jù)點(diǎn)的平均數(shù).

數(shù)據(jù)依個(gè)中心聚類結(jié)果顯示: 當(dāng)=1時(shí), 梭子蟹體質(zhì)量分布散亂, 數(shù)據(jù)標(biāo)準(zhǔn)差為52.83; 將設(shè)為2時(shí), 兩類數(shù)據(jù)標(biāo)準(zhǔn)差都有所減少, 一類甲寬較大, 且甲殼面積較突出, 基本分布在200g以上, 命名為“寬大型”, 其標(biāo)準(zhǔn)差為28.76; 另一類相比前類甲寬較小, 甲殼面積也較小, 命名為“窄小型”,其標(biāo)準(zhǔn)差為50.77; 將設(shè)為3時(shí), 原先窄小和寬大型數(shù)據(jù)在150g左右的交界區(qū)域又細(xì)分出新型數(shù)據(jù), 依照分類自變量可將新聚類中心命名為“方正型”, 表現(xiàn)出甲寬較短、甲長較長的特征, 圍成的面積更大, 新聚類中心的生成使3組數(shù)據(jù)的標(biāo)準(zhǔn)差都有所下降, 分別為22.9、43.59和28.45, 但考慮到“方正型”與另外2類區(qū)別不顯著, 且3次聚類后“寬大型”數(shù)據(jù)量過少, 預(yù)測(cè)時(shí)會(huì)出現(xiàn)過擬合現(xiàn)象, 綜合考慮選擇=2.

當(dāng)=2時(shí), 梭子蟹按照生長程度自發(fā)歸成2類, 符合自然生物規(guī)律. 聚類后可以更有效地區(qū)分同一批梭子蟹由外形尺寸的權(quán)重不同導(dǎo)致的體質(zhì)量預(yù)測(cè)差異, 每一組歸屬于不同聚類中心的數(shù)據(jù)都有各自的預(yù)測(cè)模型, 模型的準(zhǔn)確性相應(yīng)提高.

4.2.3 聚類優(yōu)化SVR預(yù)測(cè)結(jié)果分析

SVR是支持向量機(jī)一個(gè)重要的應(yīng)用分支, SVR通過尋找使所有的樣本點(diǎn)總偏差最小的最優(yōu)超平面實(shí)現(xiàn)參數(shù)回歸.

將參數(shù)應(yīng)用到SVR模型中, 對(duì)新傳入來自2個(gè)聚類中心的25個(gè)測(cè)試集樣本點(diǎn)歸一化后, 判斷所歸屬的聚類中心, 再傳入相應(yīng)的預(yù)測(cè)模型進(jìn)行回歸, 得出預(yù)測(cè)體質(zhì)量值, 預(yù)測(cè)體質(zhì)量與實(shí)際體質(zhì)量對(duì)比結(jié)果如圖8所示.

計(jì)算預(yù)測(cè)值與真實(shí)值之間的相對(duì)誤差, 并與原始SVR模型、聚類后的原始SVR模型和BP神經(jīng)網(wǎng)絡(luò)模型進(jìn)行對(duì)比, 其中BP神經(jīng)網(wǎng)絡(luò)采用6隱藏節(jié)點(diǎn)數(shù)目, epoch設(shè)為50, 隱含層轉(zhuǎn)移函數(shù): tansig, 輸出層轉(zhuǎn)移函數(shù): purelin, 訓(xùn)練函數(shù): traninbr, 最大訓(xùn)練次數(shù)設(shè)為1000, 目標(biāo)最小誤差設(shè)為0.00001,學(xué)習(xí)速率設(shè)為0.0001.

圖9為各模型預(yù)測(cè)結(jié)果. 從圖9可知, 優(yōu)化算法可以有效找到擬合效果最好的參數(shù), 提高預(yù)測(cè)精度, 相比未改進(jìn)算法其相對(duì)誤差顯著減小, 誤差峰值基本保持在20%以下.

圖8 改進(jìn)模型預(yù)測(cè)體質(zhì)量與實(shí)際體質(zhì)量對(duì)比

圖9 各模型預(yù)測(cè)結(jié)果對(duì)比

通過圖9與表4可看出, 雖然BP神經(jīng)網(wǎng)絡(luò)和聚類優(yōu)化后的支持向量機(jī)都表現(xiàn)出較好的預(yù)測(cè)性能, 最大相對(duì)誤差都未超過20%, 但未經(jīng)聚類的算法由于損失函數(shù)針對(duì)2個(gè)聚類中心的不同特征, 旨在建立對(duì)2個(gè)中心共同的最小誤差模型, 因此其誤差損失波動(dòng)性較大, 且對(duì)任一樣本點(diǎn)的預(yù)測(cè)都有均衡偏差, 如圖9中SVR和BP神經(jīng)網(wǎng)絡(luò)曲線, 其整體趨勢(shì)基本圍繞在軸上下, 但波動(dòng)較強(qiáng); 對(duì)比聚類后, 由于后者能夠分別學(xué)習(xí)到不同樣本簇的特征, SVR均方誤差降低了5.8g, 聚類+優(yōu)化SVR均方誤差性能超越BP神經(jīng)網(wǎng)絡(luò), 在4類算法中表現(xiàn)最優(yōu). 由此可驗(yàn)證, 2類樣本尺寸-體質(zhì)量模型并不相同, 若用單一模型進(jìn)行預(yù)測(cè)難以找到統(tǒng)一的優(yōu)化指標(biāo)和回歸曲線, 無法得到最佳性能.

從預(yù)測(cè)精度看, 無論采用何種預(yù)測(cè)方法, 編號(hào)23樣本總出現(xiàn)嚴(yán)重的負(fù)誤差, 該體質(zhì)量樣本對(duì)應(yīng)視覺樣本編號(hào)77, 由于面積預(yù)測(cè)時(shí)過多受到遮擋, 視覺輸出存在較大誤差, 面積參數(shù)由Mask RCNN的掩碼轉(zhuǎn)換而來, 因而造成體質(zhì)量預(yù)測(cè)錯(cuò)誤, 這類現(xiàn)象可由補(bǔ)光優(yōu)化進(jìn)一步改進(jìn). 聚類+優(yōu)化SVR的最大相對(duì)誤差比BP神經(jīng)網(wǎng)絡(luò)和聚類+SVR分別低54%和3%; 對(duì)于均方根誤差, 聚類+優(yōu)化SVR的均方根誤差最小, 即預(yù)測(cè)模型表現(xiàn)穩(wěn)定. 總體而言, 聚類和差分進(jìn)化算法符合梭子蟹尺寸及體質(zhì)量回歸預(yù)測(cè)多變量、多模型的特點(diǎn), 可提高SVR的預(yù)測(cè)性能.

表4 模型預(yù)測(cè)誤差比較

5 結(jié)語

本文采用CCD相機(jī)獲取梭子蟹圖像, 提出了模板匹配的改進(jìn)Mask RCNN檢測(cè)算法, 通過自適應(yīng)選擇縮放因子和交叉概率的差分進(jìn)化算法優(yōu)化支持向量回歸, 實(shí)現(xiàn)了對(duì)梭子蟹體質(zhì)量的預(yù)測(cè), 測(cè)試效果良好.

計(jì)算機(jī)輔助蟹尺寸識(shí)別及其體質(zhì)量預(yù)測(cè)可提高蟹工廠化養(yǎng)殖的自動(dòng)化程度, 降低人工成本, 具有一定的應(yīng)用價(jià)值. 但蟹厚度也會(huì)對(duì)蟹體質(zhì)量造成影響, 因此在后續(xù)研究中將考慮采用雙目視覺方案, 獲取梭子蟹的厚度信息, 建立多元擬合模型, 以達(dá)到更精確的預(yù)測(cè)效果.

[1] 曹廣斌, 蔣樹義, 韓世成, 等. 工廠化水產(chǎn)養(yǎng)殖中的自動(dòng)控制技術(shù)[J]. 水產(chǎn)學(xué)雜志, 2011, 24(1):60-64.

[2] 周顯青, 孫儒泳, 牛翠娟. 應(yīng)激對(duì)水生動(dòng)物生長、行為和生理活動(dòng)的影響[J]. 動(dòng)物學(xué)研究, 2001, 22(2):154- 158.

[3] Mathiassen J R, Misimi E, Bond? M, et al. Trends in application of imaging technologies to inspection of fish and fish products[J]. Trends in Food Science & Technology, 2011, 22(6):257-275.

[4] 段延娥, 李道亮, 李振波, 等. 基于計(jì)算機(jī)視覺的水產(chǎn)動(dòng)物視覺特征測(cè)量研究綜述[J]. 農(nóng)業(yè)工程學(xué)報(bào), 2015, 31(15):1-11.

[5] Zion B. The use of computer vision technologies in aquaculture – A review[J]. Computers and Electronics in Agriculture, 2012, 88:125-132.

[6] 周莉莉, 姜楓. 圖像分割方法綜述研究[J]. 計(jì)算機(jī)應(yīng)用研究, 2017, 34(7):1921-1928.

[7] Viazzi S, van Hoestenberghe S, Goddeeris B M, et al. Automatic mass estimation of Jade perchby computer vision[J]. Aquacultural Engineering, 2015, 64:42-48.

[8] 王文靜, 徐建瑜, 呂志敏, 等. 基于機(jī)器視覺的水下鲆鰈魚類質(zhì)量估計(jì)[J]. 農(nóng)業(yè)工程學(xué)報(bào), 2012, 28(16):153- 157.

[9] 張超, 徐建瑜, 王文靜. 基于機(jī)器視覺的梭子蟹質(zhì)量估計(jì)方法研究[J]. 寧波大學(xué)學(xué)報(bào)(理工版), 2014, 27(2):49- 51.

[10] 姚霆, 張煒, 劉金根. 基于深度學(xué)習(xí)的圖像分割技術(shù)[J]. 人工智能, 2019, 6(2):66-75.

[11] 駱桂蘭, 陳軍, 王會(huì)聰, 等. 水產(chǎn)養(yǎng)殖過程中計(jì)算機(jī)視覺的應(yīng)用[J]. 畜牧與飼料科學(xué), 2017, 38(12):91-92.

[12] 房永峰. 基于深度學(xué)習(xí)的牲畜目標(biāo)檢測(cè)與跟蹤算法研究[D]. 合肥: 中國科學(xué)技術(shù)大學(xué), 2019.

[13] Redmon J, Divvala S, Girshick R, et al. You only look once: Unified, real-time object detection[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016:779-788.

[14] 趙德安, 劉曉洋, 孫月平, 等. 基于機(jī)器視覺的水下河蟹識(shí)別方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào), 2019, 50(3):151-158.

[15] Girshick R, Donahue J, Darrell T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]//2014 IEEE Conference on Computer Vision and Pattern Recognition, 2014:580-587.

[16] He K M, Sun J, Tang X O. Single image haze removal using dark channel prior[C]//2009 IEEE Conference on Computer Vision and Pattern Recognition, 2009:20-25.

[17] 王靜安, 陳開健, 劉小燕, 等. 大通湖水域河蟹體長、體重及頭胸甲關(guān)系研究[J]. 湖南文理學(xué)院學(xué)報(bào)(自然科學(xué)版), 2017, 29(1):35-39.

[18] 張超. 計(jì)算機(jī)視覺技術(shù)在梭子蟹養(yǎng)殖中的應(yīng)用研究[D]. 寧波: 寧波大學(xué), 2014.

[19] 唐楊捷, 胡海剛, 張剛, 等. 基于計(jì)算機(jī)視覺和GA- SVM的梭子蟹體重預(yù)測(cè)[J]. 寧波大學(xué)學(xué)報(bào)(理工版), 2019, 32(1):32-37.

[20] 陳軍. 基于機(jī)器視覺的汽車油泵支撐桿尺寸實(shí)時(shí)檢測(cè)系統(tǒng)[D]. 杭州: 浙江大學(xué), 2017.

[21] Ren S Q, He K M, Girshick R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6):1137-1149.

[22] 高保全, 劉萍, 李健, 等. 三疣梭子蟹形態(tài)性狀對(duì)體重影響的分析[J]. 海洋水產(chǎn)研究, 2008, 29(1):44-50.

[23] 高天龍, 王燕飛, 鮑雪寧, 等. 單體筐養(yǎng)三疣梭子蟹的蛻殼與生長規(guī)律研究[J]. 生物學(xué)雜志, 2016, 33(3):41- 46.

[24] 高岳林, 劉軍民. 差分進(jìn)化算法的參數(shù)研究[J]. 黑龍江大學(xué)自然科學(xué)學(xué)報(bào), 2009, 26(1):81-85.

[25] 顏學(xué)峰, 余娟, 錢鋒, 等. 基于改進(jìn)差分進(jìn)化算法的超臨界水氧化動(dòng)力學(xué)參數(shù)估計(jì)[J]. 華東理工大學(xué)學(xué)報(bào)(自然科學(xué)版), 2006, 32(1):94-97; 124.

[26] 紀(jì)震, 廖惠連, 吳青華. 粒子群算法及應(yīng)用[M]. 北京: 科學(xué)出版社, 2009:74-78.

Weight estimation of non-contact swimming crabs based on improved Mask RCNN and SVR

TANG Chao1, HU Haigang1*, SHI Ce2, QIAN Yunxia2

( 1.Faculty of Maritime and Transportation, Ningbo University, Ningbo 315832, China; 2.School of Marine Science, Ningbo University, Ningbo 315832, China )

The data of farmed crabs mainly rely on manual measurement, which is both labor intensive and resource wasting. In this paper, an improved Mask RCNN size measurement algorithm is proposed, and the original Mask based on probability output from Mask RCNN is modified according to the template obtained in advance to achieve more accurate size estimation. First, crab images are captured by using cameras, which are then segmented with the Mask RCNN algorithm. After applying a second-order moment algorithm on the mask, the template is transferred and rotated into the center of the original mask, and the corresponding part is modified by adding and subtracted benefits, so as to obtain a more accurate image of the carapace. The real size of the crab is converted through the image-real scene mapping, and the area, width and length of the crab carapace are estimated with an accuracy of more than 85%. The size obtained by the visual algorithm is fitted to the weight of the swimming crab. In order to improve the matching degree of the model, the-means clustering is introduced to implement a dual-model support vector regression machine (SVR) prediction structure, which uses the differential evolution algorithm to optimize the fitness function of the SVR. In the test process, after normalizing the newly input data, the cluster center to which it belongs is first determined, and then the corresponding SVR model is applied for prediction. The test set results show that the relative error remains below 18%.

swimming crab; visual feature; weight; Mask RCNN; non-contact measurement

TP274

A

1001-5132（2021）02-0031-11

2020?05?18.

寧波大學(xué)學(xué)報(bào)（理工版）網(wǎng)址: http://journallg.nbu.edu.cn/

浙江省公益技術(shù)項(xiàng)目（2017C32014）; 浙江省重點(diǎn)研發(fā)計(jì)劃（2019C02055）; 寧波市科技富民項(xiàng)目（2017C10006）; 寧波市自然科學(xué)基金（2019A610424）.

唐潮（1995－）, 男, 江蘇宿遷人, 在讀碩士研究生, 主要研究方向: 計(jì)算機(jī)視覺. E-mail: 2906941684@qq.com

胡海剛（1966－）, 男, 浙江舟山人, 高級(jí)實(shí)驗(yàn)師, 主要研究方向: 船舶工程安全技術(shù)與機(jī)電控制. E-mail: huhaigang@nbu.edu.cn

（責(zé)任編輯 史小麗）