呂俊霖，麥嘉銘 ，熊 浩，蔡海真

(1 中國(guó)水產(chǎn)科學(xué)研究院南海水產(chǎn)研究所，廣州 510300；2 華南農(nóng)業(yè)大學(xué)，廣州，510642)

隨著機(jī)器學(xué)習(xí)尤其是深度學(xué)習(xí)技術(shù)的迅速發(fā)展，圖像識(shí)別技術(shù)已在植物識(shí)別[1-2]、人臉識(shí)別[3-4]、交通標(biāo)志識(shí)別[5]和醫(yī)學(xué)圖像等方面展開(kāi)了廣泛的研究應(yīng)用。圖像識(shí)別技術(shù)在魚(yú)類(lèi)智能識(shí)別領(lǐng)域起步較晚，這是因?yàn)轸~(yú)的身體是柔性的，不容易取得固定的特征，再加上水體和光照的因素，要識(shí)別并鑒定水中的魚(yú)類(lèi)就顯得較為困難[6]。

在對(duì)魚(yú)類(lèi)進(jìn)行圖像識(shí)別研究的過(guò)程中，王文成等[7-8]應(yīng)用ResNet50網(wǎng)絡(luò)模型，對(duì)巴鰹魚(yú)、大菱鲆、鯔魚(yú)等10 種魚(yú)類(lèi)的分類(lèi)和識(shí)別進(jìn)行探索研究；陳文輝等[9]提出一種基于DCNN和遷移學(xué)習(xí)的方法，針對(duì)新圖像數(shù)據(jù)集，通過(guò)選擇訓(xùn)練參數(shù)，對(duì)預(yù)訓(xùn)練模型進(jìn)行再訓(xùn)練，實(shí)現(xiàn)4種魚(yú)類(lèi)的分類(lèi)識(shí)別，徐嘉熠[10]基于ResNet101網(wǎng)絡(luò)的Faster RCNN算法和基于VGG16網(wǎng)絡(luò)的SSD算法對(duì)有標(biāo)記的魚(yú)類(lèi)圖片進(jìn)行目標(biāo)識(shí)別；賈玉霞[11]使用自制的數(shù)據(jù)集Fish30Image，利用ResNet模型結(jié)合遷移學(xué)習(xí)方法，對(duì)30種魚(yú)類(lèi)的識(shí)別，得到了99%的準(zhǔn)確率。

識(shí)別系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)需要考慮樣本來(lái)源和技術(shù)框架的問(wèn)題。其中，樣本來(lái)源即訓(xùn)練集的圖像，這決定了最終所得的權(quán)重文件的擬合程度，訓(xùn)練集的覆蓋場(chǎng)景越多，標(biāo)注越準(zhǔn)確，擬合程度就越好，識(shí)別就越準(zhǔn)確，反之則相反。技術(shù)框架是指識(shí)別的前后端應(yīng)采用什么樣的技術(shù)進(jìn)行組合。根據(jù)識(shí)別技術(shù)的使用場(chǎng)景，前端技術(shù)應(yīng)當(dāng)是便攜的，易用的，與后端無(wú)縫集成的。根據(jù)前端的應(yīng)用要求，后端為其提供功能接口，比如文件讀取、數(shù)據(jù)存取等等。根據(jù)使用場(chǎng)景，前端可使用微信小程序、手機(jī)應(yīng)用程序或網(wǎng)頁(yè)等，后端可選擇的技術(shù)較多，基于Python 的Django[12-13]，基于PHP的ThinkPHP[14-15]或基于Java的SSM均可。

提出了一種基于深度學(xué)習(xí)的魚(yú)類(lèi)智能識(shí)別系統(tǒng)的設(shè)計(jì)方案。該系統(tǒng)前端采用微信小程序作為界面載體，后端采用Java的SSM框架，對(duì)用戶(hù)上傳的圖片進(jìn)行識(shí)別，并將識(shí)別結(jié)果返回給前端做進(jìn)一步的渲染，展現(xiàn)給用戶(hù)最終的識(shí)別結(jié)果。

1 技術(shù)原理

1.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)是一種前饋神經(jīng)網(wǎng)絡(luò)，由一個(gè)或多個(gè)卷積層、池化層和頂端的全連接層組成。這一結(jié)構(gòu)使得卷積神經(jīng)網(wǎng)絡(luò)能夠利用輸入數(shù)據(jù)的二維結(jié)構(gòu)提取圖像的特征。與其他深度學(xué)習(xí)結(jié)構(gòu)相比，卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像的某些關(guān)鍵特征能做出較為敏感的反應(yīng)，因此，目前多用于大型圖像的圖像識(shí)別、圖片分割、物體檢測(cè)等方面[16-18]。

1.2 Softmax函數(shù)及多分類(lèi)識(shí)別

在機(jī)器學(xué)習(xí)尤其是深度學(xué)習(xí)中，Softmax是個(gè)非常常用且比較重要的函數(shù)，在多分類(lèi)的場(chǎng)景中使用廣泛。在多分類(lèi)中，可能有多個(gè)預(yù)測(cè)結(jié)果，這些預(yù)測(cè)結(jié)果用概率的形式表示，概率值較大，表示預(yù)測(cè)準(zhǔn)確度較高，反之則說(shuō)明準(zhǔn)確度較低。預(yù)測(cè)結(jié)果的概率總和是1，Softmax函數(shù)剛好符合這個(gè)性質(zhì)，可以把輸出映射為0～1之間的實(shí)數(shù)，并且保證輸出的概率之和為1，因此，Softmax函數(shù)在多分類(lèi)的應(yīng)用場(chǎng)景中取得了主流地位。

在本系統(tǒng)的設(shè)計(jì)中，通過(guò)運(yùn)行識(shí)別腳本，得到Softmax函數(shù)的返回值，該返回值(一個(gè)或幾個(gè))與數(shù)據(jù)庫(kù)的ID值一一對(duì)應(yīng)，從而可得到該物種的詳細(xì)信息。通常，取概率值最大的ID作為物種的識(shí)別結(jié)果。

1.3 前端和后端技術(shù)的選用

在識(shí)別的應(yīng)用場(chǎng)景中，識(shí)別行為通常是偶發(fā)的、一次性的，微信小程序的“隨用隨走”的特點(diǎn)正好滿(mǎn)足這一需求。微信小程序的本質(zhì)是一個(gè)富單頁(yè)面的Web應(yīng)用，所有的頁(yè)面渲染和事件處理都在一個(gè)頁(yè)面內(nèi)進(jìn)行，但與傳統(tǒng)的WebApp不同的是，它可以調(diào)用原生的各種接口，像網(wǎng)絡(luò)狀態(tài)、羅盤(pán)、重力、手機(jī)攝像頭、手機(jī)文件接口等[19-20]，因此，微信小程序非常適合應(yīng)用在圖像識(shí)別的場(chǎng)合。

Java的SSM(Spring + Spring MVC + MyBatis)是一個(gè)輕量級(jí)的應(yīng)用技術(shù)[21-23]。Spring依賴(lài)注入的方式來(lái)管理各層的組件，使用面向切面編程來(lái)管理事務(wù)、日志、權(quán)限等。Spring MVC使用Model(模型)、View(視圖)、Contoller(控制)來(lái)接收外部請(qǐng)求并進(jìn)行分發(fā)和處理。MyBatis是基于JDBC的框架，主要用來(lái)操作數(shù)據(jù)庫(kù)，并且將業(yè)務(wù)實(shí)體和數(shù)據(jù)表聯(lián)系起來(lái)。自SSM框架推出以來(lái)，在業(yè)界獲得了較多應(yīng)用，技術(shù)比較成熟，近年來(lái)在人臉識(shí)別、商品推薦等領(lǐng)域取得了不少應(yīng)用[24-26]。因此，前端使用小程序技術(shù)，后端使用SSM框架，是一個(gè)比較常用的設(shè)計(jì)方法。

2 魚(yú)類(lèi)智能識(shí)別系統(tǒng)的構(gòu)架設(shè)計(jì)

2.1 系統(tǒng)的框架結(jié)構(gòu)

系統(tǒng)采用微信小程序+SSM作為技術(shù)框架。微信小程序作為前端，可以調(diào)用攝像頭或利用相冊(cè)進(jìn)行圖片傳輸，后端采用了Java的SSM框架，具有靈活高效的特點(diǎn)。數(shù)據(jù)庫(kù)采用開(kāi)源數(shù)據(jù)庫(kù)MySQL進(jìn)行數(shù)據(jù)的管理。程序流程圖如圖1所示。

圖1 程序流程圖

在圖1中，用戶(hù)使用小程序進(jìn)行拍照或直接在相冊(cè)中上傳魚(yú)類(lèi)物種的圖片，后端的SpringMVC監(jiān)聽(tīng)到請(qǐng)求后，將傳上來(lái)的圖片暫存在本地，然后調(diào)用深度學(xué)習(xí)的腳本進(jìn)行圖片識(shí)別，識(shí)別結(jié)果與訓(xùn)練好的模型文件進(jìn)行比對(duì)，得到屬于某個(gè)物種的概率，并返回該物種的ID號(hào)，由于物種的ID號(hào)跟物種的具體信息已事先存儲(chǔ)在MySQL數(shù)據(jù)庫(kù)中，因此，根據(jù)該物種的ID訪問(wèn)數(shù)據(jù)庫(kù)并取得該條記錄的具體信息并返回給前端。于是，用戶(hù)在網(wǎng)頁(yè)或小程序上就獲得了該圖片的識(shí)別結(jié)果和該物種的詳細(xì)資料。

系統(tǒng)的數(shù)據(jù)集訓(xùn)練采用谷歌的Efficient Net網(wǎng)絡(luò)模型，該算法于2019年推出，實(shí)現(xiàn)了網(wǎng)絡(luò)模型的深度、廣度和圖片解析率的動(dòng)態(tài)平衡，在同等的參數(shù)情況下，比VGG15、ResNet50和ResNet10更為優(yōu)越[27-29]，因此，本系統(tǒng)采用該模型進(jìn)行魚(yú)類(lèi)數(shù)據(jù)集的訓(xùn)練，可以取得更高的精度和更快的訓(xùn)練速度。

2.2 系統(tǒng)的功能結(jié)構(gòu)

系統(tǒng)按照功能結(jié)構(gòu)可分為系統(tǒng)管理模塊、深度學(xué)習(xí)模型調(diào)用模塊、魚(yú)類(lèi)信息管理模塊、統(tǒng)計(jì)分析模塊和智能推薦模塊。系統(tǒng)管理模塊主要提供系統(tǒng)的基本功能，包含用戶(hù)、角色、權(quán)限配置等管理功能。此部分內(nèi)容比較簡(jiǎn)單，屬于通用模塊，本文不予詳述。深度學(xué)習(xí)模型調(diào)用模塊是系統(tǒng)的關(guān)鍵點(diǎn)，負(fù)責(zé)與深度學(xué)習(xí)模型進(jìn)行交互，達(dá)到魚(yú)類(lèi)智能識(shí)別的目的。魚(yú)類(lèi)信息管理模塊是本系統(tǒng)的另一個(gè)關(guān)鍵模塊，其功能包括：魚(yú)類(lèi)資料錄入、縮略圖上傳、參考圖上傳等。統(tǒng)計(jì)分析模塊用于統(tǒng)計(jì)識(shí)別種類(lèi)的次數(shù)、識(shí)別時(shí)間等。智能推薦模塊則根據(jù)識(shí)別結(jié)果，推薦與識(shí)別結(jié)果近緣的種類(lèi)。系統(tǒng)的功能框架圖如圖2所示。

圖2 功能框架圖

3 魚(yú)類(lèi)識(shí)別系統(tǒng)關(guān)鍵模塊的設(shè)計(jì)與實(shí)現(xiàn)

3.1 深度學(xué)習(xí)模型的調(diào)用

前端上傳過(guò)來(lái)的圖片保存在本地后，調(diào)用深度學(xué)習(xí)的腳本文件對(duì)此圖片進(jìn)行卷積處理，將卷積結(jié)果與模型文件進(jìn)行比對(duì)，從而計(jì)算出屬于某個(gè)魚(yú)類(lèi)(此魚(yú)類(lèi)在數(shù)據(jù)庫(kù)中的ID)的概率。概率越大，屬于該種魚(yú)類(lèi)的可能性越高，準(zhǔn)確度越高。在實(shí)踐中，舍去了概率值低于0.05 的魚(yú)類(lèi)，返回“很抱歉，我們暫時(shí)無(wú)法識(shí)別此生物”。

3.2 魚(yú)類(lèi)信息管理

系統(tǒng)的魚(yú)類(lèi)信息管理模塊的功能是為前端提供所識(shí)別的魚(yú)類(lèi)的具體信息。如學(xué)名、俗名、形態(tài)特征、生活習(xí)性等等。因此，需要設(shè)計(jì)一個(gè)數(shù)據(jù)表進(jìn)行管理。該數(shù)據(jù)表的設(shè)計(jì)如表1所示。

表1 魚(yú)類(lèi)信息數(shù)據(jù)表

在表1中，image是指在物種詳情頁(yè)的上方所展示的圖片，該圖片在小程序上進(jìn)行輪播展示，點(diǎn)擊可查看大圖；smallimage是指在查詢(xún)時(shí)展示的縮略圖；infomatihonsource是指信息來(lái)源，如某本論著或某個(gè)網(wǎng)站等。 表1中資料由工作人員在相關(guān)論著和維基百科、百度百科上采集而成，個(gè)別有疑問(wèn)的字段，則由專(zhuān)業(yè)人員審查后確定。

3.3 統(tǒng)計(jì)分析模塊

統(tǒng)計(jì)分析模塊用于在一個(gè)時(shí)間段內(nèi)統(tǒng)計(jì)分析后臺(tái)接口被調(diào)用的次數(shù)和物種被預(yù)測(cè)識(shí)別的次數(shù)，從而在宏觀角度上掌握識(shí)別系統(tǒng)被使用的情況，有利于研究團(tuán)隊(duì)合理分配資源和分析識(shí)別結(jié)果。比如某些魚(yú)類(lèi)被識(shí)別的次數(shù)較多，就需要把服務(wù)器資源和更多精力投入到這些魚(yú)類(lèi)當(dāng)中。

3.4 智能推薦模塊

隨著推薦系統(tǒng)的廣泛應(yīng)用，本文也增加了推薦功能，用于對(duì)識(shí)別結(jié)果的同屬物種的推薦。根據(jù)魚(yú)類(lèi)學(xué)名的命名規(guī)律，相鄰的科屬往往也采用相似的名稱(chēng)，因此，可以用SQL的like語(yǔ)句來(lái)進(jìn)行鄰近種的推薦。對(duì)相鄰科屬的推薦，一方面便于用戶(hù)對(duì)所識(shí)別的物種進(jìn)行細(xì)微的辨別，另一方面也增加了用戶(hù)使用程序的時(shí)間。

4 應(yīng)用測(cè)試

數(shù)據(jù)集使用EfficientNet網(wǎng)絡(luò)模型訓(xùn)練完畢后，查看其精度和損失值情況。見(jiàn)圖3和圖4所示。

圖3 魚(yú)類(lèi)訓(xùn)練集的精度和損失值

由圖3a可以看出，在第20 個(gè)Epoch之前，精度(accuracy)上升較快，之后逐漸趨緩，最終停留在約95%的位置。在圖3b 可以看出，損失值(loss)在第20個(gè)Epoch 之前下降較快，之后逐漸趨緩，最終損失值0.05左右，可見(jiàn)整體訓(xùn)練效果較好。最終獲得的模型文件為74.5MB，在服務(wù)器上的檢測(cè)時(shí)間為0.2 ms。

為了便于應(yīng)用推廣，項(xiàng)目成員制作了“識(shí)魚(yú)”小程序。在微信中，搜索小程序“識(shí)魚(yú)”并打開(kāi)，起始頁(yè)面是一張魚(yú)類(lèi)的清晰大圖，起到吸引用戶(hù)的效果，可以點(diǎn)擊此圖，直接對(duì)此圖進(jìn)行識(shí)別，也可以由用戶(hù)自行選擇圖片或使用相機(jī)進(jìn)行識(shí)別，通常不到一秒即可得到識(shí)別結(jié)果，見(jiàn)圖4和圖5。

圖4 識(shí)魚(yú)首頁(yè)

圖5 識(shí)別結(jié)果頁(yè)

此外，項(xiàng)目成員還在農(nóng)貿(mào)市場(chǎng)、超市、酒店水族箱等對(duì)魚(yú)類(lèi)進(jìn)行拍照識(shí)別測(cè)試，測(cè)試次數(shù)200次，所涉及的魚(yú)類(lèi)有金線(xiàn)魚(yú)、大眼鯛、籃子魚(yú)、金錢(qián)魚(yú)、細(xì)鱗鯻等，基本準(zhǔn)確率在90%以上。另外，對(duì)家庭水族箱、網(wǎng)頁(yè)中的魚(yú)類(lèi)圖片甚至是簡(jiǎn)筆畫(huà)也進(jìn)行了測(cè)試，見(jiàn)表2。表2說(shuō)明，該模型對(duì)這幾種魚(yú)類(lèi)在水族箱、網(wǎng)頁(yè)圖片和簡(jiǎn)筆畫(huà)等場(chǎng)景的泛化程度較好。這些圖片由網(wǎng)絡(luò)隨機(jī)挑選而得，雖然不能說(shuō)明全部種類(lèi)的識(shí)別情況，但也有一定的代表性。

表2 不同場(chǎng)景下對(duì)若干魚(yú)類(lèi)識(shí)別

5 討論

5.1 魚(yú)類(lèi)的細(xì)粒度識(shí)別

在對(duì)圖片進(jìn)行物體識(shí)別的發(fā)展過(guò)程中，前期主要側(cè)重于對(duì)物體的大類(lèi)進(jìn)行識(shí)別，這稱(chēng)為“粗粒度識(shí)別”，與此相對(duì)，“細(xì)粒度識(shí)別”是指對(duì)同一基礎(chǔ)類(lèi)別的不同子類(lèi)對(duì)象進(jìn)行識(shí)別，其難點(diǎn)在于不同類(lèi)別間僅有細(xì)微的局部差異[30-32]。在本研究中，因?yàn)樾枰R(shí)別出圖片里的每條魚(yú)的分類(lèi)地位，所以，這是魚(yú)類(lèi)的“細(xì)粒度識(shí)別”。在細(xì)粒度識(shí)別中，所需要識(shí)別的子分類(lèi)越深，科、屬內(nèi)所包含的種越多，識(shí)別的難度就越大。因此，識(shí)別同一個(gè)屬內(nèi)的若干種魚(yú)類(lèi)，與識(shí)別不同科的若干屬魚(yú)類(lèi)，前者的難度要更高。這也是相關(guān)研究[7-11]較為不足的地方。在本研究中，是通過(guò)收集大量能體現(xiàn)物種特征的圖片，并輔以性能更為優(yōu)越的EfficientNet來(lái)提升細(xì)粒度識(shí)別的精度。

5.1 數(shù)據(jù)集的重要性

從表2可以看出，本研究最終生成的模型不但對(duì)魚(yú)類(lèi)實(shí)際圖片的識(shí)別效果較好，對(duì)簡(jiǎn)筆畫(huà)也能做出較準(zhǔn)確的識(shí)別。這是因?yàn)轫?xiàng)目成員對(duì)網(wǎng)絡(luò)圖片及對(duì)最常見(jiàn)種類(lèi)的圖片做了廣泛收集。比如，對(duì)金魚(yú)、錦鯉等最常見(jiàn)的種類(lèi)，項(xiàng)目成員采集了大量在臉盆里、玻璃箱里、公園的池塘里的金魚(yú)和錦鯉的典型圖片并加以訓(xùn)練，所生成的模型中包含了物種的典型特征，因此，當(dāng)用戶(hù)上傳類(lèi)似的圖片時(shí)，就能對(duì)此做出較為準(zhǔn)確的識(shí)別。事實(shí)上，對(duì)一個(gè)基于深度學(xué)習(xí)的識(shí)別系統(tǒng)來(lái)說(shuō)，數(shù)據(jù)集質(zhì)量的高低決定了所能達(dá)到識(shí)別準(zhǔn)確度的上限。因此，系統(tǒng)設(shè)計(jì)人員在開(kāi)發(fā)過(guò)程中，不但要考慮到技術(shù)框架的適應(yīng)性，還更應(yīng)注重?cái)?shù)據(jù)集的質(zhì)量。在以往的研究中，研究人員多側(cè)重在圖像識(shí)別的技術(shù)層面，而對(duì)數(shù)據(jù)集的質(zhì)量有所忽視，這導(dǎo)致了在技術(shù)層面(算法、性能和功能等)的表現(xiàn)雖好，但卻難以落地的問(wèn)題。

但是，質(zhì)量更高的數(shù)據(jù)集則意味著需要花費(fèi)更多的時(shí)間和精力。因此，在本系統(tǒng)的研發(fā)中，花費(fèi)最多精力和時(shí)間的并不是對(duì)代碼的編寫(xiě)和對(duì)參數(shù)的調(diào)整，而是對(duì)圖片的反復(fù)收集和鑒定。在后續(xù)的研究中，應(yīng)側(cè)重于對(duì)小樣本數(shù)據(jù)集的特征提取研究，以在一定程度上減少人力的使用[33-34]。

5.3 智能識(shí)別中的人工介入

本研究所設(shè)計(jì)的魚(yú)類(lèi)智能識(shí)別系統(tǒng)，在實(shí)際的識(shí)別應(yīng)用中，有些魚(yú)類(lèi)可能無(wú)法識(shí)別，或者識(shí)別不準(zhǔn)確，需要人工介入。對(duì)此，本設(shè)計(jì)已在“我的”頁(yè)增加了“聯(lián)系我們”，可使用微信小助手跟鑒定人員進(jìn)行互動(dòng)，以幫助用戶(hù)進(jìn)行更準(zhǔn)確地識(shí)別。但更好的形式卻是開(kāi)辟討論頁(yè)，讓眾多的用戶(hù)加入到對(duì)魚(yú)類(lèi)的識(shí)別和鑒定中來(lái)[35]。但此頁(yè)面的開(kāi)辟，因關(guān)系到值守制度，言論管理制度的執(zhí)行，在一定程度上增加了運(yùn)維成本。如何取舍，還要看各運(yùn)維單位的實(shí)際情況。

6 結(jié)論

設(shè)計(jì)了一種魚(yú)類(lèi)智能識(shí)別系統(tǒng)，對(duì)卷積神經(jīng)網(wǎng)絡(luò)技術(shù)、微信小程序技術(shù)和SSM技術(shù)進(jìn)行集成，并開(kāi)發(fā)了智能推薦和統(tǒng)計(jì)分析模塊，較好地完成了對(duì)魚(yú)類(lèi)智能識(shí)別的設(shè)計(jì)和實(shí)現(xiàn)，可對(duì)中國(guó)1 400種魚(yú)類(lèi)進(jìn)行智能識(shí)別，在不同場(chǎng)景中對(duì)魚(yú)類(lèi)的識(shí)別效果良好。本研究中所提出的設(shè)計(jì)和實(shí)現(xiàn)方法，為移動(dòng)端的魚(yú)類(lèi)識(shí)別開(kāi)發(fā)提供了一種可行的思路，可為廣大海洋科研人員和開(kāi)發(fā)人員提供有益的參考。

□