劉有用，張江梅，王坤朋，馮興華，楊秀洪

西南科技大學(xué) 信息工程學(xué)院，四川 綿陽 621010

1 引言

目前，在海洋牧場建設(shè)及漁業(yè)領(lǐng)域，海參、海膽、貝類等海珍品的捕撈方式主要依靠拉網(wǎng)式捕撈和人工捕撈兩種。拉網(wǎng)式捕撈效率高，成本相對低廉，但會對海底生態(tài)造成極其嚴(yán)重的破壞；而人工捕撈比較環(huán)保，但存在效率低、成本高及危險性高等問題[1]。隨著機(jī)器人技術(shù)的應(yīng)用發(fā)展，人們期望利用水下捕撈機(jī)器人實現(xiàn)海珍品的捕撈，而實現(xiàn)機(jī)器人捕撈的關(guān)鍵在于能夠準(zhǔn)確、快速地識別水下目標(biāo)。

由于海洋水下成像環(huán)境復(fù)雜，會導(dǎo)致光視覺系統(tǒng)獲取到的圖像出現(xiàn)顏色衰退、對比度低以及細(xì)節(jié)模糊等現(xiàn)象，嚴(yán)重退化的水下圖像由于缺少用于目標(biāo)識別的有效信息，導(dǎo)致水下目標(biāo)檢測識別難度提升[2]。傳統(tǒng)的水下目標(biāo)識別方法包含圖像預(yù)處理、目標(biāo)提取、特征描述和分類器設(shè)計等步驟[3]。目標(biāo)提取方法有閾值分割和邊緣檢測等，如Otsu的類間方差最小化全局閾值分割方法[4]和Canny 的基于雙閾值和邊緣跟蹤的邊緣檢測算法[5]。人工提取的特征包括形狀、尺寸、紋理和基于頻譜的特征等。之后再通過支持向量機(jī)、K-近鄰、神經(jīng)網(wǎng)絡(luò)等方法訓(xùn)練分類器以實現(xiàn)水下目標(biāo)的識別[6]。受水生動植物、水流擾動的影響，傳統(tǒng)方法在目標(biāo)提取時會提取出大量非目標(biāo)區(qū)域和邊緣，且基于人工選取的特征進(jìn)行分類，方法魯棒性差，目標(biāo)識別效果不理想。

近年來，伴隨著人工神經(jīng)網(wǎng)絡(luò)[7（]Artificial Neural Network，ANN）技術(shù)與計算機(jī)技術(shù)的快速發(fā)展，各國學(xué)者將人工神經(jīng)網(wǎng)絡(luò)運用到水下目標(biāo)識別這一領(lǐng)域。由于計算能力的提升及神經(jīng)網(wǎng)絡(luò)訓(xùn)練、優(yōu)化算法的改進(jìn)，深度學(xué)習(xí)方法[8]被逐漸應(yīng)用到水下圖像處理與目標(biāo)識別中。Kamal 等人提出了一種用于水下目標(biāo)識別的深度學(xué)習(xí)架構(gòu)，使用深度置信網(wǎng)絡(luò)（Deep Belief Network，DBN）結(jié)構(gòu)來進(jìn)行預(yù)訓(xùn)練[9]。文獻(xiàn)[10]將卷積神經(jīng)網(wǎng)絡(luò)與遷移學(xué)習(xí)相結(jié)合用于魚類的自動分類。文獻(xiàn)[11]將層疊自動編碼器（Stacked Auto-Encoder，SAE）作為一種深度學(xué)習(xí)方法，用于獲取高級特征，并結(jié)合softmax分類函數(shù)進(jìn)行水下目標(biāo)分類，達(dá)到了較高的分類精度。

上述方法能夠提取目標(biāo)的深層次特征，解決傳統(tǒng)方法魯棒性差、識別精度低的問題。但仍存在兩方面的不足：一方面，由于水下圖像采集設(shè)備要求高、技術(shù)難度大等特點，導(dǎo)致采集到的樣本數(shù)量少及類不平衡問題[12]，對于目標(biāo)數(shù)量多、信息豐富的類別識別精確度高，而目標(biāo)數(shù)量少的類別則識別精確度低。另一方面，水下成像環(huán)境復(fù)雜導(dǎo)致圖像質(zhì)量下降，訓(xùn)練樣本不能包含豐富的有效目標(biāo)信息，嚴(yán)重限制了模型識別精確度的提升。

為解決訓(xùn)練樣本少的問題，傳統(tǒng)方法通過對圖像進(jìn)行翻轉(zhuǎn)、對比度和飽和度調(diào)整等操作擴(kuò)充訓(xùn)練樣本，增加了訓(xùn)練樣本的多樣性，從而能在一定程度上提升識別精確度。Alexnet 在分辨率為256×256 的數(shù)據(jù)集圖像中遍歷地選取224×224大小的圖像，并對圖像做了水平翻轉(zhuǎn)操作，從而將訓(xùn)練集擴(kuò)充了2 048倍[13]，但此類操作增加的圖像僅是對原始圖像質(zhì)量的改變，對于降質(zhì)的水下圖像不能有效地豐富待識別目標(biāo)信息，識別精確度提升不明顯。文獻(xiàn)[14]提出了一種基于度量指標(biāo)優(yōu)化的不平衡數(shù)據(jù)Boosting算法，在一定程度上提高了正類分類性能。文獻(xiàn)[15]利用一種改進(jìn)的中值濾波算法對魚類圖像進(jìn)行噪聲抑制，然后利用圖像識別數(shù)據(jù)庫imagenet的圖像對卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)處理，最后利用預(yù)處理的魚類圖像對訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)進(jìn)行微調(diào)，獲得了良好的魚種識別能力。該方法采用遷移學(xué)習(xí)的思想為解決小樣本情況下的識別任務(wù)提供了一種有效的方法，通過簡單地調(diào)整在一個問題上訓(xùn)練好的模型即可得到適用于新問題的新模型，但在實際水下目標(biāo)的識別過程中很難找到具有相同特征的預(yù)訓(xùn)練數(shù)據(jù)庫。

2014年Goodfellow等人受博弈論中二人零和博弈思想的啟發(fā)，開創(chuàng)性地提出了生成對抗網(wǎng)絡(luò)[16（]Generative Adversarial Network，GAN），使得利用已有圖像生成新圖像的設(shè)想成為可能。因此，針對水下目標(biāo)樣本數(shù)量有限及類不平衡問題，本文提出一種基于生成對抗網(wǎng)絡(luò)的訓(xùn)練樣本擴(kuò)充方法，通過截取訓(xùn)練樣本中數(shù)目少的類別目標(biāo)圖像，利用生成對抗網(wǎng)絡(luò)生成大量異構(gòu)的目標(biāo)圖像并融合到背景圖像中作為訓(xùn)練樣本，豐富目標(biāo)信息，有效擴(kuò)充訓(xùn)練樣本集。最終結(jié)合端到端的YOLO（You Only Look Once）[17]目標(biāo)識別算法訓(xùn)練識別模型，實現(xiàn)水下目標(biāo)的準(zhǔn)確、快速識別，并通過實驗驗證該方法的有效性和適用性。

2 圖像生成與目標(biāo)識別模型

2.1 基于GAN的水下樣本生成

生成對抗模型是一種無監(jiān)督的深度學(xué)習(xí)模型，模型框架中包含兩個模塊：生成模型（Generative Model）和判別模型（Discriminative Model），通過兩個模塊的互相博弈學(xué)習(xí)，分別使模型G的生成能力和D的識別能力越來越強(qiáng)，最終達(dá)到穩(wěn)定狀態(tài)。

在訓(xùn)練過程中，輸入訓(xùn)練樣本圖像和一組隨機(jī)噪聲，生成網(wǎng)絡(luò)G的目標(biāo)是通過隨機(jī)噪聲的分布學(xué)習(xí)訓(xùn)練圖片的數(shù)據(jù)分布，而D的目標(biāo)則是對G生成的圖片和真實圖片進(jìn)行識別，D和G的優(yōu)化過程是一個二元極小極大問題，模型目標(biāo)函數(shù)如下：

式中，x為真實數(shù)據(jù)，pdata(x)是真實數(shù)據(jù)分布，z表示輸入G網(wǎng)絡(luò)的噪聲，pz(z)是噪聲分布，G(z)表示G網(wǎng)絡(luò)生成的數(shù)據(jù)；D(x)表示D網(wǎng)絡(luò)判斷真實數(shù)據(jù)是否真實的概率，而D(G(z))是D網(wǎng)絡(luò)判斷G生成的數(shù)據(jù)是否真實的概率。訓(xùn)練判別器D時，使用梯度上升算法，使目標(biāo)函數(shù)的值增大；同理，當(dāng)訓(xùn)練生成器G時，使用梯度下降算法訓(xùn)練生成器參數(shù)，使目標(biāo)函數(shù)的值減小。

本文采用生成對抗網(wǎng)絡(luò)生成目標(biāo)圖像從而達(dá)到擴(kuò)充訓(xùn)練樣本的目的，與圖像翻轉(zhuǎn)、飽和度及對比度調(diào)整等傳統(tǒng)方法擴(kuò)充的樣本不同，生成對抗網(wǎng)絡(luò)通過訓(xùn)練目標(biāo)圖像生成區(qū)別于原始圖像的異構(gòu)目標(biāo)圖像，并與背景融合得到新的訓(xùn)練樣本，能夠獲得更加豐富目標(biāo)特征信息。樣本生成方法流程如圖1所示。

圖1 訓(xùn)練樣本生成流程圖

生成對抗網(wǎng)絡(luò)中使用CNN實現(xiàn)類似于深度卷積生成 對 抗 網(wǎng) 絡(luò)[18（]Deep Convolutional Generative Adversarial Network，DCGAN）的全卷積網(wǎng)絡(luò)，通過批規(guī)范化處理提升訓(xùn)練速度，也在一定程度上改善了D網(wǎng)絡(luò)分類能力；在G網(wǎng)絡(luò)和D網(wǎng)絡(luò)中使用ELU 作為激活函數(shù)，加快了模型收斂速度，緩解了梯度消失的問題。利用原始樣本中截取出的目標(biāo)圖像作為生成對抗網(wǎng)絡(luò)的輸入樣本，訓(xùn)練后生成異構(gòu)目標(biāo)圖像，截取的目標(biāo)圖像和訓(xùn)練后生成的目標(biāo)圖像如圖2所示。由圖2（b）可知，生成的圖像不是對原始輸入圖像的直接復(fù)制，也不是對輸入圖像的旋轉(zhuǎn)或?qū)Ρ榷?、飽和度等調(diào)整，生成對抗網(wǎng)絡(luò)生成的圖像為全新的目標(biāo)圖像，且包含目標(biāo)完整輪廓和細(xì)節(jié)信息，有效地豐富了目標(biāo)圖像特征信息的多樣性。

圖2 水下目標(biāo)圖像生成

生成對抗網(wǎng)絡(luò)生成的圖像僅為單個目標(biāo)圖像，需要與背景圖像融合后才能作為有效訓(xùn)練樣本。為了符合實際目標(biāo)分布規(guī)律，生成目標(biāo)在背景圖像中隨機(jī)分布，且不能覆蓋背景中的原始目標(biāo)。由于生成圖像的寬高已知，只需要計算出圖像在背景中的中心坐標(biāo)即能確認(rèn)其位置，生成圖像在背景中的中心坐標(biāo)為：

式中，U為生成目標(biāo)與背景目標(biāo)的重疊率，θ為重疊率閾值，L和H為背景圖像寬高，l和h為生成圖像寬高，(x′,y′)為背景圖像像素點坐標(biāo)，(xi,yi)為背景中第i個目標(biāo)的中心坐標(biāo)，n為背景中目標(biāo)的個數(shù)，包括已經(jīng)融合到背景中的目標(biāo)。

若目標(biāo)圖像邊界與背景融合的寬度為r，則融合權(quán)重ω表示為：

對目標(biāo)圖像左邊界融合，融合后的圖像像素值為：

式中，g(x,y)表示融合后圖像像素值，g′(x,y)表示背景圖像像素值，g″(x,y)表示目標(biāo)圖像像素值。同理，對圖像右邊界、上邊界和下邊界進(jìn)行融合。

原始背景圖像和融合后生成的樣本圖像如圖3 所示，在圖3（b）中，融合后的樣本圖像中包含原始背景目標(biāo)和生成目標(biāo)，圖像中的待識別目標(biāo)數(shù)量增多，且生成的目標(biāo)在圖像中隨機(jī)分布，符合水下目標(biāo)的真實分布情況，將融合后的圖像作為擴(kuò)充的訓(xùn)練樣本，可以有效地增加待識別目標(biāo)信息。

圖3 原始背景圖像和融合后圖像

傳統(tǒng)方法通過對圖像進(jìn)行旋轉(zhuǎn)、飽和度和對比度調(diào)整后擴(kuò)充的訓(xùn)練樣本集圖像如圖4所示。圖4（b）中，圖像進(jìn)行了180°旋轉(zhuǎn)，增加了目標(biāo)在背景圖像中的位置信息；圖4（c）和圖4（d）中，只改變了圖像的對比度和飽和度，而目標(biāo)的形狀及在圖像中的位置等信息沒有增加。由圖3 和圖4 可知，本文的樣本擴(kuò)充方法區(qū)別于傳統(tǒng)樣本擴(kuò)充方法，利用生成對抗網(wǎng)絡(luò)生成形狀及輪廓各異的目標(biāo)圖像，并隨機(jī)融合到背景圖像中，可增加訓(xùn)練樣本的豐富性和多樣性。

圖4 傳統(tǒng)圖像調(diào)整方法擴(kuò)充的樣本圖像

2.2 目標(biāo)識別模型

水下目標(biāo)的實時、準(zhǔn)確檢測識別是實現(xiàn)水下機(jī)器人抓取、捕撈作業(yè)的前提。目前，基于深度學(xué)習(xí)的目標(biāo)檢測方法主要包括基于候選區(qū)域的算法（R-CNN[19]、Fast R-CNN[20]、Faster R-CNN[21]等）和基于回歸方法的目標(biāo)檢測算法（LOYO、SSD[22]等）兩類。主流算法中，F(xiàn)aster RCNN 識別精確度高且對小目標(biāo)的檢測效果好，但目標(biāo)檢測速度慢，不能達(dá)到實時檢測的要求；SSD 算法檢測速度快，但對小物體的識別效果較差；YOLO 算法采取了前兩種算法的部分優(yōu)勢，實現(xiàn)了目標(biāo)的實時檢測，且識別精度高，對圖像中的小目標(biāo)仍具有較好的檢測效果。為實現(xiàn)水下目標(biāo)的快速檢測且對圖像中的密集型小目標(biāo)具有較高的識別精確度，本文采用YOLO算法進(jìn)行水下目標(biāo)識別。該算法是一種端到端的目標(biāo)檢測識別算法，利用卷積神經(jīng)網(wǎng)絡(luò)同時預(yù)測目標(biāo)位置和類別，算法模型結(jié)構(gòu)簡單，將輸入圖像分成S×S個網(wǎng)格，每個網(wǎng)格利用Nb個初始候選框預(yù)測可能的目標(biāo)邊界框及Nc個類別概率，每個邊界框的信息為(x,y,w,h,p)，其中(x,y)為邊界框中心位置坐標(biāo)，w和h為邊界框?qū)捄透?，p為置信度，反映預(yù)測邊界框包含目標(biāo)的概率和邊界框的預(yù)測精確度，測試時每個邊界框的類相關(guān)置信度pi為：

式中，Pr(O)反映邊界框包含目標(biāo)的概率，Pr(Ci|O)表示在邊界框包含目標(biāo)的條件下為某類目標(biāo)的概率，i=1,2,…,Nc，為預(yù)測邊界框與Pr(Ci)真實邊界框的交并比。

YOLO算法借鑒了ResNet的殘差結(jié)構(gòu)，解決因網(wǎng)絡(luò)層數(shù)增加后出現(xiàn)的退化問題；通過預(yù)測邊界框中心點相對于網(wǎng)格左上角的相對坐標(biāo)來確定邊界框中心坐標(biāo)；為提高對小目標(biāo)的檢測準(zhǔn)確率，融合多級特征圖，在不同尺度的特征圖上進(jìn)行檢測，構(gòu)成YOLOv3[23]網(wǎng)絡(luò)。使用K-means方法對訓(xùn)練集中目標(biāo)邊框的寬高維度進(jìn)行聚類，確定初始候選框的數(shù)目和尺寸，對于本文訓(xùn)練數(shù)據(jù)集，不同聚類數(shù)目k對應(yīng)的目標(biāo)邊框平均交并比如圖5所示。

圖5 K-means目標(biāo)邊框聚類結(jié)果

由圖5可知，目標(biāo)邊框平均交并比隨著聚類數(shù)目的增加而增大，當(dāng)k大于6 時平均交并比逐漸穩(wěn)定，權(quán)衡模型復(fù)雜度和識別召回率后選擇k=6，將聚類得到的6個初始候選框平均分配到3 個不同尺度的特征圖上進(jìn)行檢測。每個網(wǎng)格預(yù)測2 個邊界框，每個邊界框包含5個參數(shù)信息及4個類別的概率，因此每個網(wǎng)格檢測輸出張量大小為18。為保證目標(biāo)的識別精確度，同時滿足實時檢測的要求，本文用于水下目標(biāo)檢測的YOLO模型調(diào)整輸入圖像大小為480×480，模型最大降采樣倍數(shù)為32，最終不同特征圖的輸出張量分別為15×15×18、30×30×18和60×60×18，檢測模型結(jié)構(gòu)如圖6所示。

圖6 檢測網(wǎng)絡(luò)結(jié)構(gòu)圖

3 實驗結(jié)果與分析

為了驗證生成對抗網(wǎng)絡(luò)生成的圖像對水下目標(biāo)識別的有效性，設(shè)計實驗測試傳統(tǒng)圖像調(diào)整方法和本文樣本生成方法的樣本擴(kuò)充性能及其用于水下目標(biāo)識別的效果，并對實驗結(jié)果進(jìn)行顯著性差異分析。

3.1 水下圖像目標(biāo)識別實驗

本文實驗基于 Intel?Xeon?Silver 4114CPU 和NVIDA Quadro GP100 硬件條件，生成對抗網(wǎng)絡(luò)使用Tensorflow架構(gòu)，目標(biāo)識別模型使用Darknet53框架。分別利用圖像調(diào)整方法和樣本生成方法擴(kuò)充原始圖像樣本集后進(jìn)行目標(biāo)識別模型的訓(xùn)練和測試。本文原始數(shù)據(jù)樣本為2018 水下機(jī)器人目標(biāo)抓取大賽官方提供的3 151張水下圖像，所有圖像均在真實海洋環(huán)境下拍攝，圖像質(zhì)量呈現(xiàn)不同類型、不同程度的下降；圖像包含海參、海膽、貝殼和海星四類目標(biāo)，所有目標(biāo)在圖像中非均勻分布，部分目標(biāo)出現(xiàn)遮擋和覆蓋?？紤]原始樣本中海參、海膽和海星目標(biāo)數(shù)目多，而貝殼目標(biāo)數(shù)量少的特點，將原始樣本訓(xùn)練集和驗證集圖像中的1 015個貝殼目標(biāo)截取出來，作為生成對抗網(wǎng)絡(luò)的輸入，訓(xùn)練后生成1 402張異構(gòu)的貝殼圖像，通過與不同背景融合生成1 000 張有效樣本圖像。實驗的數(shù)據(jù)設(shè)置如表1 所示，實驗1 中隨機(jī)對原始樣本進(jìn)行旋轉(zhuǎn)、飽和度和對比度調(diào)整，旋轉(zhuǎn)角度為180°，飽和度的調(diào)整比率為0.75，對比度的調(diào)整比率為1.5。

表1 實驗數(shù)據(jù)設(shè)置

在模型訓(xùn)練過程中，每迭代一定的次數(shù)，動態(tài)調(diào)整輸入圖像大小，讓模型可以適應(yīng)不同輸入尺寸，最終同一個網(wǎng)絡(luò)對不同輸入維度都能進(jìn)行很好的預(yù)測。利用測試集對訓(xùn)練后的模型進(jìn)行測試，基于平均精確度（Averge Precision，AP）指標(biāo)比較兩種方法的識別結(jié)果，并對幾種YOLO 算法模型的水下目標(biāo)檢測速度進(jìn)行實驗對比。

（1）水下目標(biāo)識別平均精確度

模型使用生成樣本訓(xùn)練后對幾類目標(biāo)識別的平均AP（mAP）提升結(jié)果如圖7所示，樣本生成方法在不同迭代次數(shù)下的mAP 均高于傳統(tǒng)圖像調(diào)整方法的mAP，當(dāng)?shù)螖?shù)為4 100 次時，幾類目標(biāo)的平均識別精確度提升了2.5%。利用圖像調(diào)整方法擴(kuò)充樣本集的情況下，在迭代3 000次后模型達(dá)到最高mAP值，而加入生成樣本訓(xùn)練模型的mAP 繼續(xù)增加。隨著模型繼續(xù)迭代訓(xùn)練，由于訓(xùn)練數(shù)據(jù)集中存在類不平衡問題，模型出現(xiàn)過擬合現(xiàn)象，識別召回率下降，導(dǎo)致識別平均精確度降低，而使用生成對抗網(wǎng)絡(luò)生成貝殼圖像并與背景融合后作為訓(xùn)練樣本，減小了訓(xùn)練集中幾類目標(biāo)的數(shù)量差異，有效提高了水下目標(biāo)識別精確度。

圖7 識別精確度提升結(jié)果

兩種方法對幾類目標(biāo)的識別精度如圖8 所示。由圖8 可知，兩種方法對海參、海膽和海星三類目標(biāo)的識別結(jié)果基本一致，模型對海膽和海星兩類目標(biāo)的識別精確度較高，平均精確度在0.8以上。對于貝殼類別，由于訓(xùn)練圖片中該類目標(biāo)數(shù)目少、圖像質(zhì)量差等因素，模型識別精確度低；而加入生成樣本訓(xùn)練的模型對貝殼的識別精確度提升了7.8%，生成對抗網(wǎng)絡(luò)生成的貝殼圖像能改善網(wǎng)絡(luò)對貝殼的識別效果。

圖8 幾類目標(biāo)識別平均精確度對比

為了驗證生成樣本的數(shù)量對目標(biāo)識別結(jié)果的影響，繼續(xù)增加樣本集中生成樣本的數(shù)量，以4∶1的比例加入訓(xùn)練集和驗證集，然后訓(xùn)練目標(biāo)識別模型，檢測貝殼目標(biāo)的識別精確度如表2 所示。當(dāng)生成樣本數(shù)量為1 000張時，貝殼的識別精確度提升了7.8%，隨著生成樣本數(shù)量繼續(xù)增加，貝殼的檢測精確度呈下降趨勢。當(dāng)生成樣本數(shù)量為1 500 張時，生成圖像的數(shù)量多于原始圖像數(shù)量，樣本的豐富性和多樣性受到限制，識別精確度的提升不明顯，甚至出現(xiàn)過擬合。因此，在不平衡數(shù)據(jù)集中，通過生成對抗網(wǎng)絡(luò)擴(kuò)充訓(xùn)練樣本的方法可以有效平衡數(shù)據(jù)集，提升目標(biāo)識別精確度，但過多的生成樣本會增加冗余的待識別目標(biāo)信息，導(dǎo)致模型出現(xiàn)過擬合。

表2 不同數(shù)量生成樣本的貝殼檢測精確度

在目標(biāo)識別任務(wù)中，圖像集的質(zhì)量是影響目標(biāo)識別精確度的一個重要因素，因此，隨機(jī)調(diào)整生成圖像的飽和度和對比度，改變圖像質(zhì)量，訓(xùn)練網(wǎng)絡(luò)后進(jìn)行測試，結(jié)果表明，此類方法圖像質(zhì)量的改變對水下目標(biāo)的識別效果沒有明顯改善。高質(zhì)量的圖像包含更豐富的目標(biāo)特征信息，對目標(biāo)的識別越有利，對于生成的圖像，其質(zhì)量越接近原始圖像，對水下目標(biāo)的識別結(jié)果就越好。由圖2可知，生成的圖像在輪廓和紋理上與原始圖像相近，但部分細(xì)節(jié)信息仍沒有原始圖像清晰，因此，生成質(zhì)量更高的圖像也是下一步的研究工作。

（2）水下目標(biāo)檢測速度

在目標(biāo)檢測識別過程中，YOLOv3算法初始候選框的數(shù)目k、輸入圖像尺寸的大小調(diào)整等都會對目標(biāo)檢測速度產(chǎn)生影響。k值增大，能在一定程度上提高目標(biāo)檢測的召回率，但會增加模型的復(fù)雜度；算法檢測目標(biāo)時需要重新調(diào)整輸入圖像尺寸的大小，調(diào)整為不同尺寸后檢測速度不同。為確定初始候選框的數(shù)目和圖像尺寸大小對水下目標(biāo)檢測精確度和速度的影響，分別在不同k值和圖像尺寸下進(jìn)行測試，根據(jù)415 張測試圖片的平均耗時計算出檢測幀率（Frames Per Second，F(xiàn)PS）。

由于模型將聚類得到的k個初始候選框平均分配到3個不同尺度的特征圖上進(jìn)行檢測，因此分別在k值為3、6和9的條件下測試算法對水下目標(biāo)的檢測精確度和檢測速度，輸入圖像的尺寸調(diào)整為608×608，實驗結(jié)果如表3所示。

表3 不同k 值下水下目標(biāo)檢測速度

由表3 可知，隨著k值增大，每個檢測尺度上的候選框數(shù)目增多，目標(biāo)檢測召回率增加，檢測精確度增大，但模型的復(fù)雜度也逐漸增加，檢測速度下降；當(dāng)k值達(dá)到6 后，檢測速度降低而檢測精確度的提升不明顯，與圖2 的結(jié)果一致。為確定輸入圖像尺寸大小對檢測精確度和速度的影響，在k為6的情況下，對4種YOLOv3模型的水下目標(biāo)檢測速度進(jìn)行測試，測試包含4種不同的檢測圖像尺寸，分別為608×608、544×544、480×480、416×416，測試結(jié)果如表4所示。

表4 不同輸入圖像尺寸的水下目標(biāo)檢測速度

由表4 可知，YOLOv3-608 達(dá)到68.4%的識別精確度，其檢測速度為13 f/s，隨著檢測圖像尺寸減小，目標(biāo)識別精確度隨之降低而檢測速度增加，YOLOv3-480 和YOLOv3-416檢測速度均大于24 f/s，滿足實時檢測的要求。綜合目標(biāo)識別精確度和檢測速度，YOLOv3-480模型在保證較高識別精確度的基礎(chǔ)上可以實現(xiàn)水下目標(biāo)的快速檢測。

3.2 顯著性差異分析

通過Paired t-test檢驗兩種方法對幾類目標(biāo)的識別結(jié)果之間是否存在顯著性差異，確定在統(tǒng)計意義下本文樣本生成方法的識別結(jié)果是否顯著優(yōu)于傳統(tǒng)圖像調(diào)整方法的識別結(jié)果，即采用生成對抗網(wǎng)絡(luò)擴(kuò)充樣本的方法能顯著改善目標(biāo)識別結(jié)果。

Paired t-test 的原假設(shè)為兩種方法的識別結(jié)果沒有差異，若N為測試次數(shù)，c1i(i=1,2,…,N)為傳統(tǒng)方法不同迭代次數(shù)下的識別精確度，c2i為本文方法在不同迭代次數(shù)下的識別精確度，di=c2i-c1i，計算t統(tǒng)計量：

在本實驗中，計算海參、海膽、貝殼和海星的t統(tǒng)計量分別為th=0.110 8、te=0.659 7、ts=9.787 9、tf=0.166 5，當(dāng)N=13，顯著性水平α=0.05 時，臨界值為2.178 8。對于海參、海膽和海星三類目標(biāo)原假設(shè)被接受，而貝殼目標(biāo)原假設(shè)被拒絕，即加入生成圖像訓(xùn)練的方法與圖像調(diào)整的樣本擴(kuò)充方法具有顯著的差異，本文基于生成對抗網(wǎng)絡(luò)的水下目標(biāo)識別方法能顯著改善目標(biāo)識別效果。

4 結(jié)束語

基于生成對抗網(wǎng)絡(luò)的水下目標(biāo)識別方法結(jié)合生成圖像和原始圖像訓(xùn)練目標(biāo)識別模型，能有效擴(kuò)充訓(xùn)練樣本集，解決小樣本及類不平衡問題，相比于直接利用原始圖像訓(xùn)練模型的方法，提高了目標(biāo)識別精確度。采用生成對抗網(wǎng)絡(luò)生成單個目標(biāo)圖像，調(diào)整大小后隨機(jī)分布到背景圖像中，并通過邊界融合算法使其與背景融合，最終作為目標(biāo)識別模型的訓(xùn)練樣本，這是一種簡單實用的樣本擴(kuò)充與目標(biāo)識別方法，適用于水下、空中等特殊環(huán)境圖像的目標(biāo)識別，特別是針對訓(xùn)練樣本圖像數(shù)量少、質(zhì)量差等情況，能夠有效改善識別效果。下一步的工作將研究如何生成更高質(zhì)量的圖像，同時，研究如何在水下機(jī)器人嵌入式處理平臺上實際使用本文提出的目標(biāo)識別算法。

致謝感謝國家自然科學(xué)基金委主辦、大連理工大學(xué)等單位承辦的水下機(jī)器人目標(biāo)抓取大賽提供的水下目標(biāo)真實圖像數(shù)據(jù)，本文在該數(shù)據(jù)的基礎(chǔ)上完成了實驗。也感謝此次大賽，在參加比賽過程中對水下目標(biāo)識別與抓取問題的思考，是本文創(chuàng)新與研究思路的出發(fā)點。