魏嘉旺 王肖 袁玉波
摘 要:隨著計(jì)算機(jī)視覺技術(shù)在海洋水產(chǎn)領(lǐng)域中的應(yīng)用不斷加深,魚類圖像檢索在漁業(yè)資源調(diào)查、魚類行為學(xué)分析等方面發(fā)揮了巨大的作用。通過研究發(fā)現(xiàn),魚類圖像的背景信息會(huì)對(duì)魚類圖像檢索造成極大干擾,而且魚類圖像中顏色、紋理、形狀等特征由于空間位置信息的缺乏而使檢索的準(zhǔn)確率不高。為解決以上問題,提出了一種新的基于顏色四通道及空間金字塔的魚類圖像檢索算法。首先,提取視覺顯著性圖將魚類圖像的前景和背景分開,從而減少圖像背景對(duì)檢索的干擾;其次,為了使圖像特征包含一定的空間位置信息,利用空間金字塔的理論對(duì)圖像進(jìn)行分割,在此基礎(chǔ)上,將圖像轉(zhuǎn)為HSVG四通道圖并提取SURF特征;;最后,得到檢索結(jié)果。為驗(yàn)證所提算法的有效性,在QUT_fish_data數(shù)據(jù)集和DLOU_fish_data數(shù)據(jù)集上對(duì)算法的查全率、查準(zhǔn)率與經(jīng)典的HSVG算法和顯著性分塊算法進(jìn)行對(duì)比: 在兩個(gè)數(shù)據(jù)集上查準(zhǔn)率分別比傳統(tǒng)的HSVG算法最多分別提高12%和5%,查全率最多分別提高7%和22%;比傳統(tǒng)的顯著性分塊算法查準(zhǔn)率最多分別提高15%和5%,查全率最多分別提高36%和22%;從而證明所提算法是有效的,能有效提升魚類圖像的檢索效果。
關(guān)鍵詞:魚類圖像檢索;顏色通道;空間金字塔;圖像特征
中圖分類號(hào):TP751
文獻(xiàn)標(biāo)志碼:A
Abstract: With the development of the application of computer vision in the field of marine fisheries, fish image retrieval has played a huge role in fishery resource survey and fish behavior analysis. It is found that the background information of fish images can greatly interfere with fish image retrieval, and the fish image retrieval results only using color, texture, shape and other characteristics of fish images are not accurate due to the lack of spatial position information. To solve the above problems, a novel fish image retrieval algorithm based on HSVG (Hue, Saturation, Value, Gray) fourchannel and spatial pyramid was proposed. Firstly, a visual saliency map was extracted to separate the foreground and the background, thereby reducing the interference of the image background on the retrieval. Then, in order to contain certain spatial position information, the fish image was converted into an HSVG fourchannel map, and on this basis, the theory of spatial pyramid was used to segment the image and extract the SURF (Speed Up Robust Feature). Finally, the search results were obtained. In order to verify the effectiveness of the proposed algorithm, the recall and precision of the algorithm were compared with classic HSVG algorithm and saliency block algorithm on QUT_fish_data dataset and DLOU_fish_data dataset. Compared with traditional HSVG algorithm, the precision on two datasets is increased at most by 12% and 5%, and the recall is increased at most by 7% and 22%, respectively. Compared with saliency block algorithm, the precision on two datasets is increased at most by 15% and 5%, and the recall is increased at most by 36% and 22%, respectively. So, the proposed algorithm is effective and can improve the retrieval results significantly.
英文關(guān)鍵詞Key words: fish image retrieval; color channel; spatial pyramid; image feature
0 引言
魚類圖像檢索技術(shù)為魚類知識(shí)科普、魚類資源調(diào)查及種群分析、魚病診斷等提供了新思路和新方法,具有重要的研究意義。魚類圖像有前景背景復(fù)雜難以區(qū)分而且難以識(shí)別等問題,同時(shí)魚類圖像具有豐富的顏色、紋理、形狀、位置等特征,這些特征可以為魚類圖像檢索提供有價(jià)值的信息。因此,魚類圖像檢索既要考慮有效利用顏色、紋理、形狀、位置等特征又要考慮避免背景對(duì)檢索效果產(chǎn)生過大的影響。
為解決這個(gè)難題,許多專家學(xué)者對(duì)此進(jìn)行深入的研究。Bosch等[1]提出一種基于HSV(Hue, Saturation, Value)三通道的尺度不變特性變換(ScaleInvariant Feature Transform, SIFT)特征提取算法,該算法對(duì)圖像中的像素對(duì)應(yīng)的三個(gè)通道都提取SIFT特征并組成128×3的特征描述子(標(biāo)準(zhǔn)的SIFT特征為128維特征向量),然后利用提取到的SIFT特征[2]實(shí)現(xiàn)對(duì)不同場景圖像的分類,但SIFT算法本身的計(jì)算復(fù)雜度較高,其特征提取的計(jì)算成本很大,同時(shí)可能會(huì)在SIFT描述子中混入不必要的噪聲。Chuang等[3]提出SHPC(Systematic Hierarchical Partial Classification)算法以實(shí)現(xiàn)對(duì)魚類的識(shí)別,通過一種逐層帶偏袒策略的分類實(shí)現(xiàn)對(duì)不同種類魚在空間位置中的識(shí)別,雖然實(shí)現(xiàn)了空間位置的識(shí)別但是效率和精度上有一定的局限性,對(duì)自然場景中的魚種不能很好地識(shí)別其空間位置。黃仁等[4]提出的基于顏色空間特征的圖像檢索能夠很好地解決這一問題,該算法采用HSV顏色模型,在HSV空間中采用非等間隔量化的方式對(duì)圖像中的像素逐個(gè)量化,計(jì)算并歸一化圖像的顏色直方圖和每類顏色的中心位置從而得到圖像的顏色空間特征。但是該算法是在傳統(tǒng)的顏色直方圖的基礎(chǔ)上加入相應(yīng)的空間位置信息,可以避免不同圖像具有相同的顏色直方圖的情況,該方法是針對(duì)全局特征進(jìn)行檢索的,其檢索精度不理想。胡二雷等[5]提出一種基于深度學(xué)習(xí)的圖像檢索系統(tǒng),該算法采用Alexnet神經(jīng)網(wǎng)絡(luò),前5個(gè)卷積層提取的是圖像的低級(jí)可視化特征,后3層提取的是圖像的高級(jí)特征。其檢索庫為20萬張圖片,檢索出來前10張的平均相似度在80%以上,精度不夠高,而且需要的訓(xùn)練時(shí)間較長。
經(jīng)過進(jìn)一步研究發(fā)現(xiàn),采用魚類圖像的其中一種特征進(jìn)行匹配識(shí)別往往不夠全面[6],因而要綜合考慮魚類圖像的各種特征,采用多特征合并的方式進(jìn)行魚類圖像的檢索來提高檢索效果[7-8]。傳統(tǒng)的多特征魚類圖像檢索采用多特征向量合并方式將顏色特征和紋理特征合并后進(jìn)行魚類圖像檢索, 這種多特征合并方式對(duì)表達(dá)多種特征的能力較弱,合并后的多特征向量無法有效地將魚類的顏色特征和紋理特征進(jìn)行融合,從而影響魚類圖像檢索算法的性能。其次目前的圖像檢索算法大多只能對(duì)背景簡單的圖像進(jìn)行檢索,對(duì)自然場景下的圖像檢索還沒有較多的研究,針對(duì)魚類圖像以及自然場景下的魚類圖像檢索則相對(duì)更少,局限于單一場景,很難將魚類圖像檢索技術(shù)應(yīng)用到真實(shí)的自然場景即海洋漁業(yè)領(lǐng)域中,其檢索的結(jié)果誤差較大。
基于以上分析,本文提出一種基于HSVG(Hue, Saturation, Value, Gray)四通道及空間金字塔的魚類圖像顯著區(qū)域檢索算法以提高魚類圖像檢索的準(zhǔn)確性和魯棒性。首先,根據(jù)魚類圖像的特點(diǎn)提取魚類圖像的視覺顯著性圖,并根據(jù)顯著性圖自適應(yīng)的將魚類圖像的前景和背景有效地分開,從而避免圖像背景對(duì)檢索的干擾; 然后,根據(jù)空間金字塔的理論對(duì)圖像進(jìn)行分塊,在此基礎(chǔ)上,將圖像轉(zhuǎn)為HSVG四通道圖和SURF(Speed Up Robust Feature)的提取; 最后,進(jìn)行最終的匹配并得到檢索結(jié)果。
1.2 圖像的預(yù)處理
在進(jìn)行圖像檢索過程中,首先需要進(jìn)行實(shí)驗(yàn)數(shù)據(jù)的收集及整理,由于收集圖像的工具和渠道不同可能導(dǎo)致收集到的圖像差異很大,因此需要對(duì)圖像進(jìn)行預(yù)處理。圖像預(yù)處理的目的是最大限度地簡化數(shù)據(jù)并且統(tǒng)一數(shù)據(jù)格式。預(yù)處理過程一般有歸一化、去噪、顯著性提取以及圖像增強(qiáng)等。
本文所使用的數(shù)據(jù)來源由三部分組成:實(shí)際拍攝、互聯(lián)網(wǎng)下載及由澳大利亞昆士蘭大學(xué)提供。由于不同渠道得到的數(shù)據(jù)其大小不盡相同,這對(duì)于特征的提取匹配會(huì)有很大的影響。為方便后續(xù)工作,將所有的數(shù)據(jù)歸一化到相同的分辨率大小。此外,收集到的魚類圖像中有可能有單通道圖像,即灰度圖,此時(shí)需要將這些圖像去除掉,以避免影響后續(xù)的實(shí)驗(yàn)。同時(shí)由于圖像的不同獲取方式,使得圖像中可能夾雜不同種類的噪聲,比如高斯噪聲、椒鹽噪聲、均勻噪聲等,本文主要針對(duì)椒鹽噪聲和高斯噪聲進(jìn)行了處理,針對(duì)椒鹽噪聲和高斯噪聲,采取了中值濾波的方法進(jìn)行處理。此外,魚類圖像的背景信息會(huì)對(duì)魚類圖像檢索會(huì)產(chǎn)生極大的干擾,許多非魚類的特征信息被統(tǒng)計(jì)到魚類特征中,由此會(huì)影響最終的檢索效果。為了解決這個(gè)問題,比較理想的方法就是將圖像中的魚類與其背景分離開來。由此提出使用視覺顯著性圖來解決這個(gè)問題。圖像的顯著性區(qū)域是最能引起人類視覺注意力的區(qū)域,因此顯著性區(qū)域在絕大多數(shù)情況下為圖像中的前景區(qū)域,或者說是圖像中的感興趣區(qū),也是圖像檢索的目標(biāo)區(qū)域。而非顯著性區(qū)域一般情況下為背景,也是在特征匹配過程中需要去除的區(qū)域。一般情況下,魚類圖像本身前后背景顏色差異大,輪廓和紋理比較清晰,由此利用魚類圖像中的顏色差異性和模式差異性來提取圖像的顯著性圖[7]:
S(px)=P(px)·C(px)·G(px)(1)
其中:px是圖像塊,S(px)是圖像塊的顯著性值,P(px)是圖像塊的模式差異性,C(px)是圖像塊的顏色差異性,G(px)是高斯權(quán)重公式。根據(jù)魚類圖像場景的均勻分布,但又存在一定波動(dòng)性的特性,給出了判斷魚類目標(biāo)或背景信息的閾值計(jì)算方法,如式(2)所示:
pm=(∑mi=1∑nj=1Sm×n)/n (2)
其中S為m*n大小的顯著圖。利用式(2)所計(jì)算得到的閾值,將顯著圖二值化后對(duì)二值圖像進(jìn)行面積濾波從而避免圖像背景中的非魚類顯著性區(qū)域?qū)η熬霸斐傻母蓴_。
1.3 空間位置特征
一般情況下,按指定塊數(shù)或指定長寬比對(duì)圖像進(jìn)行分塊,分塊是基于空間金字塔匹配原理進(jìn)行的??臻g金字塔通常是指將圖像經(jīng)過下采樣處理后得到不同分辨率的圖像組合,空間金字塔模型(Spatial Pyramid Model, SPM)[9]是一種利用空間金字塔進(jìn)行圖像匹配、識(shí)別、分類的算法[10]。
空間金字塔分塊是在不同分辨率的小塊上統(tǒng)計(jì)圖像特征點(diǎn)分布,從而獲取圖像的空間信息。金字塔多分辨率生成較快,且占用存儲(chǔ)空間少。由于魚類圖像檢索中魚類目標(biāo)基本位于圖像的中央主體部分,因而采用空間金字塔模型將魚類圖像分為4塊、6塊、8塊及10塊進(jìn)行實(shí)驗(yàn)(如圖2),通過大量的實(shí)驗(yàn)發(fā)現(xiàn)將魚類圖像分為3塊所得到的結(jié)果更為高效并且實(shí)驗(yàn)結(jié)果較好。
1.4 HSVG四通道顏色特征
魚類圖像本身包含著豐富的顏色信息,這些顏色往往在色調(diào)、純度和飽和度上各有差異,魚類圖像的花紋在單一的H、S或V通道中更為明顯,這種顏色通道能夠從三個(gè)方面來描述顏色的特性,在對(duì)顏色表述上能夠相互補(bǔ)充,更有效地提取出魚類圖像所蘊(yùn)藏在顏色差異中的結(jié)構(gòu)信息,進(jìn)而在一定程度上反映顏色信息; 同時(shí)圖像中除了具有豐富的顏色信息之外,還會(huì)因?yàn)楣庹盏挠绊懺隰~類表面產(chǎn)生強(qiáng)弱程度不等的反射或產(chǎn)生明暗相間的花紋和輪廓, 因此在HSV三通道外引入灰度圖作為第四通道提取SURF特征。本文綜合考慮色差和光照這兩種因素的影響,提出基于HSV顏色模型和灰度Gray的四通道模型即HSVG四通道的顏色空間模型。
1.5 紋理特征
SURF是圖像檢索中基于內(nèi)容(ContentBased Image Retrieval, CBIR)的一種圖像特征提取方法[14],常用的CBIR特征有顏色、紋理等,相較于這些特征,SURF能夠更加細(xì)致地表示圖像的局部信息。在魚類圖像檢索中,魚的局部差異往往比較明顯而全局差異不是特別大,此外由于拍攝角度等問題,圖像中的魚類即使是同一條魚,它的整體形態(tài)也會(huì)發(fā)生變化,在這種情況下全局特征的不變性會(huì)較差。相比之下,SURF屬于局部特征因而能夠更好地反映出圖像中的局部差異,并且具有更強(qiáng)的特征不變性,因此該算法使用SURF特征能夠更好地對(duì)魚類圖像進(jìn)行檢索。
2 魚類圖像的特征提取和匹配
2.1 特征提取
為提高利用SURF特征提取和匹配的準(zhǔn)確度,采用預(yù)處理技術(shù)得到魚類圖像顯著圖來提取SURF特征,這些特征集中于魚類的關(guān)鍵區(qū)域。相對(duì)于直接從原始圖像中提取的SURF特征,利用顯著圖提取到的SURF特征更加稀疏而精確,同時(shí)能夠從魚類圖像中獲取更為豐富的有效信息。在此基礎(chǔ)上,將魚類圖像利用空間金字塔技術(shù)分為魚頭、魚身、魚尾三部分,然后分別提取每一部分的HSVG四個(gè)通道下的SURF特征,進(jìn)而分別得到魚頭、魚身、魚尾三個(gè)部分的HSVG四個(gè)顏色通道的不同的SURF特征,使得所提特征包含位置信息,避免在特征描述子中混入不必要的噪聲信息[15],能更好地表現(xiàn)魚類的形態(tài)和局部特征;同時(shí)分四個(gè)通道提取的特征包含魚類圖像由色差和光照影響的輪廓特征和紋理特征,從而進(jìn)一步提高不同種類魚之間的區(qū)分度。這種方式能夠通過通道互補(bǔ)使得圖像具有更完整的表述能力,這為精確檢索提供有效的幫助。在此基礎(chǔ)上采用多核CPU并行處理的方式對(duì)四通道下魚頭、魚身和魚尾的SURF特征進(jìn)行計(jì)算,從而降低檢索的時(shí)間消耗。
2.2 特征匹配
圖像特征匹配是指將圖像特征進(jìn)行相似度計(jì)算對(duì)圖像的相似程度作出評(píng)價(jià)。特征匹配是圖像檢索模型的一個(gè)重要的環(huán)節(jié),在提取出圖像的特定特征之后進(jìn)行相似度的匹配。圖像相似度匹配方法有很多種,不同的匹配方法會(huì)影響檢索圖與圖庫圖像之間的相似度,即圖像特征點(diǎn)之間匹配的相似程度。
多通道下的圖像檢索能夠帶來比單通道檢索更為豐富的特征,但是多通道的SURF特征會(huì)面臨多種特征匹配方式的選擇問題,不同特征匹配方式會(huì)影響提取到的特征向量的保存方式,同時(shí)其特征利用效率以及匹配精度都有差異。經(jīng)過歸納整理,發(fā)現(xiàn)多通道下的SURF特征匹配方法主要分為兩類,一類匹配方法為將不同通道中的SURF特征進(jìn)行加權(quán)后變?yōu)榱邢蛄咳缓筮M(jìn)行特征匹配,另外一類為將特征按通道分別進(jìn)行特征匹配,然后將匹配后的特征得分進(jìn)行加權(quán)得到最終匹配得分。第一類特征匹配方式能夠降低特征本身的復(fù)雜度從而加快特征匹配的過程,特征匹配的效率較高。第二類特征匹配方式能夠更為有效地利用多通道SURF互補(bǔ)性,因而從檢索精度上分析,該方法的匹配結(jié)果精度要高于第一類特征匹配方法。但是該方法的特征匹配效率要低于第一類特征匹配方法。本文綜合考慮圖像檢索的精度和效率問題,對(duì)不同的特征提取和特征匹配的耗時(shí)進(jìn)行研究分析后發(fā)現(xiàn),在魚類圖像檢索的整個(gè)過程中,耗時(shí)主要集中在圖像的特征提取環(huán)節(jié),相比較之下圖像的特征匹配的總體耗時(shí)比重不大,魚類圖像檢索的整體效率依然可以保持基本不變。此外由于是采用獨(dú)立匹配的方式,可以對(duì)各部分進(jìn)行并行處理,從而保證算法的時(shí)間復(fù)雜度不變, 因此本文選取第二類圖像特征匹配方式對(duì)從多通道中提取的魚類圖像SURF特征進(jìn)行特征的提取和匹配。
常用的圖像特征匹配方式有距離度量和相關(guān)系數(shù)度量兩類度量方式,其中距離度量方式能夠體現(xiàn)特征向量之間的數(shù)值差異,相關(guān)系數(shù)度量方式能夠體現(xiàn)出特征向量之間相關(guān)關(guān)系密切程度[16]。在HSVG四通道及空間金字塔下的SURF特征具有一定的差異性和互補(bǔ)性,其特征差異往往不體現(xiàn)在特征的數(shù)值差異上而是主要體現(xiàn)在特征向量的相位差異上。所以,采用相關(guān)系數(shù)的度量方式更加符合HSVG四通道和空間金字塔下SURF特征的特征匹配特性。本文首先將提取到的魚類圖像特征向量進(jìn)行歸一化處理,經(jīng)過歸一化的特征向量之間其差異性相對(duì)被壓縮,因此采用相關(guān)系數(shù)度量方式對(duì)其進(jìn)行相關(guān)系數(shù)的計(jì)算。
本文首先提取四通道下每個(gè)通道中的魚頭、魚身、魚尾三個(gè)部分的SURF特征,按照特征所屬通道的不同空間位置單獨(dú)保存。在特征匹配過程中,為了能夠繼續(xù)保持各個(gè)顏色通道和各個(gè)空間位置的特征獨(dú)立性,本課題組只針對(duì)檢索圖和圖庫圖像的相同通道下的相同空間位置的SURF特征進(jìn)行特征匹配。其匹配公式如下:
3 實(shí)驗(yàn)結(jié)果與分析
本文在Windows7系統(tǒng)下使用Matlab2012b[17]進(jìn)行圖像檢索仿真實(shí)驗(yàn)。實(shí)驗(yàn)環(huán)境的硬件配置為:Intell Xeon CPU E5250 v2 2.60GHz 32核處理器,32GB內(nèi)存。
本文采用的數(shù)據(jù)集為澳大利亞昆士蘭大學(xué)提供的QUT_fish_data魚類圖像數(shù)據(jù)集,該圖像庫包含4405張海洋魚類靜態(tài)圖像,每張圖像標(biāo)有對(duì)應(yīng)的種類標(biāo)簽。該圖像庫是目前已知的最大規(guī)模魚類圖像數(shù)據(jù)標(biāo)定集。在此數(shù)據(jù)集上可以客觀有效地評(píng)價(jià)圖像檢索算法的魯棒性和準(zhǔn)確率。此外本文還采用大連海洋大學(xué)圖像組采集的魚類場景圖像數(shù)據(jù)集DLOU_fish_data,該圖像庫包含200張魚類圖像數(shù)據(jù),每類魚類圖像包含不同的魚類圖像場景,采用此圖像庫能夠在一定程度上評(píng)價(jià)魚類圖像檢索算法對(duì)復(fù)雜場景下的魚類圖像的檢索能力。
評(píng)價(jià)方法 本文采用準(zhǔn)確率和召回率對(duì)所提算法的有效性進(jìn)行評(píng)價(jià)[18]。其中準(zhǔn)確率反映的是圖像檢索的精度,召回率是圖像檢索算法對(duì)同類信息檢索查找全面程度的評(píng)價(jià)指標(biāo)。此外,綜合考慮檢索算法的查準(zhǔn)和查全能力,采用準(zhǔn)確率召回率(PrecisionRecall, PR)曲線評(píng)價(jià)圖像檢索算法:
P=TPTP+FP(7)
R=TPTP+FN(8)
其中:TP(True Positive)是檢索到的圖像中包含有與檢索圖像相似的同類圖的數(shù)量,F(xiàn)P(False Positive)為檢索到的圖像中非同類圖像的數(shù)量,F(xiàn)N(False Negative)是圖庫中全部同類圖中未檢索到的同類圖數(shù)量。
為了驗(yàn)證本文所提的基于HSVG四通道及空間金字塔的魚類圖像檢索算法的有效性和魯棒性,采用基于HSVG四通道的魚類圖像檢索算法(以下簡稱HSVG算法)[7]和基于顯著性及空間金字塔的魚類圖像檢索算法(以下簡稱顯著性分塊算法)[8]作基準(zhǔn),在QUT_fish_data數(shù)據(jù)集和DLOU_fish_data數(shù)據(jù)集上進(jìn)行仿真實(shí)驗(yàn),并采用PR曲線對(duì)圖像檢索算法性能進(jìn)行評(píng)價(jià)。
由于以上兩種魚類圖像檢索對(duì)比算法都有一定的局限性,不能很好地將其應(yīng)用到自然場景中,因此提出基于HSVG四通道及空間金字塔的魚類圖像檢索算法。該算法將HSVG算法和顯著性分塊算法結(jié)合起來,既采用基于HSVG四通道魚類圖像檢索算法中顏色特征和紋理特征的差異性和互補(bǔ)性;同時(shí)采用基于顯著性及空間金字塔的魚類圖像檢索算法中的顯著性提取和空間金字塔技術(shù),避免背景區(qū)域誤檢到的噪聲導(dǎo)致的特征被誤提取,采用空間金字塔技術(shù)將空間位置信息融入到提取的特征中,避免特征的誤匹配。
為了驗(yàn)證該算法的有效性,首先在QUT_fish_data數(shù)據(jù)集上進(jìn)行測試,測試集同樣為數(shù)據(jù)集中100次隨機(jī)挑選的200幅不同種類的魚類圖像進(jìn)行100次實(shí)驗(yàn),檢索結(jié)果如表1所示。
4 結(jié)語
本文提出基于HSVG四通道及空間金字塔的魚類圖像檢索算法。該算法先利用圖像顯著性提取算法去除背景對(duì)魚的干擾;再利用空間金字塔模型將魚類圖像分為魚頭、魚身、魚尾三部分;然后對(duì)魚類圖像按HSVG四個(gè)通道分別提取SURF特征,使得提取到的特征融合形狀特征、空間位置特征、顏色特征和紋理特征,利用所提取到的SURF特征按通道進(jìn)行匹配求取檢索圖與圖庫圖像之間的相關(guān)度;最后經(jīng)過加權(quán)求得圖像之間的相似度,按相似度由高到低順序輸出檢索結(jié)果,提高檢索準(zhǔn)確度,增強(qiáng)檢索算法的魯棒性。為驗(yàn)證所提算法的有效性,在QUT_fish_data數(shù)據(jù)集和DLOU_fish_data數(shù)據(jù)集上對(duì)算法的查全率、查準(zhǔn)率與一些經(jīng)典的魚類圖像檢索算法進(jìn)行了對(duì)比,在兩個(gè)數(shù)據(jù)集上查準(zhǔn)率分別比傳統(tǒng)的HSVG算法最多分別提高12%和5%,查全率最多分別提高7%和22%,從而證明本文算法是有效的,可有效提升魚類圖像的檢索效果。
隨著深度學(xué)習(xí)的火熱發(fā)展,未來的工作應(yīng)逐步擴(kuò)充數(shù)據(jù)集,設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)來提取到更為有效的魚類圖像特征,以增強(qiáng)魚類圖像檢索效果。
致謝 感謝國家科技資源共享服務(wù)平臺(tái)——國家海洋科學(xué)數(shù)據(jù)中心大連分中心(http://odc.dlou.edu.cn/)提供數(shù)據(jù)支撐。
參考文獻(xiàn) (References)
[1] BOSCH A, ZISSERMAN A, MUNOZ X. Scene classification using a hybrid generative/discriminative approach[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2007, 30(4):712-727.
[2] LIAO K, LIU G, HUI Y. An improvement to the SIFT descriptor for image representation and matching[J]. Pattern Recognition Letters, 2013, 34(11):1211-1220.
[3] CHUANG M C, HWANG J N, KUO F F, et al. Recognizing live fish species by hierarchical partial classification based on the exponential benefit[C]// Proceedings of the 2014 IEEE International Conference on Image Processing. Piscataway, NJ: IEEE, 2014:5232-5236.
[4] 黃仁,胡敏.綜合顏色空間特征和紋理特征的圖像檢索[J].計(jì)算機(jī)科學(xué),2014,41(s1):118-121.(HUANG R, HU M. Contentbased image retrieval using color position and texture fused features[J]. Computer Science, 2014, 41(s1):118-121.)
[5] 胡二雷,馮瑞.基于深度學(xué)習(xí)的圖像檢索系統(tǒng)[J].計(jì)算機(jī)系統(tǒng)應(yīng)用, 2017, 26(3):8-19.(HU E L, FENG R. Image retrieval system based on deep learning[J]. Computer Systems & Applications, 2017, 26(3):8-19.)
[6] GUO T, MOUSAVI H S, MONGA V. Deep learning based image superresolution with coupled backpropagation[C]// Proceedings of the 2016 IEEE Global Conference on Signal and Information Processing. Piscataway, NJ: IEEE, 2017:237-241.
[7] 張美玲, 吳俊峰, 于紅, 等. 一種基于HSVGSURF特征的魚類圖像檢索算法[J]. 小型微型計(jì)算機(jī)系統(tǒng), 2018, 39(9): 2085-2089.(ZHANG M L,WU J F,YU H, et al. Fish image retrieval algorithm based on HSVG four channel SURF feature[J]. Journal of Chinese Computer Systems, 2018, 39(9): 2085-2089.)
[8] ZHANG M L, WU J F, Y H, et al. A novel fish image retrieval method based on saliency spatial pyramid[C]// Proceedings of the 2017 14th International Symposium on Pervasive Systems, Algorithms and Networks & 2017 International Conference on Frontier of Computer Science and Technology & 2017 3rd International Symposium of Creative Computing. Washington, DC: IEEE Computer Society, 2017: 312-317.
[9] 程少光,何畢,布樹輝,等.基于超像素空間金字塔模型的場景識(shí)別研究[J].計(jì)算機(jī)工程與應(yīng)用,2014, 50(7):139-143.(CHENG S G, HE B, BU S H, et al. Sence recognition research based on SSPM[J]. Computer Engineering and Applications, 2014,50(7):139-143.)
[10] 高常鑫,桑農(nóng).整合局部特征和濾波器特征的空間金字塔匹配模型[J]. 電子學(xué)報(bào),2011,39(9):2034-2038.(GAO C X, SANG N. Unifying local features and filterbank features in the spatial pyramid matching model[J]. Acta Electronica Sinica,2011,39(9):2034-2038.)
[11] YANG J, YU K, GONG Y, et al. Linear spatial pyramid matching using sparse coding for image classification[C]// Proceedings of the 2009 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2009: 1794-1801.
[12] 陳鑫元,李筠,楊海馬,等.自適應(yīng)閾值圖像二值化及形態(tài)學(xué)處理的FPGA實(shí)現(xiàn)[J].電子測量技術(shù),2016, 39(7):67-71.(CHEN X Y,LI Y,YANG H M, et al. Adaptive threshold binarization and morphological image processing based on FPGA[J]. Electronic Measurement Technology, 2016, 39(7):67-71.)
[13] WU L S, CHEN J X, WEI L I. Niblackbased binaryzation algorithm for palm vein image[J]. Communications Technology, 2010, 43(1):112-114.
[14] BAY H, TUYTELAARS T, GOOL L V. SURF: Speeded Up Robust Features[C]// Proceedings of the 9th European Conference on Computer Vision. Berlin: Springer, 2006: 404-417.
[15] PYATYKH S, HESSER J, ZHENG L. Image noise level estimation by principal component analysis[J]. IEEE Transactions on Image Processing, 2013, 22(2):687-699.
[16] SALIMIKHORSHIDI G, SMITH S M, KELTNER J R, et al. Metaanalysis of neuroimaging data: a comparison of imagebased and coordinatebased pooling of studies[J]. Neuroimage, 2009, 45(3):10-23.
[17] MURTHY A V, KARAM L J. A MATLABbased framework for image and video quality evaluation[C]// Proceedings of the 2010 2nd International Workshop on Quality of Multimedia Experience. Piscataway, NJ: IEEE, 2010:242-247.
[18] SINGHA M, HEMACHANDRAN K. Content based image retrieval using color and texture[J]. Signal & Image Processing, 2012, 3(1):271-273.