周 晨,周乾偉,陳翰墨,管 秋,胡海根,吳延壯

(浙江工業(yè)大學(xué) 計算機(jī)科學(xué)與技術(shù)學(xué)院,杭州 310023)

1 引 言

顯著性目標(biāo)檢測的目的是為了在圖像中尋找到最具有視覺吸引力的目標(biāo),他被廣泛應(yīng)用于很多下游計算機(jī)視覺任務(wù)中,如視覺分割[1],行人檢測[2],視覺跟蹤[3]等等.根據(jù)輸入信息不同,顯著性目標(biāo)檢測可以簡單的分為RGB圖像顯著性目標(biāo)檢測與RGBD圖像顯著性目標(biāo)檢測兩種.盡管在過去的幾年中,RGB圖像顯著目標(biāo)檢測領(lǐng)域已經(jīng)取得了明顯的進(jìn)展,但由于缺乏空間距離信息,RGB圖像顯著性目標(biāo)檢測在面對復(fù)雜的圖像或場景中依舊存在性能受限的問題.因此天生帶有豐富空間距離信息的深度圖像極大的吸引了眾多研究人員的目光,在RGBD圖像顯著性目標(biāo)檢測早期,由于深度圖像的獲取較為困難且價格高昂,因此研究進(jìn)展并沒有RGB圖像顯著性目標(biāo)檢測來的迅速,但隨著當(dāng)前日新月異的科技進(jìn)步,深度傳感器的成本降低,深度圖像開始變得容易獲取,越來越多的RGBD圖像顯著性目標(biāo)檢測方法被提出.

在RGB-D顯著性目標(biāo)檢測(SOD)中,當(dāng)前的研究人員更關(guān)注于如何設(shè)計更有效地融合機(jī)制從兩種模態(tài)中獲得更準(zhǔn)確的顯著性特征.一些工作[4]直接將RGB圖像與深度圖像進(jìn)行通道間拼接后得到4個通道的輸入特征,并將其輸入同一模型中來獲得顯著性預(yù)測,盡管這減低了參數(shù)量與計算量,但這種不考慮模態(tài)間分布差異性直接進(jìn)行拼接完成融合的方式顯然無法很好的探索跨模態(tài)間特征與信息,提取出顯著性特征.還有一些方法針對不同模態(tài)圖像嘗試多種不一樣的融合策略,如圖1所示,圖1(a)[5]代表對圖像特征與深度特征分別進(jìn)行獨立編碼,在輸入解碼器前將兩種模態(tài)特征進(jìn)行通道間拼接完成融合,然后進(jìn)行共同解碼;圖1(b)[6]意味著模型對提取到的不同模態(tài)特征在編碼階段就進(jìn)行跨模態(tài)融合,然后進(jìn)行輸入統(tǒng)一解碼器完成共同解碼.圖1(c)[7]代表了深度圖像與RGB圖像分別采用獨立平行的兩個編解碼器進(jìn)行顯著性特征提取,在最后的輸出前進(jìn)行通道間拼接來完成融合,這也被成為雙流策略.圖1(d)[8]代表了模型在編碼與解碼階段對特征都進(jìn)行融合.

圖1 不同的跨模態(tài)交互方法Fig.1 Different cross-modal interaction methods

盡管上述方法相較于之前的算法性能均有明顯提升,但遺憾的是,大部分方法都僅僅將RGB圖像特征與深度特征視作兩種不同模態(tài)特征,而沒有充分考慮到兩種模態(tài)本身的特性.深度圖像表達(dá)了每一個物體在空間中的深度信息,相對于不同目標(biāo)間的深度,同一目標(biāo)的深度往往具有一致性,因此深度信息包含了豐富的語義信息,但缺少一些細(xì)節(jié)信息.與深度圖不同,圖像特征包含了更多的細(xì)節(jié)信息,但也因此帶來了更多干擾信息.針對兩類特征的不同特性,如圖1(e)所示,本文在解碼器中設(shè)計了一種逐尺度融合策略.與第4種策略(圖1(d))的根本不同之處在于,圖1(d)策略僅僅將兩類特征進(jìn)行模態(tài)間的融合,而沒有考慮不同模態(tài)本身的特性,在編碼階段獲得的圖像特征在帶有充分細(xì)節(jié)信息的同時包含更多的干擾特征.與編碼階段就進(jìn)行跨模態(tài)特征融合不同(圖1(b),圖1(d)),在解碼階段(圖1(e)),解碼器從圖像特征與深度特征逐漸提取出了顯著性特征,干擾特征的比例顯著縮小,此時進(jìn)行融合更有利于深度特征與圖像特征之間的交互融合獲得更準(zhǔn)確的顯著性特征,其次干凈的融合特征同樣可以幫助RGB圖像特征與深度特征進(jìn)行顯著性特征表達(dá).

在這篇論文中,根據(jù)不同模態(tài)圖像的特性,本文提出了一種新穎的循環(huán)逐尺度特征融合網(wǎng)絡(luò)(RSFNet),與之前的方法不同,RSFNet考慮了RGB圖像特征與深度特征本身的特性,在解碼階段進(jìn)行逐尺度融合,即在每一個獨立尺度上,本文對深度特征與圖像特征均進(jìn)行獨立融合,逐尺度的探索跨模態(tài)特征.此外,考慮到無論是深度特征或圖像特征,到后期都會轉(zhuǎn)變?yōu)轱@著性特征這一特性,以及低維度含更多的細(xì)節(jié)信息,高維度通常包含更多的語義信息,本文設(shè)計了一個跨模態(tài)特征融合模塊(CFM)從多模態(tài)多尺度的角度綜合融合兩種模態(tài)間特征.為了減少錯誤特征的產(chǎn)生,本文也設(shè)計了一個新穎的一致性損失來約束最終的顯著性特征.最后,為了充分挖掘圖像中的顯著性特征,同時為了使兩種模態(tài)間特征能夠進(jìn)一步有效融合,本文提出了一個循環(huán)交互編碼器來充分探索圖像中未被挖掘特征.本文的主要工作與貢獻(xiàn)總結(jié)如下:

1.本文提出了一種新穎的循環(huán)逐尺度特征融合網(wǎng)絡(luò),命名為RSFNet,RSFNet從不同模態(tài)圖像本身特性出發(fā)融合多模態(tài)特征來完成更準(zhǔn)確的顯著性檢測.

2.本文設(shè)計了一個跨模態(tài)特征融合模塊來探索當(dāng)前尺度下的多尺度與多模態(tài)特征,他能夠?qū)︼@著性特征進(jìn)行強化,并削弱非顯著性特征的表達(dá).融合特征也將幫助RGB圖像特征與深度圖像特征來獲取更準(zhǔn)確特征.

3.為了更好的挖掘圖像信息,本文設(shè)計了一個循環(huán)交互編碼器,他能夠充分挖掘圖像特征并對多模態(tài)特征進(jìn)行進(jìn)一步交互融合.

4.在當(dāng)前流行的5個benchmark數(shù)據(jù)集上的多個指標(biāo)表明,使用/不使用循環(huán)交互編碼器的RSFNet均顯著超過了之前的10種最優(yōu)方法.

2 相關(guān)工作

2.1 RGB圖像顯著性目標(biāo)檢測

在顯著性目標(biāo)檢測發(fā)展早起,大多數(shù)的研究人員通?；谑止ぴO(shè)計的特征[9-11]與一些顯著性先驗知識[12-14]完成預(yù)測,例如,對比度[15],直方圖[16]等等.但由于這些手工提取的特征中往往缺乏高層語義特征并且無法很好的融合兩種模態(tài)信息,因此在一些復(fù)雜的場景中性能十分受限.隨著卷積神經(jīng)網(wǎng)絡(luò)的興起,尤其是全卷積神經(jīng)網(wǎng)絡(luò)的出現(xiàn),為顯著性目標(biāo)檢測[17]帶來了快速的發(fā)展.例如Picanet[18]提出了一種循環(huán)全卷積神經(jīng)網(wǎng)絡(luò)框架來完成顯著性目標(biāo)檢測.很多作品如 Liu等人[19]、Chen等人[20]基于構(gòu)建不同的解碼器和設(shè)計新的特征融合機(jī)制,提高了 SOD 的性能.此外,還有許多方法旨在通過將邊緣和主體信息與圖像特征解耦來更好地幫助挖掘顯著特征.EGNet[21]引入了邊緣特征提取模塊來提取邊緣信息.PoolNet[19]添加了一個邊緣分支來使用額外的邊緣數(shù)據(jù)集訓(xùn)練網(wǎng)絡(luò).F3Net[22]將顯著標(biāo)簽解耦為身體和細(xì)節(jié)標(biāo)簽,使網(wǎng)絡(luò)能夠以平衡的方式處理身體和細(xì)節(jié)信息.

2.2 RGBD圖像顯著性目標(biāo)檢測

早期的RGBD圖像顯著性目標(biāo)檢測方法與RGB圖像顯著性目標(biāo)檢測方法類似,同樣用手工設(shè)計的方式或一些先驗知識[23]從RGBD數(shù)據(jù)集中提取特征.比如對比度[24],高斯混合模型[25]等等,同樣與RGB圖像顯著性目標(biāo)檢測方法類似,由于手工提取的特征表達(dá)能力有限,在很多復(fù)雜場景中性能不佳.受益于當(dāng)前急速發(fā)展的卷積神經(jīng)網(wǎng)絡(luò),基于學(xué)習(xí)的方法為RGBD顯著性目標(biāo)檢測帶來了新的發(fā)展.當(dāng)前主流的RGBD圖像顯著性目標(biāo)檢測方法大致可以分成單流模型[4]與雙流模型兩種[26].單流模型直接將RGB圖像與深度圖像進(jìn)行通道間拼接后輸入同一編解碼器得到預(yù)測結(jié)果,然而這種方法無法很好的兼顧到多模態(tài)之間的特征差異,因此也有很多研究人員采用雙流模型來完成顯著性目標(biāo)檢測.具體的,雙流模型將RGB圖像與深度圖像分別輸入不同的編解碼器來獨立的進(jìn)行各自的特征提取.為了進(jìn)一步從兩種模態(tài)特征中獲得更準(zhǔn)確的顯著性特征,Chen等人[27]提出了一個補償融合模塊來有效的整合跨模態(tài)特征.Piao等人[28]提出了一個深度引導(dǎo)的多尺度循環(huán)注意力網(wǎng)絡(luò)來提升跨模態(tài)特征融合能力.Fan等人[29]設(shè)計了一個深度凈化單元來過濾低質(zhì)量深度圖身體跨模態(tài)特征表達(dá).還有SPNet[30]在整個編解碼階段對不同尺度的跨模態(tài)特征均進(jìn)行融合來獲得顯著性預(yù)測.盡管這些方法都獲得了不錯的性能提升,但大部分方法都僅僅只關(guān)注到了RGB圖像特征與深度特征是兩種模態(tài)有別的特征,而沒有真正考慮到兩種特征本身的特性,這并不利于RGB圖像特征與深度特征的有效融合.本文提出了新穎的一種逐尺度融合模型,如圖2所示,在思考了兩種模態(tài)特征本身特性的基礎(chǔ)上,通過一個的跨模態(tài)融合模塊來減少冗余特征的出現(xiàn),并加強顯著性特征的表達(dá),同時本文也進(jìn)一步提出了一個循環(huán)編碼器,它能夠幫助模型進(jìn)一步挖掘圖像特征,優(yōu)化圖像細(xì)節(jié).

圖2 RSFNet模型結(jié)構(gòu)Fig.2 RSFNet model structure

3 本文的循環(huán)逐尺度融合算法

在本節(jié)中,本文將對提出的循環(huán)逐尺度特征融合網(wǎng)絡(luò)中的細(xì)節(jié)進(jìn)行闡述.首先在3.1節(jié)本文將對RSFNet的網(wǎng)絡(luò)結(jié)構(gòu)與訓(xùn)練流程進(jìn)行簡要介紹,然后在3.2節(jié)本文會對跨模態(tài)特征融合模塊進(jìn)行詳細(xì)敘述.在3.3節(jié)循環(huán)交互編碼器的設(shè)計理念與細(xì)節(jié)也將進(jìn)一步展示.最終本文會在3.4節(jié)對文中s涉及到的損失函數(shù)進(jìn)行描述.

3.1 網(wǎng)絡(luò)結(jié)構(gòu)與流程

3.2 跨模態(tài)特征融合模塊

如圖3所示,受到多尺度特征提取方法如PoolNet[19],deeplab[31]的啟發(fā),本文設(shè)計了一個多尺度提取模塊(MFF)對每個尺度上的多模態(tài)特征進(jìn)行多尺度上的特征融合,與PoolNet的FAM不同的是,本文沒有采用池化層的方式來完成多尺度的特征提取,而是采用了deeplab中與ASPP類似的、基于空洞卷積的方法,在不減少圖像細(xì)節(jié)的情況下獲得多尺度的特征.當(dāng)然同樣與ASPP不同,本文的MFF在融合最后多尺度特征時沒有進(jìn)行通道間拼接而采用像素級相加,這是因為在特征提取后,兩種特征都轉(zhuǎn)為了顯著性特征,進(jìn)行像素間相加將會更有效的獲取與強化顯著性特征.

圖3 多尺度特征融合模塊Fig.3 Multi-scale feature fusion module(MFF)

圖4 跨模態(tài)特征融合模塊Fig.4 Cross-modal feature fusion module

(1)

3.3 循環(huán)交互編碼器

3.4 損失函數(shù)

如3.3節(jié)所述,RSFNet將會經(jīng)過N次循環(huán),每次循環(huán),將分別輸出RGB分支的顯著性預(yù)測Pr,深度分支的顯著性預(yù)測Pd以及融合分支的顯著性預(yù)測Pf.

對于每一個預(yù)測結(jié)果,與之前的很多方法相同[22],本文使用交并比損失函數(shù)(lIoU)與二值交叉熵?fù)p失函數(shù)[32](lBCE)進(jìn)行監(jiān)督.公式分別如下:

lBCE=-∑(x,y)[G(x,y)log(P(x,y))+
(1-G(x,y))log(1-P(x,y))]

(2)

(3)

其中G(x,y)代表標(biāo)簽圖像G中(x,y)位置的像素值,P代表預(yù)測結(jié)果.總的顯著性損失寫作:

(4)

其中,i=1,2,3分別代表RGB預(yù)測,深度預(yù)測與融合預(yù)測,G代表標(biāo)簽圖像.

為了進(jìn)一步減少錯誤特征的產(chǎn)生,本文設(shè)計了一個非常有效的一致性損失,將最后一次循環(huán)輸出的融合特征通過2個3×3卷積,對不準(zhǔn)確特征進(jìn)行預(yù)測,并用二值交叉熵?fù)p失進(jìn)行監(jiān)督,整體表達(dá)式如下:

(5)

最終總體損失函數(shù)表達(dá)式如下:

(6)

其中i代表第i次循環(huán),N代表總的循環(huán)次數(shù),本文在實驗中設(shè)為3.

4 實驗與分析

4.1 數(shù)據(jù)集與評估指標(biāo)

4.1.1 數(shù)據(jù)集

訓(xùn)練集:在訓(xùn)練階段,本文與之前的工作[33]保持一致,分別將NLPR[34]的700張圖像,NJU2K[35]的1485張圖像以及DUT-D[28]的700張圖像作為RSFNet的訓(xùn)練數(shù)據(jù),這也是目前RGBD圖像顯著性目標(biāo)檢測中最大最廣泛使用的訓(xùn)練數(shù)據(jù)集.

測試集:在測試階段,本文引入了5種當(dāng)前最流行的基準(zhǔn)數(shù)據(jù)集來驗證本文的RSFNet在各種挑戰(zhàn)性場景下的有效性,分別包括:NLPR[34],NJU2K[35],DUT-D[28],SIP[36],STERE[36].

表1 RSFNet與其他10種方法在5個數(shù)據(jù)集上的的性能比較,最優(yōu)結(jié)果為粗體Table 1 Comparison of our method and 10 RGB-D state-of-the-art methods.The best is bolded

4.1.2 評估指標(biāo)

模型預(yù)測的顯著性圖通常是與輸入圖像相同大小的概率圖,顯著性圖中每個像素值范圍被限制在[0,1](或[0,255]),而標(biāo)簽圖像通常是一個二值圖像,像素值為0或1,其中0代表當(dāng)前像素是背景像素,1代表當(dāng)前像素為前景顯著性目標(biāo)像素.

1)MAE即平均絕對誤差,他被用作衡量顯著圖與標(biāo)簽圖像每個像素值之間絕對值的平均差異性。MAE值越小則說明顯著圖與標(biāo)簽圖像差異性越小。公式如下:

(7)

其中H和W分別代表圖像高和寬,H×W則代表所有像素個數(shù).

(8)

4)structure measure(Sm)通常用來評估顯著圖與標(biāo)簽圖像之間的結(jié)構(gòu)相似性.Sm通過區(qū)域分?jǐn)?shù)Sr和目標(biāo)分?jǐn)?shù)So進(jìn)行加權(quán)和得到.公式如下:

Sm=(1-α)Sr+αSo

(9)

其中α通常設(shè)為0.5.

(10)

(11)

其中φFM代表增強對齊矩陣[39].

4.2 實驗細(xì)節(jié)

本文模型執(zhí)行在PyTorch框架上,訓(xùn)練和推理均運行單張RTX A6000 GPU.在ImageNet上預(yù)訓(xùn)練的去掉最后的全連接層的ResNet50[41]被用作本文模型的特征編碼器.在數(shù)據(jù)增強方面,本文使用了隨機(jī)剪裁,翻轉(zhuǎn)和多尺度輸入.隨機(jī)梯度下降算法被用作本文的優(yōu)化算法來更新RSFNet,動量和權(quán)重衰減分別設(shè)為0.9 和5e-4.學(xué)習(xí)率的線性衰減和熱啟動策略有被使用,特征編碼器的和剩下模塊的最大學(xué)習(xí)率分別設(shè)為1.5e-4和3e-2.批次大小設(shè)為16并且模型最終完成60輪訓(xùn)練.在推理階段,RGB圖像與深度圖像都將被重采樣到352352,然后輸入網(wǎng)絡(luò)來端到端的獲得最終的顯著性預(yù)測.本文沒有進(jìn)行任何后處理操作.

4.3 對比實驗

本文引入了10個當(dāng)前最優(yōu)的RGB-D圖像顯著性目標(biāo)檢測算法來綜合的評估RSFNet的模型性能.分別包括:CPFP[42],DMRA[43],HDNet[44],CoNet[45],S2MA[46],JL-DCF[33],UCNet[47],RD3D[48],DCF[49],DSA2F[50].為了公平比較,所有比較數(shù)據(jù)均來源于原作者提供的預(yù)訓(xùn)練模型或者預(yù)測結(jié)果.

4.3.1 指標(biāo)性能對比

4.3.2 可視化結(jié)果

如圖5所示,在這里,本文也給出了本文方法與其他方法的可視化比較.本文方法在多種具有挑戰(zhàn)性的場景中相較于其他方法都獲得了更干凈更清晰的顯著性目標(biāo)(如低對比度,多目標(biāo),背景復(fù)雜,大目標(biāo)等等場景).這些結(jié)果也進(jìn)一步的證明了合理融合圖像特征與深度特征的必要性.

圖5 不同方法在挑戰(zhàn)場景下的可視化結(jié)果比較Fig.5 Visual comparison of different methods in challenging scenarios

4.4 消融實驗

在這個部分,本文將對RSFNet各個組件的有效性進(jìn)行分析.為了保證公平比較,本文在消融實驗中并沒有調(diào)整任何的超參數(shù),而僅對不同的策略以及不同的組件進(jìn)行驗證.

4.4.1 關(guān)鍵組件的消融實驗

本文首先對RSFNet中的各個的關(guān)鍵組件進(jìn)行綜合消融評估.如表2所示,本文將特征編碼器,圖像解碼器與深度解碼器(沒有融合解碼器)作為基線在NJU2K與STERE數(shù)據(jù)集上進(jìn)行了一系列的消融實驗.如表2所示,逐尺度特征融合策略為模型帶來了明顯的性能提升,CFM的引入也對顯著性特征進(jìn)行了更有效的提取,一致性損失的引入也顯著的減少了不準(zhǔn)確特征的產(chǎn)生.可以發(fā)現(xiàn),到此為止,本文提出的RSFNet已經(jīng)獲得了足夠優(yōu)秀的性能,盡管還沒有進(jìn)入循環(huán)交互,RSFNet已經(jīng)超過了當(dāng)前所有的RGB-D 顯著性目標(biāo)檢測方法.在此基礎(chǔ)上,本文設(shè)計的循環(huán)交互編碼器可以有效對顯著性特征進(jìn)行挖掘,并使得圖像特征,深度特征,融合特征三者進(jìn)一步進(jìn)行交互融合,特別在邊緣細(xì)節(jié)恢復(fù)上表現(xiàn)出了極大的提升.

表2 關(guān)鍵組件的消融實驗Table 2 Ablation experiment of key components.SF stands for our scale-by-scale feature fusion strategy

4.4.2 跨模態(tài)特征融合模塊的消融實驗

正如之前4.4.1節(jié)所描述,本文的逐尺度融合策略,在跨模態(tài)特征融合的基礎(chǔ)上,針對RGB圖像與深度圖像的特性進(jìn)行后階段融合為模型帶來了顯著的性能提升.為了能進(jìn)一步探索多模態(tài)間的多尺度信息并對顯著性特征進(jìn)行強化,本文也設(shè)計了一種跨模態(tài)特征融合模塊CFM.在這里本文也給出了不同的融合策略來驗證跨模態(tài)融合組件的性能.如表3所示,相對于直接對不同的模態(tài)特征進(jìn)行通道間拼接操作,本文多尺度特征融合模塊(MFF)的引入為模型帶來了顯著的性能提升,在此基礎(chǔ)上本文的跨模態(tài)特征融合模塊(CFM)進(jìn)一步對特征中的顯著性特征進(jìn)行了強化,并對非顯著性特征進(jìn)行削弱.

表3 不同的融合方法.concat代表通道間拼接Table 3 Different fusion methods.concat stands for concatenation

4.4.3 循環(huán)交互編碼器循環(huán)次數(shù)的交融實驗

表4 不同的循環(huán)次數(shù)Table 4 Different recursion times

4.4.4 不同融合策略的消融比較

為了說明本文方法與之前方法的差異,本文在此也對不同的融合方法進(jìn)行了消融比較.如表5所示,從上到下分別對應(yīng)著圖1中(a)、(b)、(c)、(d)和(e)各子圖.實驗中所有超參數(shù)與損失函數(shù)等設(shè)置均相同,僅通過改變不同的融合方法來驗證本文逐尺度特征融合策略的有效性.

表5 不同的跨模態(tài)融合方法性能比較,從上到下分別對應(yīng)

如表5第1行,在解碼器前進(jìn)行特征拼接后輸入同一解碼器中并沒有很好的對解碼特征中跨模特特性進(jìn)行融合,性能較差.在編碼器中直接融合(第2行、第4行)則會導(dǎo)致未完全編碼的冗余特征對顯著性特征進(jìn)行干擾,導(dǎo)致性能受限.而如果是僅在最后預(yù)測前進(jìn)行融合(第3行)則幾乎完全沒有考慮跨模態(tài)特征間的差異,導(dǎo)致在復(fù)雜場景中性能不佳.相對于上述方法,如表5最后一行所示,本文在解碼器部分進(jìn)行逐尺度特征融合,在充分考慮深度圖像與RGB圖像本身特性的同時,逐尺度的對跨模態(tài)特征進(jìn)行融合交互,減少了干擾信息的引入,極大的提升了顯著性預(yù)測性能.

5 結(jié) 論

本文針對RGBD圖像與深度圖像的特性設(shè)計了一個新穎的循環(huán)逐尺度特征融合網(wǎng)絡(luò)(RSFNet).為了進(jìn)一步提升跨模態(tài)間的特征融合效率,本文設(shè)計了一個跨模態(tài)特征融合模塊來對多尺度多模態(tài)特征進(jìn)行探索,并對顯著性特征進(jìn)行強化.本文還設(shè)計了一個一致性損失來幫助模型進(jìn)一步約束錯誤特征的產(chǎn)生.最后,為了更有效的挖掘多模態(tài)間顯著性特征并對跨模態(tài)特征進(jìn)行有效交互,本文提出了一個循環(huán)交互編碼器來循環(huán)挖掘顯著性信息.實驗結(jié)果表明,本文提出的RSFNet在5個數(shù)據(jù)集上的多個性能指標(biāo)均顯著超過了之前的最優(yōu)方法.