謝新林，尹東旭，續(xù)欣瑩，劉曉芳，羅臣彥，謝 剛，

(1.太原科技大學(xué) 電子信息工程學(xué)院，太原 030024；2.先進(jìn)控制與裝備智能化山西省重點(diǎn)實(shí)驗(yàn)室，太原 030024；3.太原理工大學(xué) 電氣與動(dòng)力工程學(xué)院，太原 030024)

圖像語義分割旨在自動(dòng)識(shí)別圖像中每一個(gè)像素的類別標(biāo)簽，是計(jì)算機(jī)視覺領(lǐng)域的一個(gè)基礎(chǔ)研究問題，具有非常重要的理論研究價(jià)值。相比于單一的圖像處理任務(wù)，圖像語義分割能夠同時(shí)實(shí)現(xiàn)對(duì)目標(biāo)的分割和識(shí)別，可以為后續(xù)的圖像分析和理解等視覺任務(wù)提供細(xì)粒度和高層次的語義信息。作為近幾年計(jì)算機(jī)視覺領(lǐng)域的熱點(diǎn)研究問題之一，圖像語義分割還具有廣泛的應(yīng)用前景和重大的社會(huì)意義，是自動(dòng)駕駛、機(jī)器人感知、3D城市建模、無人機(jī)應(yīng)用、智能交通、智能醫(yī)療和遙感影像分析等應(yīng)用場景的核心技術(shù)[1-3]。

近年來，受益于像素級(jí)標(biāo)簽標(biāo)注的訓(xùn)練數(shù)據(jù)和深度卷積神經(jīng)網(wǎng)絡(luò)(deep convolutional neural network，DCNN)模型的廣泛應(yīng)用，圖像語義分割方法的識(shí)別精度獲得了顯著的提高[4-5]。然而，基于深度卷積神經(jīng)網(wǎng)絡(luò)的圖像語義分割方法依賴于大規(guī)模精細(xì)到像素粒度的訓(xùn)練數(shù)據(jù)。這種費(fèi)時(shí)費(fèi)力和高代價(jià)的大規(guī)模像素級(jí)標(biāo)簽標(biāo)注工作嚴(yán)重制約了圖像語義分割性能的進(jìn)一步提升和實(shí)際應(yīng)用的可擴(kuò)展性。為了解決上述不足和局限性，基于圖像級(jí)標(biāo)簽的弱監(jiān)督圖像語義分割受到了眾多研究人員的關(guān)注，并成為近幾年計(jì)算機(jī)視覺領(lǐng)域的一個(gè)熱點(diǎn)研究課題。

圖像級(jí)標(biāo)簽標(biāo)注僅需要給出場景圖像中存在的具體目標(biāo)類別信息，并不需要指出目標(biāo)類別在圖像中的位置信息。圖像級(jí)標(biāo)簽標(biāo)注與像素級(jí)標(biāo)簽標(biāo)注的對(duì)比示意圖如圖1所示。相比于像素級(jí)標(biāo)簽，圖像級(jí)標(biāo)簽可以被準(zhǔn)確和高效標(biāo)注，這極大地減少了數(shù)據(jù)標(biāo)注的時(shí)間和代價(jià)。例如，高質(zhì)量像素級(jí)標(biāo)簽的人工標(biāo)注大約需要幾分鐘或者十幾分鐘的時(shí)間，而圖像級(jí)標(biāo)簽的時(shí)間標(biāo)注代價(jià)僅需要幾秒或幾十秒[6]。此外，大規(guī)模基于圖像級(jí)標(biāo)簽的訓(xùn)練數(shù)據(jù)可以從在線的多媒體分享網(wǎng)站(Flickr,Picasa和Zooomr)中被快速和方便獲取，這極大地緩解了訓(xùn)練數(shù)據(jù)規(guī)模不足的問題。例如，F(xiàn)lickr網(wǎng)站中存在大量帶有用戶提供標(biāo)簽的社交圖像未被充分利用[7]。

圖1 圖像級(jí)標(biāo)簽標(biāo)注與像素級(jí)標(biāo)簽標(biāo)注對(duì)比示意圖Fig.1 Annotation comparison of image-level labels and pixel-level labels

盡管基于圖像級(jí)標(biāo)簽的弱監(jiān)督圖像語義分割在標(biāo)注代價(jià)和訓(xùn)練數(shù)據(jù)獲取方面具有優(yōu)勢，但是圖像級(jí)標(biāo)簽相比于像素級(jí)標(biāo)簽或者其它形式的弱監(jiān)督標(biāo)注，其包含的有指導(dǎo)性和有監(jiān)督的信息最少，面臨的挑戰(zhàn)和難度也最大。主要表現(xiàn)在：1) 圖像級(jí)標(biāo)簽沒有提供標(biāo)簽類別在圖像中的位置信息和邊界信息；2) 圖像級(jí)標(biāo)簽無法提供適用于現(xiàn)有深度卷積神經(jīng)網(wǎng)絡(luò)模型所需的像素級(jí)標(biāo)簽標(biāo)注數(shù)據(jù)。因此，如何從圖像級(jí)標(biāo)簽推斷出高質(zhì)量和稠密的位置信息，進(jìn)而基于推斷的偽標(biāo)簽數(shù)據(jù)構(gòu)建圖像語義分割網(wǎng)絡(luò)是當(dāng)前基于圖像級(jí)標(biāo)簽的弱監(jiān)督圖像語義分割面臨的關(guān)鍵和難點(diǎn)。此外，實(shí)際場景圖像往往包含多個(gè)目標(biāo)類別和復(fù)雜背景，且各目標(biāo)類別具有多樣性的外觀、姿態(tài)、視角、尺度和紋理等特征，進(jìn)一步加劇了圖像級(jí)標(biāo)簽位置推斷的難度。

根據(jù)標(biāo)簽位置推斷方式的不同，現(xiàn)有基于圖像級(jí)標(biāo)簽的弱監(jiān)督圖像語義分割可以劃分為基于超像素的方法和基于分類網(wǎng)絡(luò)先驗(yàn)的方法，如圖2所示。其中，基于超像素的方法主要是以超像素分割產(chǎn)生的超像素或者超像素合并產(chǎn)生的候選區(qū)域?yàn)樘幚韱卧M(jìn)行圖像級(jí)標(biāo)簽位置推斷，然后基于推斷的偽標(biāo)簽數(shù)據(jù)構(gòu)建分類模型。其原理依賴于多個(gè)圖像中具有相似視覺特征的超像素或者候選區(qū)域具有相同的類別標(biāo)簽。該類方法以超像素或者候選區(qū)域?yàn)樘幚韱卧?，能夠顯著提高算法的計(jì)算效率，并有助于提高圖像級(jí)標(biāo)簽位置推斷的精度。但是，基于超像素的方法依賴于超像素分割和超像素合并產(chǎn)生的初始分割區(qū)域的精度，且易受噪聲標(biāo)簽和背景復(fù)雜性的影響。

圖2 基于圖像級(jí)標(biāo)簽的弱監(jiān)督圖像語義分割方法Fig.2 Weakly-supervised image semantic segmentation method based on image-level labels

基于分類網(wǎng)絡(luò)先驗(yàn)的方法主要是借助類激活圖(class activation maps，CAM)定位網(wǎng)絡(luò)[8]或者其它目標(biāo)識(shí)別領(lǐng)域預(yù)訓(xùn)練好的分類網(wǎng)絡(luò)來產(chǎn)生具有判別性的初始種子區(qū)域，然后通過擴(kuò)張非判別區(qū)域的類別標(biāo)簽來實(shí)現(xiàn)圖像級(jí)標(biāo)簽位置推斷，并基于擴(kuò)張后的偽標(biāo)簽數(shù)據(jù)作為強(qiáng)監(jiān)督信息訓(xùn)練圖像語義分割網(wǎng)絡(luò)。該類方法的關(guān)鍵在于引入類激活圖定位網(wǎng)絡(luò)或者其它預(yù)訓(xùn)練好的分類網(wǎng)絡(luò)(全卷積網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)、顯著性檢測或者注意力機(jī)制等)等先驗(yàn)信息來產(chǎn)生具有判別性的初始種子區(qū)域。然而，類激活圖定位網(wǎng)絡(luò)或者其它預(yù)訓(xùn)練好的分類網(wǎng)絡(luò)僅能夠識(shí)別圖像中一些稀疏的高響應(yīng)判別區(qū)域，且缺乏對(duì)目標(biāo)區(qū)域所在邊界的精確描述。

1 基于超像素的弱監(jiān)督圖像語義分割方法

基于超像素的弱監(jiān)督圖像語義分割方法可以劃分為以超像素為處理單元的方法和以候選區(qū)域?yàn)樘幚韱卧姆椒ā；诔袼氐娜醣O(jiān)督圖像語義分割方法的核心環(huán)節(jié)包括：1) 超像素或者候選區(qū)域的高精度分割；2) 以超像素或者候選區(qū)域?yàn)樘幚韱卧膱D像級(jí)標(biāo)簽位置推斷；3) 基于推斷的偽標(biāo)簽數(shù)據(jù)進(jìn)行分類模型的學(xué)習(xí)。相比于以像素為處理單元的推斷方式，基于超像素的弱監(jiān)督圖像語義分割能夠以數(shù)量較少的超像素或者候選區(qū)域?yàn)樘幚韱卧M(jìn)行圖像級(jí)標(biāo)簽位置推斷，有助于提高算法的推斷效率和精度，并能減少噪聲像素對(duì)于圖像級(jí)標(biāo)簽位置推斷的干擾。

1.1 以超像素為處理單元的方法

以超像素為處理單元的方法通過超像素分割來產(chǎn)生具有高邊緣貼合度的超像素，主要包括基于圖模型的方法和基于聚類的方法。其中，基于圖模型的方法主要是借助條件隨機(jī)場(conditional random fields，CRF)或者馬爾可夫隨機(jī)場等圖模型來構(gòu)建分類模型。其中，在融合條件隨機(jī)場的方法中，VEZHNEVETS et al[9-10]分別采用TURBOPIXELS[11]和FH[12]超像素分割算法來產(chǎn)生超像素，并分別基于主動(dòng)學(xué)習(xí)和貝葉斯優(yōu)化來提高算法的分割精度；XING et al[13]采用SLIC[14]超像素分割來產(chǎn)生不同尺度的超像素塊，并利用超像素嵌入來構(gòu)建條件隨機(jī)場的勢函數(shù)；韓錚等[15]利用樸素貝葉斯來估計(jì)超像素標(biāo)簽的概率，提出了一種基于紋元森林和顯著性先驗(yàn)的弱監(jiān)督圖像語義分割方法；ZHANG et al[16]利用卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)提取多尺度的超像素特征，并利用條件隨機(jī)場來構(gòu)建上下文信息。此外，SHI et al[17]面向基于目標(biāo)和屬性的弱監(jiān)督標(biāo)注，構(gòu)建了基于馬爾可夫隨機(jī)場的超像素之間的關(guān)聯(lián)性；VEZHNEVETS et al[18]基于超像素的外觀相似性，通過構(gòu)建多圖模型來恢復(fù)訓(xùn)練圖像的像素級(jí)標(biāo)簽；ZHANG et al[19]由圖像級(jí)標(biāo)簽構(gòu)建超像素集的空間結(jié)構(gòu)分布提出了一種基于圖割的方法；XU et al[20]利用圖模型來編碼類別的出現(xiàn)與缺失，并對(duì)超像素的語義標(biāo)簽進(jìn)行分配。

基于聚類的方法主要是基于超像素之間的特征相似性將不同圖像中具有相同視覺特征的超像素通過聚類的方式進(jìn)行劃分，進(jìn)而實(shí)現(xiàn)超像素級(jí)的標(biāo)簽位置推斷。例如，LIU et al[21]利用譜聚類對(duì)過分割的超像素集進(jìn)行聚類，提出一種基于線性變換的判別特征提取方式；LIU et al[22]還提出一種多示例多標(biāo)簽學(xué)習(xí)用于劃分超像素到不同的聚類分組；YING et al[23]通過譜聚類和判別聚類構(gòu)建以超像素為處理單元的子集，提出一種基于詞典學(xué)習(xí)的弱監(jiān)督多元聚類方法；POURIAN et al[24]應(yīng)用譜聚類的圖劃分方法分離出具有高相關(guān)性的超像素；ZHANG et al[25]利用稀疏重構(gòu)來實(shí)現(xiàn)超像素集的劃分，并采用迭代合并更新的方式獲得分類模型的最佳參數(shù)。

然而，以超像素為處理單元的方法依賴于超像素分割算法的分割精度，且易受超像素特征表示能力的影響。此外，以超像素為處理單元的圖像表示和標(biāo)簽位置推斷方式，依然存在大量具有相似特征的冗余超像素，這會(huì)干擾超像素標(biāo)簽的位置推斷。相比于基于分類網(wǎng)絡(luò)先驗(yàn)的方法，以超像素為處理單元的方法大都僅依賴圖像級(jí)標(biāo)簽的弱監(jiān)督指導(dǎo)信息，并未引入其它額外的先驗(yàn)信息。因此，以超像素為處理單元的弱監(jiān)督圖像語義分割方法的分割精度相對(duì)較低，且難于實(shí)現(xiàn)端到端的訓(xùn)練。以超像素為處理單元的弱監(jiān)督圖像語義分割方法的總結(jié)如表1所示。

表1 以超像素為處理單元的弱監(jiān)督圖像語義分割方法Table 1 Weakly-supervised image semantic segmentation method using superpixel as processing units

1.2 以候選區(qū)域?yàn)樘幚韱卧姆椒?/h3>

以候選區(qū)域?yàn)樘幚韱卧姆椒ㄖ饕峭ㄟ^超像素合并的方式來實(shí)現(xiàn)候選區(qū)域的分割，并以數(shù)量較少的候選區(qū)域塊為處理單元進(jìn)行圖像級(jí)標(biāo)簽位置推斷和分類模型學(xué)習(xí)。例如，LIU et al[30-31]合并FH[12]超像素分割產(chǎn)生的小圖像塊到候選區(qū)域，并利用稀疏編碼來推斷圖像級(jí)標(biāo)簽的區(qū)域語義信息；LI et al[32]利用條件隨機(jī)場模型合并SLIC[14]超像素分割產(chǎn)生超像素，并基于候選區(qū)域庫來構(gòu)建分類模型；XU et al[33]和LU et al[7]采用局部搜索算法對(duì)MCG[26]產(chǎn)生的超像素進(jìn)行合并，分別構(gòu)建了面向圖像級(jí)標(biāo)簽、邊界框和部分標(biāo)簽等弱監(jiān)督標(biāo)注形式的分割模型和標(biāo)簽噪聲約簡模型。

以候選區(qū)域?yàn)樘幚韱卧姆椒ㄒ蕾嚦袼睾喜⑸傻暮蜻x區(qū)域的分割精度。相比于以超像素為處理單元的方法，以候選區(qū)域?yàn)樘幚韱卧姆椒軌蜻M(jìn)一步減少標(biāo)簽位置推斷過程中的冗余信息和計(jì)算代價(jià)。然而，如何自動(dòng)地確定超像素合并過程中的終止條件，進(jìn)而自適應(yīng)地確定候選區(qū)域的分割數(shù)量是以候選區(qū)域?yàn)樘幚韱卧姆椒媾R的一個(gè)瓶頸問題。以候選區(qū)域?yàn)樘幚韱卧娜醣O(jiān)督圖像語義分割方法的總結(jié)如表2所示。

表2 以候選區(qū)域?yàn)樘幚韱卧娜醣O(jiān)督圖像語義分割方法Table 2 Weakly-supervised image semantic segmentation method using candidate region as processing units

2 基于分類網(wǎng)絡(luò)先驗(yàn)的弱監(jiān)督圖像語義分割方法

基于分類網(wǎng)絡(luò)先驗(yàn)的弱監(jiān)督圖像語義分割方法可以劃分為基于類激活圖(class activation maps，CAM)定位網(wǎng)絡(luò)[8]的方法和基于其它分類網(wǎng)絡(luò)的方法。基于分類網(wǎng)絡(luò)先驗(yàn)的弱監(jiān)督圖像語義分割方法的核心環(huán)節(jié)在于：1) 基于類激活圖定位網(wǎng)絡(luò)或其他分類網(wǎng)絡(luò)模型產(chǎn)生判別性稀疏種子區(qū)域；2) 判別種子區(qū)域到非判別種子區(qū)域的挖掘與擴(kuò)張；3) 融合判別區(qū)域和非判別區(qū)域的偽標(biāo)簽數(shù)據(jù)構(gòu)建分割網(wǎng)絡(luò)模型。相比于基于超像素的弱監(jiān)督圖像語義分割方法，基于分類網(wǎng)絡(luò)先驗(yàn)的方法由于額外先驗(yàn)信息的引入，能夠顯著提高當(dāng)前基于圖像級(jí)標(biāo)簽的弱監(jiān)督圖像語義分割方法的精度和性能。

2.1 基于類激活圖定位網(wǎng)絡(luò)的方法

基于類激活圖定位網(wǎng)絡(luò)[8]的方法依賴類激活圖定位網(wǎng)絡(luò)來產(chǎn)生具有判別性的稀疏種子區(qū)域，進(jìn)而以判別性的稀疏種子區(qū)域作為先驗(yàn)信息指導(dǎo)圖像級(jí)標(biāo)簽的定位，最后以種子區(qū)域擴(kuò)張生成的偽標(biāo)簽數(shù)據(jù)構(gòu)建語義分割網(wǎng)絡(luò)模型。其中，ZHOU et al[8]提出的類激活圖定位網(wǎng)絡(luò)利用全局平均池化的方法來生成類激活映射圖，并根據(jù)類激活映射圖獲取對(duì)分類具有判別性的區(qū)域，該方法意在定位出圖像中具有判別力的深度特征區(qū)域。

在依賴類激活圖定位網(wǎng)絡(luò)[8]獲得種子區(qū)域的基礎(chǔ)上，依據(jù)種子區(qū)域生長方式的不同，基于類激活圖定位網(wǎng)絡(luò)的方法主要包括基于擴(kuò)張網(wǎng)絡(luò)的方法和基于顯著性的方法?；跀U(kuò)張網(wǎng)絡(luò)的方法主要是通過構(gòu)建種子區(qū)域擴(kuò)張網(wǎng)絡(luò)來高精度和稠密地?cái)U(kuò)張目標(biāo)區(qū)域。例如，KOLESNIKOV et al[34]在種子、擴(kuò)張和約束原則下提出了新的損失函數(shù)，并采用全局加權(quán)池化的方法來擴(kuò)張種子區(qū)域，構(gòu)建了基于全連接條件隨機(jī)場的邊界約束模型；ARASLANOV et al[35]同樣構(gòu)建了歸一化全局加權(quán)池化來產(chǎn)生稠密的語義區(qū)域；SHEN et al[6]融合目標(biāo)域和網(wǎng)絡(luò)域的指導(dǎo)信息來逐步地挖掘細(xì)粒度的區(qū)域語義信息；SALEH et al[36]采用高水平卷積層網(wǎng)絡(luò)來激活前景和背景標(biāo)簽；FAN et al[37]利用類內(nèi)判別器來區(qū)分前景和背景信息；CAROLINA et al[38]構(gòu)建了兩個(gè)類激活圖模型來恢復(fù)覆蓋整個(gè)對(duì)象范圍的激活掩碼；WEI et al[39]通過設(shè)置不同的空洞卷積率轉(zhuǎn)移判別信息到非判別目標(biāo)區(qū)域；LI et al[40]通過設(shè)置背景類中不同比例的背景信息和堆疊來實(shí)現(xiàn)目標(biāo)區(qū)域的定位，并采用期望最大化的方法來優(yōu)化分割網(wǎng)絡(luò)參數(shù)；ZHOU et al[41]構(gòu)建了針對(duì)噪聲標(biāo)簽的選擇損失函數(shù)和注意力損失函數(shù)來定位圖像級(jí)標(biāo)簽位置和改正分類錯(cuò)誤；CHANG et al[42]通過引入子類別信息來增強(qiáng)分類網(wǎng)絡(luò)的區(qū)域定位能力；WANG et al[43]利用成對(duì)的空間傳播網(wǎng)絡(luò)來細(xì)調(diào)單元?jiǎng)菥W(wǎng)絡(luò)產(chǎn)生的每一個(gè)像素的類別標(biāo)簽；AHN et al[44]提出一種基于深度神經(jīng)網(wǎng)絡(luò)和隨機(jī)場的親和力網(wǎng)絡(luò)來擴(kuò)張目標(biāo)區(qū)域；LEE et al[45]利用FickleNet來同時(shí)識(shí)別目標(biāo)的判別區(qū)域和非判別區(qū)域；ZHANG et al[46]構(gòu)建了解耦空間神經(jīng)注意網(wǎng)絡(luò)來同時(shí)識(shí)別目標(biāo)區(qū)域和定位判別區(qū)域；LIU et al[47]構(gòu)建了級(jí)聯(lián)語義擦除網(wǎng)絡(luò)來擴(kuò)張種子區(qū)域到整個(gè)目標(biāo)?；陲@著性的方法主要是通過引入顯著性機(jī)制來指導(dǎo)種子區(qū)域的擴(kuò)張。例如，OH et al[48]利用顯著性作為先驗(yàn)信息來指導(dǎo)種子區(qū)域的擴(kuò)張；WANG et al[49]利用貝葉斯框架下的顯著性圖來細(xì)調(diào)目標(biāo)區(qū)域，進(jìn)而實(shí)現(xiàn)非判別區(qū)域的增補(bǔ)；SUN et al[50]利用自注意顯著性和種子區(qū)域增長法來擴(kuò)展像素級(jí)標(biāo)簽的范圍。在其它基于類激活圖定位網(wǎng)絡(luò)的方法中，HUANG et al[51]使用區(qū)域增長法來擴(kuò)張種子區(qū)域并將其整合到深度分割網(wǎng)絡(luò)當(dāng)中；WEI et al[52]提出一種對(duì)抗擦除的方法來逐步挖掘稠密和完備的目標(biāo)區(qū)域；HONG et al[53]和LEE et al[54]利用網(wǎng)絡(luò)上抓取的視頻流信息來產(chǎn)生標(biāo)簽的定位圖和偽標(biāo)簽數(shù)據(jù)。

基于類激活圖定位網(wǎng)絡(luò)的方法能夠顯著提高圖像級(jí)標(biāo)簽的定位能力，但是基于類激活圖的定位網(wǎng)絡(luò)起初并非應(yīng)用于語義分割任務(wù)。因此，基于類激活圖定位網(wǎng)絡(luò)的方法僅能夠識(shí)別出圖像中一些稀疏和不完備的判別性區(qū)域，即只能獲得圖像中顯著目標(biāo)的部分區(qū)域，這不能滿足圖像級(jí)標(biāo)簽位置的稠密推斷和語義分割網(wǎng)絡(luò)構(gòu)建所需的大規(guī)模標(biāo)注數(shù)據(jù)。此外，基于類激活圖定位網(wǎng)絡(luò)的方法易于產(chǎn)生不精確的邊界和形狀描述，因此還需要引入后續(xù)的精煉或者平滑模塊來細(xì)調(diào)最終的分割結(jié)果?；陬惣せ顖D定位網(wǎng)絡(luò)的弱監(jiān)督圖像語義分割方法的總結(jié)如表3所示。

表3 基于類激活圖定位網(wǎng)絡(luò)的弱監(jiān)督圖像語義分割方法Table 3 Weakly-supervised image semantic segmentation method based on localization network of class activation maps

2.2 基于其它分類網(wǎng)絡(luò)的方法

基于其它分類網(wǎng)絡(luò)的方法主要是通過引入全卷積網(wǎng)絡(luò)[4](fully convolutional network，F(xiàn)CN)、卷積神經(jīng)網(wǎng)絡(luò)、顯著性檢測或者注意力機(jī)制等預(yù)訓(xùn)練好的分類模型來指導(dǎo)種子區(qū)域的產(chǎn)生和擴(kuò)張，然后基于擴(kuò)張后的偽標(biāo)簽數(shù)據(jù)進(jìn)行分割網(wǎng)絡(luò)的學(xué)習(xí)。在基于全卷積網(wǎng)絡(luò)的方法中，PATHAK et al[55]利用全卷積網(wǎng)絡(luò)來預(yù)測輸入圖像的標(biāo)簽類別信息，提出了一種基于約束卷積神經(jīng)網(wǎng)絡(luò)的弱監(jiān)督分割模型；QI et al[56]利用全卷積網(wǎng)絡(luò)來產(chǎn)生目標(biāo)類的激活圖，并融合目標(biāo)定位網(wǎng)絡(luò)和MCG[26]來產(chǎn)生像素水平的偽標(biāo)簽數(shù)據(jù)；TOKMAKOV et al[57]從視頻水平的弱標(biāo)注中學(xué)習(xí)運(yùn)動(dòng)信息來識(shí)別和擴(kuò)張目標(biāo)的區(qū)域及其邊界。在基于卷積神經(jīng)網(wǎng)絡(luò)的方法中，PINHEIRO et al[58]利用預(yù)訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)來產(chǎn)生特征信息，并在訓(xùn)練的過程中分配對(duì)于分類圖像具有重要作用的像素點(diǎn)更高的權(quán)重；ROY et al[59]利用卷積神經(jīng)網(wǎng)絡(luò)來預(yù)測圖像級(jí)標(biāo)簽的類別信息，并以條件隨機(jī)場為遞歸網(wǎng)絡(luò)來產(chǎn)生平滑的分割。在基于顯著性檢測(salient detection,SD)的方法中，WEI et al[60]利用顯著性目標(biāo)檢測技術(shù)從簡單圖像中挖掘顯著性圖，并利用增強(qiáng)深度卷積神經(jīng)網(wǎng)絡(luò)挖掘復(fù)雜圖像當(dāng)中的像素級(jí)標(biāo)簽；ZENG et al[61]構(gòu)建了顯著性聚合模塊來聚合每個(gè)預(yù)測類別的分割掩碼，并提出一種融合顯著性檢測和分割網(wǎng)絡(luò)的聯(lián)合學(xué)習(xí)模型。在基于注意力機(jī)制的方法中，F(xiàn)AN et al[62]使用示例水平的顯著性目標(biāo)檢測技術(shù)來自動(dòng)產(chǎn)生候選區(qū)域，并采用圖劃分的方式來構(gòu)建用于分割網(wǎng)絡(luò)的偽標(biāo)簽數(shù)據(jù)；LI et al[2,63]融合具有類別信息的注意力圖和逐次擦除生成的顯著圖來生成用于訓(xùn)練分割網(wǎng)絡(luò)的偽像素標(biāo)簽；WANG et al[1]提出自監(jiān)督等變注意力機(jī)制來產(chǎn)生稠密的類激活圖信息；XU et al[64]提出上下文傳播嵌入網(wǎng)絡(luò)來產(chǎn)生初始的視覺信息，該嵌入網(wǎng)絡(luò)聚焦于相鄰區(qū)域之間的語義關(guān)系學(xué)習(xí)。此外，WEI et al[65]利用Hypothesis-CNN-Pooling來預(yù)測目標(biāo)類別的分類得分，并結(jié)合圖像之間的上下文細(xì)調(diào)來產(chǎn)生目標(biāo)定位圖；JIN et al[66]利用網(wǎng)絡(luò)圖像中的上下文和先驗(yàn)信息，構(gòu)建了淺層神經(jīng)網(wǎng)絡(luò)(shallow neural network,SNN)來獲得每一個(gè)類別的分割掩膜。

基于其它分類網(wǎng)絡(luò)先驗(yàn)的方法大都用于解決初始種子區(qū)域面積小和稀疏的問題，進(jìn)而通過引入全卷積網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)、顯著性檢測或者注意力機(jī)制等先驗(yàn)信息來挖掘更多具有判別性的目標(biāo)區(qū)域。因此，該類方法能夠提高初始種子區(qū)域的定位和擴(kuò)張精度，進(jìn)而能夠獲得比較好的分割性能。但是，基于其它分類網(wǎng)絡(luò)先驗(yàn)的方法依然依賴于預(yù)訓(xùn)練好的分類網(wǎng)絡(luò)模型的泛化性和可擴(kuò)展性，同樣需要增加后續(xù)的邊緣處理模塊來優(yōu)化分割邊界。基于其它分類網(wǎng)絡(luò)的弱監(jiān)督圖像語義分割方法的總結(jié)如表4所示。

表4 基于其它分類網(wǎng)絡(luò)的弱監(jiān)督圖像語義分割方法Table 4 Weakly-supervised image semantic segmentation method based on other classification networks

3 常用數(shù)據(jù)集與評(píng)價(jià)指標(biāo)

3.1 常用數(shù)據(jù)集

3.1.1MSRC(microsoft research cambridge)數(shù)據(jù)集

MSRC[68]是由微軟劍橋研究院建立的用于圖像場景理解和物體分割的自然場景圖像數(shù)據(jù)集，是最早被應(yīng)用于驗(yàn)證弱監(jiān)督圖像語義分割方法性能的常用數(shù)據(jù)集之一。MSRC由591張320×213或者213×320像素的圖像組成，共包含21個(gè)目標(biāo)類，圖像示例如圖3(a)所示。MSRC數(shù)據(jù)集中平均每張圖像包含3.5個(gè)目標(biāo)類，且均對(duì)應(yīng)有像素級(jí)標(biāo)簽標(biāo)注的真值數(shù)據(jù)。在具體的驗(yàn)證過程中，通常將MSRC數(shù)據(jù)集劃分為由276張圖像組成的訓(xùn)練集和256張圖像組成的測試集。此外，MSRC圖像中的目標(biāo)類面積較大，易于構(gòu)建不同目標(biāo)類之間的共生和關(guān)聯(lián)關(guān)系。但是，MSRC數(shù)據(jù)集中的真值數(shù)據(jù)存在比較粗糙的邊緣標(biāo)注。

3.1.2PASCAL VOC 2012數(shù)據(jù)集

PASCAL VOC 2012[69]是當(dāng)前基于圖像級(jí)標(biāo)簽的弱監(jiān)督圖像語義分割領(lǐng)域使用最為廣泛的自然場景圖像數(shù)據(jù)集，該數(shù)據(jù)集極大地推動(dòng)了圖像語義分割領(lǐng)域的發(fā)展。PASCAL VOC 2012數(shù)據(jù)集包含20個(gè)目標(biāo)類和1個(gè)背景類，由訓(xùn)練集(1 464張圖像)、驗(yàn)證集(1 449張圖像)和測試集(1 456張圖像)三個(gè)圖像子集構(gòu)成，對(duì)應(yīng)的圖像示例如圖3(b)所示。目前，主要以HARIHARAN et al[70]擴(kuò)增后的訓(xùn)練集(10 582張圖像)進(jìn)行分類或分割網(wǎng)絡(luò)的訓(xùn)練。PASCAL VOC 2012數(shù)據(jù)集主要涉及日常生活中的常見物體目標(biāo)，圖像中物體的尺度變化較大、背景復(fù)雜、圖像大小不固定，且同一圖片內(nèi)的不同物體之間往往存在遮擋現(xiàn)象。

3.1.3MS COCO(microsoft common objects in context)數(shù)據(jù)集

MS COCO[71]數(shù)據(jù)集是當(dāng)前弱監(jiān)督圖像語義分割和目標(biāo)檢測領(lǐng)域非常具有挑戰(zhàn)性的自然場景圖像數(shù)據(jù)集。其包含80個(gè)目標(biāo)類和1個(gè)背景類，有123 287張用于測試和訓(xùn)練的圖像(包含80 k訓(xùn)練集和40 k驗(yàn)證集)，圖像示例如圖3(c)所示。MS COCO數(shù)據(jù)集主要是從復(fù)雜的日常場景中獲取，且圖像中的物體均具有精確的位置標(biāo)注。

3.1.4Sift Flow數(shù)據(jù)集

Sift Flow[72]數(shù)據(jù)集是最早被應(yīng)用于基于圖像級(jí)標(biāo)簽的弱監(jiān)督圖像語義分割的數(shù)據(jù)集之一，其是LabelMe數(shù)據(jù)集[73]中的一個(gè)子集。該數(shù)據(jù)集包含33個(gè)目標(biāo)類和3個(gè)地理類別，共由2 688張256×256像素的圖像組成，圖像示例如圖3(d)所示。Sift Flow數(shù)據(jù)集共包含8種戶外場景，如街道、海灘、城市、山脈、建筑等，且每張圖像均有像素級(jí)標(biāo)簽的真值標(biāo)注。與MSRC數(shù)據(jù)集類似，Sift Flow數(shù)據(jù)集圖像中的目標(biāo)類別具有比較大的面積，且易于構(gòu)建不同目標(biāo)類之間的共生和關(guān)聯(lián)。

3.1.5Cityspaces數(shù)據(jù)集

Cityspaces[74]數(shù)據(jù)集由50個(gè)不同背景和季節(jié)的歐洲城市街道場景圖像組成，是當(dāng)前應(yīng)用于交通場景圖像語義分割的重要數(shù)據(jù)集。該數(shù)據(jù)集含有不包括背景在內(nèi)的30個(gè)目標(biāo)類，共由24 998張城市街道場景圖像組成，圖像示例如圖3(e)所示。Cityspaces數(shù)據(jù)集約有5 000張精細(xì)標(biāo)注的圖像、20 000張粗粒度標(biāo)注的圖像，且每一張圖像均包含數(shù)量眾多的目標(biāo)類和復(fù)雜的背景，并存在大量遠(yuǎn)視角的小目標(biāo)。

各數(shù)據(jù)集的特點(diǎn)對(duì)比如表5所示。

表5 不同數(shù)據(jù)集的特點(diǎn)對(duì)比Table 5 Comparison of characteristics of different datasets

圖3 常用數(shù)據(jù)集的圖像示例Fig.3 Image examples of commonly used datasets

3.2 評(píng)價(jià)指標(biāo)

在基于圖像級(jí)標(biāo)簽的弱監(jiān)督圖像語義分割方法中，最為常用的評(píng)價(jià)指標(biāo)為交并比IoU(intersection over union)，即正確分割的正樣本與錯(cuò)誤分割的正樣本、錯(cuò)誤分割的負(fù)樣本、正確分割的正樣本之和的比值。評(píng)價(jià)指標(biāo)IoU反映了算法正確分割的結(jié)果與圖像真值區(qū)域的重合程度。為了評(píng)價(jià)算法對(duì)所有目標(biāo)類的整體分割精度，通常采用所有目標(biāo)類的平均交并比MIoU來進(jìn)行表示。其中，MIoU被定義為：

(1)

式中：N指圖像中的目標(biāo)類別數(shù)；nii表示實(shí)際類別為i，預(yù)測類別為i的像素?cái)?shù)量；ti表示類別i中包含的像素總數(shù)；nji表示實(shí)際類別為i，預(yù)測類別為j的像素?cái)?shù)量。

其次，像素準(zhǔn)確率PA(pixel accuracy)及平均像素準(zhǔn)確率MPA也是弱監(jiān)督圖像語義分割領(lǐng)域常用的評(píng)價(jià)指標(biāo)。其中，PA指圖像中正確分割的像素?cái)?shù)占總像素?cái)?shù)的比例，MPA指所有目標(biāo)類別像素準(zhǔn)確率的平均值，被定義為：

(2)

式中：N指圖像中的目標(biāo)類別數(shù)；nii表示實(shí)際類別為i，預(yù)測類別為i的像素?cái)?shù)量；ti表示類別i中包含的像素總數(shù)。

4 基于圖像級(jí)標(biāo)簽的弱監(jiān)督圖像語義分割方法性能對(duì)比

為了對(duì)現(xiàn)有基于圖像級(jí)標(biāo)簽的弱監(jiān)督圖像語義分割方法進(jìn)行全面和客觀的對(duì)比與分析，本文依據(jù)常用數(shù)據(jù)集的不同對(duì)各方法的性能進(jìn)行了對(duì)比。其中，四個(gè)應(yīng)用最廣泛的數(shù)據(jù)集被選擇，包括：MSRC、PASCAL VOC 2012、MS COCO和Sift Flow.

4.1 MSRC數(shù)據(jù)集上的性能對(duì)比

為了全面分析MSRC[68]數(shù)據(jù)集上各對(duì)比方法的性能，本文對(duì)基于圖像級(jí)標(biāo)簽的弱監(jiān)督圖像語義分割方法的性能進(jìn)行了總結(jié)與對(duì)比，具體的性能指標(biāo)如表6所示。

表6 MSRC數(shù)據(jù)集上的性能對(duì)比Table 6 Performance comparison on MSRC datasets

由表6可知，MSRC數(shù)據(jù)集被較早應(yīng)用于基于圖像級(jí)標(biāo)簽的弱監(jiān)督圖像語義分割，所提方法主要以基于超像素的弱監(jiān)督圖像語義分割方法為主，具體包括以超像素為處理單元的方法和以候選區(qū)域?yàn)樘幚韱卧姆椒?。相比于基于分類網(wǎng)絡(luò)先驗(yàn)的弱監(jiān)督圖像語義分割方法，基于超像素的方法更適用于具有干凈背景和顯著目標(biāo)區(qū)域的MSRC自然場景圖像數(shù)據(jù)集?；诜诸惥W(wǎng)絡(luò)先驗(yàn)的弱監(jiān)督圖像語義分割方法很少在MSRC數(shù)據(jù)集上進(jìn)行驗(yàn)證，原因在于MSRC數(shù)據(jù)集包含的數(shù)據(jù)量較小，很難利用這些少量的數(shù)據(jù)來訓(xùn)練基于深度卷積神經(jīng)網(wǎng)絡(luò)的復(fù)雜分割模型。此外，隨著時(shí)間的增長以及越來越多先進(jìn)技術(shù)的引入，基于MSRC數(shù)據(jù)集的弱監(jiān)督圖像語義分割精度呈現(xiàn)逐漸升高的趨勢，但是基于MSRC數(shù)據(jù)集驗(yàn)證的弱監(jiān)督圖像語義分割方法呈現(xiàn)減少的趨勢。主要原因在于MSRC數(shù)據(jù)集中的目標(biāo)相對(duì)單一，仍然存在一些需要先驗(yàn)信息指導(dǎo)才能高精度識(shí)別的目標(biāo)區(qū)域，這限制了MSRC數(shù)據(jù)集上基于圖像級(jí)標(biāo)簽的弱監(jiān)督圖像語義分割方法性能的進(jìn)一步提升。

4.2 PASCAL VOC 2012數(shù)據(jù)集上的性能對(duì)比

PASCAL VOC 2012[69]數(shù)據(jù)集作為當(dāng)前基于圖像級(jí)標(biāo)簽的弱監(jiān)督圖像語義分割領(lǐng)域最為主流的圖像數(shù)據(jù)集，被廣泛應(yīng)用于驗(yàn)證所提方法的有效性。為此，本文在PASCAL VOC 2012測試集上來評(píng)估各對(duì)比方法的性能，具體的對(duì)比結(jié)果如表7所示。

表7 PASCAL VOC 2012測試集上的性能對(duì)比Table 7 Performance comparison on PASCAL VOC 2012 test sets

由表7可知，PASCAL VOC 2012數(shù)據(jù)集上的驗(yàn)證主要以基于分類網(wǎng)絡(luò)先驗(yàn)的方法為主。該類方法基于預(yù)訓(xùn)練好的分類網(wǎng)絡(luò)來指導(dǎo)圖像級(jí)標(biāo)簽位置推斷，能夠顯著提高所提方法的分割性能。相比于基于超像素的方法被較早提出，基于分類網(wǎng)絡(luò)先驗(yàn)的方法從2015年開始才被顯著關(guān)注，并成為近5年基于圖像級(jí)標(biāo)簽的弱監(jiān)督圖像語義分割的主流方法。鑒于PASCAL VOC 2012數(shù)據(jù)集包含的目標(biāo)類別較多且圖像中包含眾多復(fù)雜的小目標(biāo)區(qū)域，基于分類網(wǎng)絡(luò)先驗(yàn)的弱監(jiān)督圖像語義分割方法更依賴于選擇PASCAL VOC 2012自然場景圖像數(shù)據(jù)集進(jìn)行驗(yàn)證。隨著時(shí)間的增長，面向PASCAL VOC 2012數(shù)據(jù)集驗(yàn)證的弱監(jiān)督圖像語義分割方法的性能也獲得了顯著的提升。原因在于更多有效的判別種子區(qū)域產(chǎn)生方式被提出以及更多有效的種子區(qū)域擴(kuò)張方式和分割網(wǎng)絡(luò)被構(gòu)建。在基于分類網(wǎng)絡(luò)先驗(yàn)的方法中，基于類激活圖定位網(wǎng)絡(luò)的方法要比基于其它分類網(wǎng)絡(luò)的方法更受關(guān)注，但是基于類激活圖定位網(wǎng)絡(luò)的方法僅能識(shí)別出圖像中一些稀疏性的判別區(qū)域，這也成為該類方法精度進(jìn)一步顯著提高的障礙。

4.3 MS COCO數(shù)據(jù)集上的性能對(duì)比

MS COCO[71]數(shù)據(jù)集作為當(dāng)前基于圖像級(jí)標(biāo)簽的弱監(jiān)督圖像語義分割領(lǐng)域最為復(fù)雜的自然場景圖像數(shù)據(jù)集之一，近幾年也常被用于驗(yàn)證所提方法的有效性。相比于PASCAL VOC 2012數(shù)據(jù)集，MS COCO被應(yīng)用于驗(yàn)證算法性能的文獻(xiàn)較少，具體的性能對(duì)比如表8所示。

表8 MS COCO數(shù)據(jù)集上的性能對(duì)比Table 8 Performance comparison on MS COCO datasets

由表8可知，MS COCO數(shù)據(jù)集上所提方法的數(shù)量較少，且所提方法的分割精度相對(duì)較低。主要的原因在于MS COCO數(shù)據(jù)集建立的時(shí)間較晚，其包含80個(gè)目標(biāo)類和1個(gè)背景類，而所有方法均采用MIoU指標(biāo)來驗(yàn)證分割精度，更增加了MS COCO數(shù)據(jù)集上分割性能顯著提高的難度。相比于基于超像素的弱監(jiān)督圖像語義分割方法，基于分類網(wǎng)絡(luò)先驗(yàn)的方法更適合選擇大規(guī)模的MS COCO自然場景數(shù)據(jù)集來驗(yàn)證方法的分割性能。因此，如何構(gòu)建面向大規(guī)模復(fù)雜場景的弱監(jiān)督圖像語義分割算法仍然是一個(gè)非常具有挑戰(zhàn)性的研究問題。

4.4 Sift Flow數(shù)據(jù)集上的性能對(duì)比

Sift Flow[72]數(shù)據(jù)集也是早期用于驗(yàn)證基于圖像級(jí)標(biāo)簽的弱監(jiān)督圖像語義分割方法的常用數(shù)據(jù)集，各對(duì)比方法的性能指標(biāo)如表9所示。

如表9所示，基于Sift Flow數(shù)據(jù)集的弱監(jiān)督圖像語義分割方法主要包括以超像素為處理單元的方法和以候選區(qū)域?yàn)樘幚韱卧姆椒?。和MSRC數(shù)據(jù)集一樣，基于超像素的弱監(jiān)督圖像語義分割方法同樣適用于包含干凈背景和顯著目標(biāo)的Sift Flow數(shù)據(jù)集。該類方法主要集中在2013-2017年之間被廣泛提出，且分割精度隨著時(shí)間的增長成上升趨勢。相比于基于分類網(wǎng)絡(luò)先驗(yàn)的方法，Sift Flow數(shù)據(jù)集上主要以未引入先驗(yàn)信息的基于超像素的方法為主。因此，該類方法的分割精度相對(duì)較低，依然有比較大的提升空間。

表9 Sift Flow數(shù)據(jù)集上的性能對(duì)比Table 9 Performance comparison on Sift Flow datasets

5 總結(jié)與展望

基于圖像級(jí)標(biāo)簽的弱監(jiān)督圖像語義分割研究是近幾年計(jì)算機(jī)視覺領(lǐng)域的熱點(diǎn)研究問題，具有重要的理論研究價(jià)值和廣泛的應(yīng)用前景。依據(jù)圖像級(jí)標(biāo)簽位置推斷方式的不同，本文將基于圖像級(jí)標(biāo)簽的弱監(jiān)督圖像語義分割方法劃分為基于超像素的方法和基于分類網(wǎng)絡(luò)先驗(yàn)的方法，并對(duì)各類方法的原理、優(yōu)缺點(diǎn)、關(guān)鍵環(huán)節(jié)、主要技術(shù)、特征、超像素/候選區(qū)域分割方式、種子區(qū)域產(chǎn)生方式、網(wǎng)絡(luò)結(jié)構(gòu)和數(shù)據(jù)集等進(jìn)行了詳細(xì)的分析和總結(jié)。此外，本文對(duì)基于圖像級(jí)標(biāo)簽的弱監(jiān)督圖像語義分割方法常用的數(shù)據(jù)集和評(píng)價(jià)指標(biāo)同樣進(jìn)行了歸納和總結(jié)，并定量地對(duì)比了各方法的性能。最后，針對(duì)現(xiàn)有方法存在的挑戰(zhàn)和局限性，本文對(duì)基于圖像級(jí)標(biāo)簽的弱監(jiān)督圖像語義分割下一步的研究方向進(jìn)行了展望與預(yù)測。

1) 面向大規(guī)模多媒體分享網(wǎng)站大數(shù)據(jù)的弱監(jiān)督圖像語義分割。多媒體分享網(wǎng)站提供了大量帶有社會(huì)標(biāo)簽的圖像/視頻數(shù)據(jù)，如何基于這些用戶貢獻(xiàn)的圖像/視頻數(shù)據(jù)挖掘弱監(jiān)督標(biāo)簽信息，進(jìn)而搜集和構(gòu)建大規(guī)模圖像級(jí)標(biāo)簽標(biāo)注的圖像數(shù)據(jù)集，并用于圖像級(jí)標(biāo)簽位置推斷和分割網(wǎng)絡(luò)訓(xùn)練是一個(gè)重要的研究方向。但是，基于多媒體分享網(wǎng)站構(gòu)建的訓(xùn)練數(shù)據(jù)往往包含比較嚴(yán)重的噪聲標(biāo)簽。因此，如何減少噪聲標(biāo)簽的影響也是該研究方向面臨的一個(gè)難題。

2) 特定應(yīng)用場景下的弱監(jiān)督圖像語義分割。圖像語義分割近幾年被廣泛關(guān)注的一個(gè)重要原因在于其不僅具有重要的理論研究意義，還可以為各種應(yīng)用場景提供核心的技術(shù)支撐。例如，自動(dòng)駕駛、智能監(jiān)控、3D城市建模、遙感圖像分析、輔助醫(yī)療等應(yīng)用場景均需要高精度的圖像語義分割。因此，如何基于弱監(jiān)督標(biāo)簽的標(biāo)注，聚焦于交通、遙感、醫(yī)學(xué)等具體應(yīng)用場景的關(guān)鍵技術(shù)和語義分割算法研究是一個(gè)重要的研究方向。

3) 高質(zhì)量和稠密的圖像級(jí)標(biāo)簽位置推斷策略。圖像級(jí)到像素級(jí)的標(biāo)簽位置推斷依然是當(dāng)前基于圖像級(jí)標(biāo)簽的弱監(jiān)督圖像語義分割面臨的最大挑戰(zhàn)。雖然現(xiàn)有的方法可以通過引入超像素或者額外的先驗(yàn)信息來指導(dǎo)圖像級(jí)標(biāo)簽的位置推斷，但是，當(dāng)前基于圖像級(jí)標(biāo)簽的弱監(jiān)督圖像語義分割與基于像素級(jí)標(biāo)簽的全監(jiān)督圖像語義分割還存在比較大的差距。因此，如何構(gòu)建更加有效的圖像級(jí)標(biāo)簽位置推斷策略，進(jìn)而高質(zhì)量和稠密地定位圖像級(jí)標(biāo)簽在圖像中的位置信息是一個(gè)重要的研究方向。