張華悅，張順利，張 利

（清華大學(xué)電子工程系，北京 100084）

0 概述

近年來(lái)，深度學(xué)習(xí)技術(shù)的發(fā)展使得目標(biāo)分割在自動(dòng)駕駛、圖像分析等領(lǐng)域得到廣泛應(yīng)用與發(fā)展，但以往對(duì)分割任務(wù)的研究主要集中于自動(dòng)語(yǔ)義分割［1-3］、實(shí)例分割［4-6］和全場(chǎng)景分割［7-8］等方面，而對(duì)交互式目標(biāo)分割算法的研究較少。當(dāng)人在一張圖中通過(guò)某種交互方式標(biāo)注出自己感興趣的目標(biāo)時(shí)，交互式目標(biāo)分割可以有針對(duì)性地將此目標(biāo)物體從原圖中分割出，因此，其在現(xiàn)實(shí)中應(yīng)用更加廣泛，如利用交互式分割在深度學(xué)習(xí)中對(duì)圖像數(shù)據(jù)的實(shí)例進(jìn)行像素級(jí)標(biāo)注、在手機(jī)端的圖像娛樂(lè)軟件中進(jìn)行目標(biāo)摳圖以及將該方法應(yīng)用于平面圖像設(shè)計(jì)或醫(yī)學(xué)圖像領(lǐng)域［9］等。

在交互式分割中，可以將交互方式分為單輪交互和多輪交互2種。文獻(xiàn)［10］中的多輪交互方法通過(guò)第一次交互標(biāo)出目標(biāo)的邊界框得到初步的分割結(jié)果，然后每次交互時(shí)通過(guò)標(biāo)出錯(cuò)分區(qū)域來(lái)對(duì)上一輪分割結(jié)果進(jìn)行修正，直到結(jié)果滿意為止。由于多輪交互過(guò)程復(fù)雜且具有低效性，因此本文主要研究單輪交互方式。在單輪交互中，只通過(guò)初始的一次交互直接得到分割結(jié)果。文獻(xiàn)［11］中的GrabCut算法和文獻(xiàn)［12］中的水平集算法均基于傳統(tǒng)機(jī)器學(xué)習(xí)算法進(jìn)行分割，文獻(xiàn)［13］中基于深度學(xué)習(xí)的DEXTR算法采用四點(diǎn)交互法（標(biāo)注目標(biāo)的最上、最下、最左、最右邊界點(diǎn)），在ROI中進(jìn)行大目標(biāo)分割。

基于ROI的交互方式可以較好地繼承和利用傳統(tǒng)圖像分割算法并在構(gòu)造交互數(shù)據(jù)集時(shí)更為便利，但其也存在一定不足，一是當(dāng)目標(biāo)物體具有細(xì)長(zhǎng)支架的結(jié)構(gòu)時(shí)，通過(guò)外接矩形框獲取的ROI中僅含有占比極少的前景像素，使得網(wǎng)絡(luò)難以判別前景信息，二是部分目標(biāo)的4個(gè)邊界點(diǎn)不清晰，一旦邊界點(diǎn)標(biāo)注錯(cuò)誤就會(huì)造成分割結(jié)果截?cái)唷Ｒ延薪换ナ椒指罘椒ɡ肍CN［1］和Deeplab系列［14-16］等經(jīng)典圖像分割方法，將ROI信息僅在輸入端一次性地輸入圖像分割網(wǎng)絡(luò)，這種直接的方法難以充分利用交互信息，使得分割結(jié)果較為粗糙，尤其是在多個(gè)物體之間緊密交叉重疊或目標(biāo)連通性較差的情況下，其分割結(jié)果更加不完整。

本文采用在目標(biāo)內(nèi)部隨機(jī)涂畫(huà)的交互方式，利用骨架隨機(jī)性仿真算法模擬大數(shù)據(jù)下的人機(jī)交互情景，構(gòu)建一種基于雙階段網(wǎng)絡(luò)的精目標(biāo)分割模型ScribNet，以充分利用交互信息并對(duì)交互目標(biāo)進(jìn)行更精細(xì)和完整的分割。

1 交互方式

在四點(diǎn)交互法中，每個(gè)目標(biāo)的4個(gè)端點(diǎn)是固定不變的，容易出現(xiàn)誤標(biāo)而導(dǎo)致誤分的情況。相比而言，本文采用的涂畫(huà)式交互允許人們?cè)谀繕?biāo)中涂畫(huà)任意形狀的曲線，其具有更好的容錯(cuò)性和魯棒性，也正因如此，訓(xùn)練數(shù)據(jù)時(shí)對(duì)這種交互數(shù)據(jù)的仿真更為困難。針對(duì)該問(wèn)題，本文提出一種骨架仿真算法以在大數(shù)據(jù)上實(shí)現(xiàn)仿真涂畫(huà)式交互。

1.1 涂畫(huà)式交互

在給定一張圖像后，本文方法允許人在圖像中的興趣目標(biāo)區(qū)域內(nèi)涂畫(huà)任意形狀的曲線，不超出目標(biāo)區(qū)域即可。涂畫(huà)的曲線涉及更多的目標(biāo)區(qū)域，將更能提高目標(biāo)分割的完整性，例如對(duì)于圖1所示（圖中曲線表示交互曲線）的嬰兒而言，本文自左到右的交互假設(shè)將越來(lái)越有益于分割。

圖1 不同的涂畫(huà)交互方式假設(shè)Fig.1 Hypothesis of different painting interaction modes

在網(wǎng)絡(luò)學(xué)習(xí)階段，交互曲線由骨架隨機(jī)性仿真算法計(jì)算得到，該算法將在1.2節(jié)中進(jìn)行詳細(xì)闡述。在實(shí)際應(yīng)用中，交互曲線則由人為交互涂畫(huà)產(chǎn)生。在得到涂畫(huà)的交互曲線P后，將曲線通過(guò)高斯編碼形成交互指導(dǎo)信息圖以用于后續(xù)分割算法。具體步驟為：

1）以曲線上的每個(gè)坐標(biāo)點(diǎn)(x0，y0)∈P為中心，建立與原圖等大的二維高斯分布圖，每個(gè)坐標(biāo)點(diǎn)處的g（x，y）值表示中心點(diǎn)（x0，y0）對(duì)周?chē)袼兀▁，y）的影響程度，表達(dá)式如下：

其中，方差σ2取經(jīng)驗(yàn)值40。

2）針對(duì)曲線上所有點(diǎn)形成的高斯分布圖，在每個(gè)像素位置取最大影響值，形成最終的交互信息圖，將其記作I。

1.2 骨架隨機(jī)性仿真算法

在深度學(xué)習(xí)的模型訓(xùn)練及驗(yàn)證過(guò)程中，人為標(biāo)注的大量交互數(shù)據(jù)會(huì)消耗巨大的人力成本。本文對(duì)視頻交互方法［17-18］進(jìn)行改進(jìn)，提出提高交互曲線隨機(jī)性的骨架隨機(jī)性仿真算法，并模擬實(shí)際情況中人的隨機(jī)涂畫(huà)交互行為，以在大數(shù)據(jù)上進(jìn)行交互仿真。本文算法除在目標(biāo)物體的骨架中求取最長(zhǎng)路徑外，還通過(guò)求取骨架中任意點(diǎn)到其他點(diǎn)最遠(yuǎn)距離的方法使得計(jì)算出的交互曲線具有多樣性和隨機(jī)性，以豐富訓(xùn)練數(shù)據(jù)集。骨架仿真算法的具體描述如算法1所示，圖2中的白色曲線即為相應(yīng)示例圖的仿真結(jié)果。

算法1骨架隨機(jī)性交互仿真算法

圖2 骨架隨機(jī)性仿真算法的仿真交互結(jié)果Fig.2 Simulation interaction results of skeleton randomness simulation algorithm

2 雙階段交互式分割網(wǎng)絡(luò)

雙階段交互式分割網(wǎng)絡(luò)由順序級(jí)聯(lián)的粗分割（粗預(yù)測(cè)）和優(yōu)化（細(xì)預(yù)測(cè)）2個(gè)階段組成，在2個(gè)階段的輸出端，均有損失函數(shù)進(jìn)行顯式監(jiān)督，完整的網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 雙階段交互式分割網(wǎng)絡(luò)框架Fig.3 Two-stage interactive segmentation network framework

2.1 粗分割階段

近年來(lái)，性能較優(yōu)的自動(dòng)分割網(wǎng)絡(luò)大多呈現(xiàn)為編、解碼結(jié)構(gòu)，如SegNet［19］、U-Net［3］和Deeplab v3+［16］等。在該結(jié)構(gòu)中，特征的上、下采樣和跳躍式連接可以增大卷積核的感受野，并利用多尺度信息獲得較好的分割結(jié)果。因此，在本文ScribNet模型的粗分割階段，采用編、解碼的網(wǎng)絡(luò)結(jié)構(gòu)，如圖3中E（Encoder）和D（Decoder）模塊所示。

在傳統(tǒng)的分割任務(wù)中，網(wǎng)絡(luò)采用三通道RGB數(shù)據(jù)作為輸入，并實(shí)現(xiàn)自動(dòng)的全圖場(chǎng)景分割或特定類(lèi)別實(shí)例分割。在以人為交互主體的交互式目標(biāo)分割任務(wù)中，除通過(guò)RGB通道獲取全圖信息外，網(wǎng)絡(luò)還利用交互指導(dǎo)信息圖獲取交互主體的分割意圖，并將其作為第4個(gè)輸入通道。本文采用高斯編碼結(jié)果作為交互指導(dǎo)信息圖I，形成網(wǎng)絡(luò)的RGBI四通道輸入數(shù)據(jù)。在輸出端，得到一張像素級(jí)預(yù)測(cè)的目標(biāo)前景概率圖，通過(guò)Sigmoid和二值化操作得到像素級(jí)預(yù)測(cè)結(jié)果，如式（2）所示，其中，1表示預(yù)測(cè)為目標(biāo)前景，0表示預(yù)測(cè)為目標(biāo)背景。該結(jié)果為交互分割的粗分割結(jié)果，記作C，如圖3中階段1所示。由于輔助損失函數(shù)在此處進(jìn)行了顯式監(jiān)督，使得粗分割結(jié)果可以正確預(yù)測(cè)大部分像素的類(lèi)別。

2.2 優(yōu)化階段

隨著網(wǎng)絡(luò)層的加深，在輸入端輸入的RGB信息和交互指導(dǎo)信息被逐漸地削弱，尤其是到了網(wǎng)絡(luò)的輸出端（也稱為預(yù)測(cè)層）。因此，優(yōu)化階段將對(duì)第1階段的粗分割結(jié)果進(jìn)行細(xì)化，先將第1階段輸入端的RGB信息和交互信息I通過(guò)跳躍式連接的方式與粗分割結(jié)果C疊加在一起形成RGBIC五通道數(shù)據(jù)，輸入優(yōu)化階段，再經(jīng)過(guò)圖3中的R（Refinement）模塊輸出最終的分割結(jié)果，即為優(yōu)化分割或細(xì)預(yù)測(cè)結(jié)果，如圖3中的階段2所示。

ScribNet優(yōu)化階段對(duì)粗分割結(jié)果的細(xì)化具有有效性主要有以下3個(gè)原因：

1）從信息利用角度而言，網(wǎng)絡(luò)的2個(gè)階段均有RGB和交互信息作為輸入，實(shí)現(xiàn)了對(duì)輸入信息的充分利用，尤其是對(duì)底層信息起到了強(qiáng)化補(bǔ)充的作用。同時(shí)，優(yōu)化階段輸入的第5個(gè)粗分割通道，可以看作目標(biāo)分割的先驗(yàn)知識(shí)，其告知了網(wǎng)絡(luò)目標(biāo)前景、背景的主體大致區(qū)域，能夠?qū)换ツ繕?biāo)實(shí)現(xiàn)更加準(zhǔn)確的定位。

2）從網(wǎng)絡(luò)學(xué)習(xí)角度而言，由于目標(biāo)主體部位像素的分布已經(jīng)在粗分割階段學(xué)習(xí)完畢，因此在優(yōu)化階段中損失函數(shù)的構(gòu)成主要來(lái)自錯(cuò)分的像素，包括被錯(cuò)分的邊緣處像素和部分主體像素，使得優(yōu)化階段的網(wǎng)絡(luò)可以針對(duì)性地對(duì)預(yù)測(cè)細(xì)節(jié)進(jìn)行學(xué)習(xí)，起到對(duì)粗分割結(jié)果進(jìn)行“查漏補(bǔ)缺”的作用。

3）從網(wǎng)絡(luò)結(jié)構(gòu)角度而言，由于優(yōu)化僅需學(xué)習(xí)前一階段的錯(cuò)分區(qū)域，網(wǎng)絡(luò)任務(wù)明確，因此優(yōu)化階段的網(wǎng)絡(luò)結(jié)構(gòu)可以很簡(jiǎn)潔。此外，為了避免由于分辨率的變化造成細(xì)節(jié)信息丟失的問(wèn)題，該網(wǎng)絡(luò)結(jié)構(gòu)中未采取任何升采樣或降采樣操作，完全由圖像原始分辨率下的若干層卷積和非線性激活操作組成，如圖4所示。

圖4 優(yōu)化階段的R模塊結(jié)構(gòu)Fig.4 R module structure in optimization stage

2.3 算法性能分析

本文交互式目標(biāo)分割算法采用骨架仿真算法模擬隨機(jī)涂畫(huà)式交互，具有標(biāo)注成本低、交互容錯(cuò)率高的優(yōu)勢(shì)，同時(shí)采用雙階段網(wǎng)絡(luò)實(shí)現(xiàn)精細(xì)化分割，使得分割結(jié)果具有更高的準(zhǔn)確率和魯棒性。

在對(duì)大數(shù)據(jù)進(jìn)行交互時(shí)，四點(diǎn)式交互極易出現(xiàn)交互錯(cuò)誤的現(xiàn)象，由于目標(biāo)的4個(gè)端點(diǎn)固定且唯一，一旦交互標(biāo)注錯(cuò)誤就會(huì)對(duì)目標(biāo)造成截?cái)唷６疚牟捎玫墓羌芊抡嫠惴ㄔ诒苊獯罅咳肆换コ杀镜耐瑫r(shí)，通過(guò)引入隨機(jī)子路徑使得仿真交互數(shù)據(jù)具有一定的隨機(jī)性，即無(wú)論是在網(wǎng)絡(luò)訓(xùn)練還是驗(yàn)證階段，算法均可以對(duì)同一張目標(biāo)圖像仿真出多種不同的交互曲線，從而提高數(shù)據(jù)集的多樣性以及模型在實(shí)際應(yīng)用中對(duì)人為涂畫(huà)交互的容錯(cuò)率。

本文算法采用雙階段網(wǎng)絡(luò)結(jié)構(gòu)，在粗分割階段獲得初始預(yù)測(cè)結(jié)果，初始預(yù)測(cè)中被錯(cuò)分的像素區(qū)域也有機(jī)會(huì)在優(yōu)化階段被糾正和優(yōu)化，使得分割結(jié)果更加準(zhǔn)確，尤其對(duì)于某些較難分割的情況，如圖像彼此之間存在緊密重疊的目標(biāo)或在交互中未被直接標(biāo)注的目標(biāo)區(qū)域，雙階段網(wǎng)絡(luò)結(jié)構(gòu)具有更高的魯棒性。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)與評(píng)價(jià)指標(biāo)

本文雙階段交互式目標(biāo)分割算法可以實(shí)現(xiàn)任意類(lèi)別、不同實(shí)例的目標(biāo)前背景分離，因此，分別利用COCO［20］和PASCAL［21］（SBD［22］的擴(kuò)展）數(shù)據(jù)集，構(gòu)造本文實(shí)驗(yàn)所用的目標(biāo)分割數(shù)據(jù)集。具體步驟為：首先，分別在原數(shù)據(jù)集的圖像中提取每一個(gè)實(shí)例；然后，以任意大小、任意位置的矩形剪裁出該實(shí)例以形成新的圖像和真值對(duì)。由于COCO和PASCAL數(shù)據(jù)集的一張圖像中平均包含3個(gè)～5個(gè)實(shí)例，因此構(gòu)造出的新數(shù)據(jù)集的規(guī)模也相應(yīng)地比原始數(shù)據(jù)集大3倍～5倍，從而保證了數(shù)據(jù)的豐富性。需要說(shuō)明的是，下文提到COCO和PASCAL數(shù)據(jù)集時(shí)，均指本文實(shí)驗(yàn)新構(gòu)造出的交互式目標(biāo)分割數(shù)據(jù)集。同時(shí)，為了進(jìn)一步保證仿真交互的多樣性，即一張圖像可以有多種甚至無(wú)數(shù)種交互方式，本文實(shí)驗(yàn)沒(méi)有提前一次性地為所有訓(xùn)練數(shù)據(jù)生成仿真交互圖，而是在訓(xùn)練過(guò)程中實(shí)時(shí)地進(jìn)行仿真交互，使得同一張圖重復(fù)出現(xiàn)時(shí)其對(duì)應(yīng)的交互結(jié)果不一樣，符合現(xiàn)實(shí)中的交互分割邏輯。

在單類(lèi)別前背景分割問(wèn)題中，本文實(shí)驗(yàn)使用目標(biāo)前景的mIoU（mean Intersection over Union）作為結(jié)果衡量指標(biāo)，其具體計(jì)算方式如式（3）所示：

其中，N表示數(shù)據(jù)規(guī)模，F(xiàn)表示前景目標(biāo)區(qū)域。

3.2 優(yōu)化階段的網(wǎng)絡(luò)設(shè)計(jì)

雙階段級(jí)聯(lián)的網(wǎng)絡(luò)框架會(huì)因?yàn)榫W(wǎng)絡(luò)層的增多而提高運(yùn)算量。為了保證預(yù)測(cè)結(jié)果的精細(xì)化，避免由于特征分辨率的變化造成細(xì)節(jié)精度降低的問(wèn)題，優(yōu)化階段的網(wǎng)絡(luò)均由相同原始分辨率下的卷積和非線性激活層構(gòu)成。為了在預(yù)測(cè)精度和運(yùn)算量（優(yōu)化階段網(wǎng)絡(luò)層數(shù)目）之間實(shí)現(xiàn)折中，本文進(jìn)行優(yōu)化階段的網(wǎng)絡(luò)設(shè)計(jì)實(shí)驗(yàn)。

當(dāng)優(yōu)化階段的特征通道數(shù)為64、取不同數(shù)目的卷積激活層時(shí)，模型的預(yù)測(cè)精度和模型大小如表1所示。從表1可以看出：當(dāng)卷積層數(shù)為0即僅有粗分割階段而不添加優(yōu)化階段時(shí)，初始模型大小為237.36 MB；在優(yōu)化階段中增加少量卷積層，網(wǎng)絡(luò)規(guī)模小幅增加；當(dāng)網(wǎng)絡(luò)層數(shù)為4時(shí)，預(yù)測(cè)精度的提升相對(duì)較大，模型規(guī)模僅增加0.31 MB，此時(shí)的雙階段網(wǎng)絡(luò)結(jié)構(gòu)在增加少許運(yùn)算量的情況下取得了較大幅度的預(yù)測(cè)精度提升，說(shuō)明了本文網(wǎng)絡(luò)結(jié)構(gòu)的合理性。

表1 優(yōu)化階段不同卷積層數(shù)下的模型大小和mIoU值Table 1 Model sizes and mIoU values under different convolution levels in optimization stage

3.3 雙階段網(wǎng)絡(luò)的有效性實(shí)驗(yàn)

本文雙階段網(wǎng)絡(luò)的目的是在交互式目標(biāo)分割任務(wù)中實(shí)現(xiàn)更為精細(xì)的目標(biāo)分割，網(wǎng)絡(luò)由分割和優(yōu)化2個(gè)階段構(gòu)成，在2個(gè)階段的末端均有結(jié)果預(yù)測(cè)和真值監(jiān)督。為體現(xiàn)ScribNet中優(yōu)化階段的有效性，本文分別將U-Net［3］、SegNet［19］和Deeplab［16］3個(gè)分割網(wǎng)絡(luò)應(yīng)用于ScribNet的第1個(gè)粗分割階段，并分別記作U-ScribNet、Seg-ScribNet和Deep-ScribNet。在COCO和PASCAL數(shù)據(jù)集上進(jìn)行預(yù)測(cè)，統(tǒng)計(jì)3個(gè)ScribNet模型在各自2個(gè)階段中的預(yù)測(cè)mIoU值，結(jié)果如表2所示，同時(shí)，為了更直觀地顯示雙階段網(wǎng)絡(luò)在提高目標(biāo)邊緣精度和分割完整性上的優(yōu)勢(shì)，通過(guò)圖5呈現(xiàn)表2中Deep-ScribNet模型的部分可視化結(jié)果。

表2 ScribNet的粗分割和優(yōu)化分割結(jié)果對(duì)比Table 2 Comparison of coarse segmentation and optimized segmentation results of ScribNet %

圖5 不同階段的分割結(jié)果對(duì)比Fig.5 Comparison of segmentation results in different stages

從表2可以看出，粗分割的預(yù)測(cè)結(jié)果精度較低，優(yōu)化階段是對(duì)初始預(yù)測(cè)結(jié)果的進(jìn)一步細(xì)化，優(yōu)化階段的添加使得3個(gè)模型的預(yù)測(cè)精度均比粗分割提高了1個(gè)～3個(gè)百分點(diǎn)。通過(guò)圖5中粗、細(xì)預(yù)測(cè)的對(duì)比結(jié)果可以看出，優(yōu)化階段的精細(xì)化主要體現(xiàn)在目標(biāo)邊緣的銳化、前景響應(yīng)值的增強(qiáng)和背景響應(yīng)值的抑制。在圖中矩形框區(qū)域，粗分割會(huì)在某些背景處產(chǎn)生較高的響應(yīng)值，這些錯(cuò)誤響應(yīng)在優(yōu)化階段中被有效抑制和糾正；相反地，在粗分割中響應(yīng)較弱的目標(biāo)主體在優(yōu)化階段也得到了加強(qiáng)，緩解了由于目標(biāo)交叉造成的預(yù)測(cè)混淆問(wèn)題。因此，雙階段網(wǎng)絡(luò)的框架設(shè)計(jì)能夠有效實(shí)現(xiàn)對(duì)圖像的精細(xì)化分割。

3.4 不同方法對(duì)比實(shí)驗(yàn)

為體現(xiàn)涂畫(huà)式交互方法在時(shí)間上的高效性，本文將DEXTR［13］與ScribNet進(jìn)行比較，其中，DEXTR采用四端點(diǎn)式交互，ScribNet采用涂畫(huà)式交互。實(shí)驗(yàn)分別從COCO和PASCAL驗(yàn)證集中隨機(jī)抽取500張圖像進(jìn)行實(shí)際人工交互，統(tǒng)計(jì)平均交互時(shí)間，結(jié)果如表3所示。四端點(diǎn)式交互由于需要精準(zhǔn)地找到4個(gè)頂點(diǎn)，平均每張圖像需要消耗2.3 s的時(shí)間，而涂畫(huà)式交互平均只消耗1.5 s時(shí)間，后者更為高效。2種方法的分割網(wǎng)絡(luò)運(yùn)行時(shí)間均只需要300 ms左右，可見(jiàn)，交互操作占據(jù)了整個(gè)交互式分割過(guò)程的大部分時(shí)間，交互效率的提高對(duì)整個(gè)系統(tǒng)的性能提升具有重要意義。

表3 不同交互方式的交互時(shí)間對(duì)比Table 3 Comparison of interaction time of different interaction modess

為了驗(yàn)證ScribNet中交互指導(dǎo)信息圖及雙階段網(wǎng)絡(luò)結(jié)構(gòu)的有效性，本文將ScribNet與基于傳統(tǒng)機(jī)器學(xué)習(xí)的交互式分割方法GrabCut［12］、基于深度學(xué)習(xí)的實(shí)例分割方法Deeplab v3+［16］以及DEXTR方法［13］進(jìn)行比較，表4所示為COCO和PASCAL驗(yàn)證集上的分割mIoU結(jié)果對(duì)比。

表4 不同方法的分割精度對(duì)比Table 4 Comparison of segmentation accuracy of different methods %

從表4可以看出，Deeplab v3+為三通道輸入的自動(dòng)圖像分割方法，ScribNet為四通道輸入的交互式圖像分割方法，后者相對(duì)前者在COCO和PASCAL數(shù)據(jù)集上的精度分別提升14.3個(gè)和7.1個(gè)百分點(diǎn)，輸入的交互信息通道向網(wǎng)絡(luò)提供了待分割目標(biāo)的位置信息，從而大幅提高了預(yù)測(cè)精度。3種交互式分割方法相比，ScribNet在2個(gè)數(shù)據(jù)集上較GrabCut有顯著的精度提升，在PASCAL和COCO數(shù)據(jù)集上的精度相比DEXTR分別提升了0.9個(gè)和3.0個(gè)百分點(diǎn)。

圖6所示為上述算法的一組可視化結(jié)果，從圖6可以看出，ScribNet在目標(biāo)完整度、邊緣精度以及對(duì)交叉目標(biāo)的區(qū)分等方面均優(yōu)于其他方法。

圖6 不同方法的分割結(jié)果對(duì)比Fig.6 Comparison of segmentation results of different methods

4 結(jié)束語(yǔ)

本文針對(duì)交互式目標(biāo)分割任務(wù)，提出一種基于雙階段網(wǎng)絡(luò)的交互式目標(biāo)分割方法。采用涂畫(huà)式交互方式提高實(shí)際交互的魯棒性和容錯(cuò)率，通過(guò)骨架仿真算法節(jié)省大數(shù)據(jù)交互標(biāo)注的人力成本。將交互信息編碼輸入網(wǎng)絡(luò)，實(shí)現(xiàn)交互信息的直接利用，添加優(yōu)化模塊構(gòu)成雙階段網(wǎng)絡(luò)結(jié)構(gòu)，通過(guò)多次充分利用輸入信息來(lái)提高分割結(jié)果的邊緣精度和目標(biāo)完整度。實(shí)驗(yàn)結(jié)果驗(yàn)證了該方法的高效性。后續(xù)將在網(wǎng)絡(luò)的不同特征尺度階段，通過(guò)多階段監(jiān)督學(xué)習(xí)等方式來(lái)充分利用交互信息，以進(jìn)一步提高交互分割的精度。