馮夫健 楊 圓 譚 棉 茍洪山 梁椅輝 王 林

摳圖作為圖像處理中的重要技術(shù)之一,廣泛應(yīng)用于圖像合成、視頻編輯、直播及影視特效等領(lǐng)域[1-3],并且隨著高分辨率以及超高分辨率圖像的應(yīng)用,自然場(chǎng)景下的高分辨率圖像摳圖技術(shù)成為目前研究的一個(gè)熱點(diǎn)問題[4].在圖像摳圖中,前景遮罩值的提取精度決定合成圖像質(zhì)量的優(yōu)劣.此外,高分辨率圖像局部區(qū)域中的顏色信息更細(xì)膩,像素的前景信息和背景信息更相似,這將導(dǎo)致前景遮罩提取過程中容易出現(xiàn)摳反的問題.前景遮罩值的摳反將直接影響摳圖的質(zhì)量.因此,高分辨率圖像前景遮罩提取過程中的摳反問題成為當(dāng)前亟待解決的一個(gè)關(guān)鍵問題.

自Porter等[5]提出圖像前景遮罩的概念后,引入alpha通道,構(gòu)造圖像前景遮罩提取模型.在該模型中,任意像素點(diǎn)p的顏色值Ip可以由原始圖像中的前景顏色Fp和背景顏色Bp線性表示,即

Ip=αpFp+(1-αp)Bp,

(1)

其中,αp表示像素點(diǎn)p的前景遮罩值,物理意義為像素點(diǎn)p的不透明程度,0≤αp≤1.當(dāng)αp=1時(shí),像素點(diǎn)p為完全不透明的前景像素信息,當(dāng)αp=0時(shí),像素點(diǎn)p為完全透明的背景像素信息,當(dāng)αp∈(0,1)時(shí),像素點(diǎn)p為半透明的前景和背景的混合像素信息.

對(duì)于一幅具有RGB三通道的彩色圖像,Fp、Bp均為三維未知向量,αp為未知標(biāo)量.因此,該摳圖模型是一個(gè)未知量個(gè)數(shù)大于方程數(shù)量的欠定問題[5].為了能精確求解α值,Rhemann等[6]在摳圖過程中引入三分圖的概念,將圖像劃分成已知前景F、已知背景B和未知區(qū)域U三個(gè)部分,其中F、B、U分別對(duì)應(yīng)α為0、1、未知的區(qū)域.

近年來,高分辨率圖像前景遮罩提取問題已經(jīng)引起計(jì)算機(jī)視覺領(lǐng)域研究人員的高度重視,針對(duì)摳圖問題已有一定的研究基礎(chǔ)[7-8].

在傳統(tǒng)圖像前景遮罩提取方面,基于傳播的方法[9]和基于采樣的方法[10]利用前景遮罩取得不少的研究成果.Huang等[11]設(shè)計(jì)PDMS(Pixel-Level Discrete Multiobjective Sampling Method),有效求解超像素采樣方法中存在的采樣空間不完整、最優(yōu)樣本丟失問題.在補(bǔ)丁圖像摳圖方法的基礎(chǔ)上,Cao等[12]采用綜合采樣和隨機(jī)游走算法以加速摳圖模型,提出基于補(bǔ)丁的高分辨率圖像和視頻自適應(yīng)摳圖算法,將自適應(yīng)框架擴(kuò)展到視頻摳圖,減少計(jì)算機(jī)內(nèi)存的消耗.針對(duì)輸入圖像透明前景區(qū)域提取精度較低的問題,Zhu等[13]設(shè)計(jì)前景的透明度類型檢測(cè)策略,并根據(jù)其透明度類型提出ATPM(Adaptive Transparency-Based Propagation Matting).針對(duì)高分辨率圖像摳圖計(jì)算速度較慢的問題,Weng等[14]提出SSAM(Shared Sampling Alpha Matting),與OpenMP(Open Multi-processing)進(jìn)行并行運(yùn)算,在多核服務(wù)器平臺(tái)上加快高分辨率圖像摳圖的計(jì)算速度.Tang等[15]提出基于學(xué)習(xí)的采樣方法,利用深度神經(jīng)網(wǎng)絡(luò)估計(jì)前景層、背景層的顏色,進(jìn)行分層采樣,從而提高前景遮罩值估計(jì)的性能.

此外,針對(duì)輸入圖像局部復(fù)雜區(qū)域前景遮罩提取精度較低的問題,Feng等[16]設(shè)計(jì)WMGA(Weight Map Generation Algorithm),測(cè)量輸入圖像與真實(shí)前景遮罩圖像之間的局部差異,提取局部復(fù)雜區(qū)域,從而提高前景遮罩的精度.Aksoy等[9]通過已知透明度區(qū)域到未知區(qū)域以及未知區(qū)域內(nèi)部的信息傳遞,提高局部復(fù)雜區(qū)域的前景遮罩提取精度.

上述研究主要分析像素之間的相關(guān)性以及前景背景像素對(duì)的采樣規(guī)則,實(shí)現(xiàn)前景遮罩的提取.相對(duì)而言,針對(duì)高分辨率圖像中存在的局部前景背景信息相似時(shí)出現(xiàn)的摳反問題研究較少.

基于優(yōu)化的前景遮罩提取方法將摳圖問題建模成像素對(duì)優(yōu)化問題,為未知區(qū)域中的每個(gè)未知像素搜索最優(yōu)的一組前景背景像素對(duì).Liang等[17]將前景遮罩提取問題建模成基于前景、背景像素對(duì)的組合優(yōu)化問題,針對(duì)現(xiàn)有啟發(fā)式算法求解過程中的過早收斂問題,提出PSO-ACSC(Particle Swarm Optimi-zation-Adaptive Convergence Speed Controller).Liang等[18]針對(duì)計(jì)算資源和代價(jià)問題,提出PMF(Pyramid Matting Framework),利用圖像金字塔,將大規(guī)模像素對(duì)優(yōu)化問題轉(zhuǎn)化為多個(gè)不同尺度的子優(yōu)化問題,在不充足計(jì)算機(jī)資源情況下仍能提取較好的前景遮罩.針對(duì)大規(guī)模采樣摳圖的全局優(yōu)化問題,Mohapatra等[19]提出NCSO(Novel Competitive Swarm Optimizer),提高摳圖精度.針對(duì)基于采樣的摳圖方法的不確定多準(zhǔn)則優(yōu)化問題,Liang等[20]提出FMCE(Fuzzy Multicriteria Evaluation)和MOEA-MCD(Multi-objective Evolutionary Algorithm Based on Multicriteria Decomposition).Wang等[21]針對(duì)人像摳圖問題,設(shè)計(jì)快速自動(dòng)人像摳圖方法,利用多模型高斯過程回歸對(duì)人像邊緣區(qū)域進(jìn)行檢測(cè),提高人像摳圖的精度.此外,針對(duì)高清圖像規(guī)模較大難以直接求解的問題,馮夫健等[22]提出基于分組協(xié)同的群體競(jìng)爭(zhēng)優(yōu)化算法(Competitive Swarm Optimization Algorithm Based on Group Collaboration, GC-CSO),對(duì)問題分解后同時(shí)估計(jì)每組的前景遮罩,實(shí)現(xiàn)前景遮罩的并行提取.

綜上所述,雖然基于優(yōu)化的前景遮罩提取方法在高清圖像前景遮罩提取問題上取得一定成果,但對(duì)于當(dāng)前景背景信息極相似時(shí)容易出現(xiàn)摳反(前景像素?fù)赋杀尘跋袼鼗虮尘跋袼負(fù)赋汕熬跋袼?的問題關(guān)注較少.因此,針對(duì)高分辨率圖像這一大規(guī)模組合優(yōu)化問題中出現(xiàn)的摳反問題仍需要進(jìn)一步的研究.

高分辨率圖像摳圖問題本質(zhì)上是一個(gè)大規(guī)模的組合優(yōu)化問題[17],但當(dāng)高分辨率圖像中存在局部前景背景信息極相似時(shí),容易出現(xiàn)前景摳成背景、背景摳成前景的摳反問題.因此,本文設(shè)計(jì)決策集分解策略,將圖像摳圖這一大規(guī)模組合優(yōu)化問題轉(zhuǎn)化成多個(gè)小規(guī)模的子優(yōu)化問題. 此外,基于子問題之間的相似性,設(shè)計(jì)優(yōu)化信息傳遞策略,獲取子問題間的權(quán)重關(guān)系,建立圖像摳圖問題的優(yōu)化序列.受微尺度搜索思想[23]的啟發(fā),結(jié)合決策集分解策略和優(yōu)化信息傳遞策略,提出基于微搜索的前景遮罩提取算法(Alpha Matting Algorithm Based on Micro-scale Sear-ching, MS-AM),通過在有效決策子集中的搜索代替整個(gè)決策集的搜索,有效解決高分辨率圖像中局部前景背景信息摳反的問題,提高高分辨率圖像前景遮罩的提取精度.在alphamatting基準(zhǔn)數(shù)據(jù)集[6]上進(jìn)行實(shí)驗(yàn)驗(yàn)證,結(jié)果表明,MS-AM可以解決局部前景背景信息極相似時(shí)出現(xiàn)的前景遮罩摳反問題,并且在顯著降低問題維度的情況下提高前景遮罩的精度.

1 相關(guān)知識(shí)

針對(duì)高分辨率圖像的前景遮罩提取中局部前景背景信息極相似時(shí)容易出現(xiàn)的摳反問題,從問題分解優(yōu)化的思想出發(fā),引入均值偏移聚類算法的思想[24-26]作為高分辨率圖像前景遮罩提取問題的分解工具,將高分辨率大規(guī)模組合優(yōu)化問題分解成多個(gè)小規(guī)模的子優(yōu)化問題.

均值偏移聚類算法是一種常用的特征空間分析工具,將數(shù)據(jù)點(diǎn)移向最高密度的數(shù)據(jù)點(diǎn)(即群集質(zhì)心),迭代地將數(shù)據(jù)點(diǎn)分配給群集,從而實(shí)現(xiàn)群集數(shù)據(jù)的分類.本文采用均值偏移對(duì)高分辨率圖像進(jìn)行聚類分解,根據(jù)像素點(diǎn)的空間位置和顏色信息計(jì)算同一帶寬中的像素點(diǎn),并求取帶寬內(nèi)所有像素點(diǎn)的均值偏移向量mshift(pi),實(shí)現(xiàn)未知區(qū)域像素的分類.具體計(jì)算方法如下:

(2)

i=1,2,…,n,

其中

mshift(pi)表示以像素點(diǎn)pi為窗口中心進(jìn)行聚類之后,同類中所有像素點(diǎn)的均值偏移向量,g(α)為一個(gè)以pi為窗口中心的單調(diào)遞增函數(shù),窗口大小由帶寬h決定,h>0.

根據(jù)式(2)計(jì)算帶寬h中所有像素點(diǎn)的均值偏移向量mshift(pi),直到所有像素點(diǎn)的5維特征向量(R,G,B,x,y)收斂.具體聚類步驟如下.

1)設(shè)未知區(qū)域U的未知像素點(diǎn)數(shù)量為n,其中,任意一個(gè)像素pi,i=1,2,…,n由5維特征向量(R,G,B,x,y)組成,前三維表示像素點(diǎn)pi在RGB空間上的顏色值,后兩維表示pi在圖像上的空間坐標(biāo).在未知區(qū)域中隨機(jī)選擇一個(gè)像素作為中心點(diǎn).

2)記集合M為帶寬h內(nèi)所有像素點(diǎn)的信息.計(jì)算從中心像素點(diǎn)開始到集合M中每個(gè)元素的向量,對(duì)得到的向量求和,獲取最終的偏移向量mshift(pi).

3)中心像素點(diǎn)向偏移向量mshift(pi)的方向移動(dòng),設(shè)偏移向量的模長為像素點(diǎn)的移動(dòng)步長.

4)重復(fù)上述操作,直到所有像素點(diǎn)都?xì)w好類,像素點(diǎn)個(gè)數(shù)小于ε的類合并到相鄰的類中,最終產(chǎn)生η個(gè)類.

根據(jù)均值偏移聚類算法,高分辨率圖像摳圖這一大規(guī)模組合優(yōu)化問題可以分解為多個(gè)小規(guī)模的子優(yōu)化問題(高分辨率圖像的未知區(qū)域被劃分為多個(gè)子類).

2 問題描述與建模

高分辨率圖像前景遮罩提取問題本質(zhì)上是一個(gè)大規(guī)模組合優(yōu)化問題,當(dāng)高分辨率圖像中前景像素的顏色信息與背景像素的顏色信息極相似時(shí),容易出現(xiàn)前景像素?fù)赋杀尘跋袼鼗虮尘跋袼負(fù)赋汕熬跋袼氐膿阜船F(xiàn)象.前景遮罩值的摳反將會(huì)直接導(dǎo)致提取的前景遮罩精度較低,影響摳圖質(zhì)量,致使技術(shù)人員難以保證高分辨率圖像摳圖的精度.這成為當(dāng)前亟需攻克的一個(gè)難點(diǎn)問題.

高分辨率圖像局部相似像素點(diǎn)的規(guī)模較大,相鄰像素點(diǎn)之間RGB顏色信息具有很高的相似性.如圖1所示,圖中綠色點(diǎn)表示摳反的像素點(diǎn).(a)為具有前景背景交替的網(wǎng)狀結(jié)構(gòu),局部前景背景的顏色信息極相似,對(duì)于更小單位的像素點(diǎn)而言,顏色變化更加微小.因此,在前景和背景相鄰區(qū)域,容易出現(xiàn)較多的摳反像素點(diǎn),大幅降低前景遮罩值的提取精度.

(a)原始圖像 (b)三分圖(a)original image (b)Trimap

(c)人工提取的真實(shí)前景 (d)前景遮罩摳反示意圖(c)Manually extracted real foreground(d)Sketch map of inverted alpha matte圖1 前景遮罩摳反的可視化結(jié)果Fig.1 Visualization of inverted alpha matte

為了有效提高前景遮罩值的提取精度,基于像素點(diǎn)之間的相似特性,本文采用問題分解的思想將高分辨率圖像摳圖這一大規(guī)模組合優(yōu)化問題進(jìn)行降維.假設(shè)聚類后的同類像素之間可以共享像素點(diǎn)信息,基于該假設(shè),本文通過均值偏移聚類的思想對(duì)等同關(guān)系[27]進(jìn)行延伸定義,具體如下.

(a-b)T(a-b)≤h2,

且

滿足

|mshift(a)-mshift(b)|→0,

根據(jù)定義1可知,當(dāng)未知區(qū)域像素點(diǎn)經(jīng)過聚類分解后,若像素點(diǎn)a、b間的歐氏距離滿足在以h為帶寬的圓內(nèi),則認(rèn)為a、b像素滿足等同關(guān)系,即兩個(gè)像素點(diǎn)信息是相同的.因此,若像素點(diǎn)之間滿足等同關(guān)系,則同時(shí)滿足等價(jià)關(guān)系.下面給出等同關(guān)系是等價(jià)關(guān)系的定理.

由定理1可知,未知區(qū)域經(jīng)過聚類分解之后,若同類中任意兩個(gè)像素點(diǎn)a、b滿足等同關(guān)系,則a、b兩個(gè)像素點(diǎn)為等價(jià)關(guān)系,這為同類像素之間信息共享提供理論依據(jù).

在高分辨率圖像前景遮罩提取問題中,假設(shè)通過共享像素信息可以解決高分辨率圖像中前景與背景相似時(shí)出現(xiàn)的摳反問題.基于該假設(shè),本文設(shè)計(jì)前景區(qū)域像素信息共享的方法,通過前景區(qū)域像素的顏色和位置信息對(duì)整個(gè)區(qū)域進(jìn)行分解,將高分辨率圖像前景遮罩提取這一大規(guī)模組合優(yōu)化問題劃分為多個(gè)子優(yōu)化問題,從而實(shí)現(xiàn)問題分解.高分辨率圖像前景遮罩提取問題可描述如下:

(3)

由式(3)可知,第k個(gè)未知像素對(duì)應(yīng)的前景背景像素對(duì)的目標(biāo)函數(shù)為:

(4)

(5)

其中

(6)

(7)

通過式(4)給出的目標(biāo)函數(shù)可以評(píng)估前景背景像素對(duì)的質(zhì)量.式(5)主要用于評(píng)估前景背景像素對(duì)的顏色失真程度,式(6)和式(7)分別用于評(píng)估前景背景像素與未知像素點(diǎn)的空間距離.

3 基于微搜索的前景遮罩提取

算法

3.1 有效決策子集

由式(3)可知,高分辨率圖像前景遮罩提取問題是一個(gè)大規(guī)模組合優(yōu)化問題.未知區(qū)域中的未知像素信息由前景背景組成的像素對(duì)信息決定,導(dǎo)致高分辨率圖像摳圖問題的決策集維度較高,直接求解計(jì)算復(fù)雜度較高.因此,為了提高前景遮罩值的搜索效率,假設(shè)未知區(qū)域的決策集可以分解為多個(gè)決策子集,并且存在一個(gè)維度遠(yuǎn)小于決策集的有效決策子集(如圖2所示),那么通過對(duì)有效決策子集的搜索代替對(duì)決策集的搜索,可以在降低計(jì)算時(shí)間復(fù)雜度的前提下保證求解效率[23],解決高分辨率圖像前景遮罩提取問題中的摳反問題.

圖2 有效決策子集映射示意圖Fig.2 Sketch map of effective decision subset mapping

定義2決策子集 設(shè)ψ為高分辨率圖像前景遮罩提取問題P的決策集,對(duì)問題P進(jìn)行分解后的可行解集稱為決策子集δ,δ?ψ.

由定義2可知,高分辨率圖像前景遮罩提取問題的決策集ψ可以分解為多個(gè)決策子集.假設(shè)在某個(gè)決策子集δ*中存在最優(yōu)解X*,且在該決策子集δ*中的搜索可以代替在決策集ψ中的搜索,則稱該決策子集為有效決策子集.

定義3有效決策子集 設(shè)δ*為決策集ψ的決策子集,即δ*?ψ.若存在最優(yōu)解X*,有X*∈δ*,則稱δ*為問題P的有效決策子集.

根據(jù)定義2和定義3可知,若決策子集δ*中存在最優(yōu)前景背景像素對(duì),則決策子集δ*為有效決策子集.基于有效決策子集的概念,本文設(shè)計(jì)決策集分解策略,分解高分辨率圖像摳圖問題.

3.2 決策集分解策略

在定義有效決策子集的基礎(chǔ)上,假設(shè)根據(jù)圖像的顏色信息和空間信息可以實(shí)現(xiàn)對(duì)高分辨率圖像前景遮罩提取問題的分解(將決策集分解為多個(gè)決策子集).基于該假設(shè),本文設(shè)計(jì)決策集分解策略,利用均值偏移的思想對(duì)未知區(qū)域像素的顏色信息與空間位置信息進(jìn)行聚類降維,從而將決策集分解為多個(gè)決策子集.

由式(3)可知,未知區(qū)域像素集合U=(p1,p2,…,pn)中的每個(gè)未知像素對(duì)應(yīng)決策集中一組前景背景像素對(duì),因此,整個(gè)未知區(qū)域的決策集搜索維度為2n.在決策集分解策略的基礎(chǔ)上,假設(shè)高分辨率圖像前景遮罩提取問題被分解成η個(gè)子問題,即有S=(S1,S2,…,Sη),每個(gè)子問題的未知像素個(gè)數(shù)為|Si|,i=1,2,…,η,則此時(shí)每個(gè)子問題的決策子集維度為2|Si|?2n,搜索的空間維度遠(yuǎn)小于整個(gè)決策集的維度.

因此,根據(jù)決策集分解策略,高分辨率圖像這一大規(guī)模組合優(yōu)化問題分解為多個(gè)小規(guī)模的子優(yōu)化問題,即決策集分解為多個(gè)決策子集,那么,通過對(duì)有效決策子集(分解的多個(gè)決策子集集合)的搜索代替對(duì)整個(gè)決策集的搜索,能夠求解每個(gè)子優(yōu)化問題.本文的有效決策子集是分解后的決策子集的集合,也是決策集的一個(gè)子集.設(shè)未知區(qū)域U中的像素點(diǎn)個(gè)數(shù)為n,U=(p1,p2,…,pn)為未知區(qū)域中未知像素點(diǎn)集合,η為分解后的子問題個(gè)數(shù),h表示帶寬,ε為每類中允許的最少像素點(diǎn)個(gè)數(shù),M為帶寬h內(nèi)所有像素點(diǎn)的信息,mshiftnew(pi)為根據(jù)式(2)計(jì)算所得的偏移向量,最優(yōu)解X*所在的決策子集被視為有效決策子集.決策集分解流程如算法1所示.

算法1決策集分解策略

輸入高分辨率圖像,三分圖

輸出S=(S1,S2,…,Sη)

1.從未知區(qū)域U中隨機(jī)選取一個(gè)像素點(diǎn)pi作為初始中心

2.//決策集分解過程

3.fori=1 tondo

4.while 未滿足終止條件do

5.Mj(p)={y|(p-pi)T(p-pi)≤h2}

6.S=Spi∈Mj∪{p}

7.利用式(2)計(jì)算偏移向量mshift(p)

8.pi=pi+mshift(p)

9.if|mshiftnew(p)-mshift(p)|→0 then

10.break

11. end if

12. end while

13. forj=1 to |S| do

14. ifSj中像素點(diǎn)個(gè)數(shù)小于εthen

15.Sj=Sj∪Sj+1

16.else

17.j=j+1

18.end if

19. end for

20.end for

在算法1中,高分辨率圖像前景遮罩提取問題被分解成多個(gè)小規(guī)模的子優(yōu)化問題.第4～6行計(jì)算中心像素點(diǎn)與其它像素點(diǎn)的距離,得到同一帶寬h中的像素點(diǎn)集合.第7～11行計(jì)算偏移向量之間的差值,獲取最終的偏移重心,確定第i類像素點(diǎn)信息.第13～19行用于判斷某一類中的像素點(diǎn)個(gè)數(shù)是否小于ε個(gè)像素點(diǎn),若小于,將該類別合并到相鄰的類中,最終產(chǎn)生η個(gè)類,得到S=(S1,S2,…,Sη).

3.3 優(yōu)化信息傳遞策略

在決策集分解策略的基礎(chǔ)上,高分辨率圖像的前景遮罩提取問題分解為多個(gè)子優(yōu)化問題.根據(jù)像素之間的相關(guān)性,假設(shè)子問題(類)之間可以通過權(quán)重關(guān)系進(jìn)行優(yōu)化信息的傳遞.基于該假設(shè),設(shè)計(jì)優(yōu)化信息傳遞策略,計(jì)算子問題間的權(quán)重關(guān)系,構(gòu)建圖像前景遮罩提取問題的優(yōu)化序列,將前一個(gè)類的最優(yōu)解作為啟發(fā)式信息傳遞到下一個(gè)類別中,作為該類的初始解,幫助該類搜尋到最優(yōu)解.

則第i個(gè)類與第j個(gè)類之間的權(quán)重為:

(8)

由定義4可知,計(jì)算每個(gè)類中心像素點(diǎn)之間的權(quán)重值,可以獲取類與類之間的權(quán)重關(guān)系.假設(shè)權(quán)重值越小,兩個(gè)類之間相似程度越高,在優(yōu)化信息傳遞過程中優(yōu)先進(jìn)行傳遞.通過計(jì)算所有類別之間的權(quán)重值,并按照權(quán)重大小對(duì)各類別進(jìn)行排序,從而獲取優(yōu)化信息的傳遞次序.設(shè)V=(V1,V2,…,Vη)表示對(duì)每個(gè)類進(jìn)行排序之后的有序集合,W=(ω1,ω2,…,ωη)表示類之間的權(quán)重集合,η表示類別個(gè)數(shù).具體優(yōu)化信息傳遞策略如算法2所示.

算法2優(yōu)化信息傳遞策略

輸入子優(yōu)化問題S=(S1,S2,…,Sη)

輸出V=(V1,V2,…,Vη)

1.利用式(8)計(jì)算所有類(子優(yōu)化問題)之間的權(quán)重集合W=(ω1,ω2,…,ωη)

2.i=0

3.從集合S中隨機(jī)選擇第i個(gè)類Vi

4.while|V|≠|(zhì)S| do

5. fori=1 toηdo

6.從S和S-V中選擇最小的權(quán)重ωi

7.i=i+1

8.Vi=Si,其中Vi表示集合S中權(quán)重ωi對(duì)應(yīng)的類

9.end for

10.end while

在算法2中,針對(duì)高分辨率圖像前景遮罩提取問題分解的η個(gè)子優(yōu)化問題,首先根據(jù)式(8)計(jì)算所有類之間的權(quán)重集合.第5～11行對(duì)比類別之間的權(quán)重大小,對(duì)各類進(jìn)行排序,得到最終的優(yōu)化信息傳遞次序V=(V1,V2,…,Vη).在決策集分解策略和優(yōu)化信息傳遞策略的基礎(chǔ)上,本文提出基于微搜索的前景遮罩提取算法.

3.4 算法步驟

在決策集分解策略與優(yōu)化信息傳遞策略的基礎(chǔ)上,針對(duì)高分辨率圖像中局部前景背景信息極相似時(shí)容易出現(xiàn)前景遮罩摳反的問題,本文提出基于微搜索的前景遮罩提取算法(MS-AM),求解高分辨率圖像中的摳反問題.MS-AM在決策集分解策略的基礎(chǔ)上能夠分解大規(guī)模問題,并通過優(yōu)化信息傳遞策略進(jìn)行同類之間的信息共享.最后通過對(duì)有效決策子集(存在最優(yōu)解的決策子集)的搜索替代整個(gè)決策集的搜索以尋找最優(yōu)解,在有效降低計(jì)算時(shí)間復(fù)雜度的同時(shí)避免前景背景極相似區(qū)域的摳反情況.設(shè)it為迭代次數(shù),K為最大迭代次數(shù),PSO(·)為采用PSO(Particle Swarm Optimization)[28]作為優(yōu)化器搜尋最優(yōu)解的過程,X*為每個(gè)子問題優(yōu)化后搜尋的最優(yōu)解,Xmin為整個(gè)前景遮罩提取問題輸出的最終解. MS-AM流程如算法3所示.

算法3基于微搜索的前景遮罩提取算法

輸入高分辨率圖像,三分圖

輸出Xmin

1.//決策集分解策略部分

2.通過算法1,將高分辨率圖像摳圖問題分解為多個(gè)子優(yōu)化問題S=(S1,S2,…,Sη)

3.//優(yōu)化信息傳遞策略部分

4.通過算法2,利用類的權(quán)重關(guān)系對(duì)子優(yōu)化問題進(jìn)行排序,獲取優(yōu)化信息傳遞次序V=(V1,V2,…,Vη)

5.//微搜索優(yōu)化部分

6.θ=Vi,i=1

7.whilei≤ηdo

8.//優(yōu)化子問題θ

9.if 存在候選解Cthen

10.PSO(X)更新最優(yōu)解X*

11.Xmin=Xmin∪X*

12.else

13.隨機(jī)初始化μ個(gè)候選解C={c1,c2,…,cμ}

14.whileit≤Kdo

15.利用式(5)～式(7)計(jì)算每個(gè)候選解cj(j=1,2,…,μ)的顏色和空間適應(yīng)值

16.利用式(4)評(píng)估每個(gè)候選解的適應(yīng)值

17.PSO(C)更新最優(yōu)解X*

18.ifX*不需要更新then

19.Count=Count+1

20.else

21.Count=0

22.end if

23. end while

24.Xmin=Xmin∪X*

25.θ=θ∪Vi

26.i=i+1

27.end if

28.end while

在算法3中,選用PSO作為本文的優(yōu)化器以求解優(yōu)化目標(biāo),在搜索最優(yōu)解的過程中鎖定有效決策子集的空間位置,從而通過在有效決策子集中的搜索代替整個(gè)決策集的搜索.算法中的第1～2行為決策集分解策略部分,實(shí)現(xiàn)高分辨圖像大規(guī)模組合優(yōu)化問題的有效分解.第3～4行為優(yōu)化信息傳遞策略部分,對(duì)子問題之間的權(quán)重大小進(jìn)行排序,獲取優(yōu)化信息的傳遞次序.第6～27行為微搜索優(yōu)化部分,其中,第9～12行用于判斷是否有從上一個(gè)類中傳遞下來的初始解.第13～22行用于對(duì)第i個(gè)類的最優(yōu)解進(jìn)行更新,第23～25行實(shí)現(xiàn)最優(yōu)解與問題的重組,第27行將上一個(gè)類的最優(yōu)解傳遞到下一個(gè)類別中作為初始解.

即

4 實(shí)驗(yàn)及結(jié)果分析

為了驗(yàn)證MS-AM在高分辨率圖像前景遮罩提取問題中解決摳反問題的性能,本節(jié)設(shè)置3組實(shí)驗(yàn),分別用于驗(yàn)證兩個(gè)策略以及算法的有效性.

4.1 實(shí)驗(yàn)設(shè)置

本文選用的實(shí)驗(yàn)數(shù)據(jù)為Rhemann等[6]提出的alphamatting高分辨率基準(zhǔn)數(shù)據(jù)集,提供27幅用于訓(xùn)練的彩色圖像及其對(duì)應(yīng)的真實(shí)前景遮罩結(jié)果與三分圖.

所有算法實(shí)現(xiàn)均在MATLAB 2018a環(huán)境下進(jìn)行,實(shí)驗(yàn)均使用Intel(R) Core(TM) i5-7500 3.4 GHz CPU及8 GB內(nèi)存的服務(wù)器運(yùn)行.

本文分別設(shè)置3組實(shí)驗(yàn).

1)第1組實(shí)驗(yàn).決策集分解策略的有效性分析,主要驗(yàn)證決策集分解策略可以顯著降低高分辨率圖像前景遮罩提取問題的維度.

2)第2組實(shí)驗(yàn).優(yōu)化信息傳遞策略的有效性分析,主要驗(yàn)證基于優(yōu)化信息傳遞策略可以有助于MS-AM求解高分辨率圖像摳圖中的前景遮罩摳反問題.

3)第3組實(shí)驗(yàn).MS-AM與目前典型的摳圖優(yōu)化方法對(duì)比分析.對(duì)比算法如下:VS-CCPSO(Vari-able-Size Cooperative Coevolutionary PSO Algori-thm)[29]、CC-DE-S(Cooperative Coevolution Diffe-rential Evolution Algorithm with a Scattered Stra-tegy)[30]、GC-CSO[22]、MOEA-MCD[20]、OIT-GOA[31]、文獻(xiàn)[9]算法,驗(yàn)證MS-AM在高分辨率圖像前景遮罩提取問題上的性能與計(jì)算時(shí)間復(fù)雜性.

為了保證實(shí)驗(yàn)中不同算法實(shí)驗(yàn)結(jié)果的可對(duì)比性,本文采用均方誤差(Mean Square Error, MSE)作為評(píng)價(jià)指標(biāo).所有算法在每幅圖像上分別運(yùn)行30次,以便對(duì)其性能進(jìn)行統(tǒng)計(jì)分析.

4.2 決策集分解策略的有效性分析

為了驗(yàn)證決策集分解策略對(duì)高分辨率圖像前景遮罩提取問題分解的有效性,本文采用決策集分解策略對(duì)高分辨率圖像的未知區(qū)域進(jìn)行分解,其中帶寬h及每個(gè)類中允許最少像素點(diǎn)個(gè)數(shù)ε的設(shè)置與文獻(xiàn)[25]一致.

表1給出alphamatting數(shù)據(jù)集上27幅高分辨率圖像降維前后的對(duì)比結(jié)果.在表中,X表示高分辨率圖像前景遮罩提取問題決策變量的原始維度,X′表示高分辨率圖像前景遮罩提取問題分解降維后的決策變量維度.在27幅圖像的原始決策變量中,維度均處于幾十萬維甚至上百萬維,由此可以看出,本文優(yōu)化的高分辨率圖像前景遮罩提取問題屬于超高維的優(yōu)化問題.

表1 Alpha matting基準(zhǔn)數(shù)據(jù)集上高分辨率圖像降維前后的決策變量維度對(duì)比Table 1 Comparison of decision variable dimensions before and after dimension reduction of high-resolution images on alphamatting benchmark dataset

由表1的分解結(jié)果可以看出,除了決策變量原始維度均在百萬維以上的GT04、GT08、GT11、GT13、GT26、GT27降維后的維度在1萬維以上之外,其余原始維度在幾十萬維以上的圖像均降維到幾千維,降維效果十分明顯,因此該算法有效降低高分辨率圖像前景遮罩提取問題的維度.根據(jù)每幅圖像對(duì)應(yīng)的降維效果發(fā)現(xiàn),高分辨率圖像中相似區(qū)域越多,降維效果越明顯.

4.3 優(yōu)化信息傳遞策略的有效性分析

為了驗(yàn)證優(yōu)化信息傳遞策略在求解高分辨率圖像中局部前景遮罩摳反問題的有效性,本節(jié)對(duì)比分析基于優(yōu)化信息傳遞策略的MS-AM與PSO,MS-AM的優(yōu)化器參數(shù)設(shè)置與文獻(xiàn)[28]一致.

實(shí)驗(yàn)采用alphamatting基準(zhǔn)數(shù)據(jù)集上27幅高分辨率彩色圖像及對(duì)應(yīng)的三分圖作為訓(xùn)練數(shù)據(jù),以其中提供的真實(shí)遮罩圖作為實(shí)驗(yàn)結(jié)果的評(píng)價(jià)標(biāo)準(zhǔn).根據(jù)文獻(xiàn)[20]、文獻(xiàn)[22]、文獻(xiàn)[29]～文獻(xiàn)[31]中設(shè)置的迭代次數(shù),本文將求解高分辨率圖像前景遮罩的最大評(píng)估次數(shù)設(shè)置為5×103.分別針對(duì)MS-AM和PSO求解的高分辨率圖像前景遮罩值計(jì)算各自的MSE,并給出27幅圖像的MSE對(duì)比,具體如表2所示,表中黑體數(shù)字表示最優(yōu)值.

表2 MS-AM和PSO的MSE對(duì)比結(jié)果Table 2 MSE comparison between MS-AM and PSO

由表2可知,MS-AM在27幅圖像中有23幅圖像的MSE值低于PSO,其余4幅圖像的MSE值略高于PSO.MSE值越低,表明前景遮罩的精度越高.實(shí)驗(yàn)表明,在優(yōu)化信息傳遞策略的基礎(chǔ)上,MS-AM利用子問題之間的信息傳遞,可以解決高分辨率圖像前景遮罩提取問題中的摳反問題,提高高分辨率圖像的前景遮罩的提取精度.

為了進(jìn)一步驗(yàn)證MS-AM在求解摳反問題上的性能,MS-AM與PSO的摳反可視化對(duì)比結(jié)果如圖3所示,圖中綠色點(diǎn)為摳反像素點(diǎn).由圖中摳反結(jié)果的局部放大圖可以看出,PSO的結(jié)果主要以局部區(qū)域前景遮罩摳反為主,而由MS-AM的結(jié)果可知,MS-AM求解的高分辨率圖像前景遮罩噪聲更小,前景物體的輪廓更清晰,具有更優(yōu)的視覺效果.

(a)原始圖像(a)Original images

(b)輸入的三分圖(b)Input trimaps

(c)人工提取的真實(shí)前景遮罩結(jié)果(c)Manually extracted real alpha matte results

(d)PSO提取的前景遮罩結(jié)果(d)Alpha matte extracted by MS-AM

(e)MS-AM提取的前景遮罩結(jié)果(e)Alpha matte extracted by PSO圖3 MS-AM和PSO提取的高分辨率圖像前景遮罩結(jié)果對(duì)比Fig.3 Alpha matting comparison between MS-AM and PSO

因此,相比PSO,基于優(yōu)化信息傳遞策略的MS-AM在解決高分辨率圖像摳圖中的摳反問題上更具有優(yōu)勢(shì),有效提高前景遮罩的精度.因此,優(yōu)化信息傳遞策略有助于MS-AM的性能.這主要是由于優(yōu)化信息傳遞策略通過共享同類中的像素信息,有效求解前景遮罩值的摳反,其次通過將前一個(gè)類的最優(yōu)解作為下一個(gè)類的初始解,有效提高優(yōu)化器搜索最優(yōu)解的準(zhǔn)確性.

表2和圖3的實(shí)驗(yàn)結(jié)果表明,針對(duì)高分辨率圖像前景遮罩提取中由于局部前景遮罩摳反而導(dǎo)致的前景遮罩提取精度較低的問題,相比PSO,基于優(yōu)化信息傳遞策略的MS-AM具有明顯的優(yōu)勢(shì),進(jìn)一步驗(yàn)證優(yōu)化信息傳遞策略通過子問題之間的優(yōu)化信息傳遞以及子問題內(nèi)部的信息共享,有助于MS-AM求解局部前景遮罩摳反問題,從而提高高分辨率圖像前景遮罩的提取精度.

4.4 對(duì)比實(shí)驗(yàn)

MS-AM通過分解問題,將高分辨率圖像大規(guī)模的組合優(yōu)化問題轉(zhuǎn)化成多個(gè)小規(guī)模的子優(yōu)化問題.因此,為了驗(yàn)證在高分辨率圖像前景遮罩提取問題上的性能,本節(jié)進(jìn)行對(duì)比實(shí)驗(yàn).

為了保證實(shí)驗(yàn)的公平性,每種算法在alpha-matting數(shù)據(jù)集上獨(dú)立運(yùn)行30次,最大評(píng)估次數(shù)設(shè)置為5×103.為了便于分析,利用MSE作為各算法前景遮罩提取精度的評(píng)價(jià)指標(biāo).

MS-AM、MOEA-MCD、GC-CSO、文獻(xiàn)[9]算法、OIT-GOA、VS-CCPSO的MSE對(duì)比結(jié)果如表3所示,表中黑體數(shù)字表示最優(yōu)值.

表3 各算法的MSE值對(duì)比Table 3 MSE comparison of different algorithms

由表3可見,在27幅訓(xùn)練圖像中,MS-AM有22幅圖像的MSE值低于MEOA-MCD,24幅圖像的MSE值低于GC-CSO,20幅圖像的MSE值低于OIT-GOA,27幅圖像的MSE值低于IF、CC-DE-S、VS-CCPSO,即MS-AM的前景遮罩提取精度最優(yōu).對(duì)于MS-AM中提取精度略低的幾幅圖像,其主要原因在于MS-AM在對(duì)問題進(jìn)行分解時(shí),同一子問題中的像素信息為等價(jià)關(guān)系(即像素之間信息共享),未考慮像素點(diǎn)之間本身存在的細(xì)微變化,導(dǎo)致最終的MSE值略高于對(duì)比算法.

為了進(jìn)一步驗(yàn)證MS-AM的計(jì)算時(shí)間復(fù)雜性,統(tǒng)計(jì)MS-AM與VS-CCPSO、MOEA-MCD、GC-CSO、文獻(xiàn)[9]算法的計(jì)算時(shí)間,結(jié)果如表4所示,表中黑體數(shù)字表示最優(yōu)值.由表可見,MS-AM的計(jì)算時(shí)間明顯優(yōu)于VS-CCPSO、MOEA-MCD,與GC-CSO的計(jì)算時(shí)間差異較小,并且每幅圖像的計(jì)算時(shí)間相近.計(jì)算時(shí)間最短的為文獻(xiàn)[9]算法,時(shí)間分布較均勻,但該算法的前景遮罩提取精度明顯低于MS-AM.在記錄不同算法的計(jì)算時(shí)間過程中,由于CC-DE-S在計(jì)算超過24 h之后仍無法求解最終的前景遮罩值,因此結(jié)束算法計(jì)算.實(shí)驗(yàn)結(jié)果表明,MS-AM通過對(duì)有效決策子集的搜索有效降低計(jì)算時(shí)間復(fù)雜度. 此外,實(shí)驗(yàn)也進(jìn)一步驗(yàn)證決策集分解策略有助于MS-AM提升高分辨率圖像前景遮罩提取問題的求解速度.

表4 各算法的計(jì)算時(shí)間對(duì)比Table 4 Computational time comparison of different algorithms s

綜合分析進(jìn)一步驗(yàn)證MS-AM在對(duì)決策集分解的基礎(chǔ)上,通過對(duì)有效決策子集的搜索代替整個(gè)決策集的搜索,不僅降低算法的計(jì)算時(shí)間復(fù)雜度,同時(shí)提高前景遮罩的提取精度.因此,相比文獻(xiàn)[9]算法、VS-CCPSO、GC-CSO、CC-DE-S、MOEA-MCD,在高分辨率圖像前景遮罩摳反問題上,MS-AM更具優(yōu)勢(shì).

5 結(jié) 束 語

本文針對(duì)高分辨率圖像中前景信息與背景信息極相似時(shí)容易出現(xiàn)前景遮罩摳反的問題,提出基于微搜索的前景遮罩提取算法(MS-AM).實(shí)驗(yàn)表明,MS-AM能夠有效解決高分辨率圖像中的摳反問題.此外,設(shè)計(jì)決策集分解策略,將高分辨率圖像前景遮罩提取問題分解為多個(gè)獨(dú)立的子優(yōu)化問題,顯著降低問題的原始維度.基于子問題之間可以通過權(quán)重關(guān)系進(jìn)行信息傳遞的假設(shè),設(shè)計(jì)優(yōu)化信息傳遞策略,獲取子問題間的權(quán)重關(guān)系,建立圖像摳圖問題的優(yōu)化信息傳遞序列.實(shí)驗(yàn)表明,優(yōu)化信息傳遞策略有助于MS-AM求解高分辨率圖像前景遮罩提取問題中的摳反問題.在決策集分解策略和優(yōu)化信息傳遞策略的基礎(chǔ)上,本文提出MS-AM,通過對(duì)有效決策子集中的搜索代替整個(gè)決策集的搜索,在有效降低計(jì)算時(shí)間復(fù)雜度的同時(shí)提高前景遮罩的提取精度.實(shí)驗(yàn)表明,通過典型摳圖優(yōu)化算法的對(duì)比分析,驗(yàn)證MS-AM可以解決高分辨率圖像中局部前景背景信息極相似時(shí)的前景遮罩摳反問題,并且在高分辨率前景遮罩提取問題維度顯著降低的情況下,提高前景遮罩提取精度.

雖然MS-AM能有效解決高分辨率圖像中局部前景背景相似時(shí)出現(xiàn)的摳反問題,但在優(yōu)化過程中仍存在部分前景遮罩值摳反的現(xiàn)象.因此,后續(xù)的工作將集中在如下兩點(diǎn):1)探索決策集與決策子集間的拓?fù)潢P(guān)系,設(shè)計(jì)更加高效的微搜索算法;2)從理論的角度證明MS-AM的有效性.