王 斌， 何 坤， 王 丹

(四川大學計算機學院， 成都 610065)

1 引 言

圖像前景是指圖像中用戶感興趣的語義對象，該對象是分析和理解圖像內容的基礎.由于圖像內容理解受限于用戶認知，因此其前景因人而異.為了提取用戶指定的前景，研究者結合用戶交互，根據(jù)圖像低層特征提出了大量的算法，如隨機游走[1]，水平集方法[2-4]和圖論技術[5]等. 然而，圖像中的紋理、弱邊緣和低對比度使得現(xiàn)有算法難以得到理想結果.

近年來，深度學習[6-7]通過訓練卷積神經(jīng)網(wǎng)絡自適應地從訓練集中挖掘圖像的多尺度特征，并成功運用于圖像前景提取.但是，深度學習需要海量的前景樣本訓練神經(jīng)網(wǎng)絡參數(shù)，而實際上，前景樣本數(shù)量是有限的，這導致深度學習的前景提取效果較差.同時，該方法不能成功提取訓練集中未包含的前景，因為缺乏學習樣本.

基于圖論的前景提取模型利用圖像邊緣和前、背景顏色分布構建了能量泛函，運用圖割算法從圖像中提取前景. 現(xiàn)有前、背景顏色分布模型可分為局部直方圖[8-9]和高斯混合模型[10]，前者雖然顯式表示為前、背景像素的亮度分布，但其準確性依賴于人機交互量和圖像亮度分布.相比于前者，高斯混合模型極大簡化了用戶交互量，它將前、背景像素顏色分布表示為固定個數(shù)的高斯函數(shù)加權和[10].每個區(qū)域的像素分布對應一個高斯函數(shù)，其參數(shù)在前景提取過程中估計區(qū)域像素的一階原點矩和二階中心矩.高斯混合模型可有效刻畫卡通圖像的前、背景顏色分布，但對于自然圖像其準確性受到紋理的負面影響.其原因是：1) 紋理加劇了區(qū)域顏色變化，降低了二階中心矩估計精度；2) 紋理惡化了區(qū)域間顏色的顯著差異，減少了不同區(qū)域的一階原點矩的距離；3) 固定高斯個數(shù)導致了高斯混合模型負面影響.針對1)和2)，文獻[11]引入了基于超像素抑制了紋理對前景提取的影響，針對3)文獻[12]在分割之前使用聚類算法分析前景和背景中的區(qū)域數(shù)目，避免了不恰當高斯個數(shù)對前景提取的負面影響.

基于圖割的方法利用邊緣和區(qū)域分布特征提取前景，但提取質量敏感于特征尺度，即細尺度的局部最優(yōu)和粗糙尺度較差的提取精度.為了從恰當尺度提取前景，本文將圖割與多尺度分解相結合，運用全變分正則化[13]將一副圖像分解為一系列平滑圖像.該平滑模型既保護了圖像邊緣，又消除了區(qū)域非均勻性，有助于提升區(qū)域分布參數(shù)估計準確性.對于每個平滑圖像，前、背景顏色分布分別表示為優(yōu)化的高斯混合模型(即OGMMs).在每個OGMMs中，運用直方圖形狀分析方法估計高斯函數(shù)個數(shù).結合OGMMs和多尺度分解，本文將前景提取任務轉換為分割和分解尺度的聯(lián)合優(yōu)化，通過分割和多尺度分解的交互，從適當?shù)某叨忍崛∏熬?

2 本文模型

人眼觀察圖像時，圖像信息被理解為一定尺度上有意義的內容.因此，我們將一幅圖像分解成一系列具有不同分解尺度的平滑圖像，保留了圖像的邊緣并消除了圖像非均勻性.對于每個平滑圖像，采用直方圖形狀分析方法對其顏色分布進行準確建模.結合GrabCut和平滑圖像的顏色分布模型，將前景提取轉換為分割和分解尺度的聯(lián)合優(yōu)化.一副具有N個像素的圖像u0:Ω→(uR,uG,uB)被初始矩形框劃分為背景區(qū)域TB和帶有少量背景像素的前景區(qū)域TF.分割結果表示為x=(x1,…,xi,…,xN)，其中，xi=1表示前景，xi=0表示背景.其前景提取的能量泛函為

(1)

式中，第一項M(u,u0)是圖像多尺度分解，u為平滑圖像；第二項為平滑圖像的前景提取，ω表示前、背景顏色分布參數(shù)，該項S(x,ω,u)表示為

S(x,ω,u)=U(x,ω,u)+V(x,u)

(2)

式中，U(x,ω,u)為參數(shù)ω下x對平滑圖像u的分割結果評價；V(x,u)定義為將分割曲線放置在前景邊界上的懲罰，如下式

exp(-β(u(i)-u(j))2)

(3)

式中，Λi是第i個像素的相鄰像素集；dis(·)表示像素對的歐幾里得距離；[·]是指示函數(shù).根據(jù)文獻[5]，本文γ=50.為確保式(3)的能量在低梯度時較大，而在高梯度時較小，其β如下式.

β=0.5〈(u(i)-u(j))2〉-1

(4)

式中，〈·〉表示均值.

2.1 多尺度分解

式(1)的最優(yōu)解依賴于平滑圖像的顏色分布參數(shù)，但該參數(shù)對分解尺度敏感.如，在細尺度平滑圖像中，殘留的紋理信息導致參數(shù)估計精度較差.在粗糙尺度上，圖像被過度平滑，估計的參數(shù)不能近似顏色分布.為了獲得具有適當尺度的顏色分布模型，我們根據(jù)全變分正則化將圖像分解為一系列平滑圖像，即最小化下述問題.

(5)

式中，第一項為數(shù)據(jù)保真項，用于保護圖像邊緣特征；第二項為正則項，用于平滑圖像非均勻區(qū)域；λ為保邊平滑參數(shù). 假設(5)存在最小解，其解滿足歐拉-拉格朗日方程.

(6)

運用后向差分方法和固定點迭代算法，平滑圖像uk(i)可離散計算為

(7)

其中，

?(k)(j)=|?uk-1(j)|-1

(8)

在式(7)中，平滑圖像uk依賴于u0和uk-1，前者有利于保留圖像邊緣，而后者則有利于平滑非均勻區(qū)域.通過迭代計算，圖像被分解為一系列平滑圖像.隨著迭代次數(shù)的增加，分解尺度不斷增加，圖像中非均勻區(qū)域也會逐漸趨于平滑.

假設平滑圖像中每個區(qū)域顏色分布緊湊，區(qū)域顏色分布可表示為高斯函數(shù).以第m個區(qū)域為例：

G(μm,∑m,u(i))=

(9)

式中，μ(m)和∑(m)分別是該區(qū)域顏色分布的均值向量和協(xié)方差矩陣.假設前景和背景中區(qū)域個數(shù)已知，前景和背景表象可表示為高斯混合模型.其參數(shù)ω={ωF,ωB}為

(10)

式中，π(m)表示第m個區(qū)域的面積系數(shù)；nF和nB分別表示前、背景區(qū)域個數(shù).

為了檢測直方圖形狀波谷，本文分析直方圖Hs后向差分的符號，其符號Sgn(·)，如下式.

(11)

δ(·)是后向差分算子，且波谷處亮度為

(12)

利用波谷v=(v1,v2,…,vn)將圖像分為n個區(qū)域，結合分割曲線可計算出前景和背景中區(qū)域個數(shù).在已知參數(shù)ω的前提下，像素u(i)屬于前景或背景的可能性為

(13)

式(2)中數(shù)據(jù)項U(·)可計算為

log(LB(x,ωB,u(i))))

(14)

2.3 前景提取算法

在式(1)中，如果α→0，該模型等效于原始圖像的前景提取；如果β→0，該式簡化為多尺度分解.為了抑制紋理對前景提取質量的影響，本文設置α=β=1. 式(1)可簡化為

U(x,ωk,uk)}},k=0,1,…

(15)

(15) 式的最優(yōu)結果可以通過分割和顏色分布參數(shù)的交替優(yōu)化得到，如圖1所示.對于給定平滑圖像uk，(15)式中V(x,uk)僅需計算一次且可以重復使用.由于前景區(qū)域中存在一些背景像素，前景提取過程中應更新數(shù)據(jù)項U(x,ωk,uk).因此，(15)式的最優(yōu)解通過交替執(zhí)行以下步驟得到：(1) 給定顏色分布參數(shù)ω，利用最大流算法[14]計算分割結果x；(2) 給定分割結果x，運用EM算法更新參數(shù)ω.在此交替優(yōu)化過程中，參數(shù)ω的估計精度得到進一步的提升，前景區(qū)域中的背景像素被逐漸剔除，其能量逐步降低并趨于收斂，如圖1(b)所示.為了評價每個平滑圖像的前景提取性能，本文基于相鄰尺度上提取的前景定義了一個相似性指標，如下.

(16)

式中，card(·)統(tǒng)計像素點個數(shù).

(15)式的最優(yōu)解不僅依賴于平滑圖像的邊緣和顏色分布，還取決于分解尺度.在細尺度下，圖像中殘余的非均勻性導致前、背景顏色分布參數(shù)估計精度較差.隨著分解尺度增大，殘余非均勻性被逐漸消除，前景邊界得到保留，提取性能不斷提升，相似度保持不減.在粗尺度下，圖像被過度平滑，使前景和背景之間產(chǎn)生偽重疊效應，提取性能較差，相似性不增，如圖1(e)所示.根據(jù)相似性隨分解尺度的變化，本文在滿足下述約束條件時找到合適的尺度進行前景提取.

Sm(k)≤Sm(k-1)

(17)

本文將圖像分解為一系列平滑圖像，對每幅平滑圖像首先運用直方圖形狀分析方法估計前景和背景的區(qū)域數(shù)目，然后通過分割和顏色分布參數(shù)的交替優(yōu)化提取前景.根據(jù)相鄰尺度上分割結果計算其相似性，當滿足迭代終止條件時算法停止，其算法流程如圖2所示.

圖2 本文模型的流程Fig.2 The flowchart of the proposed model

3 實驗及分析

基于多尺度分解的前景提取模型由圖像分解和GrabCut兩部分構成，在圖像分解過程中引入?yún)?shù)λ.為了分析參數(shù)λ對前景提取性能的影響，對一副來自BSD300數(shù)據(jù)集的480×320像素圖像選用不同的λ值進行平滑處理，部分平滑圖像以及對應的分割結果如圖3所示.當λ=100.0時，平滑圖像中殘余的非均勻性導致過分割現(xiàn)象，如圖3(b)所示.當λ=0.001時，圖像被過度平滑從而導致欠分割效果，如圖3(d)所示.不同參數(shù)λ平滑處理圖像的前景提取評測分數(shù)如表1所示.依據(jù)表1，該參數(shù)在接近0.1時取得較為理想的結果.

表1 不同參數(shù)λ的評測分數(shù)

為了抑制紋理對平滑圖像前、背景中區(qū)域個數(shù)估計的影響，本文運用中值濾波對平滑圖像亮度直方圖平滑處理.為了分析中值濾波參數(shù)s對前景提取性能的影響，對一副來自iCoseg數(shù)據(jù)集的332×500像素的人物圖像選用不同的s值進行直方圖形狀分析，部分前景提取結果如圖4所示.當s=5時，平滑后的直方圖中仍然存在大量偽谷，導致前景提取效果較差，如圖4(b)所示.當s=29時，存在多個區(qū)域被錯誤合并為一個區(qū)域，降低了前景提取效果，如圖4(d)所示.不同參數(shù)s濾波處理圖像的前景提取評測分數(shù)如表2所示.依據(jù)表2，該參數(shù)取為17.

表2 不同參數(shù)s的評測分數(shù)

為了測評本文算法的有效性,并與傳統(tǒng)GrabCut[10],MIS[15]以及Deep GrabCut[16]進行比較，對圖5所示的自然圖像進行前景提取，其評測分數(shù)如表3所示.其中，GrabCut[10]使用固定高斯個數(shù)的高斯混合模型對圖像前、背景區(qū)域顏色分布進行統(tǒng)計建模，并基于原始圖像的參數(shù)估計和分割的交替優(yōu)化提取前景，其前景提取效果受到高斯函數(shù)個數(shù)以及原始圖像中紋理、噪聲等的影響.

表3 圖5所示圖像的評測分數(shù)

MIS[15]將多尺度分解和水平集算法相結合，在多尺度邊緣的約束下提取前景.Deep GrabCut[16]將矩形框轉換為一個歐式距離圖，然后將該圖與RGB圖像組合起來作為卷積編碼-解碼網(wǎng)絡的輸入，以前景預測為最終輸出.對于近似卡通圖像，4種算法提取的前景在視覺上無差異，如圖5(a)所示.然而，與傳統(tǒng)GrabCut相比，本文運用直方圖形狀分析方法自適應估計了高斯個數(shù)，彌補了傳統(tǒng)GrabCut采用固定高斯個數(shù)的不足，得到了更準確的提取結果，如圖5(b)所示.此外，本文引入TV模型對圖像進行保邊平滑處理，基于不同尺度的邊緣和顏色分布模型從適當?shù)某叨忍崛∏熬?，對于含有紋理的圖像，本文算法提取結果在視覺上優(yōu)于GrabCut算法，如圖5(c)～5(d)所示.

相對于MIS，本文算法增加了不同分解尺度的圖像顏色分布特征，彌補了利用多尺度邊緣特征對含有弱邊緣圖像前景提取的不足，改善了前景提取效果，如圖5(c)所示.

Deep GrabCut[16]在PASCAL數(shù)據(jù)集上進行訓練并學習20種對象的特征，其前景提取性能依賴于該訓練集中對象的類別.相比而言，本文基于圖像多尺度邊緣和顏色分布特征，在提取該訓練集不包含的前景時，取得了相對更優(yōu)的結果，如圖5(c)所示.

本文提出了基于多尺度分解的前景提取模型，有效克服了圖像紋理細節(jié)對高斯混合模型參數(shù)估計的負面影響；運用直方圖形狀分析方法彌補了不恰當?shù)母咚箶?shù)目對前景提取造成的不良影響；結合不同尺度的邊緣和區(qū)域顏色分布從恰當尺度提取前景. 然而，圖像多尺度分解過程中只保護了邊緣而不能增強弱邊緣，因此后續(xù)工作設計新的非線性平滑增強弱邊緣，進一步提高前景提取質量.