孫少超

(公安海警學(xué)院 電子技術(shù)系，浙江 寧波 315801)

基于帶權(quán)核范數(shù)最小化和混合高斯模型的去噪模型

孫少超*

(公安海警學(xué)院 電子技術(shù)系，浙江 寧波 315801)

(*通信作者電子郵箱shaochao0631@sina.com)

非局部自相似性(NSS)先驗(yàn)在圖像恢復(fù)中發(fā)揮重要作用，如何充分利用這一先驗(yàn)提高圖像恢復(fù)性能仍值得深入研究，提出一種基于帶權(quán)核范數(shù)最小化和混合高斯模型的去噪模型。首先，采用混合高斯模型(GMM)對(duì)無(wú)噪聲的自然圖像非局部自相似圖像塊進(jìn)行訓(xùn)練，再用訓(xùn)練好的混合高斯模型指導(dǎo)退化的圖像產(chǎn)生非局部自相似圖像塊組; 然后，結(jié)合帶權(quán)的核范數(shù)最小化技術(shù)實(shí)現(xiàn)圖像的去噪, 并對(duì)模型的保真項(xiàng)進(jìn)行一般性擴(kuò)展，給出收斂的求解算法。仿真實(shí)驗(yàn)表明，所提方法與基于3D濾波的塊匹配(BM3D)算法、同時(shí)稀疏編碼學(xué)習(xí)(LSSC)算法和帶權(quán)的核范數(shù)最小化(WNNM)模型相比，峰值信噪比(PSNR)提高0.11 ～ 0.49 dB。

圖像去噪；非局部自相似性；核范數(shù)最小化；混合高斯模型

0 引言

圖像去噪作為低層視覺中的經(jīng)典問題，已經(jīng)被廣泛地研究，但它仍然是一個(gè)活躍的課題。在一般情況下，圖像去噪的目的是從它的噪聲觀測(cè)y=x+v中來(lái)恢復(fù)無(wú)噪聲的圖像x，其中v假設(shè)為噪聲。各種圖像去噪方法在過去的幾十年中已經(jīng)被提出，包括基于濾波的方法[1]、基于混合的方法[2]、基于全變分的方法[3]、基于小波和曲波的方法[4]、基于稀疏表達(dá)的方法[5]和基于非局部自相似性(Nonlocal Self-Similarity, NSS)的方法[6]等。

自然圖像往往有許多重復(fù)的局部模塊，一個(gè)局部圖像塊可以在整個(gè)圖像找到許多類似的圖像塊, 這種被稱為非局部自相似性先驗(yàn)是圖像恢復(fù)中很成功的先驗(yàn)。為了利用這一先驗(yàn)知識(shí)，代表性的有基于稀疏表達(dá)的方案，該方案是把圖像塊看成從字典中選擇幾個(gè)元素的線性組合[7]。其中字典可以從現(xiàn)成的詞典選擇(例如小波和曲波)，也可以從自然圖像塊中學(xué)習(xí)得到。文獻(xiàn)[8]提供了字典學(xué)習(xí)的方法，并成功地?cái)U(kuò)展到各種圖像處理和計(jì)算機(jī)視覺應(yīng)用。通過把圖像塊看作是多元變量向量的樣本并考慮到自然圖像是非高斯的，Yu等[9]利用高斯混合模型對(duì)圖像塊進(jìn)行建模，并分別取得了先進(jìn)的去噪技術(shù)和圖像復(fù)原技術(shù)的成果。非局部均值[10]和非局部正規(guī)化[11]的方法，與傳統(tǒng)的基于局部自相似性的方法相比，極大地提高了圖像去噪效果。

雖然非局部自相似性先驗(yàn)在圖像去噪中發(fā)揮重要的作用，但是目前存在的方法僅僅利用噪聲圖像的非局部自相似性。如基于3D濾波的塊匹配(Block Matching with 3D filtering, BM3D)算法[12]收集噪聲圖像的非局部自相似塊組成的立方體，并對(duì)其進(jìn)行協(xié)同濾波的方式實(shí)現(xiàn)圖像的去噪。Mairal等[13]提出了同時(shí)稀疏編碼學(xué)習(xí)(Learned Simultaneous Sparse Coding, LSSC)算法，通過組合稀疏編碼來(lái)恢復(fù)NSS。文獻(xiàn)[14]方法中認(rèn)為NSS小塊組成的矩陣奇異值服從拉普拉斯分布。Dong等[5]把NSS和局部稀疏編碼集成到一個(gè)框架中，這個(gè)框架顯示出了強(qiáng)大的圖像復(fù)原能力。通過假設(shè)矩陣的非局部相似的小塊有一個(gè)低秩的結(jié)構(gòu)，基于低秩最小化的方法[15-16]也取得了非常有競(jìng)爭(zhēng)力的去噪效果。然而這些模型都忽視了外部干凈圖像的非局部自相似先驗(yàn)，因此本文應(yīng)用混合高斯模型(Gaussian Mixed Model, GMM)獲取外部干凈圖像的非局部自相似先驗(yàn)，并將其應(yīng)用到帶權(quán)的核范數(shù)最小化(Weighted Nuclear Norm Minimization, WNNM)圖像去噪模型中，提高模型的去噪性能。

1 帶權(quán)的核范數(shù)最小化圖像去噪算法

(1)

顯然，該模型的主要問題是權(quán)向量w的確定。權(quán)重向量與對(duì)應(yīng)的奇異值成反比[17]，于是得到如下的權(quán)重公式：

(2)

這里σi(Xj)是圖像塊組Xj對(duì)應(yīng)的第i個(gè)奇異值，c是一個(gè)常數(shù)，n是Yj中相似的分塊的數(shù)量，ε=10-16是為了避免分母為0。由于算法中σi(Xj)的奇異值不能直接獲得。

σi(Xj)可以近似估計(jì)為:

(3)

算法1。

1)

2)

k=1:L,執(zhí)行

3)

4)

對(duì)y(k)每一小塊yj執(zhí)行 {尋找相似分塊集合Yj奇異值分解[U,Σ,V]=SVD(Yj) 根據(jù)式(2)計(jì)算估計(jì)權(quán)向量w獲得估計(jì)：X^j=USw(Σ)VT}

5)

算法1中Sw(Σ)ii被定義為:

Sw(Σ)ii=max(Σii-wi,0)

(4)

2 基于GMM和WNNM的混合去噪模型

自然圖像通常有一些重復(fù)的局部模式， 并且對(duì)于一個(gè)局部的圖像塊在整個(gè)圖像中可以找到許多與之相似的圖像塊，這些圖像塊組成的矩陣通常是低秩的，這個(gè)被稱為非局部自相似的先驗(yàn)是圖像恢復(fù)最成功的先驗(yàn)之一。

帶權(quán)核范數(shù)最小化圖像去噪模型收集歐氏距離相近的圖像塊向量組成非局部自相似矩陣，這個(gè)非局部自相似矩陣的質(zhì)量好壞直接影響去噪性能。當(dāng)圖像受到噪聲污染，根據(jù)退化圖像的歐氏距離來(lái)組成非局部自相似矩陣是存在問題的，因?yàn)樵肼晻?huì)影響非局部自相似矩陣的組成，進(jìn)而影響該矩陣的低秩性，導(dǎo)致NSS先驗(yàn)失敗。

在圖像去噪中僅利用退化圖像的非局部自相似性先驗(yàn)是不夠的，可以利用外部的無(wú)噪聲自然圖像的非局部自相似性的先驗(yàn)。為此本文對(duì)無(wú)噪聲的自然圖像的非局部自相似性圖像塊進(jìn)行訓(xùn)練產(chǎn)生外部NSS先驗(yàn)的GMM，然后用該GMM指導(dǎo)退化圖像生成非局部自相似塊矩陣，最后用WNNM算法進(jìn)行圖像的去噪。這種結(jié)合退化圖像本身的NSS先驗(yàn)和外部干凈圖像NSS先驗(yàn)得到的非局部自相似塊矩陣質(zhì)量更高，有助于提升圖像的去噪效果，這點(diǎn)也通過后面的仿真實(shí)驗(yàn)得以驗(yàn)證。

可以假設(shè)自然圖像塊源于一個(gè)K維子空間的潛在結(jié)構(gòu)，所以一個(gè)給定的圖像塊xi的概率可以被定義為K個(gè)高斯的加權(quán)和，如式(5)所示：

引入類標(biāo)簽變量C∈{1,2,…,K}。對(duì)于每一塊xi,本文用GMM學(xué)習(xí)的概率密度函數(shù)(Probability Density Function, PDF)來(lái)判斷xi屬于哪一類Ci，式(6)表示屬于第k類的概率：

(6)

根據(jù)式(6)找出其中的最大值賦值給Ci； 然后，對(duì)于給定圖像塊xi，本文根據(jù)式(7)的馬氏距離來(lái)尋找與它相似的非局部分塊，形成非局部相似矩陣Yj，最后應(yīng)用WNNM模型對(duì)含噪聲圖像進(jìn)行去噪，詳細(xì)步驟見算法2。

(7)

算法2。

1)選定K,對(duì)自然無(wú)噪聲的圖像塊用GMM方法進(jìn)行訓(xùn)練，得到參數(shù)Θ

3)k=1:L,執(zhí)行

5)對(duì)y(k)每一小塊yj根據(jù)式(6)計(jì)算Ci根據(jù)式(7)尋找相似分塊集合Yj，根據(jù)式(2)估計(jì)權(quán)向量w奇異值分解[U,Σ,V]=SVD(Yj) 獲得估計(jì)：X^j=USw(Σ)VT

3 模型的擴(kuò)展及收斂性分析

上述方法解決的式(1)所示的去噪模型，該模型中的保真項(xiàng)，適用于高斯噪聲的特點(diǎn)，因此對(duì)高斯噪聲有很好的抑制效果，然而當(dāng)對(duì)均勻噪聲等其他噪聲或者圖像中還有粗差的效果不好，因此需要對(duì)式(1)所示的去噪模型的優(yōu)化目標(biāo)進(jìn)行修正為：

F(Xj)=h(Xj)+‖Xj‖w,*

(8)

其中h(·)為在Rm×n→R+利普希茨連續(xù)可導(dǎo)函數(shù)，利普希茨常數(shù)為L(zhǎng)(h)，h(·)替換式(1)中的保真項(xiàng)更具一般性，對(duì)模型(8)求最小值可以利用下面的更新策略求解：

(9)

其中μ>L(h)。

收斂性分析：

為了證明上述擴(kuò)展模型的收斂性，需要證明當(dāng)μ>L(h)則數(shù)列由式(9)獲得的序列{Xk}滿足以下特性：

1)F{Xk}是單調(diào)遞減的，即

證明 因?yàn)閄k+1是式(9)的最優(yōu)解，可以得到式(10):

(10)

另一方面，因?yàn)閔在利普希茨連續(xù)可導(dǎo)，所以可以得到:

h(Xk+1)≤h(Xk)+〈▽h(Xk),Xk-Xk〉+

(11)

根據(jù)式(10)和(11)可以得到:

(12)

由于μ>L(h)，所以F(Xk)≥F(Xk+1)。

將式(12)對(duì)k=1,2,3，…進(jìn)行累加可得到：

(13)

進(jìn)而得到：

(14)

從而得到模型的斂散性。

4 仿真實(shí)驗(yàn)

為了驗(yàn)證上面提出算法的有效性，本文將算法應(yīng)用到實(shí)際的例子中，并將本文算法跟其他經(jīng)典的算法(包括BM3D[12]、LSSC[13]和WNNM[15])作比較。本實(shí)驗(yàn)的計(jì)算機(jī)為普通PC，計(jì)算機(jī)的配置為CPU i7-4770k,內(nèi)存為12 GB。為了使本文的仿真實(shí)驗(yàn)更加逼近真實(shí)情況，文中添加的噪聲為不同噪聲類型的疊加。本文訓(xùn)練GMM的樣本來(lái)自Berkeley數(shù)據(jù)集，從這些圖像中提取了2×106個(gè)圖像塊。圖像塊的尺寸和很多文獻(xiàn)一樣設(shè)置為7×7、8×8、9×9和10×10，分別針對(duì)方差在[0,20]、[20,40]、[40,60]和[60,100]四種情況。

下面本文將就算法性能(文中采用峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)作為評(píng)價(jià)指標(biāo))和算法的運(yùn)行效率兩方面進(jìn)行比較說(shuō)明。

限于篇幅，圖1和圖2分別給出了C.man 和Monarch這兩張圖片在噪聲方差為30、50，本文算法與其他先進(jìn)的算法去噪的直觀效果。

圖1 噪聲方差為30時(shí)不同算法的去噪效果比較Fig. 1 Denoising results by different methods (noise variance=30)

表1顯示了在噪聲方差為30、50、100的情況下PSNR性能的比較。從實(shí)驗(yàn)結(jié)果可以看出BM3D性能平均提高了0.49 dB,相對(duì)于LSSC算法提高了0.38 dB,相對(duì)于WNNM算法平均提高了0.11 dB。本文的算法相對(duì)于BM3D算法和LSSC算法有顯著的提高，相對(duì)于WNNM算法也有明顯的提升。這些提升也驗(yàn)證了本文用混合高斯模型學(xué)習(xí)外部無(wú)噪聲的圖像的非局部自相似性這一先驗(yàn)知識(shí)，并在這一先驗(yàn)知識(shí)的指導(dǎo)下采用馬氏距離來(lái)形成非局部自相似圖像塊矩陣，代替其他算法采用歐氏距離形成非局部自相似圖像塊矩陣更加合理。

表1 不同算法的PSNR比較 dBTab. 1 Peak signal-to-noise ratio after denoising results by different methods dB

此外，需要注意的是，本文算法在大噪聲的情況下相對(duì)于其他算法優(yōu)勢(shì)更明顯，在噪聲方差為100時(shí)，本文算法相對(duì)于BM3D算法性能平均提高了0.65 dB,相對(duì)于LSSC算法提高了0.59 dB,相對(duì)于WNNM算法平均提高了0.156 dB。本文方法隨著噪聲方差的增加去噪優(yōu)勢(shì)更加明顯。

圖2 噪聲水平為50時(shí)不同算法的去噪效果比較Fig. 2 Denoising results by different methods (noise variance=50)

表2顯示了本文算法與其他先進(jìn)算法處理256×256圖像的時(shí)間運(yùn)行時(shí)間的比較，算法的實(shí)驗(yàn)結(jié)果是在不同的噪聲方差下，對(duì)不同圖像運(yùn)行100次的平均時(shí)間。從表4可以看出，雖然本文算法運(yùn)行時(shí)間與WNNM相當(dāng)，高于BM3D算法，但相對(duì)于WNNM來(lái)說(shuō)犧牲很少的運(yùn)行效率卻獲得了更好的去噪效果。

表2 不同算法運(yùn)行時(shí)間的比較 sTab. 2 Running time of different methods s

5 結(jié)語(yǔ)

本文首先用無(wú)噪聲的自然圖像塊訓(xùn)練混合高斯模型;然后再用訓(xùn)練好的混合高斯模型指導(dǎo)采集非局部自相似塊，用馬氏距離代替歐氏距離來(lái)衡量圖像塊之間的相似性，并為了使模型更具一般性，提出了擴(kuò)展模型; 最后，為了驗(yàn)證本文算法的有效性，與一些先進(jìn)的算法進(jìn)行仿真實(shí)驗(yàn)，仿真結(jié)果表明，所提算法在很多情況下具有優(yōu)勢(shì)。

References)

[1] TOMASI C, MANDUCHI R. Bilateral filtering for gray and color images[C]// Proceedings of the 6th International Conference on Computer Vision. Piscataway, NJ: IEEE, 1998: 839-846.

[2] PERONA P, MALIK J. Scale-space and edge detection using anisotropic diffusion [J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 1990,12(7):629-639.

[3] OSHER S, BURGER M, GOLDFARB D, et al. An iterative regularization method for total variation-based image restoration[J]. Multiscale Modeling & Simulation, 2005,4(2):460-489.

[4] STARCK J L, CANDES E J, DONOHO D L. The curvelet transform for image denoising[J]. IEEE Transactions on Image Processing, 2002,11(6):670-684.

[5] DONG W, ZHANG L, SHI G, et al. Nonlocally centralized sparse representation for image restoration [J]. IEEE Transactions on Image Processing,2013,22(4):1620-1630.

[6] JI H, LIU C, SHEN Z, et al. Robust video denoising using low rank matrix completion[J]. Computer Vision & Pattern Recognition, 2010, 23(3):1791-1798.

[7] ELAD M, AHARON M. Image denoising via sparse and redundant representations over learned dictionaries [J].IEEE Transactions on Image Processing, 2006,15(12):3736-3745.

[8] AHARON M, ELAD M, BRUCKSTEIN A. TheK-SVD: an algorithm for designing overcomplete dictionaries for sparse representation [J]. IEEE Transactions on Signal Processing, 2006,54(11):4311-4322.

[9] YU G, SAPIRO G, MALLAT S. Solving inverse problems with piecewise linear estimators: from Gaussian mixture models to structured sparsity [J]. IEEE Transactions on Image Processing, 2012, 21(5):2481-2499.

[10] BUADES A, COLL B, MOREL J M. A nonlocal algorithm for image denoising[C]// Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2005: 60-65.

[11] PEYRE G, BOUGLEUX S, COHEN L D. Nonlocal regularization of inverse problems [J]. Inverse Problems and Imaging, 2011, 5(2):511-530.

[12] DABOV K, FOI A, KATKOVNIK V, et al. Image denoising by sparse 3-D transform-domain collaborative filtering[J].IEEE Transactions on Image Processing, 2007, 16(8): 2080-2095.

[13] MAIRAL J, BACH F, PONCE J, et al. Non-local sparse models for image restoration[J]. Proceedings of the 2009 IEEE International Conference on Computer Vision. Piscataway, NJ: IEEE, 2009: 2272-2279.

[14] WANG S, ZHANG L, LIANG Y. Nonlocal spectral prior model for low-level vision[C]// Proceedings of the 11th Asian Conference on Computer Vision. Berlin: Springer-Verlag, 2013: 231-244.

[15] GU S, ZHANG L, ZUO W, et al. Weighted nuclear norm minimization with application to image denoising[C]// Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2014: 2862-2869.

[16] JI H, LIU C, SHEN Z, et al. Robust video denoising using low rank matrix completion[J]. Computer Vision & Pattern Recognition, 2010, 23(3):1791-1798.

[17] XU J, ZHANG L, ZUO W, et al. Patch group based nonlocal self-similarity prior learning for image denoising[C]// Proceedings of the 2015 IEEE International Conference on Computer Vision. Piscataway, NJ: IEEE, 2015:244-252.

This work was partially supported by the Technology Research Project of Ministry of Public Security of China (2015JSYJC029), the Public Security Marine Police Academy Research Center, Research Team Research Project.

SUN Shaochao, born in 1984, Ph.D., lecturer. His research interests include machine learning, computer vision.

Image denoising via weighted nuclear norm minimization and Gaussian mixed model

SUN Shaochao*

(DepartmentofElectronicTechnology,ChinaMaritimePoliceAcademy,NingboZhejiang315801,China)

Nonlocal Self-Similarity (NSS) prioritization plays an important role in image restoration, but it is worthy of further research that how to make full use of this prior to improve the performance of image restoration. An image denoising via weighted nuclear norm minimization and Gaussian Mixed Model (GMM) was proposed. Firstly, the clean NSS image blocks of the natural image were trained by GMM, and then the trained GMM was used to guide the degraded image to produce NSS image blocks. Then, the weighted nuclear norm minimization was used to realize image denoising, an extended model was proposed by modifying the fidelity item, and the corresponding convergent algorithm was given. The simulation results show, compared with some advanced algorithms such as Block Matching with 3D filtering (BM3D), Learned Simultaneous Sparse Coding (LSSC) and Weighted Nuclear Norm Minimization (WNNM), the proposed method improves the Peak Signal-to-Noise Ratio (PSNR) by 0.11 to 0.49 dB.

image denoising; Nonlocal Self-Similarity (NSS); Nuclear Norm Minimization (NNM); Gaussian Mixed Model (GMM)

2016-10-12;

2016-11-25。

公安部技術(shù)研究計(jì)劃項(xiàng)目(2015JSYJC029);公安海警學(xué)院研究中心、科研團(tuán)隊(duì)研究計(jì)劃項(xiàng)目。

孫少超(1984—)，男，山東榮成人，講師，博士，CCF會(huì)員，主要研究方向：機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺。

1001-9081(2017)05-1471-04

10.11772/j.issn.1001-9081.2017.05.1471

TP391.41

A