張婭楠，趙建偉，曹飛龍

(中國(guó)計(jì)量大學(xué) 理學(xué)院，浙江 杭州 310018)

加權(quán)核范數(shù)的矩陣恢復(fù)正則化算法

張婭楠，趙建偉，曹飛龍

(中國(guó)計(jì)量大學(xué) 理學(xué)院，浙江 杭州 310018)

在壓縮感知、矩陣恢復(fù)等研究領(lǐng)域，彈性正則化方法引起了廣泛的關(guān)注.由于該方法可以避免數(shù)據(jù)建模時(shí)(特別是解決復(fù)雜問題時(shí))解出現(xiàn)大的波動(dòng)，從而被視為解決相關(guān)問題的優(yōu)秀方法之一.針對(duì)以上情況，提出基于Schattenp-norm最小化的矩陣恢復(fù)的彈性正則化模型，旨在加強(qiáng)解決復(fù)雜問題時(shí)的解的穩(wěn)定性并改進(jìn)矩陣恢復(fù)研究領(lǐng)域中基于核范數(shù)最小化逼近秩函數(shù)這一傳統(tǒng)方法的缺陷.同時(shí)，為了解決提出的非凸模型，采用交替迭代算法和MM算法求解所提出的模型.實(shí)驗(yàn)結(jié)果表明，所提出的算法能夠有效地恢復(fù)測(cè)量值較少的矩陣.

矩陣恢復(fù)；彈性正則化；Schattenp-范數(shù)；交替迭代算法；MM算法

近幾年，隨著壓縮感知和稀疏表示研究的興起，低秩矩陣恢復(fù)問題已成為機(jī)器學(xué)習(xí)[1-3]、模式識(shí)別[4-5]以及計(jì)算機(jī)視覺[6-10]等領(lǐng)域的研究熱點(diǎn)之一.

而作為矩陣恢復(fù)問題的特殊問題，矩陣填充問題同樣在很多實(shí)際問題中有著廣泛的應(yīng)用，著名的Netflix問題[11-13]便是其中最經(jīng)典的案例.該問題極大地刺激人們關(guān)于矩陣恢復(fù)問題研究的熱情.

低秩矩陣最小化問題旨在從有限的信息中恢復(fù)出一個(gè)未知的低秩或近似低秩的矩陣.當(dāng)矩陣的測(cè)量值已知時(shí)，低秩矩陣恢復(fù)解決如下問題：

min rank(X)

s.t.A(X)=b.

(1)

其中A：Rm×n→Rs(s?mn)是一個(gè)線性算子，向量b∈Rs.

不幸的是上述問題是NP難問題.因此，求解這個(gè)問題是比較困難的.參考?jí)嚎s感知中的類似經(jīng)驗(yàn)[14-15]，人們通過用核范數(shù)逼近秩函數(shù)，轉(zhuǎn)而求解下面的啟發(fā)式優(yōu)化問題(NNM)：

min‖X‖*

s.t.A(X)=b.

(2)

(3)

其中λ為大于0的正則化參數(shù).

(4)

該方法通過用非凸項(xiàng)來替代核范數(shù)逼近秩函數(shù)取得比NNM更加準(zhǔn)確的恢復(fù)效果.而基于TNNR的算法也應(yīng)用在了視頻背景建模[26]和圖像分類[27]等領(lǐng)域.然而，對(duì)于一個(gè)具體的奇異值，TNNR對(duì)于是否將其作為正則化的一項(xiàng)只是做了一個(gè)二元決策，TNNR顯然也不夠松弛.因此，TNNR雖然通過截掉較大的奇異值對(duì)NNM進(jìn)行了改進(jìn)，但是這種粗魯?shù)姆椒ú]有考慮到剩下的奇異值對(duì)恢復(fù)結(jié)果的貢獻(xiàn)，所以這種方法在效果上也不盡如人意.

近幾年，一種基于Schatten p-norm最小化的非凸正則化方法[28-30]被用來替代傳統(tǒng)的NNM，Schatten p-norm 最小化可以表示如下:

(5)

在壓縮感知領(lǐng)域，受回歸問題的影響，Zou等人[31]提出了彈性正則化的方法，其主要思想是將傳統(tǒng)的l1-l2模型與嶺回歸的懲罰項(xiàng)相結(jié)合以達(dá)到控制解的穩(wěn)定性的效果，具體模型可以表示為

(6)

(7)

結(jié)合以上模型和算法的優(yōu)勢(shì)，本文將主要研究基于Schatten p-norm最小化的矩陣彈性網(wǎng)正則化算法.鑒于一個(gè)適當(dāng)?shù)膒可以使得Schatten p-norm最小化在測(cè)量值較少的情況下得到與基于NNM的算法相比更加準(zhǔn)確的效果，而矩陣彈性網(wǎng)正則化模型可以在待恢復(fù)矩陣相關(guān)性較高的情況下控制解的穩(wěn)定性，因此本文研究的基于Schatten p-norm的彈性網(wǎng)模型期望可以在控制解的穩(wěn)定性的同時(shí)得到與MEN相比更加準(zhǔn)確的恢復(fù)效果.

在本文中，我們首先提出一個(gè)基于Schatten p-norm最小化的矩陣彈性網(wǎng)正則化模型(簡(jiǎn)便起見下面表示為MEN-Sp)，當(dāng)矩陣秩較低時(shí)，這個(gè)模型可以得到更加穩(wěn)定的解，此外，當(dāng)測(cè)量值較少時(shí)，它也可以得到相比MEN更加準(zhǔn)確的效果.之后，我們構(gòu)造了兩種算法來求解這個(gè)非凸模型，一種是交替迭代算法，一種是基于MM算法框架的加權(quán)軟閾值算子法.我們還將通過實(shí)驗(yàn)來說明MEN-Sp在恢復(fù)測(cè)量值較少的矩陣時(shí)與凸優(yōu)化模型相比的優(yōu)勢(shì)，而在較復(fù)雜情況下解的穩(wěn)定性同樣會(huì)通過實(shí)驗(yàn)說明.

本文的內(nèi)容組織如下，在第一節(jié)中我們將介紹一些在下面分析中會(huì)用到的基本概念和結(jié)論.同時(shí)我們還會(huì)在這一節(jié)簡(jiǎn)單地介紹下MM算法.而在第二節(jié)中我們將給出本文所提出的MEN-Sp模型，并構(gòu)造兩種算法來求解這個(gè)模型.在第三節(jié)中，我們將通過實(shí)驗(yàn)從穩(wěn)定性和準(zhǔn)確性兩個(gè)方面驗(yàn)證算法的有效性.最后，在第四節(jié)中，我們將對(duì)本文進(jìn)行簡(jiǎn)要的總結(jié).

1 預(yù)備知識(shí)

在這一部分，我們將給出下面分析中要用到的一些基本定義結(jié)論和算法框架.

1.1 基本定義與性質(zhì)

定義1：一個(gè)秩為r的矩陣X，其奇異值分解為

X=U∑VT,∑=Diag({σi(X),1≤i≤r}),對(duì)于任意的v≥0，加權(quán)奇異值收縮算子Dv(:,ω)可以表示為

Dv(X,ω)=UDiag(σi(X)-vωi)iVT,i=1,2,…,r.

其中對(duì)任意的a∈R，(·)+:=max(a,0)；ωi(i=1,2,…,r)是權(quán)向量ω的元素；σi(X),i=1,2,…,r是X的奇異值.

而文獻(xiàn)[29]證明了加權(quán)奇異值收縮算子Dv(:,ω)是與加權(quán)核范數(shù)相關(guān)的近鄰算子.

引理1：對(duì)于任意的v≥0，W=Diag(ω),Y∈Rm×n,加權(quán)奇異值收縮算子Dv(Y,W)是下面問題的最優(yōu)解：

1.2 Majorization-minimization(MM)算法

為了解決非凸優(yōu)化問題，本文引入MM算法[33].MM算法十分容易理解并且在生存分析、變量選擇以及DNA序列分析等各個(gè)領(lǐng)域也有廣泛的應(yīng)用.MM算法的主要思想是通過用一系列的簡(jiǎn)單的凸優(yōu)化問題來替代原始的復(fù)雜的非凸優(yōu)化問題以達(dá)到簡(jiǎn)化問題的目的.假設(shè)J(x)是原始的非凸問題，而xk是J(x)最小值的估計(jì)值.基于這個(gè)估計(jì)值，MM算法需要先構(gòu)造一個(gè)新的函數(shù)G(x,xk)，之后我們通過最小化G(x,xk)來得到xk+1.關(guān)于G(x,xk)的構(gòu)造方法可以根據(jù)原始函數(shù)的形式來靈活選擇，當(dāng)然這個(gè)構(gòu)造函數(shù)要滿足以下的條件：

a：G(x,xk)需要比較容易求解，否則就沒有任何意義了；

b：對(duì)于任意的x，G(x,xk)≥J(x)；

c：G(xk,xk)=J(xk).

由上述的函數(shù)構(gòu)造方法，我們可以知道

J(xk+1)=G(xk+1,xk+1)=minG(xk+1,z) ≤G(xk+1,xK)=minG(x,xk) ≤G(xk,xk)=J(xk).

即J(xk+1)≤J(xk)，而此下降趨勢(shì)使得MM算法有顯著的數(shù)值穩(wěn)定性.

用MM算法來最小化J(x)可以總結(jié)為以下幾個(gè)步驟：

1) 令k=0.初始化x0；

2) 構(gòu)造G(x,xk)使之滿足：

(a)對(duì)任意的x，G(x,xk)≥J(x)；

(b)G(x,xk)=J(xk);

4) k=k+1，返回第2步；

2 MEN-Sp模型及求解算法

在這一部分，我們首先提出我們的基于Schatten p-norm最小化的矩陣彈性正則化模型，之后，給出兩種不同的算法來求解這個(gè)模型.首先我們將給出此模型的整體估計(jì)量的形式，即損失函數(shù)和MEN-Sp懲罰項(xiàng)(Schatten p-norm和Frobenius范數(shù)結(jié)合)的極小化變量，而所謂的MEN-Sp懲罰項(xiàng)可以定義如下:

為了恢復(fù)原始矩陣M0，基于MEN-Sp懲罰項(xiàng)的矩陣彈性正則化可以寫成如下形式:

(8)

以上模型就是我們本文中的主要優(yōu)化模型MEN-Sp.為了方便表示，我們?cè)谙旅娴耐茖?dǎo)中假設(shè)X∈Rn×n,b∈Rs.

2.1 一種新的交替迭代算法

在這部分，我們構(gòu)造一種新的交替迭代算法來優(yōu)化模型(8).首先我們將(8)的模型變化為下面的形式：

s.t. Y=X-AT(A(X)-b),

W=(σ(X)+ε0)p-1.

(9)

受文獻(xiàn)[30]的啟發(fā)，模型(9)可以通過以下三個(gè)步驟解決：

計(jì)算Xk+1：固定Xk和Yk，通過最小化P(X,Yk,Wk)得到Xk+1：

(10)

由引理1可知，上述問題的解可以表示為

計(jì)算Yk+1：固定Xk+1，計(jì)算Yk+1如下：

Yk+1=Xk+1-AT(A(Xk+1)-b).

計(jì)算Wk+1：固定Xk+1，計(jì)算Wk+1如下：

Wk+1=(σ(Xk+1)+ε0)p-1.交替迭代算法的完整計(jì)算流程總結(jié)在算法2.1中.

算法2.1：交替迭代算法

輸入：線性算子A:Rm×n→Rs(s?mn)，觀測(cè)向量b∈Rs,p∈(0,1)，正則化參數(shù)λ,ε,ε0≥0，最大迭代次數(shù)為kmax，衰減系數(shù)為defac；

輸出：恢復(fù)矩陣Xopt；

初始化：Y0=0,k=0,W0=0

For k=1:kmax

步驟1：計(jì)算Xk+1，；

步驟2：更新Y，Yk+1=Xk+1-AT(A(Xk+1)-b)；

步驟3：更新W，Wk+1=(σ(Xk+1)+ε0)p-1；

步驟4：如果收斂，Xopt=Xk+1.否則k=k+1,λ=defac×λ返回第二步.

2.2 基于MM算法的優(yōu)化方法

在這一部分，我們將構(gòu)造一個(gè)基于MM算法框架的算法來優(yōu)化(8).由于MM算法通常用來解決基于向量的優(yōu)化問題，所以我們先將原始問題轉(zhuǎn)化為下面的等價(jià)形式：

(11)

這里x=vec(X)，A是A的矩陣形式.由于最小化J(x)比較困難，所以我們考慮J(x)的二次替代函數(shù)：

(12)

對(duì)上述方程的項(xiàng)重新整理后，G(x,xk)可以重新表示為

(13)

其中zk=xk+α-1AT(b-Axk).剔除掉其中與無關(guān)的常數(shù)項(xiàng)，等價(jià)于最小化下面的替代方程：

(14)

假設(shè)矩陣X有r個(gè)大于0的奇異值：σ1≥σ2≥…≥σr>0.一般情況下，對(duì)于X的奇異值分解X=U∑VT，下面性質(zhì)成立：

(15)

而通過對(duì)上述表達(dá)式進(jìn)行微分運(yùn)算可以很容易地得到解的形式.這里，我們省略掉簡(jiǎn)單的數(shù)學(xué)運(yùn)算，最小化(15)得到的解為

(16)

基于上述的推導(dǎo)，基于MM算法框架的優(yōu)化算法總結(jié)在算法2.2中.

算法2.2：基于MM算法的優(yōu)化算法

輸入：仿射矩陣A，常數(shù)α，正則化參數(shù)λ，ε最大循環(huán)次數(shù)kmax，衰減系數(shù)defac;

輸出：Xopt；

初始化：X0=0∈Rm×n；

For k=1:kmax

步驟1：令zk=xk-1+α-1AT(b-Axk-1).將向量zk-1重新排列成矩陣Zk-1；

步驟2：SVD分解：Zk=U∑VT，其中∑是由σzk-1作為對(duì)角線元素組成的對(duì)角矩陣；

步驟3：得到Xk的奇異值如下所示

否則λ=defac×λ，返回第二步.

算法2.2的主要計(jì)算時(shí)間消耗是在第二步，也就是SVD分解.其他步驟的耗時(shí)基本上很少.對(duì)于大維數(shù)的矩陣恢復(fù)問題，我們可以使用PROPACK包來計(jì)算部分SVD分解來加速算法的運(yùn)算速度，這樣也會(huì)使我們的算法更加有效率.此外，MM算法還保證了算法2.2的收斂性.

3 實(shí)驗(yàn)結(jié)果與分析

矩陣填充作為矩陣恢復(fù)的一個(gè)特殊案例，其在人臉識(shí)別、機(jī)器學(xué)習(xí)以及圖像處理等方面也有著廣泛應(yīng)用.這里為例驗(yàn)證我們算法的有效性，我們擬解決下面的問題：

(17)

其中：Ω是勢(shì)為s的隨機(jī)子集，PΩ:Rm×n→Rm×n為一線性投影算子，即PΩ(Mij)=Mij,if(i,j)∈Ω,否則為0.模型(17)同樣可以由以上兩種優(yōu)化算法進(jìn)行求解.

圖1 原始圖片F(xiàn)igure 1 Original images

3.1 參數(shù)選擇

3.2 MEN-Sp的穩(wěn)定性實(shí)驗(yàn)

正如我們?cè)谏厦嫣岬降?，Lasso模型(ε=0)在預(yù)測(cè)值是高相關(guān)或者預(yù)測(cè)值的數(shù)量遠(yuǎn)遠(yuǎn)大于觀測(cè)值時(shí)解會(huì)表現(xiàn)出不穩(wěn)定性.再者，共線性也會(huì)嚴(yán)重削弱Lasso的恢復(fù)能力.因此,在這一部分我們將通過實(shí)驗(yàn)來說明我們的算法對(duì)于高相關(guān)矩陣的穩(wěn)定性控制能力.而為了使實(shí)驗(yàn)結(jié)果更加有說服力，我們分別對(duì)隨機(jī)人工矩陣和構(gòu)造的低秩圖片進(jìn)行矩陣填充實(shí)驗(yàn).其中隨機(jī)人工矩陣的構(gòu)造方法為:LRT,L,R為的矩陣并且矩陣元素是獨(dú)立同分布的(i.i.d)，而構(gòu)造圖片“Strip”(265×100)是包含六個(gè)灰度值(0,50,100,10,200,250)的秩為1的圖片.而為了選擇一個(gè)合適的ε值，我們分別選取ε=0,ε=1e-7,ε=1e-6來進(jìn)行對(duì)比.這三種模型分別表示為MEN-Sp0，MEN-Sp1和MEN-Sp2，本部分我們采用峰值信噪比(PSNR)來刻畫恢復(fù)效果.

表1 人工數(shù)據(jù)十次恢復(fù)結(jié)果的標(biāo)準(zhǔn)差Table 1 Standard deviation for “synthetic data” with ten runs

表2 “Strip”十次恢復(fù)結(jié)果的標(biāo)準(zhǔn)差Table 2 Standard deviation for “Strip” with ten runs

圖2顯示了對(duì)“Strip”的隨機(jī)十次填充效果.從圖中可以容易看出，隨著值的增大，恢復(fù)曲線趨于平穩(wěn)，這就意味著標(biāo)準(zhǔn)差越小解越穩(wěn)定，這與表2中的數(shù)據(jù)也是吻合的.總之，不管是從圖中的視覺效果還是從表中的數(shù)據(jù)來看，MEN-Sp1和MEN-Sp2都要比MEN-Sp0穩(wěn)定，而MEN-Sp2又比MEN-Sp1要穩(wěn)定.從恢復(fù)效果上看，相對(duì)較大的值會(huì)影響恢復(fù)的準(zhǔn)確率，也就是說的增加會(huì)增強(qiáng)穩(wěn)定性但是也會(huì)引起PSNR值的減小，因此我們要選擇一個(gè)合適的值來平衡穩(wěn)定性和恢復(fù)效果.事實(shí)上從實(shí)驗(yàn)結(jié)果來看，我們傾向于選擇，因?yàn)槠鋵?duì)穩(wěn)定性的控制更加有效并且與相比并沒有較大的PSNR的損失，故在下一部分的參數(shù)設(shè)置中，我們選擇作為最后一個(gè)正則化參數(shù).

3.3 MEN-Sp正則化

為了突出我們的算法在測(cè)量值較少時(shí)的恢復(fù)效果，我們?cè)诒静糠种饕紤]元素缺失較多的情況.不同于上個(gè)部分，本節(jié)我們采用相對(duì)誤差來刻畫恢復(fù)效果：

我們將我們的算法MEN-Sp和對(duì)比算法MEN分別應(yīng)用于自然圖片“boat”和“Monarch”上，恢復(fù)效果圖顯示在圖3中，圖3的第一行是原始圖片的降秩后效果，第二行為對(duì)降秩后的圖片隨機(jī)缺失掉60%的效果，算法MEN的恢復(fù)結(jié)果顯示在第三行，我們的算法MEN-Sp的恢復(fù)結(jié)果顯示在第四行.從視覺效果上也可以看出第四行比第三行的效果更好.相應(yīng)的數(shù)值計(jì)算結(jié)果可以參考表3，從表中也可以看到，我們算法的恢復(fù)效果要遠(yuǎn)遠(yuǎn)優(yōu)于MEN.值得注意的是，MEN的計(jì)算時(shí)間隨著缺失元素的增多并沒有大的波動(dòng)，這是因?yàn)镸EN在200次循環(huán)后并沒有收斂到我們滿意的狀態(tài)，所以每次都要計(jì)算200次.相比之下，我們的算法的收斂性更快，這也是我們的基于MM算法框架的優(yōu)勢(shì)，比如說當(dāng)缺失50%時(shí)，我們的算法在循環(huán)150次時(shí)就收斂到理想狀態(tài).盡管看上去我們的算法的時(shí)間要長(zhǎng)，但這是因?yàn)樵诿看蔚难h(huán)中我們的算法都要進(jìn)行大量的SVD分解.綜合上述的因素來看，我們的MEN-Sp確實(shí)要優(yōu)于MEN.

圖2 在不同的缺失情況下MEN-SP 對(duì)“Strip”的恢復(fù)結(jié)果.Figure 2 Performance of the MEN-Sp algorithm on “Strip” for different randomly masked set.

圖3 自然圖片“boat”和“Monarch”恢復(fù)效果對(duì)比Figure 3 Comparisons in terms of the natural images “boat” and “Monarch” respectively

缺失程度/%恢復(fù)結(jié)果刻畫方式boatMonarchMENMEN?SpMENMEN?Sp50相對(duì)誤差0．00672．2442e?060．06894．7889e?05時(shí)間2410167760相對(duì)誤差0．02811．2013e?050．13801．4889e?04時(shí)間24169713170相對(duì)誤差0．06567．0862e?050．18870．1327時(shí)間24362612780相對(duì)誤差0．12460．08520．27570．2572時(shí)間24466130

4 總結(jié)與展望

在低秩矩陣恢復(fù)研究領(lǐng)域，用核范數(shù)最小化來逼近秩函數(shù)這一傳統(tǒng)方法雖然得到了廣泛的應(yīng)用，但是核范數(shù)最小化方法平等地對(duì)待每一個(gè)奇異值，這顯然是不合理的.

[1] SREBRO N, RENNIE J, JAAKKOLA T S. Maximum-margin matrix factorization[C]// Advances in Neural Information Processing Systems. Granada: NIPS,2004:1329-1336.

[2] YE Jieping. Generalized low rank approximations of matrices[J]. Machine Learning,2005,61(1-3):167-191.

[3] SREBRO N, JAAKKOLA T. Weighted low-rank approximations[C]//Proceedings of the Twentieth International Conference on Machine Learning. Washington DC:AAAI Press,2003,3:720-727.

[4] ZHANG Chunjie, LIU Jing, TIAN Qi, et al. Image classification by non-negative sparse coding, low-rank and sparse decomposition[C]// Proc of IEEE Conf on Computer Vision and Pattern Recognition (CVPR). Colorado: IEEE,2011:1673-1680.

[5] MA Long, WANG Chunheng, XIAO Baihua, et al. Sparse representation for face recognition based on discriminative low-rank dictionary learning[C]// Proc of IEEE Conf on Computer Vision and Pattern Recognition. Rhode Island: IEEE,2012:2586-2593.

[6] SHASHUA A, HAZAN T. Non-negative tensor factorization with applications to statistics and computer vision[C]// Proc of the 22nd Int Conf on Machine Learning. Bonn: ACM,2005:792-799.

[7] BARTOLI A, GAY-BELLILE V, CASTELLANI U, et al. Coarse-to-fine low-rank structure-from-motion[C]// Proc of IEEE Conf on Computer Vision and Pattern Recognition. Anchorage: IEEE,2008:1-8.

[8] ZHANG Zhengdong, MATSUSHITA Y, MA Yi. Camera calibration with lens distortion from low-rank textures[C]// Proc of IEEE Conf on Computer Vision and Pattern Recognition. Colorado: IEEE,2011:2321-2328.

[9] SHEN Xiaohui, WU Ying. A unified approach to salient object detection via low rank matrix recovery[C]// Proc of IEEE Conf on Computer Vision and Pattern Recognition. Rhode Island: IEEE,2012:853-860.

[10] LIU Guangcan, LIN Zhouchen, YU Yong. Robust subspace segmentation by low-rank representation[C]// Proc of the 27th Int Conf on machine learning (ICML-10). Haifa: IMLS,2010:663-670.

[11] TAKáCS G, PILáSZY I, NéMETH B, et al. Matrix factorization and neighbor based algorithms for the netflix prize problem[C]// Proc of the 2008 ACM Conf on Recommender systems. Lausanne: ACM,2008:267-274.

[12] BENNETT J, LANNING S. The netflix prize[C]// Proc of KDD Cup and Workshop. New York: ACM,2007,3-6.

[13] BELL R M, KOREN Y. Lessons from the Netflix prize challenge[J]. ACM SIGKDD Explorations Newsletter,2007,9(2):75-79.

[14] CANDES E J. The restricted isometry property and its implications for compressed sensing[J]. Comptes Rendus Mathematique,2008,346(9):589-592.

[15] DONOHO D L. Compressed sensing[J]. IEEE Trans on Information Theory,2006,52(4):1289-1306.

[16] CANDèS E J, RECHT B. Exact matrix completion via convex optimization[J]. Foundations of Computational mathematics,2009,9(6):717-772.

[17] CANDèS E J, TAO T. The power of convex relaxation: Near-optimal matrix completion[J]. IEEE Trans on Information Theory,2010,56(5):2053-2080.

[18] FAZEL M. Matrix rank minimization with applications[D]. Palo Alto: Stanford University,2002.

[19] MAZUMDER R, HASTIE T, TIBSHIRANI R. Spectral regularization algorithms for learning large incomplete matrices[J]. Journal of Machine Learning Research,2010,11(11):2287-2322.

[20] TOH K C, YUN S. An accelerated proximal gradient algorithm for nuclear norm regularized linear least squares problems[J]. Pacific Journal of Optimization,2010,6(3):615-640.

[21] FUKUSHIMA M. Application of the alternating direction method of multipliers to separable convex programming problems[J]. Computational Optimization and Applications,1992,1(1):93-111.

[22] MA Shiqian, GOLDFARB D, CHEN Lifeng. Fixed point and Bregman iterative methods for matrix rank minimization[J]. Mathematical Programming,2011,128(1-2):321-353.

[23] LI Hong, CHEN Na, LI Luoqing. Error analysis for matrix elastic-net regularization algorithms[J]. IEEE Trans on Neural Networks and Learning Systems,2012,23(5):737-748.

[24] HU Yao, ZHANG Debing, YE Jieping, et al. Fast and accurate matrix completion via truncated nuclear norm regularization[J]. IEEE Trans on Pattern Analysis and Machine Intelligence,2013,35(9):2117-2130.

[25] ZHANG Debing, HU Yao, YE Jieping, et al. Matrix completion by truncated nuclear norm regularization[C]//Proc of IEEE Conf on Computer Vision and Pattern Recognition. Rhode Island: IEEE,2012:2192-2199.

[26] 陳甲英,趙建偉,曹飛龍.一種新的魯棒主成分分析方法及其應(yīng)用[J].中國(guó)計(jì)量學(xué)院學(xué)報(bào),2016,27(1):113-120. CHEN Jiaying, ZHAO Jianwei, CAO Feilong. A novel robust principal component analysis method and its applications[J]. Journal of China Jiliang University,2016,27(1):113-120.

[27] HU Yao, JIN Zhongming, SHI Yi, et al. Large scale multi-class classification with truncated nuclear norm regularization[J]. Neurocomputing,2015,148:310-317.

[28] MAJUMDAR A, WARD R K. An algorithm for sparse MRI reconstruction by Schatten p-norm minimization[J]. Magnetic resonance imaging,2011,29(3):408-417.

[29] NIE Feiping, HUANG Heng, DING C H Q. Low-Rank Matrix Recovery via Efficient Schatten p-Norm Minimization[C]//Proc of the 26th Conf on Artificial Intelligence. Toronto: AAAI Press,2012:655-661.

[30] LI Yufan, ZHANG Yanjiao, HUANG Zhenghai. A reweighted nuclear norm minimization algorithm for low rank matrix recovery[J]. Journal of Computational and Applied Mathematics,2014,263:338-350.

[31] ZOU Hui, HASTIE T. Regularization and variable selection via the elastic net[J]. Journal of the Royal Statistical Society: Series B (Statistical Methodology),2005,67(2):301-320.

[32] GAIFFAS S, LECUé G. Sharp oracle inequalities for high-dimensional matrix prediction[J]. IEEE Trans on Information Theory,2011,57(10):6942-6957.

[33] HUNTER D R, LANGE K. A tutorial on MM algorithms[J]. The American Statist Ician,2004,58(1):30-37.

Regularization algorithm for matrix recovery based on reweighted nuclear norm

ZHANG Yanan, ZHAO Jianwei, CAO Feilong

(College of Sciences, China Jiliang University, Hangzhou 310018, China)

Whether in the field of compressive sensing or matrix recovery, the elastic-net regularization has attracted wide attention. It is a successful approach in statistical modeling which can avoid large variations which always occur in estimating complex models. In order to improve the defect of the nuclear norm minimization which requires more measurement for exact recovery of low rank solution and enhance the stability of the solution, we proposed a new matrix elastic-net regularization method based on Schattenp-norm minimization(MEN-Sp). To minimize this no-convex model, alternating iterative algorithm and MM algorithm were adopted. And the superiority of the MEN-Sp regularization algorithm for recovering the matrix with fewer measurement was also proved by the simulation experiment.

matrix recovery; elastic-net regularization; Schattenp-norm; alternate iterating algorithm; MM algorithm

2096-2835(2016)04-0471-09

10.3969/j.issn.2096-2835.2016.04.020

2016-09-27 《中國(guó)計(jì)量大學(xué)學(xué)報(bào)》網(wǎng)址：zgjl.cbpt.cnki.net

國(guó)家自然科學(xué)基金資助項(xiàng)目(No.61672477,61571410,91330118).

TP391

A