潘金鳳,尹麗菊,高明亮,鄒國峰
(山東理工大學(xué)電氣與電子工程學(xué)院,山東 淄博 255000)
視頻等具有背景緩慢變化及前景快速移動特點的信號被稱為時變稀疏信號[1]。時變稀疏信號分析常需要的前景與背景的分離可用低秩稀疏分解實現(xiàn)。文獻[2]提出基于主成分分析(Principal Component Analysis,PCA)的低秩稀疏分解方法,該方法分別使用稀疏、低秩矩陣作為前景與背景的數(shù)學(xué)模型,對低秩矩陣的估計使用基于PCA 的閾值法,其缺點是分解準確度在很大程度上依賴于初始值的設(shè)置,且移動前景被誤歸為低秩背景的概率較大。為了得到更準確的低秩稀疏分解結(jié)果,文獻[3]介紹了使用目標(biāo)特征域字典的基于PCA 的目標(biāo)跟蹤方法。文獻[4-6]介紹了先將整個信號投影到其低秩背景的正交空間,再應(yīng)用最小二乘法對信號的稀疏前景進行估計的方法。
壓縮感知(Compressive Sensing,CS)信號處理方法能夠在低于Nyquist 采樣率的條件下實現(xiàn)信號的精確或近似精確重構(gòu),所以該理論下的采樣與重構(gòu)成為一個重要研究方向,在很多有關(guān)圖像與視頻處理的領(lǐng)域都得到應(yīng)用。文獻[7]提出了噪聲服從高斯分布假設(shè)下的Bayesian 壓縮感知重構(gòu)方法。文獻[8]將壓縮感知技術(shù)應(yīng)用于光學(xué)相干斷層掃描成像數(shù)據(jù)的重構(gòu)。文獻[9-12]分別介紹了多光譜、近紅外、并行以及三維壓縮感知成像系統(tǒng)的實現(xiàn)方法。
時變稀疏信號壓縮觀測的重構(gòu)方法大多基于其背景緩變、前景快變的特點。文獻[13]介紹了使用張量的塊壓縮感知重構(gòu)方法。文獻[14]提出使用張量的SAR 圖像的壓縮感知重構(gòu)方法。文獻[15]提出在背景緩變假設(shè)下的卡爾曼濾波壓縮感知重構(gòu)方法。文獻[16]根據(jù)各幀圖像之間動態(tài)變化的特點,應(yīng)用動態(tài)方程來實現(xiàn)動態(tài)壓縮感知重構(gòu)。以上方法都利用低秩與稀疏先驗知識進行壓縮感知重建,但沒能分別給出低秩與稀疏部分的重構(gòu)結(jié)果。由于動態(tài)壓縮感知重構(gòu)不能實現(xiàn)信號低秩與稀疏部分的直接分離重構(gòu),研究人員開始研究能夠?qū)烧咧苯臃蛛x的重構(gòu)方法。文獻[17]應(yīng)用基于PCA 的低秩稀疏分解方法對高光譜圖像進行壓縮感知重構(gòu),其低秩部分的重構(gòu)利用了多光譜圖像的譜間低秩性與譜內(nèi)稀疏性。文獻[18]利用PCA 方法與文獻[19]改進的正交匹配追蹤方法,在假設(shè)視頻低秩部分的秩與稀疏前景的稀疏度都已知的條件下,先估計低秩矩陣與稀疏矩陣的支撐集,再應(yīng)用最小二乘方法實現(xiàn)時變稀疏信號的壓縮觀測的低秩稀疏分解(SpaRcs)。文獻[20]利用移動的稀疏前景使視頻各幀圖像構(gòu)成的二維矩陣呈現(xiàn)紋理特征的特點,改進了SpaRcs 方法的稀疏前景支撐集的估計方法。SpaRcs 及其改進方法更適用于靜態(tài)低秩背景,但是對于緩變背景,其運行結(jié)果較差。
為提高信號壓縮觀測的低秩稀疏分解的準確度,本文基于文獻[5]方法,提出兩種不同稀疏前景壓縮觀測近似值的估計方法。首先將時變稀疏信號的壓縮觀測值投影到其低秩背景的正交空間,或?qū)⒃盘柾队暗狡涞椭缺尘暗恼豢臻g后再壓縮觀測,再分別對稀疏前景及低秩背景進行壓縮感知重構(gòu)。
假設(shè)時變稀疏信號由T幀連續(xù)圖像構(gòu)成:
其中:X?Rn×T;L與S分別是X的低秩與稀疏部分。
假設(shè)在對X進行壓縮觀測時,各幀圖像都使用相同的 測量矩 陣Φ?Rm×n(m< 對xt進行壓縮觀測,再投影到它的低秩背景壓縮觀測值的近似正交空間的過程可表示為: 其中:αt=PΦlt表示未能將Φlt準確投影到其正交空間形成的微小誤差。若R1=PΦ符合測量矩陣的等距約束條件,則式(4)的壓縮觀測過程可以直接使用R1作為測量矩陣。 第2 種方法是先投影再壓縮觀測(CSP),該方法首先將信號X投影到它的低秩背景估計值的近似正交空間,然后再對該投影值進行壓縮觀測。因此,應(yīng)先計算的奇異值分解并估計其支撐集矩陣的近似值UL和近似正交投影矩陣PL。將xt投影到它的低秩背景的近似正交空間,再進行壓縮觀測的過程可表示為: 其中:βt=ΦPLlt,PLlt表示未能完全將lt投影到其正交空間形成的微小誤差。因為Φ是單位行向量測量矩陣,所以βt的各個元素也是微小值。若R2=ΦPL符合壓縮感知測量矩陣的等距約束條件,則對xt的壓縮觀測也可以直接使用R2作為測量矩陣。 本文中Φ使用各元素服從N(0,1)分布的高斯測量矩陣,如果R1、R2同樣是高斯矩陣,那么其性質(zhì)與高斯測量矩陣相同,符合壓縮感知信號處理對測量矩陣的要求,此時式(4)、式(5)中st的求解屬于壓縮感知重構(gòu)問題。實驗發(fā)現(xiàn),若支撐集矩陣U1或UL由包含Φ或的部分能量的若干個較大非零奇異值對應(yīng)的左奇異向量構(gòu)成,則R1、R2的分布曲線平滑且基本與Φ服從相同的分布。圖1(a)為Curtain 視頻的一幀背景訓(xùn)練樣本。圖1(b)為對Curtain 的背景訓(xùn)練樣本集,當(dāng)壓縮采樣率為0.1 時,由保留95%能量的支撐集矩陣求得的R1、R2與高斯測量矩陣Φ的分布進行比較。如圖1(b)所示,R1與Φ的分布差別稍大,R2與Φ的分布基本無差別,三者的分布差別非常小,所以R1、R2近似服從與Φ相同的高斯分布,可以作為測量矩陣使用。 圖1 3 種測量矩陣元素的概率密度比較Fig.1 The comparison of probability density of three measurement matrice elements 將式(4)與式(5)表示的兩種不同的壓縮觀測與投影過程統(tǒng)一表示為: 式(6)中st的求解可用基追蹤去噪法,即: 求得st的估計值后,lt的估計也成為壓縮感知重構(gòu)問題: 應(yīng)用基追蹤算法即可求解lt的估計值。 時變稀疏信號壓縮觀測的低秩稀疏分解需要解決的另一問題是由信號低秩背景緩慢變化引起的。無論是先壓縮觀測再正交投影,還是先投影再壓縮觀測,當(dāng)?shù)椭缺尘爱a(chǎn)生變化時,它的正交投影矩陣就會改變,因而Θt也隨之變化,因此需要解決如何判斷低秩矩陣lt是否發(fā)生變化,及其變化是否導(dǎo)致了正交投影矩陣的較大變化問題。本文采用計算相鄰幀低秩矩陣的結(jié)構(gòu)相似度(Structural Similarity,SSIM)的方法來進行判斷,若兩者的SSIM 值小于閾值,說明低秩背景已經(jīng)發(fā)生較大變化,需要重新計算正交投影矩陣。 應(yīng)用第1 種先壓縮觀測再投影方法的時變稀疏信號壓縮觀測的低秩稀疏分解算法的實現(xiàn)步驟如算法1 所示。 算法1PCS算法 步驟1已知低秩背景訓(xùn)練樣本,初始化高斯測量矩陣Φ?Rm×n,參數(shù)c、η、th及t=1。 步驟2對低秩背景訓(xùn)練樣本進行壓縮觀測得,然后估計保持其部分能量c的近似支撐集矩陣U1及正交投影矩陣P。 步驟3令測量矩陣Θt=PΦ,根據(jù)式(6)對時變稀疏信號xt進行壓縮觀測。 步驟4應(yīng)用基追蹤去噪算法與基追蹤算法先后對稀疏信號st和低秩信號lt進行壓縮感知重構(gòu)。 步驟5t=t+1,若t>η且lt與lt-1的結(jié)構(gòu)相似度SSIM 第2 種壓縮觀測方法是根據(jù)背景的訓(xùn)練樣本,先將時變稀疏信號近似投影到它的低秩部分的正交空間,再對信號投影值進行壓縮觀測,兩種方法的第4 步、第5 步相同,其前3 步的步驟如算法2所示。 算法2CPS算法 步驟1已知低秩背景訓(xùn)練樣本初始化高斯測量矩陣Φ?Rm×n,參數(shù)c,η,th及t=1。 步驟2計算保持低秩背景訓(xùn)練樣本部分能量c所對應(yīng)的近似支撐集矩陣UL及其正交投影矩陣PL。 步驟3令測量矩陣Θt=ΦPL,根據(jù)式(6)對時變稀疏信號xt進行壓縮觀測。 SpaRcs 是一種能夠根據(jù)壓縮觀測值直接實現(xiàn)信號的前景、背景分離的重構(gòu)方法。所以,實驗時將SpaRcs 方法與本文的PCS 方法、CSP 方法進行比較。 圖2 是壓縮觀測采樣率m/n=0.3 時,3 種方法對Curtain 視頻的壓縮觀測的低秩稀疏分解重構(gòu)的比較。從圖2(i)SpaRcs 的低秩背景重構(gòu)結(jié)果可以看出,該方法將移動前景的大部分誤歸為低秩背景,所以圖2(j)中稀疏前景的分解結(jié)果只有部分輪廓,PCS 與CSP 方法的分解結(jié)果都優(yōu)于SpaRcs 方法,從圖2(d)和圖2(g)可以看出,對各幀圖像,本文提出的CSP 與PCS 方法結(jié)果比較,前者的稀疏前景重構(gòu)結(jié)果的錯誤噪聲點更少,前景圖像更清晰。將稀疏前景與低秩背景的重構(gòu)結(jié)果求和得到各幀圖像的壓縮感知重構(gòu)結(jié)果,比較其峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)值可以看出,CSP 方法是3 種方法中最高的。 圖2 Curtain 低秩稀疏分解重構(gòu)結(jié)果Fig.2 The low rank and sparse decomposition refactoring results of Curtain 圖3 是CSP 方法與SpaRcs 方法對Hall 視頻的低秩稀疏分解重構(gòu)結(jié)果的比較,實驗中所有圖像的壓縮觀測采樣率都等于0.2。從圖中可以看出,SpaRcs方法將人這一稀疏前景的很大一部分劃分到了低秩背景中,造成稀疏前景的識別正確率很低,而CSP 方法的低秩與稀疏部分的重構(gòu)結(jié)果更準確。 圖3 Hall 的壓縮感知低秩稀疏分解比較(m/n=0.2)Fig.3 Comparison of low rank and sparse decomposition of compressed video of Hall(m/n=0.2) 圖4 所示為在壓縮感知采樣率為0.2~0.4 時,3 種方法對Curtain 視頻所有幀重構(gòu)結(jié)果的PSNR 平均值的比較。每幀的重構(gòu)結(jié)果都是用重構(gòu)的低秩背景與稀疏前景的和求得的。從圖4 可以看出,CSP、PCS 與SpaRcs 方法比較,重構(gòu)圖像的PSNR 值能提高2 dB 左右,CSP 方法的PSNR 平均值高于PCS 方法。 圖4 Curtain 重構(gòu)圖像的PSNR 平均值Fig.4 Average PSNR of Curtain reconstruction images 圖5 是壓縮觀測采樣率為0.1 時,對Hall 視頻各幀圖像重構(gòu)結(jié)果的PSNR 值比較。從圖5 結(jié)果可以看出,在相同采樣率下,SpaRcs 方法重構(gòu)圖像的質(zhì)量遠低于CSP 和PCS 方法,而CSP 方法的絕大多數(shù)重構(gòu)幀的PSNR 值都是3 種方法中最高的。 圖5 Hall 圖像壓縮感知重構(gòu)的峰值信噪比比較Fig.5 Comparison of PSNR of Hall image compression sensing reconstruction 圖6 與圖3 的各幀原圖像是相同的,但壓縮觀測采樣率變?yōu)?.3。與圖3 相比,SpaRcs 方法的稀疏前景更加清晰準確,但是該方還是將視頻的部分稀疏前景劃分成低秩背景,與之比較,CSP 方法的低秩背景與稀疏前景的重構(gòu)分解結(jié)果都更加準確。 圖6 Hall 的壓縮感知低秩稀疏分解比較(m/n=0.3)Fig.6 Comparison of low rank and sparse decomposition of compressed video of Hall(m/n=0.3) 本文通過將時變稀疏信號的壓縮觀測值投影到其低秩值的正交空間,運用重構(gòu)稀疏信號值與低秩信號值的方法,實現(xiàn)時變稀疏信號壓縮觀測的低秩稀疏分解。提出壓縮觀測與低秩空間正交投影按不同順序進行的兩種方法,每種方法的壓縮觀測與投影兩個過程都可分別使用各自的算子一步實現(xiàn)。使用相鄰重構(gòu)幀低秩值的結(jié)構(gòu)相似度判斷低秩背景是否發(fā)生變化,若發(fā)生變化,則采用最新重構(gòu)低秩值更新低秩背景與其正交空間。實驗結(jié)果表明,與SpaRcs 方法相比,本文方法重構(gòu)圖像的PSNR 平均值最多能提高2 dB 左右。后續(xù)將研究基于三維壓縮感知與正交投影的壓縮感知低秩稀疏分解方法,使用較少的測量數(shù)獲得更高信號重構(gòu)質(zhì)量的三維壓縮感知,對時變稀疏信號進行壓縮觀測,低秩正交投影在三維空間完成,在投影完成后實現(xiàn)稀疏與低秩信號的重構(gòu)。2 低秩稀疏分解的實現(xiàn)
3 實驗結(jié)果與分析
4 結(jié)束語