葉婭蘭，何文文，程云飛，侯孟書，李云霞

?

面向壓縮感知的基于相關性字典學習算法

葉婭蘭1，何文文1，程云飛1，侯孟書1，李云霞2

(1. 電子科技大學計算機科學與工程學院 成都 611731; 2. 電子科技大學自動化工程學院 成都 611731)

壓縮感知理論作為一種新興技術，能夠降低傳感節(jié)點的能量消耗，推動基于可穿戴設備的遠程健康監(jiān)護系統(tǒng)的發(fā)展。其中，字典學習算法獲得的過完備字典應用于壓縮感知重構時能獲得較高的重構精度，因此備受關注。傳統(tǒng)字典學習算法通常未考慮到信號內部隱含的相關，不能充分地捕捉到信號特征，當應用到壓縮感知重構時不能精確地重構信號。該文充分利用生理信號隱含的相關性的結構特征，提出一種基于相關性的加權最小二乘字典學習算法，克服了傳統(tǒng)字典學習算法應用到壓縮感知重構信號時精度差的缺陷。實驗結果表明，該算法能夠充分地捕捉信號特征，提高應用于壓縮感知重構恢復領域的信噪比，使得壓縮后的信號能被精確地重構恢復出來。

聚類; 壓縮感知; 字典學習; 過完備字典; 可穿戴設備

近些年，人們在日常生活中對可穿戴設備的便攜性需求使可穿戴遠程健康監(jiān)護系統(tǒng)得到較快的發(fā)展。如何降低傳感節(jié)點的能量消耗，計算和傳輸功耗是可穿戴遠程健康監(jiān)護系統(tǒng)面臨的主要問題之一。2006年壓縮感知理論的出現(xiàn)較好地解決了該問題[1-2]。信號的稀疏表示是壓縮感知理論應用的前提,其中，稀疏基(字典)的選擇影響著信號重構的時間長短和質量好壞。研究表明[3-5]，信號在字典下的表示系數(shù)越稀疏則重構信號的質量越高，所以字典的選擇十分重要。近幾年的研究表明[6-8]，通過學習方法獲得的字典在各種應用領域有非常出色的性能。因此基于字典學習算法獲得的過完備字典對面向壓縮感知重構的應用(可穿戴遠程健康監(jiān)護系統(tǒng))具有重要意義。

到目前為止，許多字典學習算法不斷被提出以適應多種輸入信號類型。經(jīng)典算法有最優(yōu)方向法[9]、加權最小二乘字典學習(weighted least square dictionary learning, WLS-DL)算法[10-11]以及K奇異值分解(K-singular value decomposition, K-SVD)算法[12]等。這些算法大都應用于去噪或分類[13-16]，最近有一些研究學者將字典學習算法應用到壓縮感知的信號重構中。其中，文獻[17]將K-SVD應用于可穿戴遠程健康監(jiān)護系統(tǒng)的壓縮感知心電信號重構，文獻[18]使用基于字典學習方法獲得的過完備字典對三維超聲圖像進行壓縮感知重構。但是，這些算法沒有充分考慮訓練信號內部隱含的特征，從而影響到過完備字典在壓縮感知的信號重構精度。

為了解決上述問題，本文充分挖掘信號(尤其是生理信號)隱含的相關性的結構特征，提出一種基于相關性的加權最小二乘字典學習(correlation-based weighted least square-dictionary learning, CWLS-DL)算法，主要應用于壓縮感知信號重構。該算法利用信號內部的相關性信息，提高過完備字典在壓縮感知的信號重構精度。實驗表明，本文提出的CWLS-DL算法在字典學習時能夠獲得更低的均方根誤差，充分地捕捉到信號特征，進而提高應用于壓縮感知的重構恢復信號的信噪比，使得壓縮后的信號能被精確地重構出來。

1 基于相關性的加權最小二乘字典學習CWLS-DL算法

圖1 本文基于相關性加權最小二乘字典學習 CWLS-DL算法

本文提出一種基于相關性的加權最小二乘字典學習(CWLS-DL)算法，充分地挖掘生理信號內部的相關性特征，從而提高過完備字典在壓縮感知的信號重構精度。本文算法的步驟為：1) 基于相關性聚類的訓練樣本預處理；2) 分塊字典訓練；3) 集中字典訓練。圖1給出了算法的思想框架。

1.1 基于聚類的訓練樣本預處理

本階段利用k-means聚類算法(聚類標準為皮爾遜相關系數(shù)，Pearson correlation coefficient)將訓練樣本集聚為(正整數(shù))類/塊(本文將一類稱為一塊)，同一塊信號的相關性較強，不同塊的信號之間相關性較弱。具體地，相關系數(shù)值較大的信號樣本聚為同一塊，相關系數(shù)值較小的信號樣本聚為不同的塊，則原始訓練樣本集被分為個子訓練樣本塊，有：

子訓練樣本集對應的個初始子訓練字典為：

1.2 分塊字典學習

在上階段將原始訓練樣本集分為個子訓練樣本塊后，為了使個子訓練字典能充分學習個子訓練樣本塊的特征，需要進行分塊字典訓練，即每個子訓練字典學習相對應的子訓練樣本塊的特征。在此階段，依據(jù)個子訓練樣本塊進行交替優(yōu)化，對信號進行稀疏表示的同時求得所需的過完備字典。

1) 稀疏編碼，固定子訓練字典，基于常用的正交匹配追蹤算法[20]得到子稀疏系數(shù)矩陣；2) 字典更新，固定子稀疏系數(shù)矩陣，使用加權最小二乘算法更新子訓練字典。對于第個子訓練樣本塊，本文給出使用加權最小二乘算法得到子訓練字典更新公式的推導過程：在字典更新中要解決使帶有權重的重構信號與輸入信號的誤差的Frobenius范數(shù)最小，即：

1.3 集中字典學習

在得到個子訓練字典后，為了得到原始信號樣本的字典，則需要集中字典訓練。注意，此階段所用的加權最小二乘算法與文獻[10-11]中所用的傳統(tǒng)的加權最小二乘算法存在兩點不同：1) 文獻[10-11]依據(jù)從原始信號樣本中隨機選取的樣本得到的初始字典；本文所用的初始字典是上一個階段訓練出的子訓練字典合并的字典，已經(jīng)捕捉了各個子信號樣本集的特征。2) 文獻[10-11]在訓練字典時，字典原子個數(shù)固定，沒有根據(jù)實際學習情況進行調整；本文中，對合并的字典進行集中訓練的同時，找出字典原子之間的距離(采用歐式距離(euclidean distance))過小的原子，去掉重復的原子，只保留其中的一個，使字典原子個數(shù)可以自適應地調整。

接下來按照與分塊字典訓練同樣的兩步策略(稀疏編碼和字典更新)進行字典學習，在字典更新時由加權最小二乘算法得到的字典迭代公式為：

式中，表示原始訓練樣本集；表示與對應的稀疏系數(shù)矩陣；權重的設置方式如下所示。

首先計算誤差矩陣：

2 本文的CWLS-DL算法在壓縮感知重構中的應用

本文中，重構信號算法采用塊稀疏貝葉斯學習(block sparse Bayesian learning, BSBL)[21]，該算法利用解向量的塊內元素幅值相關性，與現(xiàn)有的壓縮感知重構算法如正交匹配追蹤算法[20]、基追蹤算法[22]等相比，具有更高的信號重構精度。

基于本文提出的CWLS-DL算法得到的過完備字典在壓縮感知信號重構中的應用步驟如下：

3 實驗所用數(shù)據(jù)集以及評價指標

3.1 數(shù)據(jù)集

本文實驗所用的生理信號是心電信號(electrocardiogram, ECG)數(shù)據(jù)集。數(shù)據(jù)集來自于MIT- BIH數(shù)據(jù)庫中的apnea-ECG database (apnea-ECG, 采樣頻率為100 Hz)、combined measurement of ECG、breathing and seismocardiograms database[23](CEBSDB,采樣頻率為5 000 Hz)。由于字典訓練需要大量的信號樣本，所以會對下載的信號樣本進行分割。經(jīng)過分割，最終會得到840個子ECG信號，每個信號維度為200。

3.2 評價指標

式中，均方根誤差越小表示學習得到的過完備字典能夠較好地捕捉原始信號的特征。

2) 為了衡量學習到的過完備字典在壓縮感知的信號重構精度，本文使用常用指標信噪比(signal to noise ratio, SNR)來衡量，SNR越大，說明重構恢復出的信號與壓縮前的原始信號更接近：

4 實 驗

本文實驗采取信號為3.1節(jié)中的ECG信號。實驗部分首先依據(jù)RMSE指標衡量本文提出CWLS-DL算法的性能，再將該算法應用到壓縮感知領域的重構恢復信號階段，依據(jù)指標SNR來評估該算法在實際應用中的有效性。

4.1 本文的CWLS-DL算法性能的仿真對比

實驗在ECG數(shù)據(jù)集下進行，對3類字典學習算法，即本文CWLS-DL算法、經(jīng)典WLS-DL算法[11]和K-SVD算法[12]的RMSE性能做仿真對比，如圖2所示。圖中，CWLS-DL算法的第83次迭代是從分塊訓練階段到集中訓練階段的轉折點。對于本文CWLS-DL算法，轉折點之后的RMSE才是本文算法的最終結果，前83次的結果是各個子塊的RMSE的均值(為展示圖2而計算)。

圖2 3種算法ECG信號的RMSE比較

在字典學習過程中，信號樣本為個數(shù)為800，每個信號維度為200，字典學習算法的輸入信號矩陣為200′800。WLS-DLA算法[11]與K-SVD算法[12]的字典原子個數(shù)都為600，則字典學習矩陣的維度為200′600，本文提出的CWLS-DL算法學習得到的字典收斂時的維度為200′360?；谠u價聚類算法的效果好壞的指標(silhouette value，其值越大，聚類效果越好)，在將類別數(shù)設置為2到10的整數(shù)時，為2的silhouette value最大，說明設置為2時，聚類效果較好。因此，實驗中，聚類算法的類別數(shù)設置為2。

由圖2看出，WLS-DLA算法[11]收斂時RMSE值為22，K-SVD算法[12]收斂時RMSE值為22，本文的CWLS-DL算法在最終收斂時RMSE為8。CWLS-DL算法得到RMSE值比較小，說明本文提出的CWLS-DL算法能更加精確地學習到原始ECG信號的特征。

4.2 應用于壓縮感知重構恢復信號中

實驗在3.1節(jié)中ECG數(shù)據(jù)集下進行，在基于本文CWLS-DL算法的字典、經(jīng)典的WLS-DL算法[11]和K-SVD算法[12]的字典下，關于測試集中(除去用作訓練集的800個信號，測試集有40個信號)第10個ECG信號的重構恢復性能的比較，如圖3所示。從圖3看出，相比于經(jīng)典的WLS-DL算法[11]和K-SVD算法[12]的字典，基于本文CWLS-DL算法的字典在重構恢復信號的質量更好，即重構恢復出的信號與原始信號更加接近，說明基于本文CWLS-DL算法獲得的字典在壓縮感知的應用中具有更高的信號重構精度。

圖3 3種算法在記錄號10的ECG信號重構波形與原始ECG信號波形的比較

表1 3種算法得到的過完備字典在壓縮感知重構中的應用性能比較

另外，對于ECG數(shù)據(jù)集，基于本文CWLS-DL算法的字典、WLS-DL算法[11]的字典和K-SVD算法[12]的字典，關于測試集中第12、25、33、40的ECG信號樣本的重構效果(以信噪比SNR為指標)也被計算出來，重構恢復算法為BSBL_BO[21]，如表1所示。從表1看出，相對于WLS-DL算法[11]和K-SVD算法[12]的字典，基于本文CWLS-DL算法的字典能獲得更高的信噪比值，即重構出的ECG信號與原始ECG信號更接近，說明基于本文CWLS-DL算法的字典能夠更精確地重構出原始ECG信號。

4.3 實驗結論

綜上所述，本文實驗對常見生理信號(ECG)做了關于RMSE以及重構指標SNR的比較。相比兩個經(jīng)典的字典學習算法WLS-DL算法[11]和K-SVD算法[12]，本文提出的CWLS-DL算法能獲得更低的RMSE值，說明本文CWLS-DL算法能更好地捕捉原始信號相關性的結構特征。同時，為了說明算法在實際壓縮感知應用方面的有效性，將本文CWLS-DL算法、WLS-DL算法[11]、K-SVD算法[12]分別獲得的字典用于重構算法BSBL_BO[21]中對ECG信號進行重構恢復。從仿真結果來看，基于本文CWLS-DL算法的字典能夠取得比WLS-DL算法[11]字典、K-SVD算法[12]字典更高的信噪比，說明基于本文算法重構出的信號精度更高，壓縮感知重構出的信號與原始信號更加接近。

5 結束語

本文提出了一種基于相關性的加權最小二乘字典學習CWLS-DL算法。該算法能夠充分地捕捉生理信號相關性的結構特征，所獲得的過完備字典應用到壓縮感知中具有很高的信號重構精度。本文采用生理信號ECG數(shù)據(jù)集來驗證所提出算法的有效性。實驗結果表明，相比于傳統(tǒng)字典學習算法所獲得的過完備字典，本文提出的字典學習算法所獲得的過完備字典應用在壓縮感知中重構出的信號具有更高的信噪比，重構恢復出的信號與原始信號更加接近，能很好地解決面向壓縮感知的可穿戴遠程健康監(jiān)護系統(tǒng)的實際應用問題。

[1] DONOHO D L. Compressed sensing[J]. IEEE Transactions on Information Theory, 2006, 52(4): 1289-1306.

[2] XU K, LI Y, REN F. An energy-efficient compressive sensing framework incorporating online dictionary learning for long-term wireless health monitoring[C]//2016 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). [S.l.]: IEEE, 2016: 804-808.

[3] KER Ming-dou, CHEN Jung-sheng, CHU Ching-yun. New curvature-compensation technique for CMOS bandgap reference with sub-1-V operation[C]//The 2005 IEEE International Symposium on Circuits and Systems. New York: IEEE, 2005: 3861-3864.

[3] 練秋生, 石保順, 陳書貞. 字典學習模型、算法及其應用研究進展[J]. 自動化學報, 2015, 41(2): 240-260.

LIAN Qiu-sheng, SHI Bao-shun, CHEN Shu-zhen. Reasearch advance on dictionary learning models, algorithm and applications[J]. Acta Automatica Sinica, 2015, 41(2): 240-260.

[4] 孫林慧. 語音壓縮感知關鍵技術研究[D]. 南京: 南京郵電大學, 2012.

SUN Lin-hui. Research on the key issues of compressed speech sensing[D]. Nanjing: Nanjing University of Posts and Telecommunications, 2012.

[5] 孫林慧, 楊震, 季云云, 等. 基于過完備線性預測字典的壓縮感知語音重構[J]. 儀器儀表學報, 2012, 33(4): 743-749.

SUN Lin-hui, YANG Zhen, JI Yun-yun, et al. Reconstruction of compressed speech sensing based on overcomplete linear prediction dictionary[J]. Chinese Journal of Scientific Instrument, 2012, 33(4): 739-749.

[6] YAGHOOBI M, BLUMENSATH T, DAVIS E M. Dictionary learning for sparse approximations with the magorization method[J]. IEEE Transactions on Signal Processing, 2009, 57(6): 2178-2191.

[7] LIU J J, MA X H. An improved image inpainting algorithm based on multi-scale dictionary learning in wavelet domain[C]//International Conference on Signal Processing, Communication and Computing. Kunming, China: IEEE, 2013: 1-5.

[8] LIU Xiang-ming, ZHAI De-ming, ZHAO De-bin. Image super-resolution via hierarchical and collaborative sparse representation[C]//Proceedings of the 2013 Data Compression Conference. Snowbird, USA: IEEE, 2013: 93-102.

[9] ENGAN K, AASE S O, HUSOY J H. Method of optimal directions for frame design[C]//Conference on IEEE International Acoustics, Speech, and Signal Processing. [S.l.]: IEEE, 1999: 2443-2446.

[10] NADERAHMADIAN Y, BEHESHTI S, TINATI M A. Correlation based online dictionary learning algorithm[J]. IEEE Transactions on Signal Processing, 2016, 64(3): 592-602.

[11] 王粒賓, 崔琛, 李瑩軍. 基于加權最小二乘的字典學習算法[J]. 系統(tǒng)工程與電子技術, 2011, 33(8): 1896-1900.

WANG Li-bin, CUI Chen, LI Ying-jun. Dictionary learning algorithm based on weighted least square[J]. Systems Engineering and Electronics, 2011, 33(8): 1896-1900.

[12] AHARON M, ELAD M, BRUCKSTEIN A. K-SVD: an algorithm for designing overcomplete dictionaries for sparse representation[J]. IEEE Transactions on Signal Process, 2006, 54(11): 4311-4322.

[13] KONG Y, LI Y, WU J, et al. Noise reduction of diffusion tensor images by sparse representation and dictionary learning[J]. Biomedical Engineering Online, 2016, 15(1): doi: 10.1186/s12938-015-0116-3.

[14] FAWZI A, DAVIES M, FROSSARD P. Dictionary learning for fast classification based on soft-thresholding[J]. International Journal of Computer Vision, 2015, 114(2-3): 306-321.

[15] BAHRAMPOUR S, NASRABADI N M, RAY A. Multimodal task-driven dictionary learning for image classification[J]. IEEE Transactions on Image Processing, 2016, 25(1): 24-38.

[16] LIU T, SI Y, WEN D, et al. Dictionary learning for VQ feature extraction in ECG beats classification[J]. Expert Systems with Applications, 2016, 53: 129-137.

[17] 彭向東, 張華, 劉繼忠. 基于過完備字典的體域網(wǎng)壓縮感知心電重構[J]. 自動化學報, 2014, 40(7): 1421-1432.

PENG Xiang-dong, ZHANG Hua, LIU Ji-zhong. ECG reconstruction of body sensor network using compressed sensing based on overcomplete dictionary[J]. Acta Automatica Sinica, 2014, 40(7): 1421-1432.

[18] LORINTIU O, LIEBGOTT H, BERNARD A, et al. Compressed sensing reconstruction of line-wise sub-sampled 3D echographic images based on dictionary learning: an experimental study[C]//IEEE International Ultrasonics Symposium (IUS). Taiwan, China: IEEE, 2015.

[19] KAUFMAN L, ROUSSEEUW P J. Finding groups in data: an introduction to cluster analysis[M]. [S.l.]: John Wiley & Sons, 2009.

[20] PATI Y C, REZAIIFAR R, KRISHNAPRASAD P S. Orthogonal matching pursuit: Recursive function approximation with applications to wavelet decomposition [C]//Proceedings of 27th Asilomar Conference on Signals, Systems and Computers. [S.l.]: IEEE, 1993.

[21] ZHANG Z, RAO B D. Extension of SBL algorithms for the recovery of block sparse signals with intra-block correlation[J]. IEEE Transactions on Signal Process, 2013, 61: 2009-2015.

[22] CHEN S S, DONOHO D L, SAUNDERS M A. Atomic decomposition by basis pursuit[J]. SIAM Review, 2001, 43(1): 129-159.

[23] GOLDBERGER A L, AMARAL L A N, GLASS L, et al. Physiobank, physiotoolkit, and physionet components of a new research resource for complex physiologic signals[J]. Circulation, 2000, 101(23): e215-e220.

[24] MARSOUSI M, ABHARI K, BABYN P, et al. An adaptive approach to learn overcomplete dictionaries with efficient numbers of elements[J]. IEEE Transactions on Signal Processing, 2014, 62(12): 3272-3283.

編 輯 漆 蓉

Correlation Based Dictionary Learning Algorithm for Compressed Sensing

YE Ya-lan1, HE Wen-wen1, CHENG Yun-fei1, HOU Meng-shu1, and LI Yun-xia2

(1. School of Computer Science and Engineering, University of Electronic Science and Technology of China Chengdu 611731;2. School of Automation Engineering, University of Electronic Science and Technology of China Chengdu 611731)

As a novel technique, compressed sensing, which can reduce energy consumption can promote the development of remote health monitoring systems based on wearable device. Dictionary learning algorithm has attracted much attention because of its improvement of the performance of reconstructing physiological signals in the field of compressed sensing. Usually, conventional dictionary learning algorithms did not consider the implicit correlation inside signals, resulting in that the characteristic of signals cannot be efficiently captured and thus the signal cannot be accurately reconstructed. In this paper, a correlation based dictionary learning algorithm is proposed to apply in compressed sensing, exploit implicit correlation structure inside the physiological signal efficiently, and overcome the shortcoming, poor reconstruction accuracy, of conventional dictionary learning algorithms. Experiments results show that the proposed algorithm can capture the structure of physiological signal adequately, and thus can improve the signal-to-noise ratio for compressed sensing, namely, the compressed physiological signal can be accurately reconstructed.

clustering; compressed sensing; dictionary learning; over complete dictionary; wearable device

TP391

A

10.3969/j.issn.1001-0548.2017.05.011

2016-11-08；

2017-04-27

國家自然科學基金(61501096, 61472067)；四川省國際科技合作與交流項目(2016HH0020)；四川省科技支撐計劃(2015GZ0199, 2016FZ0105)

葉婭蘭(1975-)，女，博士，副教授，主要從事智能信息處理算法、壓縮感知、生物醫(yī)學信號處理方面的研究.