林冬梅 ,張愛華 ,楊富龍 ,陳曉雷
(1. 蘭州理工大學(xué) 電氣工程與信息工程學(xué)院,甘肅 蘭州,730050;2. 甘肅省工業(yè)過程先進(jìn)控制重點(diǎn)實(shí)驗(yàn)室,甘肅 蘭州,730050)
脈搏是衡量人體生理狀態(tài)極其重要且可靠的信息源之一。脈診是我國傳統(tǒng)醫(yī)學(xué)中最具特色的一項(xiàng)診斷方法。長期以來,對脈象的判斷缺乏客觀的量化指標(biāo)和標(biāo)準(zhǔn)。脈診客觀化是一個(gè)亟待解決的難題,其關(guān)鍵是如何建立合理科學(xué)的檢測方法,獲取全面的脈搏觸覺信息。多年來,國內(nèi)外研究者致力于對脈搏傳感器和脈診客觀化的探索研究,各種脈搏傳感器和相應(yīng)的信息獲取方法層出不窮,為進(jìn)一步研究脈搏檢測方法、獲取全面的脈搏信息奠定良好的基礎(chǔ)。目前,用于脈搏信息采集的傳感器主要有壓阻式、光電式和壓電式傳感器等[1?7]。固態(tài)壓阻式傳感器采用剛性探頭,依據(jù)壓阻效應(yīng)反映脈搏搏動(dòng)變化。光電式傳感器是根據(jù)光在組織中的透過率比在血液中的透過率大的原理而設(shè)計(jì),傳感器接收透過指端的脈動(dòng)變化的光并轉(zhuǎn)換為電信號,獲得指端光電脈搏圖。壓電式傳感器采用機(jī)電薄膜(EMFi)或壓電薄膜(PVDF)作為傳感元件,依據(jù)壓電效應(yīng)間接測量脈搏搏動(dòng)過程中的皮膚表面的變形。上述檢測方法將脈搏的空間變化轉(zhuǎn)換為一電信號輸出,無法細(xì)致反映切脈皮膚表面空間各點(diǎn)的變化。另外,由于受傳感器結(jié)構(gòu)體積、敏感元件性能、制造工藝等因素影響,檢測點(diǎn)數(shù)目受到很大限制,且無法實(shí)現(xiàn)脈管不同部位不同截面變化的同步測量。張治國等[8]采用超聲探頭,觀察脈管某一截面的運(yùn)動(dòng)規(guī)律,但由于超聲頻率低,且單一截面反映的信息比較局限,無法重構(gòu)任意時(shí)刻脈搏跳動(dòng)的空間曲面。脈診客觀化遲遲未能實(shí)現(xiàn),其主要原因在于脈象傳感器設(shè)計(jì)和脈象信息分析方法兩方面關(guān)鍵技術(shù)尚未實(shí)現(xiàn)突破性進(jìn)展。基于圖像化的脈象采集與分析研究是一個(gè)全新的領(lǐng)域,集傳感器設(shè)計(jì)、生物信號檢測、計(jì)算機(jī)視覺及動(dòng)態(tài)圖像處理等多學(xué)科于一體,具有較強(qiáng)的新穎性和挑戰(zhàn)性。為獲取更多脈搏數(shù)據(jù)信息,從仿生學(xué)角度出發(fā),結(jié)合中醫(yī)切脈時(shí)“最佳取脈壓力”原理和薄膜網(wǎng)格受力變形時(shí)的空間位移測量原理,提出新的基于圖像化的脈象采集方法,并研制出脈搏圖像傳感器[9],將脈搏信息以圖像的形式表現(xiàn)出來。采用該傳感器采集動(dòng)態(tài)脈搏圖像,研究圖像的變化,提取脈搏信息并進(jìn)行分析。在前期的研究中,本課題組已經(jīng)研究采用網(wǎng)格面積法、散焦法、圖像相關(guān)法、圖像重心法、差分法等算法提取表征脈搏波動(dòng)的幅度信息,獲取脈搏波形。經(jīng)過比較可知,網(wǎng)格面積法所獲取的脈搏波形曲線明顯清晰,更能精確地反映脈搏變化信息[10],但該方法提取的脈搏波中重搏前波或重搏波不明顯。針對網(wǎng)格面積法的不足,本文利用圖像統(tǒng)計(jì)特性,對比常用的圖像基本統(tǒng)計(jì)量,提出一種獲取脈搏波形的新方法——基于圖像熵的脈搏波形提取算法。
脈搏圖像傳感器見圖 1,由內(nèi)含可調(diào)壓力密封腔的軟性探測觸頭、CCD攝像頭、傳感器支架、切脈壓力調(diào)節(jié)機(jī)構(gòu)、手動(dòng)氣泵、氣壓緩沖腔、壓力檢測與指示、氣路和光路等部分組成,具體的結(jié)構(gòu)原理圖及元件參數(shù)見文獻(xiàn)[9, 11]。探測觸頭與皮膚接觸面采用理化性較好的軟性薄膜制成,以求增加人體仿生度。將接觸面制成直徑為30 mm的圓形,并在薄膜內(nèi)側(cè)印制相互聯(lián)結(jié)的方形網(wǎng)格。探測觸頭中壓縮空氣的壓力不但可以連續(xù)調(diào)節(jié),而且可利用氣壓表顯示壓力,用于模擬指內(nèi)壓力。采用螺旋測微儀調(diào)節(jié)彈簧彈力,控制固定探測觸頭與手腕接觸點(diǎn)的壓力狀況,使探測觸頭與手臂接觸面間的作用力達(dá)到平衡,在此狀態(tài)下,安放于探測觸頭上方的 CCD攝像頭能夠采集到網(wǎng)格薄膜隨脈搏跳動(dòng)的清晰的動(dòng)態(tài)圖像,圖2所示為其中一幀圖像。動(dòng)態(tài)脈搏圖像采集幀速率為30幀/s,圖像的分辨率為640×480像素。攝像頭經(jīng)USB接口直接與計(jì)算機(jī)通訊,進(jìn)行數(shù)據(jù)存儲、轉(zhuǎn)換或圖像處理,進(jìn)而對各網(wǎng)格的動(dòng)態(tài)形變或灰度變化分析,獲取多維脈搏信息。該傳感器能夠采集多維動(dòng)態(tài)脈搏圖像信息,其信息量比傳統(tǒng)傳感器的信息量更大。
圖1 脈搏圖像傳感器Fig.1 Pulse image sensor
圖2 一幀脈搏圖像Fig.2 One frame of pulse image signal
圖像能反映自然界中某一物體或?qū)ο蟮碾姶挪ㄝ椛淠芰糠植记闆r。由于成像系統(tǒng)具有一定的復(fù)雜性以及成像過程中的隨機(jī)性,圖像信號f(x,y)表現(xiàn)出隨機(jī)變量的特性,故圖像信息具有隨機(jī)信號的性質(zhì)并且具有統(tǒng)計(jì)性質(zhì)。因此,統(tǒng)計(jì)分析是數(shù)字圖像處理分析的基本方法之一[12]。
紋理最初指纖維物的外觀,一般認(rèn)為具有重復(fù)性結(jié)構(gòu)的圖像叫紋理圖像。紋理圖像在局部區(qū)域內(nèi)可能呈現(xiàn)不規(guī)則性,但整體上表現(xiàn)出一定規(guī)律性[13],其灰度分布往往表現(xiàn)出某種周期性。實(shí)際中很多圖像具有紋理型結(jié)構(gòu),紋理在一定程度上反映一個(gè)區(qū)域中像素灰度級的空間分布屬性。對這類紋理型圖像可通過紋理分析提取其宏觀特征信息[14]。
紋理可分為人工紋理和天然紋理(自然紋理)。人工紋理由某種符號有序排列組成,這些符號可以是線條、點(diǎn)、字母和數(shù)字等。自然紋理是具有重復(fù)排列現(xiàn)象的自然景象,如磚墻、種子、森林和草地之類的照片。圖3所示為一些典型的人工紋理和自然紋理圖像。
另一方面,從采集到的脈搏圖像特征來看(比較圖2與圖3),其中每一幀圖像都類似于人工紋理圖像,所以,可嘗試采用紋理分析的方法來分析脈搏圖像。而紋理分析常用的方法有統(tǒng)計(jì)分析法、自相關(guān)函數(shù)法、傅里葉頻譜法、聯(lián)合概率矩陣法、句法結(jié)構(gòu)法等。其中,較常用的是統(tǒng)計(jì)分析法,故選擇統(tǒng)計(jì)分析法來分析脈搏圖像。
一幅圖像f(x,y),大小為M×N像素,坐標(biāo)為(i,j)的像素點(diǎn)的灰度表示為f(i,j)(i=0, 1, 2, …,M?1,j=0, 1, 2, …,N?1)。常用的圖像基本統(tǒng)計(jì)量如下[12]。
2.2.1 圖像的信息量(熵)
1幅圖像若共有k種灰度,并且各灰度出現(xiàn)的概率分別為p1,p2,p3,…,pk,則根據(jù)香農(nóng)定理,圖像的信息量可采用如下公式:
其中:H稱為圖像的信息量(熵),當(dāng)圖像中各灰度出現(xiàn)的概率彼此相等時(shí),則圖像的熵最大。信息量表示1幅圖像所含的信息量,常用于對不同圖像處理方法進(jìn)行比較。例如,對于1幅采用8 bit表示的數(shù)字圖像,其信息量如下:
2.2.2 圖像灰度平均值
灰度平均值是指1幅圖像中所有像素灰度的算術(shù)平均值,計(jì)算公式如下:
圖像灰度平均值反應(yīng)圖像中物體不同部分的平均反射強(qiáng)度。
2.2.3 圖像灰度方差
灰度方差反應(yīng)圖像各像素灰度與圖像平均灰度的離散程度,計(jì)算公式如下:
與熵類似,圖像灰度方差同樣是衡量圖像信息量大小的主要度量指標(biāo),是圖像統(tǒng)計(jì)特性中最重要的統(tǒng)計(jì)量之一,方差越大,圖像的信息量越大。
圖3 紋理圖像Fig.3 Texture images
2.2.4 圖像灰度眾數(shù)
圖像灰度眾數(shù)是指圖像中出現(xiàn)次數(shù)最多的灰度,其物理意義是指1幅圖像中面積占優(yōu)的物體的灰度。
2.2.5 圖像灰度中值
圖像灰度中值是指數(shù)字圖像全部灰度級中處于中間的值,當(dāng)灰度級數(shù)為偶數(shù)時(shí),取中間的2個(gè)灰度的平均值。
2.2.6 圖像灰度值域
圖像灰度值域是指圖像最大灰度fmax(i,j)和最小灰度之差,計(jì)算公式如下:
采用脈搏圖像傳感器采集的脈搏數(shù)據(jù)是動(dòng)態(tài)圖像序列。脈搏跳動(dòng)強(qiáng)度的不同,會導(dǎo)致軟性薄膜形變強(qiáng)弱不同,從而使各幀圖像的灰度發(fā)生相應(yīng)變化,進(jìn)而使得圖像上特定區(qū)域的統(tǒng)計(jì)量在不同幀間發(fā)生相對變化。根據(jù)基本圖像統(tǒng)計(jì)量的定義,對同一脈搏圖像序列的每幀圖像分別進(jìn)行各個(gè)統(tǒng)計(jì)量的計(jì)算,算法流程如圖4所示,得到基于各個(gè)統(tǒng)計(jì)量的波形,如圖5(a)~(f)所示。其中,橫坐標(biāo)表示幀數(shù),縱坐標(biāo)表示各個(gè)統(tǒng)計(jì)量的值。
圖4 算法流程圖Fig.4 Algorithm flowchart
從圖5可知:基于圖像灰度眾數(shù)、圖像灰度中值、圖像灰度值域所提取的波形幾乎毫無規(guī)律?;趫D像灰度平均值和灰度方差所提取的波形雖然呈現(xiàn)一定的重復(fù)性,但不符合脈搏波形的規(guī)律。而基于圖像熵提取出來的波形(圖 5(f))最準(zhǔn)確;最接近典型的脈搏波形,具有主波、重搏前波和重搏波。圖6所示為典型的脈搏信號波形圖[15]。
同時(shí),將圖5(f)與文獻(xiàn)[10]中網(wǎng)格面積法所得脈搏波形(見圖5(b))進(jìn)行比較,得出:
(1) 從整體波形來看,本文算法的波形波動(dòng)較小,穩(wěn)定性好;而網(wǎng)格面積法的波形波動(dòng)較大,穩(wěn)定性不夠好。
(2) 從單個(gè)周期來看,對于網(wǎng)格面積法,有些周期內(nèi)重搏前波不明顯,有些周期內(nèi)重搏波不明顯;而對于同一個(gè)動(dòng)態(tài)脈搏圖像信號,本文算法獲得的重搏前波和重搏波都比較明顯,波形更精確。
(3) 從執(zhí)行效率來看,本文算法運(yùn)行速度快,效率高,運(yùn)行時(shí)間約為1.87 s;而網(wǎng)格面積法運(yùn)行時(shí)間約為4 min,前者僅為后者的1/128(以主頻3.20 GHz、內(nèi)存2.00 GB的微機(jī)為實(shí)驗(yàn)平臺,在Matlab 7.0上運(yùn)行算法程序)。
綜上所述,基于圖像熵的脈搏波形提取算法效率較高,能精確獲取脈搏波,效果優(yōu)于網(wǎng)格面積法。
基于圖像熵的方法可以對整幀圖像進(jìn)行處理;也可以選取1個(gè)或多個(gè)區(qū)域進(jìn)行處理,然后計(jì)算各幀圖像中該區(qū)域的圖像熵,提取脈搏波形。從圖2可見:脈搏圖像上有許多白色網(wǎng)格,可將每個(gè)網(wǎng)格作為1個(gè)小區(qū)域,計(jì)算每幀圖像中的每個(gè)網(wǎng)格的熵,即多點(diǎn)熵,得到脈搏波形。為便于區(qū)分,將脈搏圖像中的網(wǎng)格進(jìn)行編號,如圖 7所示。圖 8(b)~(d)所示為根據(jù)任意 3個(gè)網(wǎng)格X44,X55和X65提取的波形。將這3個(gè)同網(wǎng)格的波形與由整幀圖像提取的波形進(jìn)行對比,可見:它們是同步的,即同時(shí)到達(dá)波峰和波谷,具有相同的變化規(guī)律,這進(jìn)一步驗(yàn)證采用圖像熵的方法來提取脈搏波形的正確性。
傳統(tǒng)的脈搏波測量方法如常見的壓阻式、光電式和壓電式傳感器進(jìn)行脈搏信號檢測相比,從脈搏圖像中提取波形具有更大的優(yōu)越性。傳統(tǒng)的方法只能檢測單點(diǎn)的一維的脈搏信號,而脈搏圖像是二維的,可以提取多點(diǎn)的脈搏波以及更多其他脈象信息。
圖5 每個(gè)統(tǒng)計(jì)量及網(wǎng)格面積法的波形Fig.5 Waveforms based on each image statistic and grid area
圖6 典型的脈搏信號波形圖Fig.6 Typical pulse wave
采用文獻(xiàn)[16]中的峰值提取方法,根據(jù)整幀圖像獲取的脈搏波形,求得600幀圖像中共31個(gè)峰值點(diǎn)的位置如圖9和表1所示。根據(jù)表1中數(shù)據(jù)可求得該脈搏信號的周期。每2個(gè)相鄰峰值點(diǎn)位置之間的差值即可反映周期。為求得準(zhǔn)確的周期,可利用表中數(shù)據(jù)求平均周期。已知視頻信號的采集幀速率為30幀/s,可用下式求得脈搏信號的周期T:
圖7 標(biāo)記后的一幀脈搏圖像Fig.7 A marked frame
圖8 根據(jù)某些網(wǎng)格提取的波形與根據(jù)整幀圖像提取的波形之間的比較Fig.8 Comparison between pulse waves extracted from some grids and pulse wave extracted from whole frame
其中:L為表1中的數(shù)據(jù)組成的數(shù)組;fdiff(L)表示對L的數(shù)據(jù)進(jìn)行差分;fsum表示求和;flength為數(shù)組的長度。
圖9 峰值點(diǎn)提取Fig.9 Peak points extraction
表1 600幀圖像中峰值點(diǎn)的位置Table 1 Locations of peak points 幀
對本文的脈搏數(shù)據(jù),用上述公式求得脈搏周期為0.657 8 s,進(jìn)而可求得脈搏頻率為
此外,根據(jù)脈搏波的時(shí)域分析,還可獲得更多的有關(guān)生理參數(shù),如收縮期時(shí)和舒張期時(shí)的值等(如圖6中所標(biāo)注);并可進(jìn)一步在時(shí)空域求得脈寬、脈長等脈象信息。
(1) 提出基于常用的圖像基本統(tǒng)計(jì)量提取脈搏波形的方法并進(jìn)行比較,基于圖像熵獲取的脈搏波形較準(zhǔn)確。該方法可以對整幀圖像進(jìn)行處理,也可以選取1個(gè)或多個(gè)網(wǎng)格區(qū)域進(jìn)行處理。然后計(jì)算各幀圖像熵,提取脈搏波形,獲得脈搏周期和頻率。
(2) 基于圖像熵的脈搏波提取算法效率高,波形穩(wěn)定性好,重搏前波和重搏波都比較明顯,能精確獲取脈搏波,效果優(yōu)于網(wǎng)格面積法。此外,該算法可以提取多點(diǎn)的脈搏波以及更多其他脈象信息,比傳統(tǒng)的脈搏波測量方法具有更大的優(yōu)越性,為脈搏圖像的三維重構(gòu)和脈搏的其他信息提取及其進(jìn)一步分析提供了依據(jù)。
(3) 由于基于圖像熵提取出來的脈搏波形較準(zhǔn)確,故可考慮采用熵作為脈搏信息的表征量。根據(jù)每幀圖像中的每個(gè)網(wǎng)格的熵,可進(jìn)一步分析熵與脈搏波動(dòng)的關(guān)系,提出新的三維重構(gòu)算法,進(jìn)而對脈搏圖像序列中的每一幀脈搏圖像進(jìn)行三維重構(gòu),得到任意時(shí)刻的三維視圖。以重構(gòu)的三維形態(tài)圖為圖像序列,保持和數(shù)據(jù)采集時(shí)相同的時(shí)間順序和幀速,將其連接成動(dòng)態(tài)視頻,重構(gòu)脈搏搏動(dòng)時(shí)的三維動(dòng)態(tài)視圖。有望將傳統(tǒng)的三維重構(gòu)技術(shù)發(fā)展為動(dòng)態(tài)、實(shí)時(shí)、高精度的三維檢測技術(shù),這將具有重要的科學(xué)意義和廣闊的應(yīng)用前景。
[1] Lin Y, Leng H, Yang G, Cai H. An intelligent noninvasive sensor for driver pulse wave measurement[J]. IEEE Sensor Journal,2007, 7(5): 790?799.
[2] Lygouras J N, Tsalides P G. Optical-fiber finger photoplethysmograph using digital techniques[J]. IEEE Sensor Journal, 2002, 2(1): 20?25.
[3] Sorvoja H, Kokko V M, Myllyl? R, et al. Use of EMFi as a blood pressure pulse transducer[J]. IEEE Transactions on instrument and measurement, 2005, 54(6): 2505?2512.
[4] XU Lisheng, MENG Max, SHI Cheng, et al. Quantitative analyses of pulse images in Traditional Chinese Medicine[J].Medical Acupuncture Journal for Physicians by Physicians, 2008,20(3): 175?190.
[5] Yoon Y Z, Lee M H, Soh K S. Pulse type classification by varying contact pressure[J]. IEEE Engineering in Medicine and Biology, 2000, 19(6): 106?110.
[6] 金觀昌, 于淼, 鮑乃鏗. PVDF多點(diǎn)脈搏波計(jì)算機(jī)輔助測試系統(tǒng)研究[J]. 清華大學(xué)學(xué)報(bào): 自然科學(xué)版, 1999, 39(8): 117?120.JIN Guanchang, YU Miao, BAO Naikeng. Research of multi-point pulse wave computer measurement system using PVDF[J]. Journal of Tsinghua University: Science and Technology, 1999, 39(8): 117?120.
[7] Joshi A B, Kalange A E, Bodas D, Gangal S A. Simulations of piezoelectric pressure sensor for radial artery pulse measurement[J]. Materials Science and Engineering: B, 2010,168(1/2/3): 250?253.
[8] 張治國, 牛欣, 楊學(xué)智, 等. 脈寬的可視化考察[J]. 中國中醫(yī)藥信息雜志, 2008, 15(5): 14?16.ZHANG Zhiguo, NIU Xin, YANG Xuezhi, et al. Visualizational investigation on width of pulse tracing[J]. Chinese Journal of Information on Traditional Chinese Medicine, 2008, 15(5):14?16.
[9] 張愛華, 周義勇, 朱亮. 圖像化脈象采集裝置的研制[J]. 傳感技術(shù)學(xué)報(bào), 2006, 19(4): 1261?1263.ZHANG Aihua, ZHOU Yiyong, ZHU Liang. Development of pulse acquisition device based on image[J]. Chinese Journal of Sensors and Actuators, 2006, 19(4): 1261?1263.
[10] 毛蘊(yùn)娟. 基于脈搏信號的視覺疲勞和亞健康關(guān)系研究[D]. 蘭州: 蘭州理工大學(xué)電氣工程與信息工程學(xué)院, 2010: 31?32.MAO Yunjuan. Study on relation of visual fatigue and sub-health based on pulse signals[D]. Lanzhou: Lanzhou University of Technology. College of Electrical and Information Engineering, 2010: 31?32.
[11] Zhang A H, Mao Y J. Pulse shape study based on pulse image sensor[C]//The Third International Symposium on Test Automation & Instrumentation. Beijing: Chinese Journal of Scientific Instrument, 2010: 213?216.
[12] 陳天華. 數(shù)字圖像處理[M]. 北京: 清華大學(xué)出版社, 2008:23?24.CHEN Tianhua. Digital image processing[M]. Beijing: Tsinghua University Press, 2008: 23?24.
[13] 邱煒, 陳斌, 胡康達(dá). 基于局部累積直方圖和紋理特征的圖像檢索方法[J]. 計(jì)算機(jī)應(yīng)用, 2009, 29(S2): 239?240, 243.QIU Wei, CHEN Bin, HU Kangda. Image retrieval based on local accumulation histogram and texture characterteristic[J].Journal of Computer Applications, 2009, 29(S2): 239?240, 243.
[14] Gonzalez R C, Woods R E. Digital image processing[M]. 3rd ed.Beijing: Publishing House of Electronics Industry, 2010:540?544.
[15] 費(fèi)兆馥. 現(xiàn)代中醫(yī)脈診學(xué)[M]. 北京: 人民衛(wèi)生出版社, 2003:163?164.FEI Zhaofu. Contemporary sphygmology in traditional Chinese medicine[M]. Beijing: People’s Medical Publishing House, 2003:163?164.
[16] 行鴻彥, 許瑞慶, 王長松. 基于經(jīng)驗(yàn)?zāi)B(tài)分解的脈搏信號特征研究[J]. 儀器儀表學(xué)報(bào), 2009, 3(30): 576?602.XING Hongyan, XU Ruiqing, WANG Changsong. Pulse signal feature research based on empirical mode decomposition[J].Chinese Journal of Scientific Instrument, 2009, 3(30): 576?602.