湯春明，張凱凱，王慧泉，田 磊，于 翔

（1.天津工業(yè)大學(xué) 電子與信息工程學(xué)院，天津 300387；2.天津工業(yè)大學(xué) 生命科學(xué)學(xué)院，天津 300387；3.天津工業(yè)大學(xué) 工程教學(xué)實習(xí)訓(xùn)練中心，天津 300387）

心率是反映人身體健康狀況的一項重要生理指標(biāo)，對于診斷心腦血管等疾病具有重要意義。據(jù)相關(guān)數(shù)據(jù)統(tǒng)計，全世界每年死于心腦血管疾病的人數(shù)高達1 500 萬人，居各種死因首位。因此，準(zhǔn)確、及時、便捷的心率測量對于疾病的預(yù)防與診斷具有重要意義。

目前，測量心率主要應(yīng)用心電圖（electrocardiogram，ECG）和基于光電容積描記法（photoplethysmography，PPG）的脈搏血氧儀。利用心電圖測量心率操作復(fù)雜，而且設(shè)備昂貴，不適用于日常監(jiān)護使用；測量時需要將電極與被測者的皮膚進行緊密接觸，不僅給被測者帶來不便，而且對于皮膚脆弱的老人和新生兒來說并不適用。利用脈搏血氧儀進行心率測量，則需要用彈簧夾長時間夾住手指或者耳垂，這樣會給被測者帶來不適?；谏鲜龇N種原因，不斷有學(xué)者提出非接觸式的心率測量方法，包括基于微波或毫米波的多普勒測量[1]、熱力學(xué)圖像測量[2]等等。其中，基于遠程光電容積描記法（remote photoplethysmography，rPPG）的非接觸式心率測量方法由于其成本低、易操作等特點越來越受到人們的關(guān)注。

基于rPPG 技術(shù)的心率測量主要是通過從攝像頭拍攝到的人臉彩色圖像序列中提取出含有脈搏成分的信號，然后使用各種方法提取出心率。影響心率提取準(zhǔn)確度的因素主要有光照變化以及人臉剛性（比如人臉不自覺地晃動）和非剛性（比如眨眼睛、說話等）的運動。為克服這些因素，不斷有學(xué)者提出各種算法：RGB 通道差值算法[3]、運動放大算法[4]、血容量變化模型算法[5]等。這些算法主要分2 步：第1 步是準(zhǔn)確提取rPPG 波形；第2 步是對波形進行處理，計算出心率。提取rPPG 波形主要有2SR[6]、POS[7]等算法，這些算法主要是從色度模型構(gòu)建、顏色空間轉(zhuǎn)換等角度進行思考的，在限定運動或者光照等條件下能夠取得不錯的效果。對波形進行處理時，絕大部分算法都是在時域和頻域分別進行濾波后運用滑窗法進行心率提取，這種方法很難兼顧心率測量的靈敏度和準(zhǔn)確度。當(dāng)時間窗口過大時，雖然準(zhǔn)確度有所提升，但是靈敏度降低，因此，很難迅速檢測出心率的微小變化；當(dāng)時間窗口過小時，靈敏度提升，但是準(zhǔn)確度下降，使得測出的心率波動幅度較大，很難接近真實值。

為了有效解決以上問題，本文提出了一種基于交叉滑動窗口模型（CSWM）算法的非接觸心率測量方法，能夠同時兼顧心率測量的靈敏度和準(zhǔn)確度，并且使用高效的SSD300 人臉檢測模型[8]和KCF 跟蹤算法[9]實現(xiàn)心率測量的實時性。通過在公開標(biāo)準(zhǔn)數(shù)據(jù)集中進行測試，證明本方法相關(guān)指標(biāo)完全滿足臨床要求。

1 心率測量方法及過程

1.1 測量方法

當(dāng)光源照射到皮膚表面時，大部分光在皮膚表面發(fā)生反射，這部分光可被認(rèn)為是恒定不變的，并不攜帶生物信息；另一部分光進入到皮膚內(nèi)層，這部分光除了少量被皮內(nèi)組織吸收和反射外，大量的光線會被血紅蛋白吸收和反射，其中反射光會穿過皮膚被攝像頭捕捉，它攜帶著大量的人體生理信息，最主要的就是心率。

本心率測量方法主要由人臉檢測、人臉跟蹤、皮膚區(qū)域分割、感光趣區(qū)域（ROI）選取、構(gòu)建交叉滑動窗口5 部分組成，測量方法流程如圖1 所示。

圖1 測量方法流程圖Fig.1 Flow chart of measurement method

1.2 人臉檢測

常用的人臉檢測器有Viola-Jones 人臉檢測器[10]，這是一種基于機器學(xué)習(xí)的將簡單特征級聯(lián)進行判別的檢測器，該檢測器檢測人的正臉效果較好，但是對于人的側(cè)臉檢測效果較差。另外還有基于人臉特征點檢測的DRMF[11]算法以及可變模型擬合[12]算法，這些算法對于人臉有遮擋的情況無法進行有效檢測。

本文選擇SSD300 模型作為最終的人臉檢測器，它不僅可以檢測到側(cè)臉，而且對于旋轉(zhuǎn)以及扭動一定角度的人臉都有很好的檢測效果。在數(shù)據(jù)集VOC2007的測試下，當(dāng)batch size 大小為1、Boxes 個數(shù)為8 732、輸入圖像分辨率為300×300[8]時，檢測速率達到46 fps，完全滿足實時性的要求。

1.3 人臉跟蹤

視頻相鄰幀之間具有很強的相似性，幀率越大相似性越明顯。因此，不必對每一幀都使用SSD300 模型檢測人臉，故采用“檢測-跟蹤”循環(huán)交替的策略，檢測頻率和跟蹤時間都可以通過參數(shù)來設(shè)置，從而提高心率測量速度。目前使用較多的跟蹤算法是KLT[13]（Kanade-Lucas-Tomasi）算法，該算法速度較快，但由于該算法是基于臉部特征點和仿射變換實現(xiàn)ROI 更新的，故受特征點變化影響較大，容易導(dǎo)致跟蹤失敗或者ROI 劇烈變化，從而對后期處理造成影響。另外還有基于顯著性色度特征[14]和卡爾曼濾波技術(shù)[15]等進行目標(biāo)跟蹤的算法。通過對已知的跟蹤算法在速度、準(zhǔn)確度等方面進行比較后，本文使用KCF 算法對目標(biāo)進行跟蹤。KCF 算法是通過機器學(xué)習(xí)方法訓(xùn)練分類器，以當(dāng)前幀的目標(biāo)區(qū)域為正樣本，背景為負(fù)樣本，經(jīng)過訓(xùn)練后得到一個判別模型用于跟蹤。該算法中，當(dāng)選用高斯核及梯度直方圖（HOG）特征[9]進行跟蹤時，在數(shù)據(jù)集[16]中的測試速率達到172 fps。此外，KCF 算法對于部分ROI 遮擋的情況同樣可以進行準(zhǔn)確跟蹤，如圖2 所示。

圖2 上、下、左、右部分臉部遮擋情況下的KCF 跟蹤效果Fig.2 KCF tracking efficiencies of upper，lower，left and right face with partial occlusion

1.4 皮膚區(qū)域分割

ROI 中不僅有人臉，還有部分背景區(qū)域，這些部分并不含有心率信息，故采用皮膚區(qū)域分割的算法去除背景區(qū)域。本文使用YCrCb顏色空間的Cr分量并結(jié)合Otsu 算法[17]對ROI 進行皮膚區(qū)域分割。另外，由于眼睛、嘴巴區(qū)域幾乎不含心率信號，而且眼睛眨動和嘴巴說話會影響臉部皮膚的空間位置，從而對心率提取造成影響，故采用圖像處理形態(tài)學(xué)中的腐蝕操作去除這些區(qū)域。經(jīng)過對不同大小的腐蝕模板的腐蝕效果進行比較分析后，最終選擇大小為12×12 的腐蝕模板。皮膚區(qū)域分割并腐蝕[18]后的效果如圖3 所示。

圖3 部分UBFC-RPPG 數(shù)據(jù)集中膚色分割并腐蝕后的效果Fig.3 Segmentation and erosion efficiency of partial UBFC-RPPG data set of skin color

1.5 ROI 選取

常用的ROI 選取方法是使用整個矩形框區(qū)域，然后對該區(qū)域中所有像素在R、G、B 三通道分別取均值作為原始信號，這種方法極易受到臉部局部區(qū)域變化的影響。文獻[19]證明人臉不同區(qū)域所含信號強度是不同的，因而如何綜合利用人臉不同區(qū)域的信號，從而提高心率測量的準(zhǔn)確性成為眾多學(xué)者關(guān)注的重點。文獻[20]中將矩形框均分成5×5 的大小，然后對每一小塊分別進行處理，再綜合各個結(jié)果得到更為準(zhǔn)確的心率；文獻[21]將矩形框中的每一個像素分別作為獨立的信號源用于信號提取，該方法計算量大，處理速度慢。綜合考慮心率測量的速度和準(zhǔn)確度之后，本文將矩形框均分成2×2 的大小，得到4 個sub-ROI，如圖3所示，然后分別對每一個sub-ROI 進行處理，最后將結(jié)果進行融合，得到最終的實時變化的心率。

1.6 構(gòu)建交叉滑動窗口

選取ROI 之后，使用對臉部運動和光線變化具有魯棒性的CHROM 算法[22]提取rPPG 波形，然后用交叉滑動窗口從rPPG 波形中計算出心率。圖4 為交叉滑動窗口示意圖。

圖4 交叉滑動窗口示意圖Fig.4 Schematic diagram of cross slide window

圖4 中，總時間窗口（簡稱總窗口）長度為L，每個總窗口被分成了n 個子窗口，并且每個子窗口與總窗口的起點相同。子窗口w1，w2，…，wn的長度分別為L1，L2，…，Ln。這些子窗口長度之間的關(guān)系為：

L 的大小以及子窗口的個數(shù)對心率測量的效果有著重要影響。L 過大，心率測量的靈敏度會下降；L 過小，則準(zhǔn)確度會下降。子窗口的個數(shù)決定著心率測量的精度和復(fù)雜度。通過設(shè)置不同大小的L 以及不同個數(shù)的子窗口數(shù)進行實驗，結(jié)果發(fā)現(xiàn)L 設(shè)置為12，子窗口的個數(shù)設(shè)為7 時，心率測量效果最佳。7 個子窗口的長度分別為 6～12 s，step 為 1 s。

設(shè)其中一個子窗口的rPPG 波形信號為：

式中：i 表示 sub-ROI 的標(biāo)號，i=1、2、3、4 時，分別表示 ROI 中左上、右上、左下、右下的 sub-ROI；j 表示子窗口的標(biāo)號?？偞翱诘拈L度是固定的，每次向后平移1 s，然后再將其分為n 個子窗口（子窗口向后擴展的長度也是1 s），再對每個子窗口進行心率計算，最后根據(jù)所有子窗口的心率綜合得到總窗口的心率。

子窗口和總窗口的心率計算過程如下：對每個sub-ROI 的每個子窗口的 rPPG 信號 S（t）i，j進行 FFT（fast fourier transformation），將其從時域信號變換為頻域信號，然后計算其功率譜密度Wi，j（f），取最大的功率譜密度對應(yīng)的頻率分量作為脈搏率PRi，j（f）的近似值：

此時該子窗口對應(yīng)的心率為：

為評估 rPPG 信號 S（t）i，j的質(zhì)量，參考文獻[22]中信噪比的計算方法，計算S（t）i，j的功率譜密度Wi，j（f）的信噪比：

式中：[PRi，j（f）-h，PRi，j（f）+h]表示脈搏率PRi，j（f）附近的一個小區(qū)域，實驗中h 取值為5/（Ln·FR）（Hz）效果最佳，F(xiàn)R 為視頻幀率（fps）；[B1，B2]為帶通濾波器的通帶范圍（正常的脈搏率范圍），B1=0.75 Hz，B1=4.0 Hz。

總窗口的心率是根據(jù)每個子窗口的信噪比選擇的心率得到的。具體過程為：對于總窗口中的每一個子窗口，取對應(yīng)4 個sub-ROI 中信噪比最大的心率作為該子窗口的心率，此時第j 個子窗口計算出的心率為：

然后去掉HRj中的最大值和最小值，再根據(jù)信噪比計算剩余n-2 個心率的權(quán)重：

式中：SNRj為HRj對應(yīng)的Wi，j（f）的信噪比，此時總窗口的心率為：

當(dāng)總窗口向后移動一個步長，再重復(fù)上述過程，得到一個新的心率，以此類推，最終得到整段視頻實時變化的心率。

2 實驗驗證

2.1 實驗環(huán)境

公開數(shù)據(jù)集UBFC-RPPG 中的視頻（幀率為30 fps）在錄制的同時，實驗者展示給被測者一個數(shù)學(xué)游戲，要求其解決并盡可能保持臉部靜止，從而營造出被測者心率變化的情況。因此，使用該數(shù)據(jù)集能夠驗證本心率測量方法的準(zhǔn)確性與實時性。與此同時，實驗者使用CMS50E 穿透式脈搏血氧儀記錄被測者實時變化的心率（PPG 方法）作為金標(biāo)準(zhǔn)用于對照比較。在使用該數(shù)據(jù)集進行實驗時：軟件部分，使用Microsoft Visual Studio 2017 集成開發(fā)環(huán)境，通過C++編程并調(diào)用openCV3.4.4 中相關(guān)函數(shù)；硬件部分，CPU 為i5-4210M雙核處理器，獨立顯存為2 GB，DDR3 低電壓內(nèi)存為4 GB。

2.2 CSWM算法驗證

從數(shù)據(jù)集UBFC-RPPG 的46 組數(shù)據(jù)中找出有代表性的（不同年齡、性別等）10 組（第 13、38、46、35、10、42、36、40、43、09 組）數(shù)據(jù)用于驗證 CSWM 算法的有效性，每組包含1 min 左右的視頻及同時用脈搏血氧儀測量得到的心率。常用的評價指標(biāo)有：

（1）平均誤差Me，其中誤差指的是金標(biāo)準(zhǔn)測量的心率減去本方法測量的心率；

（2）誤差的標(biāo)準(zhǔn)差SDe；

（3）均方根誤差RMSEe；

（4）心率結(jié)果的平均錯誤率HRMERP；

（5）皮爾遜系數(shù)P，用于衡量HRrPPG和HRPPG之間的線性關(guān)系，取值范圍為[-1，1]；

（6）Bland-Altman一致性系數(shù)BA，用于衡量HRrPPG和HRPPG變化的一致性程度，越接近于1 表示一致性越強。

在金標(biāo)準(zhǔn)中，視頻每一幀計算出一個心率值，精度為1 bpm，為了便于與本測量方法測得的心率進行比較，本文每30 幀（即1 s）取30 個心率的均值作為這一秒被測者的心率。另外，由于本測量方法使用的測量窗口大小為12 s，故可認(rèn)為第1 個窗口測得的心率為視頻中第12 s 被測者的心率，因此，金標(biāo)準(zhǔn)的心率從第12 s 開始取，每過1 s 計算1 個心率均值，直到結(jié)束。

分別使用本測量方法計算所選10 組視頻的實時變化心率，并根據(jù)對應(yīng)的金標(biāo)準(zhǔn)計算上文所述的6 項指標(biāo)，結(jié)果如表1 所示。

表1 10 組視頻計算得到的心率與金標(biāo)準(zhǔn)之間的誤差分析指標(biāo)Tab.1 Error analysis indexes of heart rate between gold standard and calculation from 10 videos

由表1 可以發(fā)現(xiàn)，本測量方法計算得出的心率與對應(yīng)的金標(biāo)準(zhǔn)計算得出的心率的平均誤差、誤差的標(biāo)準(zhǔn)差、均方根誤差小于3 bpm，心率結(jié)果的平均錯誤率為2.078 3%，即平均準(zhǔn)確率為97.921 7%，而且皮爾遜相關(guān)系數(shù)達到0.902 544，Blant-Altman 一致性系數(shù)BA 達到0.962 302，高于臨床標(biāo)準(zhǔn)的0.95，證明該測量方法計算得出的心率完全滿足臨床要求。

為了更直觀地看出本測量方法（rPPG 方法）計算出的心率和金標(biāo)準(zhǔn)（PPG 方法）測出來的心率的一致性，做出視頻中人物的心率變化圖和相關(guān)性分析圖以及Bland-Altman 圖，第10 組和第38 組實驗結(jié)果分別如圖5、圖6 所示。

圖5 第10 組實驗結(jié)果Fig.5 Experimental results of group 10

圖6 第38 組實驗結(jié)果Fig.6 Experimental results of group 38

由圖5、圖6 可以看出：本測量方法計算出的心率與金標(biāo)準(zhǔn)測出的心率重合度較高，在心率變化圖中的趨勢變化非常一致；相關(guān)性較強，在相關(guān)分析圖中的擬合曲線非常接近“Y=X”；一致性較好，在Blant-Altman 圖中與金標(biāo)準(zhǔn)的差值更接近于零，且更集中于mean±1.96σ 范圍內(nèi)。由以上分析可知，基于CSWM算法的非接觸心率測量方法與金標(biāo)準(zhǔn)的心率測量結(jié)果非常一致，表明該方法不僅準(zhǔn)確度高，而且能夠?qū)崟r反映心率的變化趨勢，相關(guān)測量指標(biāo)也滿足臨床要求，從而證明了該方法的有效性。

3 結(jié) 語

針對傳統(tǒng)接觸式心率測量方法中存在的設(shè)備昂貴、操作復(fù)雜的問題，本文提出了一種基于CSWM 算法的非接觸心率測量方法。首次使用了人臉檢測模型SSD300，達到了良好的人臉檢測效果，為后期處理做了鋪墊；首次使用Otsu 算法對ROI 進行皮膚區(qū)域分割，有效去除了背景以及眼睛眨動、嘴巴說話產(chǎn)生的干擾；與此同時，為了提高心率測量的速度，使用KCF跟蹤算法對人臉進行跟蹤，做到了心率測量的實時性，從而滿足現(xiàn)實場景中的應(yīng)用需求；在心率提取部分，首次提出CSWM 算法取代了傳統(tǒng)的固定窗口大小的滑窗法，兼顧了心率測量的準(zhǔn)確度與靈敏度。在UBFCRPPG 數(shù)據(jù)集中進行對照實驗，結(jié)果表明，該方法的平均準(zhǔn)確率達97.921 7%，所計算出的心率與同時用脈博血氧儀測出的心率之間的Bland-Altman 一致性系數(shù)達0.962 302（臨床標(biāo)準(zhǔn)為0.95），完全滿足臨床要求。需要說明的是，本文針對的是普遍的單人場景下的心率測量方法，對于多人的心率測量還需作進一步研究。