陳 宇,楊學(xué)志,方 帥,李龍偉,王定良

1(合肥工業(yè)大學(xué) 計算機與信息學(xué)院,合肥 230009)

2(工業(yè)安全與應(yīng)急技術(shù)安徽省重點實驗室,合肥 230009)

3(合肥工業(yè)大學(xué) 軟件學(xué)院,合肥 230009)

4(中國科學(xué)技術(shù)大學(xué)附屬第一醫(yī)院,合肥 230036)

心率作為人的基本生命體征,不僅可以反應(yīng)人體的健康狀態(tài),也是評估人體心腦血管疾病最重要和有效的參數(shù)之一.其在心腦血管疾病、高血壓、心理和精神疾病等領(lǐng)域都被證實是一種有效的診斷手段[1].

臨床上傳統(tǒng)的心率監(jiān)測技術(shù)主要是利用心電圖機(electrocardiogram,ECG),其通過設(shè)備上的十二導(dǎo)聯(lián)綁定在體表不同的裸露部位獲取精確的心電數(shù)據(jù)進行分析處理[2].這種方式可以得到較為精準的心率,但是其存在成本高昂、操作繁雜、專業(yè)要求高,普通家庭無法獨立使用.除此以外,家用的脈搏血氧儀也被廣泛用來測量受試者心率,其是利用光電傳感器夾在受試者指尖、耳垂等體表末梢通過接收反射或透射的光信號進行心率測量.該方法需要測試部位和設(shè)備緊密貼合且不能夠有相對運動,使用不便,舒適度較差不利于長時間實時檢測.針對傳統(tǒng)方法的在實際應(yīng)用中的局限性,研究一種使用方便的非接觸式的心率檢測技術(shù)就顯得十分重要.

基于視頻的光電容積描記術(shù)(video photoplethysmography,VPPG),是一種非接觸式心率檢測技術(shù).其可以利用普通彩色相機采集面部或指尖等區(qū)域表皮視頻,通過檢測皮下毛細血管由于心臟周期泵血使得血液血紅蛋白濃度變化產(chǎn)生的微弱顏色變化,提取血液容積脈沖信號(blood volume pulse,BVP).通過分析該信號的頻率即可進行心率估計.Verkruysse 等人[3]最早使用普通彩色攝像頭,在可見光作為光源的條件下證明了使用VPPG 技術(shù)進行非接觸式心率檢測的可行性.隨后,Poh 等人[4]提出對視頻幀進行人臉感興趣區(qū)域檢測并計算RGB 三通道像素均值,然后使用獨立成分分析(ICA)進行BVP 信號提取和心率估計.盡管這些算法都可以比較好的進行心率估計,但需要測試者全程保持靜止或人臉和環(huán)境背景的穩(wěn)定才能保證良好的實驗結(jié)果,這不僅會給測試者帶來不便,而且會限制算法的使用場景.由于人臉運動(如說話、表情變化)、頭部晃動和光照不均勻等干擾因素的存在,會影響VPPG技術(shù)BVP 信號的提取以及心率估計的準確性.因此,如何保證在真實的生活場景中提升心率檢測算法的穩(wěn)定性和準確性,已經(jīng)成為國內(nèi)外學(xué)者研究的重點.

研究者們主要做出的改進,有如下幾個方面: 其一,是根據(jù)皮膚光照反射特點采用不同的顏色空間進行BVP 信號提取,通過不同顏色通道信號的差異性和互補性來增強原始BVP 信號.如de Haan 等人[5]利用不同顏色通道信號之間的互補性,提出了基于色度的顏色空間投影分解算法(chrominance-based rPPG,CHROM)以減輕頭部晃動產(chǎn)生的影響.其二,是根據(jù)BVP 信號特性以及先驗知識等進行噪聲濾除和信號增強等操作.如Wang 等人[6]通過分析BVP 信號頻域上心動信號和噪聲信號的區(qū)別,采取頻域修正的方式來去除非心率范圍內(nèi)的干擾.Tasli 等人[7]通過估計頭部運動頻率并進行剔除,取得了更魯棒的心率估計.

除此以外,近年來研究表明通過同步分析多個不同的面部感興趣區(qū)域的信號可以用來提升原始BVP信號的提取效果.如Kumar 等人[8]使用信噪比來對不同的感興趣區(qū)域信號進行加權(quán).Feng 等人[9]將ROI 區(qū)域分塊后設(shè)計并提取了兩種特征,最后使用K均值算法自適應(yīng)選擇有效的感興趣區(qū)域.Li 等人[10]使用人臉特征點裁剪獲得固定的人臉皮膚區(qū)域.Favilla 等人[11]使用ICA 算法分析面部3 個區(qū)域的多通道信息進行心率檢測.周雙等人[12]采用矩陣低秩分解來對不同感興趣區(qū)域的信號進行降噪處理.然而,由于以上的多區(qū)域分析的劃分均是在人臉檢測框的基礎(chǔ)上進行簡單的矩形分割,此方式雖然操作簡單,但實際上并沒有考慮到分塊內(nèi)人臉輪廓、陰影和皮膚紋理等信息,以及視頻幀之間分塊區(qū)域位于人臉位置的一致性,ROI 分塊劃分存在一定的不合理之處.

為了解決上述ROI 分塊劃分和挑選中存在的問題,本文受傳統(tǒng)的超像素分割算法的啟發(fā),提出一種基于人臉視頻的自適應(yīng)超像素分割和ROI 優(yōu)選方法.使得分塊區(qū)域擁有相同或近似的特征集,一方面提升子塊劃分質(zhì)量,從源頭提升了BVP 信號提取的質(zhì)量,另一方面通過優(yōu)選算法尋找面部信號最佳區(qū)域.增強了面部運動干擾以及環(huán)境光分布不均時算法的抗干擾能力.

1 心率檢測方法

本文心率檢測算法是以ROI 超像素分割和脈搏矩陣信號優(yōu)選為基礎(chǔ).通過裁切視頻幀內(nèi)面部ROI,隨后根據(jù)輪廓、皮膚紋理和陰影等特征將面部ROI 通過超像素聚類分割成互不重疊的子塊,再對分塊結(jié)果進行色度BVP 矩陣提取,最后進行多指標綜合分析優(yōu)選出最佳面部子區(qū)域進行信號處理與心率估計.

本方法的核心步驟包括以下幾個部分: 1)人臉與特征點檢測; 2)人臉自適應(yīng)超像素分割; 3)色度BVP矩陣提取; 4)脈搏信號評估優(yōu)選與心率估計.具體算法框圖如圖1 所示.

圖1 算法流程及示意圖

1.1 人臉與特征點檢測

在真實生活場景中,由于檢測過程中頭部晃動以及表情變化等會影響攝像頭對面部顏色周期性變化的提取效果,進而導(dǎo)致BVP 信號提取質(zhì)量的大幅降低.因此對原始視頻進行人臉與特征點檢測算法,來獲取穩(wěn)定的人臉ROI 區(qū)域(圖像幀).首先根據(jù)視頻第1 幀圖像,使用Viola 等人[13]的人臉檢測器輸出視頻中人臉檢測矩形區(qū)域的頂點坐標; 然后采用魯棒判別響應(yīng)圖擬合 (DRMF)[14]方法對人臉坐標區(qū)域內(nèi)主要器官進行特征點定位,記錄人臉66 個特征點位置C1,包含眼睛、鼻子、眉毛、臉頰和嘴巴等區(qū)域.之后對后續(xù)的視頻幀進行KLT 跟蹤特征點的位置,獲取連續(xù)幀面部特征點矩陣C,記作:

其中,i為視頻幀數(shù),m為特征點個數(shù),范圍為1-66.

1.2 人臉自適應(yīng)超像素分割

傳統(tǒng)的ROI 分割算法均是將人臉檢測框內(nèi)區(qū)域簡單的分割成m行n列的矩形.如圖2 所示.這樣分割,首先并沒有考慮到頭部運動導(dǎo)致分塊對應(yīng)人臉位置的變化,其次也沒有考慮到分塊內(nèi)像素間的特征聯(lián)系,ROI 分割存在不合理之處.例如: 平面內(nèi)頭部偏轉(zhuǎn)會造成檢測框改變,分塊對應(yīng)面部位置變化,導(dǎo)致連續(xù)幀之間分塊不連續(xù); 光照分布不均時陰影區(qū)域和正常亮度區(qū)域若被隨機劃分為一個子塊,會導(dǎo)致子塊內(nèi)像素均值增大,顏色變化幅度減小進一步降低BVP 信號提取質(zhì)量.

圖2 傳統(tǒng)ROI 分割效果演示

超像素分割算法是通過像素間共享特征(如亮度、紋理、陰影、輪廓等)將圖像分割為包含特定圖像結(jié)構(gòu)的子區(qū)域[15].該算法可用于對面部區(qū)域進行分割,但是傳統(tǒng)的超像素分割僅對圖像進行處理,未考慮連續(xù)幀之間的分塊個數(shù)及位置的連續(xù)性.故針對心率檢測場景對傳統(tǒng)方法進行改進提出人臉自適應(yīng)超像素分割算法.

方法首先針對視頻圖像中人臉位置運動做出位置自適應(yīng)處理,再結(jié)合簡單的線性迭代聚類(simple linear iterative clustering,SLIC)[16]實現(xiàn)連續(xù)幀間人臉區(qū)域分塊的一致性.能夠很好地應(yīng)對視頻中人臉位置移動、遠近距離變化和平面內(nèi)旋轉(zhuǎn)等情況下人臉分塊的穩(wěn)定性,保證子塊BVP 信號提取區(qū)域?qū)?yīng)人臉位置的穩(wěn)定性和連續(xù)性.具體步驟為:

(1)視頻人臉獲取.根據(jù)第1.1 節(jié)獲取的視頻人臉位置對原始圖形進行裁切獲取原始人臉區(qū)域圖像幀序列F.

(2)自適應(yīng)處理.傾斜校正: 如圖3 所示根據(jù)獲取的圖像幀序列F以及第1.1 節(jié)獲取的人臉特征點位置C使用戚剛[17]的傾斜校正方法校正視頻中旋轉(zhuǎn)的人臉獲得校正人臉序列F1.

圖3 人臉傾斜校正

人臉尺寸一致處理: 由于頭部運動會影響圖像中面部像素區(qū)域大小[18],若采用固定的分割個數(shù)可能會使得分割子塊像素區(qū)域過小,導(dǎo)致BVP 信號提取質(zhì)量的急速下降[19].因此通過設(shè)置初始化超像素分塊尺寸,根據(jù)視頻初始幀人臉像素尺寸自適應(yīng)決定分塊個數(shù).由于人臉五官位置在不同尺寸圖片中比例保持相對穩(wěn)定,因此根據(jù)面部特征點C對傾斜校正序列F1進行對比縮放,獲得尺寸一致的人臉圖像序列F2,以確保分塊個數(shù)一致.

(3)初始化種子點.設(shè)序列F2中圖像像素個數(shù)為K,為了確保分塊BVP 提取質(zhì)量,設(shè)置初始超像素大小為S=50×50的矩形區(qū)域,則超像素個數(shù)M=K/S,超像素種子點間的距離L=sqrt(K/S).

(4)相似度衡量.針對序列F2圖像幀中的每個像素,分別計算與距離最近的種子點間的相似程度,為該像素點賦予最相似種子點標簽.相似度衡量公式如下所示:

其中,dlab為像素點之間的顏色差異,dxy是像素點間的空間距離.Di用來衡量兩像素間的相似程度;L為種子點的間距,e為平衡參數(shù),用來反應(yīng)顏色差異與空間距離在相似度衡量中的比重.Di越大,表明兩像素之間相似度越高.

自適應(yīng)超像素分割迭代過程如圖4,通過不斷迭代上述過程直至達到收斂,分塊之間充分考慮到面部像素之間距離和顏色特征等聯(lián)系,并且經(jīng)過了面部傾斜校正和一致性處理,可以確保連續(xù)幀之間分塊位置的一致性,獲得最終自適應(yīng)分割結(jié)果標簽Label,范圍1-M.

圖4 自適應(yīng)超像素分割迭代過程

1.3 分塊色度脈搏矩陣提取

對獲取的連續(xù)幀人臉自適應(yīng)分塊結(jié)果,根據(jù)Label標記區(qū)域進行BVP 信號提取.研究表明[20],HSV 顏色空間H通道色度特征對面部運動具有良好的魯棒性,可以抵抗面部運動光線反射角度變化造成的皮膚亮度和顏色變化.因此采用H通道進行色度脈搏提取.首先根據(jù)分塊Label 結(jié)果,分別計算M個ROI 分割子區(qū)域像素均值,記為bm(N)其中m表示第m個分塊區(qū)域,N表示的視頻總幀數(shù).隨后將計算得到的M個區(qū)域的像素均值矩陣B通過顏色空間轉(zhuǎn)換到H通道獲得H通道色度BVP 信號矩陣,記為:

其中,hm(N)表示第m個分塊區(qū)域色度脈搏提取信號.

H通道顏色轉(zhuǎn)換方法在以下公式中進行描述.使用以下公式對RGB 值進行標準化與顏色空間轉(zhuǎn)換:

其中,R′,G′,B′為RGB三通道的歸一化值,范圍0-1;Cmax和Cmin分別為歸一化RGB通道的最大值和最小值,以及歸一化RGB通道的差值Δ;H即為HSV 顏色空間的色度分量.

1.4 脈搏信號篩選與心率估計

獲取到面部M個子塊色度BVP 信號后,對各子塊的原始脈搏信號質(zhì)量進行評估與優(yōu)選.在進行脈搏波質(zhì)量評估的特征選取時,必須要符合以下準則.首先,因為真實場景下無心率參考真值,質(zhì)量評估指標不依賴真值對比; 其次,特征數(shù)值大小需體現(xiàn)信號質(zhì)量優(yōu)劣; 最后,特征值應(yīng)方便從簡短的波形獲得,確保特征及時更新實現(xiàn)ROI 優(yōu)選的時效性.考慮到上述條件,因此選取幅度、頻域和非線性3 個方面指標綜合評判脈搏波質(zhì)量.

(1)幅度特征: 分塊區(qū)域亮度變化標準差(light std),表示分塊內(nèi)像素亮度與均值之間的偏離程度,可以體現(xiàn)分塊內(nèi)亮度變化程度.公式如式(8):

其中,light(m)表示的是第m個分塊的亮度變化程度指標,lvaluemi代表第m分塊中第i幀的亮度值,μ代表分塊中所有幀的亮度均值,N為視頻幀總數(shù).

(2)頻域特征: 分塊脈搏波信噪比(signal noise ratio,SNR),表示脈搏信號平均功率與噪聲平均功率的比值.可以反應(yīng)心率信號能量占正常心率區(qū)間內(nèi)的總能量大小,公式如式(9):

其中,SNR(m)表示的是第m個分塊的信噪比指標,fHR表示信號頻譜峰值頻率,fs表示信號采樣率,函數(shù)S表示頻譜密度函數(shù).

(3)非線性特征: 分塊內(nèi)樣本熵.熵值作為一種非線性特征,可以體現(xiàn)隨機變量不確定性的程度,反應(yīng)信號的規(guī)則與不規(guī)則性.近來已經(jīng)被越來越多人應(yīng)用于對生理信號分析上[21],樣本熵(sample entropy,SampEn)對心率信號的高斯噪聲尤其敏感,故選取作為波形質(zhì)量評估特征.

以上3 種指標由于評價尺度不一無法直接對比數(shù)值大小使用,現(xiàn)分別對指標進行有效性歸一化處理,公式如下:

其中,min 和max 分別為各分塊區(qū)域中對應(yīng)指標的最小值和最大值.Lightnorm(m)、SNRnorm(m)、SampEnnorm(m)分別為第m塊有效性歸一化后的指標,數(shù)值越大表明分塊內(nèi)BVP 信號質(zhì)量越好.

綜合有效性歸一化后的指標,得到分數(shù)Score值,公式如下:

其中,Score(m)為第m塊分區(qū)BVP 質(zhì)量最終分數(shù),分數(shù)越高說明綜合質(zhì)量越好.

如圖5 所示,對Score(m)數(shù)值排序后選取最佳分塊區(qū)域?qū)?yīng)BVP 信號,對BVP 信號進行帶通濾波,選取在0.8-3.5 Hz區(qū)間最大功率對應(yīng)的信號頻率fHR得到受試者心率.其中對應(yīng)關(guān)系如下:

圖5 優(yōu)選BVP 信號及功率譜密度

2 實驗與結(jié)果

2.1 實驗設(shè)備及數(shù)據(jù)

本文實驗和數(shù)據(jù)采集是在白色LED 照明環(huán)境中進行.使用普通彩色攝像頭(羅技C920)連接微軟Surface 筆記本(Windows 10 ,16 GB 內(nèi)存,512 GB 硬盤)進行面部視頻采集,同步使用指夾式脈搏傳感器(紫金電子 PWS-20D )采集左手食指指尖ppg 信號.攝像頭設(shè)置采集分辨率為1080 P、幀率30 fps,每次采集受試者30 s 的人臉視頻,并以RGB 顏色空間保存成mp4 格式.脈搏傳感器設(shè)置采樣率為200 Hz,采樣精度為10 位作為脈搏真值保存.共有20 名受試者參與本次實驗,其中男性12 名、女性8 名,年齡分別為20-43 歲、19-35 歲.數(shù)據(jù)采集方式和采集界面如圖6 所示,受試者需正對攝像頭并且保持距離40-60 cm 左右而坐,同時采集面部視頻與指尖ppg 信號.

圖6 采集場景演示

2.2 實驗結(jié)果

本文針對算法的效果復(fù)現(xiàn)了文獻[10-12] 中的3 種心率檢測算法作為對比,主要從實際場景下對算法進行評估.其中采用了5 種誤差指標對準確性進行比較.第1 個指標為平均絕對誤差,代表心率檢測值與真實值之間誤差的絕對平均值,記為Me; 第2 個指標為誤差標準差SDe,用來反映誤差之間相互離散的程度;第3 個指標為誤差均方根記作RMSE,用來評估面部測量值和指尖ppg 參考值之間的偏離程度; 第4 個指標為心率平均準確率HRac,主要是反映心率檢測結(jié)果的平均準確性,具體公式如式(15):

其中,T為實驗樣本總數(shù),為第t組面部心率檢測的心率測量值,為第t組脈搏傳感器心率測量的參考值; 第5 個參數(shù)是皮爾森相關(guān)系數(shù)記作r,是用來反應(yīng)心率測量值和真實值之間線性相關(guān)性的統(tǒng)計量.r值通常范圍在-1 至1 之間,且絕對值越大說明兩變量之間的相關(guān)程度越高.

為了全面驗證本文方法在實際場景下的性能,設(shè)計了3 個典型場景驗證算法的準確性.首先分析受試者保持面部靜止場景,其次是受試者在鏡頭內(nèi)存在頭部運動和表情變化等動態(tài)干擾場景.隨后使用不同光照場景下視頻驗證算法的穩(wěn)定性,最后對受試者進行10 min 的連續(xù)心率檢測.

2.2.1 靜止狀態(tài)下心率檢測

在本次實驗中,為檢驗靜止狀態(tài)下本文算法心率檢測的準確性,受試者需端坐在采集攝像頭前50 cm左右位置,保持環(huán)境光照穩(wěn)定及受試者頭部靜止采集2 組人臉視頻.每組視頻時長為30 s,實驗樣本總數(shù)為40 組.實驗結(jié)果如表1 所示,其中單位為bpm (beat per minute)即心臟每分鐘跳動次數(shù).

表1 靜態(tài)場景下算法準確性分析

如表1 所示,展示了4 種方法在受試者保持靜止時的準確性情況.可以發(fā)現(xiàn)4 種方法都可以很好的應(yīng)對靜態(tài)場景下的心率檢測,其中,Me均低于1.6 bpm,SDe和RMSE低于2 bpm,HRac可以達到98% ,r接近1.通過觀察可以發(fā)現(xiàn),本文方法中的Me最低、r最高,分析原因可能是: 在視頻采集中,受試者雖然身體保持靜止但是由于呼吸動作的存在會引入輕微的起伏干擾,其次眨眼等動作的存在也會導(dǎo)致面部某些區(qū)域存在輕微的干擾.而本文采用的人臉自適應(yīng)超像素分割和綜合指標ROI 優(yōu)選方法可以從面部區(qū)域中自動尋找最佳區(qū)域進行心率檢測,表現(xiàn)出來更好的準確性.

2.2.2 動態(tài)干擾場景下心率檢測

由于檢測過程中,頭部的晃動和表情變化等,會使得鏡頭內(nèi)人臉位置和背景發(fā)生變化造成皮膚與光源反射角度的變化,最終導(dǎo)致BVP 信號的失真進一步影響心率檢測的準確性.因此本文特地設(shè)計一組頭部移動和表情變化干擾場景.在這次的實驗中,運動干擾包括在鏡頭內(nèi)以一定的速率水平或豎直移動頭部以及進行平面內(nèi)旋轉(zhuǎn)等操作; 表情變化為視頻采集時受試者隨機朗讀1-9 號數(shù)字.在本組實驗中,每名受試者采集3 組數(shù)據(jù),樣本總數(shù)為60 組.具體的實驗結(jié)果如表2 所示.為了直觀展示實驗結(jié)果,實驗數(shù)據(jù)通過散點圖和Bland-Altman 圖進行展示,如圖7 所示.

圖7 運動結(jié)果散點和Bland-Altman

由表2 結(jié)果可以得知,由于運動干擾和表情變化的引入導(dǎo)致4 種方法的準確性均表現(xiàn)出不同程度的降低.經(jīng)過對比發(fā)現(xiàn),文獻[10-11]方法的性能明顯偏低,其中,Me、SDe、RMSE均大于 7 bpm,HRac下降至90% 以下,相比較靜止狀態(tài)下最差下降幅度高達11.2%,與心率的相關(guān)性明顯降低; 文獻[12]的效果雖然有稍許提升,但是Me依然大于5 bpm 超過實際場景下心率檢測的誤差上限.而本文的方法,在4 種方法中受到運動干擾和表情變化的干擾幅度最小,尤其是心率準確性指標HRac達到了95.34%相關(guān)系數(shù)r高達0.956.上述數(shù)據(jù)表明本文的人臉自適應(yīng)超像素分割方法可以有效地從運動的人臉中提取信號最佳的區(qū)域進行心率估計,具有良好的性能表現(xiàn).

表2 動態(tài)干擾場景下算法準確性分析

通過對比圖7 第1 行中4 種方法的散點圖可以看出文獻[10-12]的方法存在較多的數(shù)據(jù)誤差較大明顯偏離線性回歸線,而本文方法的數(shù)據(jù)集中在線性回歸線附近,且線性回歸線的斜率接近于1,表明本文方法的測量值與心率參考值的相關(guān)最強.

圖7 第2 行是運動結(jié)果的Bland-Altman 圖,其在醫(yī)學(xué)領(lǐng)域經(jīng)常被用來分析新方法與標準方法測量結(jié)果的一致程度.虛線內(nèi)的區(qū)域是95%置信區(qū)間,中心實線代表心率測量值與參考值之間的相對平均誤差.從圖中可知,本文方法的虛區(qū)域遠遠窄于其他3 種方法且中心實線最接近于0,表明本文方法較其他3 種方法的測量值與標準參考值有著更好的一致性.進一步分析原因可能如下:

1)文獻[10]采用的自適應(yīng)濾波算法,能夠較好地處理高斯白噪聲干擾.但由于使用的是整張人臉作為ROI,而運動時人臉引起的尖銳干擾并不能被自適應(yīng)濾波器很好地濾除.因此該方法無法提取到純凈的BVP 信號,進而無法在運動干擾條件下進行準確的心率估計.

2)文獻[11]采用的多區(qū)域分析方法,主要選取額頭和兩頰3 個獨立區(qū)域作為心率檢測的ROI.該方法從一定程度上可以從運動干擾中提取優(yōu)質(zhì)BVP 信號進行心率估計.但是由于選取的是固定區(qū)域,固定區(qū)域無法確保不受到偶然干擾影響,并且額頭部位在女性中容易受到劉海覆蓋干擾,影響實際應(yīng)用場景下的表現(xiàn).

3)文獻[12]也是通過將面部進行分割提取不同區(qū)塊的色度特征信號進行心率估計.但是,首先其對人臉區(qū)域僅進行簡單的矩形分割沒有考慮區(qū)域內(nèi)像素間關(guān)系; 其次由于固定了分割矩形塊大小為20×20 的像素區(qū)域,并沒有對不同幀內(nèi)人臉圖像尺寸進行一致性處理,無法確保運動中分塊個數(shù)的穩(wěn)定; 最后由于沒有對人臉旋轉(zhuǎn)進行校正,難以保證傾斜狀態(tài)下分塊位置的連續(xù)性.

4)本文方法與文獻[12]采取的方法類似,都是通過將臉部區(qū)域分割成不同的子塊通過對子塊信號的分析進行心率估計.不同的是,本文在簡單矩形分割的基礎(chǔ)上引入了自適應(yīng)超像素聚類算法,確保區(qū)域內(nèi)像素間的特征相關(guān)性.同時本文算法針對人臉視頻分割后分塊位置的一致性和連續(xù)性進行了人臉校正操作.一方面提升原始BVP 信號的提取質(zhì)量,另一方面通過綜合指標優(yōu)選ROI 方法進一步提升了算法在實際場景中的抗干擾能力.

2.2.3 不同光照場景下心率檢測

考慮到真實場景中視頻采集環(huán)境的復(fù)雜性,位于不同光照條件下心率檢測的準確性會受到影響.因此本次實驗分別采集了受試者靜止狀態(tài)4 種光照場景下的視頻進行對比實驗,具體為面向光源(正)、側(cè)面對光源(側(cè))、逆向光源(逆)、以及暗光條件(暗).在本次實驗中,每名受試者均在特定場景下采集2 組視頻,視頻時長30 s,樣本總數(shù)為160 組.實驗的結(jié)果如圖8 所示.

圖8 不同光照場景下的心率準確性變化

由圖8 可知,在正面向光源的場景中4 種方法的準確率均可以達到97%以上,表明在光照條件良好的狀態(tài)下4 種方法均可以準確地進行心率檢測.但是針對側(cè)光和逆光這類光照分布不均勻的場景,文獻[10-12]方法的準確性均有較大幅度的下降,其中文獻[10]更是分別下降了7.8%、12.4%.本文方法展示出較高的準確性優(yōu)勢,其中側(cè)光準確率達到94.3%,逆光準確率達到92.1%,對比最差方法提升了5.2%與8.2%,但是針對暗光環(huán)境4 種方法均表現(xiàn)不佳.分析原因為側(cè)光、逆光時光照分布不均勻,本文方法可以根據(jù)光照分布的情況從面部選取像素特征相近區(qū)塊進行分析并挑選質(zhì)量最佳子塊進行心率估計.面對暗光這樣的光照場景,由于射入皮膚的光照強度變低導(dǎo)致面部反射的光強變低,無法從ROI 挑選上對光照進行增強,故以上方法在暗光場景中均表現(xiàn)欠佳.

2.2.4 連續(xù)時間心率檢測

長時間連續(xù)的心率檢測,可以用來評估用戶的心率變化趨勢以及對一些心血管疾病的產(chǎn)生進行早期預(yù)警.為了最終評價本算法的準確性,設(shè)計一組連續(xù)10 min的心率檢測實驗.受試者正坐在攝像機前50 cm 的位置,保持10 min 內(nèi)面部一直處于視頻采集畫面內(nèi),期間不限制受試者頭部移動和表情等變化.并同時使用脈搏血傳感器每10 s 記錄一次實時心率值做對比分析,實驗結(jié)果如圖9 所示.

圖9 心率變化折線圖

在圖9 中的紅線和藍線分別代表指尖PPG 傳感器采集的心率參考值和面部心率檢測的測量值.從整體上看,藍線的變化趨勢隨著紅線有著相似的起伏波動,說明測量值和參考值之間有著良好的一致性(r=0.9558).綜上所述,本文的算法可以有效地進行心率長期檢測,提升真實場景下算法的魯棒性.

3 結(jié)論與展望

近年來由于視頻圖像處理技術(shù)的快速發(fā)展,基于視頻的非接觸心率檢測技術(shù)發(fā)展迅速,但在實際場景應(yīng)用仍有諸多挑戰(zhàn).本文針對面部運動和光照變化干擾問題,提出一種人臉自適應(yīng)分割和多區(qū)域多指標綜合評價算法,提升脈搏波質(zhì)量,提高心率檢測可靠性,增強實際場景魯棒性.主要由以下幾部分組成: 面部區(qū)域自適應(yīng)超像素分割為互不重疊的子塊; 提取色度特征構(gòu)建脈搏信號矩陣; 根據(jù)綜合指標評估各分塊質(zhì)量,最后對最優(yōu)子塊進行心率估計.實驗結(jié)果表明,相比傳統(tǒng)ROI 分割方法,本文算法分割后脈搏矩陣信號質(zhì)量有顯著提升.在面部運動和光照不均勻場景下心率檢測準確性和穩(wěn)定性均有明顯提升.然而,在暗光和環(huán)境光照變化劇烈等場景下,本文心率檢測算法性能出現(xiàn)比較明顯的下降.在以后的工作中,將對環(huán)境光照變化造成的干擾問題進行研究,進一步提升復(fù)雜光照場景下的心率檢測魯棒性.