許志猛,尹輝斌,林佳慧

(福州大學物理與信息工程學院,福建福州 350108)

0 引言

人體行為識別技術(shù)通過現(xiàn)代信息技術(shù)對人的行為進行識別分析,在智能家居、生命監(jiān)測和健康監(jiān)護等領(lǐng)域有著廣闊的應用前景,是目前學術(shù)界和工業(yè)界研究的熱點[1].近年來許多研究者利用視頻、可穿戴傳感器、智能手機、WiFi信號和雷達等技術(shù)對包括跌倒等人體行為的識別開展了深入的研究.文獻[2-3]采用基于傳感器的跌倒檢測方法具有成本低、可移植性好的優(yōu)點,但該技術(shù)要求隨身佩戴傳感器,使用的舒適度和便捷性有待提高.文獻[4]提出的WiFall系統(tǒng)通過采集并分析WiFi信號傳輸?shù)男诺罓顟B(tài)信息(channel status information,CSI),實現(xiàn)了無需佩戴設(shè)備的人員跌倒檢測.基于WiFi信號CSI的檢測方式需要事先在監(jiān)測區(qū)域布設(shè)WiFi收發(fā)系統(tǒng),檢測結(jié)果易受環(huán)境的影響,具有較強的時變特性且定位精度和準確度較差,目前還較難提供可靠的檢測結(jié)果[5].文獻[6]基于矢量網(wǎng)絡分析儀搭建了一個多普勒雷達系統(tǒng),利用短時間傅里葉變換對雷達回波信號進行時頻分析,采用優(yōu)化參數(shù)的支持向量機對跌倒行為進行分類識別,實現(xiàn)了100%的跌倒和非跌倒事件的識別率.然而該系統(tǒng)對于“起立”、“坐下”和“跌倒”等多個動作的分類識別準確率卻僅有85%,且系統(tǒng)實現(xiàn)成本高,設(shè)備體積大而復雜,難以推廣應用.文獻[7]基于Ancortek公司提供的調(diào)頻連續(xù)波(frequency modulated continuous wave,FMCW)商用雷達,結(jié)合深度學習的分類方法并通過將時頻和范圍多信息融合的方法降低虛報率,實現(xiàn)跌倒和非跌倒的二分類事件97.1%的識別準確率.

上述研究工作都是針對單人場景下的人體行為識別而展開,不具有廣泛適用性,無法適應真實場景的應用需求.文獻[8]通過在房間里布置門傳感器、運動傳感器、Kinect傳感器和溫度傳感器等多個傳感器,通過收集并分析各傳感器數(shù)據(jù)實現(xiàn)室內(nèi)2名人員的行為識別,由于需要在室內(nèi)布置多個傳感器,系統(tǒng)的安裝和維護成本和復雜度較高.文獻[9]提出利用MIMO技術(shù)信道估計的方法實現(xiàn)多人的行為識別的Wisee系統(tǒng),該系統(tǒng)通過提取被測人員的多普勒頻移來實現(xiàn)多人場景下的姿勢識別,但Wisee系統(tǒng)要求被測人員在實現(xiàn)行為識別之前必須先做一個“前奏性”的動作以完成該被測人員所在的信道估計,應用上有較大的局限性.文獻[10]提出利用WiFi實現(xiàn)走、跑、揮手三種周期性較強動作識別的多人行為識別系統(tǒng),通過分析三種動作的頻率特性并將其轉(zhuǎn)換成速度模型,該方法可以識別出兩人場景中發(fā)生三種動作的組合,但無法確定發(fā)生具體某一種動作的位置和相關(guān)人員.

針對上述提出的問題,本文基于美國德州儀器(TI)公司的FMCW毫米波雷達模塊,提出一種新的適用于雙人場景的行為識別方法.運用基于密度的DBSCAN(density-based spatial clustering of applications with noise)聚類算法將FMCW雷達采集到的坐標數(shù)據(jù)聚類成不同的聚類群,使得每一個聚類群對應于單一人體的行為,再對每一個聚類群的數(shù)據(jù)進行特征提取和分類,實現(xiàn)了雙人場景下人體行為的識別,通過雙人場景下人體行為的識別的理論分析和實驗驗證,為更復雜的多人場景奠定了基礎(chǔ).

1 基于FMCW雷達的檢測系統(tǒng)

本文設(shè)計的室內(nèi)人員行為檢測系統(tǒng)如圖1所示,由數(shù)據(jù)采集系統(tǒng)和計算機上的數(shù)據(jù)處理兩大部分構(gòu)成.雷達檢測模塊采集到的目標坐標和運動速度等信息通過USB端口傳輸?shù)接嬎銠C,采集速率為5幀·s-1.數(shù)據(jù)處理部分由計算機程序完成,包括數(shù)據(jù)預處理、DBSCAN聚類算法、動作關(guān)鍵點選取、特征提取以及機器學習分類算法等5部分.核心組成部分的FMCW毫米波雷達模塊選用TI公司的IWR1443EVM,該模塊工作頻帶為77～81 GHz,內(nèi)部集成兩個低功耗的ARM Cortex-R4F的微控制器,使用板載天線,可配置成三發(fā)四收工作模式,構(gòu)建一個具有12個虛擬天線陣元的雷達采集系統(tǒng),實現(xiàn)精度小于1 mm的三維測距,是構(gòu)建低功耗、高精度室內(nèi)雷達系統(tǒng)的一個理想解決方案.

FMCW雷達通過反射回波和發(fā)射信號的頻差獲取檢測目標和雷達發(fā)射機之間的電磁波傳輸時間,進而估計出目標和雷達板的距離R.本系統(tǒng)采用的雷達檢測模塊具有3根發(fā)射天線和4根接收天線,如圖2所示.3根發(fā)射天線水平間距為發(fā)射信號波長λ,且中間的一根天線比其余兩根高λ/2,4根接收天線水平間距為λ/2且與TX1和TX3兩根發(fā)射天線分布在同一水平面.

以圖3所示的一發(fā)兩收的天線配置為例,發(fā)射天線發(fā)出的信號經(jīng)過目標反射到達不同的接收天線時,由于接收天線間距為d,信號傳播路徑相差d sin θ,通過檢測兩根接收天線上信號的相位差,可以估計出檢測目標的方位角θ.同理,由于發(fā)射天線TX2和TX1、TX3具有不同高度,在接收天線上檢測分別由TX2和TX1、TX3發(fā)射的信號的相位差可得出檢測目標的仰角φ.

圖1 系統(tǒng)模型Fig.1 System model

圖2 雷達天線布置圖Fig.2 Layout of radar antennas

圖3 方位角引起的信號傳播延遲Fig.3 Propagation delay caused by azimuth

如圖4所示,通過采用時分復用的方式將線性調(diào)頻波交替加載到3根發(fā)射天線,可等效成一個具有12個接收天線陣元的雷達系統(tǒng)[11].對4根接收天線上接收到的12個信號進行相位檢測,可以得到檢測目標距雷達的距離R,方位角θ和仰角φ,如圖5所示,并根據(jù)下式計算出目標所在的直角坐標(x,y,z).

圖4 收發(fā)天線的配置方式Fig.4 Configuration of transceiver antennas

圖5 檢測目標坐標位置的獲取Fig.5 Coordinate geometry of the target

此外,通過檢測由同一個天線在一段很短的時間間隔Tc發(fā)射的兩個信號而產(chǎn)生的相位差φdop,可得到因為檢測目標運動而引起的多普勒頻移,并由下式得到檢測目標的運動速度v.

在室內(nèi)應用環(huán)境中,墻體、家具等目標都會反射雷達發(fā)出的信號,為識別出人體目標的發(fā)射波,采用了背景消除的方法將環(huán)境中靜態(tài)物體的反射信號消除.經(jīng)過背景消除,可以實現(xiàn)運動中人體的檢測,但當待檢測的人處于靜止狀態(tài)時會造成雷達檢測數(shù)據(jù)的丟失.為此,本文采用線性插值重構(gòu)數(shù)據(jù)等方法對數(shù)據(jù)進行預處理并采取去除離群值的方法進一步處理背景消除后殘留的噪聲和干擾.經(jīng)過數(shù)據(jù)預處理,可得到檢測環(huán)境中人體反射產(chǎn)生的多個位置坐標及其運動速度.

2 雷達數(shù)據(jù)的聚類

在多人環(huán)境中,活動中不同人體反射產(chǎn)生的雷達采集數(shù)據(jù)可能會混疊到一起,不利于行為動作的識別.考慮到對于FMCW雷達而言人體不是點反射器,其對應的采集數(shù)據(jù)為一組在空間上較為接近的坐標信息.由于環(huán)境中人體所處的高度差距不大,活動范圍基本處于同一個水平面,本文對采集到的雷達數(shù)據(jù)在(x,y)二維平面上使用DBSCAN算法將多人場景采集到的數(shù)據(jù)聚類成不同的聚類群,而后對各聚類群分別處理.DBSCAN聚類算法是一種基于密度的空間聚類方法,該聚類算法不易受噪聲的影響,且對聚類的形狀沒有偏倚[12].Eps和MinPts是聚類算法中需要確定的兩個參數(shù).其中Eps鄰域定義為針對于對象pi,以其為中心,Eps為半徑的區(qū)域.鄰域密度閾值MinPts指的是pi的Eps鄰域中所包含的對象的最少個數(shù).

經(jīng)過實驗驗證,在雷達測試模塊放置在離地面1 m高度場景下,將Eps設(shè)為0.25,MinPts設(shè)為5時聚類情況較好.圖6為兩人場景中采用聚類算法處理的實驗結(jié)果,其中雷達采集模塊位于坐標(0,0)處.圖6(a)和圖6(b)為兩人并行走動的活動場景,從圖中可看出即使在人員互相遮擋的情況下,使用雷達也可以識別出不同人的活動軌跡,并且使用聚類算法可以剔除散亂噪聲點；圖6(c)和圖6(d)為一人坐立另一人繞其沿著圓形行走的活動場景,實驗結(jié)果表明,聚類算法也能較好地將兩個人的數(shù)據(jù)區(qū)分并剔除噪聲.

圖6 兩人場景中雷達數(shù)據(jù)的聚類Fig.6 Clustering of radar data in two person scenario

3 特征提取及行為分類

經(jīng)過聚類算法處理后,多人場景中的每個人所對應的雷達采集數(shù)據(jù)被分為不同的聚類群.為了識別人體的活動狀態(tài),需要進一步對其進行分析.由于在同一時刻由人體反射獲得的雷達數(shù)據(jù)有許多,為降低處理復雜度,可從中提取一個動作關(guān)鍵點.經(jīng)測試,本文選擇以均值作為動作關(guān)鍵點的方案.由于提取行為關(guān)鍵點后的數(shù)據(jù)不夠平滑,不便于后續(xù)提取行為特征進行分類,因此本文采用移動平均濾波對提取動作關(guān)鍵點后的數(shù)據(jù)進行處理,滑動窗口設(shè)置為3.

經(jīng)過上述處理,對跌倒、坐下、行走等3種行為分別進行實驗,3種行為中動作關(guān)鍵點的變化情況如圖7所示.從圖中可看出,跌倒的行為對應于Z軸坐標上高度迅速變低的趨勢,同時在速度上也有較顯著的變化,其中速度為負數(shù)時表示的是運動方向遠離雷達檢測模塊.

圖7 動作關(guān)鍵點在不同行為中高度和速度的變化情況Fig.7 Height and speed of key point vary in different behaviors

基于以上分析,本文提出了采用zmean、zmin、vmax和vstd等4個特征量作為分類的特征向量.其中zmin指的是采集數(shù)據(jù)中Z軸的最小值.跌倒是一個突然的過程,在跌倒過程中人的重心會降低,檢測數(shù)據(jù)的Z軸也會隨之降低；zmean指被測數(shù)據(jù)模板的z的平均值；vmax指的是被測模板中Z軸出現(xiàn)最小值時被測人員的速度.跌倒是一個劇烈的運動狀態(tài),其對應跌倒過程中速度也是一個變化較為劇烈的值；vstd指被測數(shù)據(jù)模板的速度的標準方差,跌倒會造成速度的突變,而坐下和行走則將會對速度造成相對較小的波動.提取上述4個特征構(gòu)成特征向量后,本文采用樸素貝葉斯分類器進行分類,以實現(xiàn)對雙人活動狀態(tài)的識別.

4 實驗結(jié)果分析

本系統(tǒng)的測試環(huán)境如圖8所示,實驗在一個長9 m、寬6 m的室內(nèi)空間開展,雷達檢測模塊通過三腳架安裝在離地面1 m高的位置,測試人員在距離雷達6 m范圍內(nèi)活動.實驗共邀請10名人員(5女5男)參與,其中兩人為一組,隨機組成10組.每一組參與者分別執(zhí)行“行走-跌倒”、“坐立-跌倒”、“行走-行走”、“坐立-坐立”、“行走-坐立”這五種組合動作,每個動作重復15次,一共生成750組數(shù)據(jù).參照同行文獻的設(shè)置并考慮計算復雜度,選取其中300組作為訓練數(shù)據(jù),其余的450組作為測試數(shù)據(jù)[13].實驗人員的身高分布于150～182 cm不等,高矮胖瘦不一,體質(zhì)量在39～76 kg之間分布.

以查全率R為評估準則,即樣本中的正例有多少被預測正確.經(jīng)測試,本文提出的檢測系統(tǒng)的多分類如表1所示.從表中可看出,跌倒、坐下和行走三種動作的查全率分別為100%、93.8%和87.3%,系統(tǒng)可十分準確地識別出跌倒和非跌倒事件.多分類情況下的誤判率主要由行走和坐立兩種情況相互錯判引起.

表1 多分類混淆矩陣表Tab.1 Confusion matrix of multiple classification

4.1 特征量的影響

為進一步分析zmean、zmin、vmax和vstd等4個特征量對動作識別準確率的貢獻,對這4個特征量的不同組合構(gòu)成的特征向量所對應的識別率進行對比,統(tǒng)計結(jié)果如圖9所示.圖中橫坐標各個點代表特征向量的選擇情況,其中ALL表示選取zmean、zmin、vmax和vstd全部4個特征量,而Non-zmean、Non-zmin、Non-vmax和 Non-vstd分別表示選取除了 zmean、 zmin、 vmax和vstd以外的另外3個特征的情況.從圖中可看出,采用全部4個特征量的識別準確率最高,說明這4個特征量對本文提出的檢測算法都有貢獻.從圖中還可看出,特征量zmin對于跌倒動作的識別影響較大,vstd對坐下和行走兩個動作的識別率影響十分顯著.

4.2 動作關(guān)鍵點的影響

為分析動作關(guān)鍵點對識別準確度的影響,分別對均值、最大值和最小值三種動作關(guān)鍵點提取方案的跌倒檢測準確率進行對比,統(tǒng)計結(jié)果如圖10所示.圖中ACC為整體的準確率,定義為分類正確的樣本數(shù)占樣本總數(shù)的比例,其反應了分類器對整個樣本的判定能力；P為查準率,其表示的是統(tǒng)計預測為正的樣例中有多少是真正的正樣例.R為查全率,F1-score定義為在查全率和查準率同樣重要的情況下,分類準確率的情況.從圖中可以看出以均值為行為關(guān)鍵點在各種情況下都明顯優(yōu)于其他兩種方案.

圖9 特征量對動作識別準確率的影響Fig.9 Characteristic quantity versus behavior detection accuracy

圖10 動作關(guān)鍵點對跌倒檢測準確率的影響Fig.10 Key points of actions versus fall detection accuracy

4.3 分類器的影響

表2 準確率比較Tab.2 Comparison of classification (%)

對采用K近鄰(k-nearest neighbor,KNN)和樸素貝葉斯兩種不同的分類器準確率的影響進行分析,其中對跌倒準確率的測試結(jié)果如表2所示.從表中可看出,樸素貝葉斯分類方法不論使用何種評判標準,跌倒檢測準確率都要優(yōu)于KNN分類器的分類效果.

5 結(jié)語

本文提出一種適用于雙人場景的室內(nèi)人員行為檢測方法,通過對FMCW雷達采集的數(shù)據(jù)進行聚類,提取人體動作行為關(guān)鍵點,并選取合適的特征量,實現(xiàn)雙人場景下的人體動作識別.通過實驗發(fā)現(xiàn),采用DBSCAN聚類算法可以有效地對不同人體反射的雷達點云數(shù)據(jù)進行分類,區(qū)分出不同人體活動狀態(tài)的數(shù)據(jù)集；針對每一個人體的活動狀態(tài)數(shù)據(jù)集,取每一個時刻的雷達采集數(shù)據(jù)的均值作為動作代表點的數(shù)據(jù)處理方法可以有效降低數(shù)據(jù)處理量并具有較好的識別準確率；同時,選取行為代表點中的高度均值zmean、高度最小值zmin、運動速度最大值vmax和運動速度標準差vstd等4個特征作為行為特征向量具有較好的監(jiān)測準確度；在分類器的選取上,采用樸素貝葉斯分類器可以獲得比KNN更好的檢測準確度.實驗結(jié)果表明,本文采用的檢測方法在兩人場景中對跌倒、坐下和行走的檢測準確率分別達到100%、93.8%和87.3%,可以滿足智能健康監(jiān)護系統(tǒng)中要求準確、便捷地檢測出人員跌倒的設(shè)計需求.