楊 磊，張文強(qiáng)，任衍允

(上海大學(xué) 機(jī)電工程與自動(dòng)化學(xué)院 上海市電站自動(dòng)化技術(shù)重點(diǎn)實(shí)驗(yàn)室，上海 200072)

0 引 言

全球正以驚人速度奔向老齡化。歐洲較早進(jìn)入老齡化社會(huì)，其中德國(guó)被稱為“歐洲養(yǎng)老院”。中國(guó)于2000年已正式跨入老齡化社會(huì)，據(jù)民政部發(fā)布數(shù)據(jù)表明，截至2015年底60歲以上人口占總?cè)丝诒壤秊?6.1%，是全世界老齡人口最多、老齡化速度發(fā)展最快的一個(gè)國(guó)家。無(wú)論是歐美日發(fā)達(dá)國(guó)家還是中國(guó)，人口老齡化帶來(lái)的社會(huì)問(wèn)題日益突顯。摔倒是老年護(hù)理和生活中面臨的一個(gè)重要問(wèn)題。摔倒給老人自身帶來(lái)生理、心理以及經(jīng)濟(jì)負(fù)擔(dān)，也增加了社會(huì)、政府關(guān)于老年醫(yī)療、料理、保險(xiǎn)等費(fèi)用。Noury等的研究顯示，老年人摔倒后如能得到及時(shí)救助，可以有效降低80%的死亡風(fēng)險(xiǎn)和26%的住院長(zhǎng)期治療風(fēng)險(xiǎn)[1]。若及時(shí)發(fā)現(xiàn)老人的摔倒事件，對(duì)其相關(guān)行為進(jìn)行檢測(cè)和處理，則可以有效減少摔倒的各種后果。隨著模式識(shí)別與人工智能、計(jì)算機(jī)視覺(jué)、物聯(lián)網(wǎng)、多傳感器技術(shù)的發(fā)展，老人摔倒檢測(cè)呈現(xiàn)自動(dòng)化、智能化和遠(yuǎn)程化。通常老人摔倒檢測(cè)系統(tǒng)前端采用圖像、聲音、加速度計(jì)等傳感器對(duì)摔倒過(guò)程的各種信息進(jìn)行采集，然后使用模式識(shí)別方法對(duì)摔倒進(jìn)行判斷，如果發(fā)生摔倒事件即刻觸發(fā)報(bào)警設(shè)備或遠(yuǎn)程呼叫[2-3]。國(guó)內(nèi)外老人摔倒檢測(cè)系統(tǒng)中主要使用三類傳感器：以重力與加速度計(jì)為感知量的便攜式設(shè)備，以聲、電磁、震動(dòng)等為感知量的環(huán)境檢測(cè)設(shè)備，以及以圖像與視頻為處理對(duì)象的監(jiān)控檢測(cè)設(shè)備。針對(duì)基于穿戴傳感器、環(huán)境傳感器和計(jì)算機(jī)視覺(jué)的摔倒檢測(cè)系統(tǒng)的不足，文中提出了一種基于深度數(shù)據(jù)分析的室內(nèi)老人摔倒檢測(cè)方法。

1 相關(guān)研究

對(duì)于不同的應(yīng)用，采用不同類型的傳感設(shè)備和不同的摔倒檢測(cè)算法可構(gòu)建不同的摔倒檢測(cè)系統(tǒng)。依據(jù)前端使用傳感設(shè)備的不同，摔倒檢測(cè)的主流方法可分為三類：基于可穿戴傳感器的方法、基于環(huán)境傳感器的方法和基于計(jì)算機(jī)視覺(jué)的方法[4-13]。下面簡(jiǎn)要分析不同類型摔倒檢測(cè)的特點(diǎn)。

基于可穿戴傳感器的摔倒檢測(cè)系統(tǒng)通過(guò)穿戴在老年人身體上的傳感器來(lái)確定他們的運(yùn)動(dòng)狀態(tài)或位置信息[4-6]。多數(shù)穿戴傳感器(如加速度計(jì)、陀螺儀等)比環(huán)境傳感器便宜、精確度高且易于操作，但其具有高度侵入性，這是其最大的缺點(diǎn)[6]?；诃h(huán)境傳感器的方法將傳感器布置在環(huán)境周圍，一般是室內(nèi)。用于檢測(cè)的信號(hào)包括壓力、震動(dòng)、音頻和紅外陣列等[7-9]。大多數(shù)基于環(huán)境設(shè)備的方法是使用壓力傳感器來(lái)檢測(cè)和跟蹤對(duì)象。由于它能感知對(duì)象周圍的一切壓力變化，這就容易產(chǎn)生錯(cuò)誤的警報(bào)，降低摔倒檢測(cè)的準(zhǔn)確性。隨著計(jì)算機(jī)視覺(jué)和數(shù)字圖像處理技術(shù)的發(fā)展，基于視覺(jué)的摔倒檢測(cè)成為一類重要方法[10-14]?；谝曈X(jué)的檢測(cè)方法按攝像機(jī)個(gè)數(shù)可分為單攝像機(jī)和多攝像機(jī)檢測(cè)。相對(duì)于其他兩類方法，基于視覺(jué)的方法對(duì)老人的侵入性較低，擁有較高的精度和魯棒性?；诨叶然虿噬珗D像的摔倒檢測(cè)系統(tǒng)包含人的面部信息，涉及個(gè)人隱私問(wèn)題。同時(shí)，由于成像模型投影的限制，使該類方法難以檢測(cè)發(fā)生在攝像機(jī)光軸方向上的摔倒行為[11]。對(duì)此可選擇避免采用面部特征的方法，如捕捉環(huán)境信息或使用深度圖像來(lái)檢測(cè)摔倒行為。

由上述研究可知，基于穿戴傳感器、環(huán)境傳感器和計(jì)算機(jī)視覺(jué)的摔倒檢測(cè)系統(tǒng)具有高入侵性、低精度、魯棒性差以及受環(huán)境影響大等缺點(diǎn)。相對(duì)于彩色或灰度圖像，深度圖像可以更好地反映場(chǎng)景中目標(biāo)空間位置關(guān)系，其不僅包含了特定目標(biāo)的位置信息，也包含了目標(biāo)的形狀、運(yùn)動(dòng)軌跡等信息。但早期的深度傳感器因價(jià)格高、準(zhǔn)確性差等原因使得深度圖像在研究領(lǐng)域并未得到廣泛應(yīng)用。微軟的Kinect傳感器具有廉價(jià)、準(zhǔn)確、穩(wěn)定性好等優(yōu)點(diǎn)，并可以實(shí)時(shí)獲取深度圖像，其在運(yùn)動(dòng)目標(biāo)檢測(cè)、障礙物識(shí)別、路徑規(guī)劃、摔倒檢測(cè)等領(lǐng)域都具有很好的應(yīng)用前景[14-16]。

利用Kinect傳感器采集的深度信息，文中提出一種基于深度數(shù)據(jù)分析的室內(nèi)老人摔倒檢測(cè)方法。首先對(duì)背景和目標(biāo)圖像通過(guò)中值濾波器進(jìn)行深度圖像預(yù)處理；進(jìn)而采用高斯模型完成對(duì)運(yùn)動(dòng)目標(biāo)的檢測(cè)；然后通過(guò)最小二乘法估計(jì)地面方程并將深度圖轉(zhuǎn)換為視差圖；最后分析人體對(duì)象的動(dòng)態(tài)信息，計(jì)算人體重心與地面之間的距離。當(dāng)人體重心到地面的距離低于閾值時(shí)，判定摔倒行為發(fā)生。

2 提出的摔倒檢測(cè)方法

2.1 方法概述

文中提出一種在室內(nèi)場(chǎng)景下基于三維深度圖像分析的獨(dú)居老人摔倒檢測(cè)方法。首先，在預(yù)處理階段，對(duì)采集的深度圖像進(jìn)行濾波，并使用高斯模型法提取場(chǎng)景中的運(yùn)動(dòng)人體目標(biāo)。然后，通過(guò)統(tǒng)計(jì)背景圖像中的水平方向直方圖得到場(chǎng)景V視差圖，然后對(duì)V視差圖使用Otsu法及最小二乘法擬合提取地面方程參數(shù)。使用一系列圖像中的運(yùn)動(dòng)部分來(lái)分析人體形態(tài)信息，當(dāng)人體重心高度小于規(guī)定閾值時(shí)，判斷人體摔倒。

2.2 深度圖像運(yùn)動(dòng)目標(biāo)提取

運(yùn)動(dòng)檢測(cè)方法主要包括背景差分、幀間差分、光流方法、高斯概率模型等[15-17]。由于目標(biāo)所處的室內(nèi)環(huán)境中，對(duì)于深度圖像，室內(nèi)場(chǎng)景的背景數(shù)據(jù)不會(huì)變化或變化很小，因此使用單高斯模型對(duì)所采集圖像進(jìn)行預(yù)處理和前景提取。首先對(duì)背景模型進(jìn)行初始化，選取50幅背景圖像對(duì)背景模型進(jìn)行訓(xùn)練。

(1)

(2)

其中，μ(i,j)為背景參數(shù)均值；σ(i,j)為背景參數(shù)標(biāo)準(zhǔn)差；Depth(i,j)為深度數(shù)據(jù)。

如圖1(a)所示，文中選取的目標(biāo)場(chǎng)景為室內(nèi)一角；(b)為Kinect采集的原始深度圖像；(c)為經(jīng)過(guò)均值濾波處理的背景均值數(shù)據(jù)圖像?？梢钥闯觯幚磉^(guò)后的背景圖像更加平滑，一定程度上起到了抑制噪聲的效果。

預(yù)處理后需要對(duì)前景點(diǎn)和背景點(diǎn)進(jìn)行判斷，對(duì)每一個(gè)像素的深度數(shù)據(jù)建立高斯模型，通過(guò)比較實(shí)時(shí)采集的深度數(shù)據(jù)與背景模型的均值差值和閾值的大小關(guān)系，即可判斷出實(shí)時(shí)采集的像素點(diǎn)為前景點(diǎn)或背景點(diǎn)。選取2.5倍標(biāo)準(zhǔn)差作為消噪的閾值，獲得了比較理想的效果。前景點(diǎn)、背景點(diǎn)的判別公式如下：

Object(i,j)=

(3)

其中，Object(i,j)為像素點(diǎn)的標(biāo)記值，前景點(diǎn)標(biāo)記為1，背景點(diǎn)標(biāo)記為0。

圖1 目標(biāo)檢測(cè)的背景圖像

由此可初步提取出運(yùn)動(dòng)目標(biāo)，但由于各種噪聲的干擾，需對(duì)檢測(cè)結(jié)果做形態(tài)學(xué)濾波處理。圖2是深度圖像運(yùn)動(dòng)的人體檢測(cè)結(jié)果。由圖2可知，文中方法可對(duì)運(yùn)動(dòng)目標(biāo)完成精確檢測(cè)。

圖2 運(yùn)動(dòng)的人體信息提取結(jié)果

2.3 地面信息提取

通過(guò)建立攝像機(jī)成像模型，利用視差圖可以估計(jì)出地面平面參數(shù)[17]。如果獲得人體的重心位置，再采用閾值方法則可以對(duì)摔倒進(jìn)行判斷。Kinect的深度數(shù)據(jù)輸出由紅外投影機(jī)和紅外攝像機(jī)的視差獲得。對(duì)于Kinect透視投影圖像模型，建立圖像坐標(biāo)系點(diǎn)(x,y)與世界坐標(biāo)系點(diǎn)(X,Y,Z)的轉(zhuǎn)換關(guān)系：

(4)

其中，(cx,cy)為圖像主點(diǎn)；f為焦距。

在檢測(cè)老年人的室內(nèi)環(huán)境中，地面是場(chǎng)景中的主要部分，所以使用Otsu方法來(lái)分割地面信息。由于存在測(cè)量誤差，所以認(rèn)為在地面±dt范圍內(nèi)的點(diǎn)也屬于地面，即如果在視差圖中第y行的深度值為dy，則該行內(nèi)所有深度值d∈(dy-dt,dy+dt)的點(diǎn)都被判定為地面。大部分的地面信息可以通過(guò)V視差圖進(jìn)行有效提取，然后通過(guò)最小二乘法可以獲得地面的平面方程。如圖3(a)所示，V視差圖中包含一條線段，該線段的起點(diǎn)和斜率與Kinect傳感器的高度和傾角有關(guān)，線段的長(zhǎng)度對(duì)應(yīng)著地面深度圖像和視差圖的位置關(guān)系。假設(shè)Xi，Yi和Zi為地面點(diǎn)在世界坐標(biāo)系中的三維坐標(biāo)值，則地面點(diǎn)可用(Xi,Yi,Zi)來(lái)表示。在使用V視差圖得到地面點(diǎn)的三維坐標(biāo)后，可使用唯一確定平面方程AXi+BYi+CZi=1來(lái)表示地面。為了使得到的平面方程系數(shù)誤差最小，可以對(duì)初步判定為地面的點(diǎn)使用最小二乘法擬合，設(shè)地面點(diǎn)的平面方程為：

(5)

對(duì)式(5)使用最小二乘法求近似解得：

(6)

為了減少測(cè)量過(guò)程帶來(lái)的噪聲，對(duì)于距離求得平面小于0.05的點(diǎn)，都可判定為地面上的點(diǎn)，即

|AX+BY+CZ-1|<0.05

(7)

圖3是經(jīng)過(guò)V視差圖得到的地面估計(jì)結(jié)果，可以看出，地面被準(zhǔn)確地提取出來(lái)。

圖3 地面信息提取

2.4 摔倒檢測(cè)

(8)

為了檢測(cè)摔倒事件發(fā)生，以人體和地面的距離作為判據(jù)。當(dāng)檢測(cè)到連續(xù)10幀深度圖像中人體重心高度小于高度閾值0.4 m時(shí)，判定人摔倒。

3 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證該方法的有效性，對(duì)不同方向的摔倒進(jìn)行檢測(cè)實(shí)驗(yàn)。圖4給出了一個(gè)典型的摔倒視頻序列。在每一幀深度圖像中，標(biāo)記出了人體的重心，同時(shí)使用橢圓擬合出人體部分。在視頻序列的每一幀中，都提取出人體的重心部分，并計(jì)算出其與地面的距離，該距離和設(shè)定的深度閾值做比較，將比較結(jié)果作為判據(jù)應(yīng)用在摔倒檢測(cè)判定中。最后一列是被判定為摔倒的圖像幀。

圖4 沿光軸方向摔倒事件檢測(cè)結(jié)果

圖5給出了視頻序列中的人體重心高度曲線，深色曲線即為摔倒檢測(cè)結(jié)果。實(shí)驗(yàn)中，高度閾值設(shè)定為0.4 m。

如圖4和圖5可見(jiàn)，提出的摔倒檢測(cè)方法能穩(wěn)定、準(zhǔn)確地檢測(cè)到摔倒行為。圖4實(shí)際是一個(gè)沿著攝像頭光軸方向的摔倒過(guò)程。對(duì)于灰度圖像或彩色圖像，一般不能準(zhǔn)確檢測(cè)發(fā)生在視覺(jué)傳感器光軸方向上的摔倒行為。實(shí)驗(yàn)結(jié)果表明，圖4(b)所示的摔倒發(fā)生在Kinect傳感器光軸方向上，該方法依然能準(zhǔn)確對(duì)摔倒進(jìn)行檢測(cè)。

圖5 視頻序列中的人體重心高度曲線

4 結(jié)束語(yǔ)

提出了一種在室內(nèi)環(huán)境中通過(guò)分析人體深度圖像形態(tài)的摔倒檢測(cè)方法。首先對(duì)背景圖像和目標(biāo)圖像經(jīng)過(guò)濾波預(yù)處理以減少測(cè)量噪聲對(duì)該方法的影響；然后由視差圖和最小二乘法獲得場(chǎng)景地面信息及地面方程參數(shù)，通過(guò)分析深度圖像中的人體形態(tài)信息，比較人體重心高度與高度閾值的結(jié)果判定人體是否摔倒。通過(guò)設(shè)定閾值來(lái)進(jìn)行摔倒檢測(cè)，當(dāng)場(chǎng)景地面信息提取后，人體高度信息容易得到，因此該方法簡(jiǎn)單有效。通過(guò)在包含不同摔倒方向的數(shù)據(jù)上進(jìn)行摔倒實(shí)驗(yàn)，驗(yàn)證了該方法的有效性，為智能摔倒檢測(cè)的實(shí)現(xiàn)和應(yīng)用提供了一種新途徑。

參考文獻(xiàn):

[1] IIO T,SHIOMI M,KAMEI K,et al. Social acceptance by senior citizens and caregivers of a fall detection system using range sensors in a nursing home[J].Advanced Robotics,2016,30(3):190-205.

[2] DELAHOZ Y S,LABRADOR M A.Survey on fall detection and fall prevention using wearable and external sensors[J].Sensors,2014,14(10):19806-19842.

[3] KOSHMAK G,LINDEN M,LOUTFI A.Challenges and issues in multisensor fusion approach for fall detection:review paper[J].Journal of Sensors,2015,5(8):837459.

[4] YANG Lei,REN Yanyun,ZHANG Wenqiang.3D depth image analysis for indoor fall detection of elderly people[J].Digital Communications and Networks,2016,2(1):24-34.

[5] YANG Lei,REN Yanyun,HU Huosheng,et al.New fast fall detection method based on spatio-temporal context tracking of head by using depth images[J].Sensors,2015,15(9):23004-23019.

[6] CHENG Juan,CHEN Xiang,SHEN Minfen.A framework for daily activity monitoring and fall detection based on surface electromyography and accelerometer signals[J].IEEE Journal of Biomedical & Health Informatics,2013,17(1):38-45.

[7] ZIGEL Y,LITVAK D,GANNOT I.A method for automatic fall detection of elderly people using floor vibrations and sound proof of concept on human mimicking doll falls[J].IEEE Transactions on Bio-medical Engineering,2009,56(12):2858-2567.

[8] RIMMINEN H,LINDSTR?M J,LINNAVUO M,et al.Detection of falls among the elderly by a floor sensor using the electric near field[J].IEEE Transactions on Information Technology in Biomedicine,2010,14(6):1475-1476.

[9] SAZONOV E S,BUMPUS T,ZEIGLER S,et al.Classification of plantar pressure and heel acceleration patterns using neural networks[C]//IEEE international joint conference on neural networks.[s.l.]:IEEE,2005:3007-3010.

[10] FENG W,LIU R,ZHU M.Fall detection for elderly person care in a vision-based home surveillance environment using a monocular camera[J].Signal,Image and Video Processing,2014,8(6):1129-1138.

[11] YU M,YU Y,RHUMA A,et al.An online one class support vector machine-based personspecific fall detection system for monitoring an elderly individual in a room environment[J].IEEE Journal of Biomedical & Health Informatics,2013,17(6):1002-1014.

[12] CHUA J L,CHANG Y C,LIM W K.A simple vision-based fall detection technique for indoor video surveillance[J].Signal,Image and Video Processing,2015,9(3):623-633.

[13] 靳海偉,彭 力,盧曉龍.基于輪廓跟蹤的摔倒檢測(cè)算法[J].江南大學(xué)學(xué)報(bào):自然科學(xué)版,2015,14(2):172-177.

[14] 羅 凱,金小峰.基于Kinect的跌倒行為識(shí)別算法[J].延邊大學(xué)學(xué)報(bào):自然科學(xué)版,2016,42(2):156-160.

[15] 陳鳳東,洪炳镕.基于動(dòng)態(tài)閾值背景差分算法的目標(biāo)檢測(cè)方法[J].哈爾濱工業(yè)大學(xué)學(xué)報(bào),2005,37(7):883-884．

[16] 楊 磊，任衍允，蔡紀(jì)源.一種基于深度數(shù)據(jù)的高斯模型運(yùn)動(dòng)目標(biāo)檢測(cè)方法[J].計(jì)算機(jī)技術(shù)與發(fā)展,2015,25(9):27-30.

[17] 黃露丹,嚴(yán)利民.基于Kinect深度數(shù)據(jù)的人物檢測(cè)[J].計(jì)算機(jī)技術(shù)與發(fā)展,2013,23(4):119-121．