【作 者】 張捷，劉濤，于云瀟

1 上海中僑職業(yè)技術(shù)大學(xué)，上海市，201203

2 上海中僑健康智能科技有限公司，上海市，201203

0 引言

隨著社會的發(fā)展和人口老齡化進(jìn)程的加快，老年人在社區(qū)和居家環(huán)境下的綜合安全問題日益突出，已成為社會急需解決的問題。目前，我國的養(yǎng)老研究有居家養(yǎng)老、社區(qū)養(yǎng)老和機(jī)構(gòu)養(yǎng)老3種模式。其中，超過99%的老年人在居家和社區(qū)養(yǎng)老，僅有不到1%的老年人在機(jī)構(gòu)養(yǎng)老[1]。老年人隨著年齡的增加，衰老癥狀和退行性病變會逐步加快加深，生理機(jī)能逐漸衰退，認(rèn)知能力也隨之下降。在居家和社區(qū)環(huán)境下，容易出現(xiàn)獨(dú)居老年人跌倒、疾病突發(fā)、廚房明火、煙霧、煤氣泄漏等風(fēng)險，認(rèn)知癥障礙老年人走失及老年人集中活動場所的安全隱患。

跌倒是老人失能的重要拐點和傷害死亡的首位原因，被稱為“頭號殺手”，且隨年齡的增加，跌倒的死亡率急劇上升[2]。目前，國內(nèi)外對老年人的跌倒監(jiān)測主要有四類技術(shù)方案：第一類是手環(huán)手表穿戴式設(shè)備類，由于設(shè)備監(jiān)測準(zhǔn)確性差，因老人抗拒穿戴且設(shè)備需要頻繁充電等弊端而使用受限；第二類是遠(yuǎn)紅外熱成像設(shè)備類，這類設(shè)備目前主要用在工業(yè)領(lǐng)域，因為成本高、價格昂貴而無法在養(yǎng)老領(lǐng)域?qū)嵤?；第三類是微波雷達(dá)類，該技術(shù)方案具有保護(hù)老年人隱私的優(yōu)點，但使用場景受限，只能用于單人使用場景，無法同時監(jiān)測多人跌倒，對人和動物無法有效區(qū)分，監(jiān)測結(jié)果準(zhǔn)確性易受測試自然環(huán)境如風(fēng)吹動浴簾等影響；第四類是攝像頭設(shè)備類，基于機(jī)器學(xué)習(xí)和深度學(xué)習(xí)等人工智能技術(shù)，該技術(shù)方案成熟、監(jiān)測準(zhǔn)確率高，產(chǎn)品產(chǎn)業(yè)鏈成熟，價格親民，可在機(jī)構(gòu)、社區(qū)和居家等不同養(yǎng)老場景中靈活部署實施，但一般部署在公共開放區(qū)域，在室內(nèi)隱私區(qū)域無法部署。

總結(jié)上述4種檢測系統(tǒng)的優(yōu)缺點，本系統(tǒng)的開發(fā)具有以下特色：①全場景全時段綜合看護(hù)，覆蓋居家和社區(qū)的養(yǎng)老場景；②無感看護(hù)方式，不改變老人已有的生活習(xí)慣；③人工智能算法綜合判定自動報警，算法準(zhǔn)確率高，支持電話語音報警方式；④保護(hù)老人隱私，針對居家養(yǎng)老場景，火柴人圖像方式呈現(xiàn)，不存儲老人圖像；⑤針對社區(qū)養(yǎng)老場景，系統(tǒng)可以復(fù)用現(xiàn)有的攝像頭、局域網(wǎng)及計算機(jī)設(shè)備，可直接導(dǎo)入部署系統(tǒng)。其中，主要創(chuàng)新點有：①針對養(yǎng)老領(lǐng)域自建高質(zhì)量的跌倒數(shù)據(jù)集；②對于誤報數(shù)據(jù)和漏報數(shù)據(jù)，自動循環(huán)加入訓(xùn)練集更新模型文件；③跌倒監(jiān)測流程中引入座椅識別和地面識別功能，可提高算法的準(zhǔn)確性。

1 基于人工智能技術(shù)和信息融合的養(yǎng)老安全綜合監(jiān)測系統(tǒng)設(shè)計

1.1 養(yǎng)老安全系統(tǒng)硬件架構(gòu)

本系統(tǒng)是將人工智能、物聯(lián)網(wǎng)、大數(shù)據(jù)、信息融合等新技術(shù)應(yīng)用于養(yǎng)老安防領(lǐng)域，實現(xiàn)對老年人全方位全時段的實時看護(hù)，采集老人的十多種數(shù)據(jù)（例如，人體姿態(tài)、活動軌跡、夜間睡覺信息、心率呼吸體動、廚房煙霧、燃?xì)狻⒂盟?、開關(guān)門狀態(tài)、主動呼叫信息、外出位置定位等），數(shù)據(jù)經(jīng)過人工智能算法實時分析，對于老年人跌倒、疾病突發(fā)、燃?xì)鉄熿F、異常出入、緊急求助等高危狀態(tài)實現(xiàn)智能報警。本系統(tǒng)硬件架構(gòu)如圖1所示。

圖1 養(yǎng)老安全綜合監(jiān)測系統(tǒng)硬件架構(gòu)Fig.1 Hardware architecture of comprehensive monitoring system for elderly care safety

1.2 養(yǎng)老安全系統(tǒng)軟件設(shè)計

本系統(tǒng)軟件架構(gòu)如圖2所示。軟件平臺包括4部分，分別是數(shù)據(jù)層、平臺層、算法層和應(yīng)用層。數(shù)據(jù)層主要包括視頻流數(shù)據(jù)和IoT數(shù)據(jù)，其中視頻流數(shù)據(jù)指通過攝像頭采集各個點位的視頻，實時截圖后傳輸給上層平臺層。平臺層主要指傳感器數(shù)據(jù)融合、存儲、根據(jù)任務(wù)定義進(jìn)行路由傳輸?shù)?。算法層包括人工智能模型?xùn)練和模型推理兩部分。應(yīng)用層指算法層，可自動識別的跌倒、疾病突發(fā)、異常出入、燃?xì)鉄熿F等高危事件通過報警來呈現(xiàn)，根據(jù)需要可以采用不同的報警呈現(xiàn)方式。

圖2 養(yǎng)老安全綜合監(jiān)測系統(tǒng)方案軟件架構(gòu)Fig.2 Software architecture of comprehensive monitoring system for elderly care safety

2 人體姿態(tài)估計與行為識別技術(shù)方案

本系統(tǒng)方案包括人體姿態(tài)估計與行為識別子系統(tǒng)和物聯(lián)網(wǎng)看護(hù)子系統(tǒng)。該人體姿態(tài)估計與行為識別方案，包含4個部分：數(shù)據(jù)集、模型訓(xùn)練、模型推理、行為動作判定。人體姿態(tài)估計與行為識別技術(shù)方案框架如圖3所示。

圖3 人體姿態(tài)估計與行為識別方案框架Fig.3 Scheme block structure of human posture estimation and behavior recognition

2.1 方案概述

人體姿態(tài)估計技術(shù)最廣泛的應(yīng)用是行為動作識別，本系統(tǒng)選擇down-top方案具備在社區(qū)養(yǎng)老場景下多人快速識別的優(yōu)勢。down-top算法識別的人體關(guān)鍵節(jié)點數(shù)據(jù)如圖4所示。

圖4 采用down-top算法識別的人體關(guān)鍵節(jié)點數(shù)據(jù)Fig.4 Data of key human nodes identified by down-top algorithm

通過自建社區(qū)居家的真實養(yǎng)老場景特殊數(shù)據(jù)集，可有效提高模型算法的準(zhǔn)確率[3]。因為實際社區(qū)居家養(yǎng)老場景下行為動作數(shù)據(jù)集有限、訓(xùn)練集小樣本的特點，且對圖像識別的目標(biāo)只是區(qū)分跌倒和非跌倒兩種狀態(tài)，所以采用傳統(tǒng)機(jī)器學(xué)習(xí)模型，將人體姿態(tài)關(guān)節(jié)信息作為參數(shù)構(gòu)建人體姿態(tài)分類模型，對不同社區(qū)和居家養(yǎng)老場景的真實圖像數(shù)據(jù)采用聯(lián)邦學(xué)習(xí)機(jī)制，保護(hù)各自用戶的數(shù)據(jù)，并且提高訓(xùn)練的速度[4]。在實際社區(qū)和居家養(yǎng)老場景下，容易出現(xiàn)人體部分關(guān)節(jié)被鄰近座椅遮擋而無法識別的情況，方案創(chuàng)新性地引入座椅識別模型增加對座椅等物體識別，排除人體躺在座椅上因為部分遮擋而誤報的情況。同時，創(chuàng)新性地引入地面識別模型對地面的識別，降低對跌倒的誤報率。

本系統(tǒng)方案通過對人體姿態(tài)估計、人體鄰近座椅的物體識別、人體所在地面的識別，綜合分析后最終對老人行為動作進(jìn)行判定和報警。同時這些跌倒或非跌倒的圖像和標(biāo)注更新到數(shù)據(jù)集，進(jìn)一步提高算法的準(zhǔn)確度。本系統(tǒng)方案不存儲圖像，避免泄露用戶的隱私，保護(hù)信息與數(shù)據(jù)的安全。

2.2 人體特定姿態(tài)數(shù)據(jù)集

根據(jù)數(shù)據(jù)集的數(shù)據(jù)特點和獲取方式，可以把人體行為識別領(lǐng)域常用的公開數(shù)據(jù)集分為4類：通用數(shù)據(jù)集、真實場景數(shù)據(jù)集、多視角數(shù)據(jù)集和特殊數(shù)據(jù)集。真實場景數(shù)據(jù)集主要是從電影或視頻中收集的數(shù)據(jù)，其特點是相機(jī)、場景不固定且同類動作的類內(nèi)散度比較大。近年來，隨著對老人、孩子等特殊群體安全及監(jiān)護(hù)的需求，相繼出現(xiàn)了包含跌倒行為在內(nèi)的特殊數(shù)據(jù)集[5]。在實際的居家社區(qū)場景人工智能應(yīng)用中，無論采用第三方的真實場景數(shù)據(jù)集還是特殊數(shù)據(jù)集進(jìn)行訓(xùn)練，研究方法和評價方案都需要匹配修改，其算法識別準(zhǔn)確率受到很大局限性。所以，本系統(tǒng)基于居家社區(qū)場景實際需求，自行構(gòu)建人體特定姿勢數(shù)據(jù)集。

人體特定姿勢數(shù)據(jù)集來自社區(qū)養(yǎng)老活動中心，該數(shù)據(jù)集的行為類別可以歸納為4種類型：①站立動作；②坐下動作：坐在椅子上、坐在輪椅上、坐在床邊緣；③蹲下動作：淺蹲，深蹲；④跌倒動作：仰面倒地、側(cè)臥倒地、臉趴著倒地、手撐地后仰倒地、背靠墻面后仰倒地、倒地部分有遮擋，其示例如圖5所示。其中，訓(xùn)練集、驗證集和測試集均具有手動驗證標(biāo)簽，JSON文件用于存儲標(biāo)簽信息。因為該數(shù)據(jù)集來源不同的攝像頭，并伴有遮擋、相機(jī)角度、復(fù)雜背景、光照條件變化等諸多因素影響，極具挑戰(zhàn)性。

圖5 人體特定姿勢數(shù)據(jù)集跌倒示例Fig.5 Fall example diagram of human body specific posture dataset

2.3 循環(huán)迭代模型訓(xùn)練

由于實際圖片伴有遮擋、相機(jī)角度、復(fù)雜背景、光照條件變化等諸多因素影響，對老年人跌倒?fàn)顟B(tài)的自動監(jiān)測仍會有一些誤報和漏報。本系統(tǒng)自動周期性將誤報圖片和漏報圖片加入數(shù)據(jù)集中進(jìn)行模型訓(xùn)練更新。針對跌倒誤報圖片和漏報圖片，本系統(tǒng)自動實現(xiàn)異常圖片的采集、標(biāo)注和模型自動訓(xùn)練的功能。

2.4 系統(tǒng)驗證

本系統(tǒng)在上海市某養(yǎng)老院實際運(yùn)行長達(dá)2年，對約三十萬人次進(jìn)行連續(xù)監(jiān)控，報警規(guī)則閾值可根據(jù)自學(xué)習(xí)算法智能調(diào)整，誤報圖片自動輸入進(jìn)行模型全自動訓(xùn)練升級。老年人非跌倒行為準(zhǔn)確率為98.8%，老年人跌倒行為準(zhǔn)確率為95%。其中，創(chuàng)新性引入座椅識別和地面識別模型，極大地減少了系統(tǒng)誤報。同時養(yǎng)老院夜間樓層護(hù)理員由6人減少到2人，提質(zhì)增效已達(dá)到預(yù)期用途。相比產(chǎn)業(yè)界只采用其他神經(jīng)網(wǎng)絡(luò)算法模式如Yolo等實現(xiàn)跌倒的目標(biāo)檢測準(zhǔn)確率一般為75%～80%，本系統(tǒng)的跌倒檢測準(zhǔn)確率有較大的優(yōu)勢。

本系統(tǒng)即將在上海市某社區(qū)場景和長護(hù)險獨(dú)居長者居家場景中部署試用，為老人在社區(qū)和居家的綜合安全提供保障，尤其適合社區(qū)高齡老人和居家獨(dú)居老人。

3 總結(jié)

本研究提出了一種基于人工智能和信息融合的養(yǎng)老安全綜合監(jiān)測系統(tǒng)的研發(fā)與應(yīng)用的方法，通過多種傳感器采集老年人的安全健康數(shù)據(jù)，主要目的是對老年人在社區(qū)和居家可能出現(xiàn)的各種安全與健康風(fēng)險實現(xiàn)報警。其次，通過對人體姿態(tài)估計與行為識別技術(shù)的不斷創(chuàng)新研究，提高了實際應(yīng)用中算法的準(zhǔn)確率，自動看護(hù)和管理老年人跌倒、疾病突發(fā)、異常出入、燃?xì)鉄熿F等高危風(fēng)險，降低養(yǎng)老服務(wù)人員的人力投入，具有良好的應(yīng)用前景。上海市物聯(lián)網(wǎng)行業(yè)協(xié)會已發(fā)布T/SIOT 315—2021《智慧健康養(yǎng)老 老年人跌倒智能監(jiān)測系統(tǒng)技術(shù)要求》團(tuán)體標(biāo)準(zhǔn)，相信隨著社區(qū)居家養(yǎng)老服務(wù)一體化的發(fā)展，本系統(tǒng)將在養(yǎng)老領(lǐng)域發(fā)揮較大的作用。