文章編號1000-5269（2024）05-0049-09 DOI：10.15958/j.cnki.gdxbzrb.2024.05.07

收稿日期：2023-11-20

摘要：近年來，人體活動識別技術(shù)得到了迅速發(fā)展，并在安全防御、醫(yī)療健康、智能交互、體育運(yùn)動等領(lǐng)域得到廣泛應(yīng)用。本文結(jié)合國內(nèi)外的相關(guān)文獻(xiàn)，圍繞人體活動識別，對知識圖譜、人體活動數(shù)據(jù)集及人體活動識別方法及應(yīng)用進(jìn)行綜述。首先，指出了不同數(shù)據(jù)采集方式的人體活動識別數(shù)據(jù)集的特點(diǎn)。其次，梳理了各種不斷提高模型的準(zhǔn)確度和性能的人體活動識別具體方法。再次，指出了知識圖譜在人體識別活動中發(fā)揮的揭示實(shí)體間的關(guān)系，為人體活動解析提供隱含知識等重要作用。最后，面對人體活動識別的實(shí)際應(yīng)用，對當(dāng)前研究存在的問題和發(fā)展趨勢進(jìn)行了總結(jié)和展望。本研究為人體活動識別研究的技術(shù)發(fā)展和實(shí)際應(yīng)用提供了方向指導(dǎo)和技術(shù)建議。

關(guān)鍵詞：知識圖譜；人體活動數(shù)據(jù)集；人體活動識別 中圖分類號：TP18 文獻(xiàn)標(biāo)志碼：A

人體活動識別技術(shù)通過采集人體活動數(shù)據(jù)，分析其動態(tài)信息，從而識別人體的各種活動，在安全防御、醫(yī)療健康、智能交互、體育運(yùn)動等領(lǐng)域具有重要研究意義［1］。目前，人體活動識別在物聯(lián)網(wǎng)、智能家居、移動設(shè)備、健康管理、娛樂游戲等方向有廣泛的應(yīng)用［2］。人體的骨骼、肌肉等組織構(gòu)成了一個高度冗余的運(yùn)動系統(tǒng)，各關(guān)節(jié)具有極大的靈活性，并且人體動作具有多樣性、復(fù)雜性。因此，需要大量的數(shù)據(jù)支持才能確保人體活動識別的準(zhǔn)確性和可靠性。而知識圖譜是以語義網(wǎng)絡(luò)為特征的知識庫，通過建立實(shí)體間的互聯(lián)關(guān)系、以結(jié)構(gòu)化的方式組織和表示知識。知識圖譜作為一種揭示實(shí)體間關(guān)系的語義網(wǎng)絡(luò)知識庫，已經(jīng)成為人工智能研究的熱點(diǎn)之一［3］。由于知識圖譜可以建立實(shí)體間的關(guān)聯(lián)關(guān)系，以結(jié)構(gòu)化的方式組織和表示知識，可以為人體活動識別的研究提供重要的數(shù)據(jù)范圍和研究基礎(chǔ)。通過構(gòu)建人體活動的知識圖譜，可以將人體活動的各個要素抽象成實(shí)體，并分析它們之間的關(guān)系，從而實(shí)現(xiàn)人體活動的識別、生成、預(yù)測，以及姿態(tài)估計、運(yùn)動優(yōu)化等功能［4］。

隨著傳感器技術(shù)和智能算法的不斷進(jìn)步，人體活動識別將在更多領(lǐng)域得到應(yīng)用，如醫(yī)學(xué)、農(nóng)業(yè)、紡織業(yè)、制造業(yè)［5］等。同時，與其他相關(guān)技術(shù)的結(jié)合也將進(jìn)一步推動人體活動識別技術(shù)的發(fā)展。

1人體活動數(shù)據(jù)集

人體活動識別是一項復(fù)雜而關(guān)鍵的技術(shù)，需要大量的數(shù)據(jù)支持才能確保準(zhǔn)確性和可靠性。為了滿足這一需求，研究人員和學(xué)者們創(chuàng)建了許多人體活動識別數(shù)據(jù)集。這些數(shù)據(jù)集包含了各種不同的人體活動樣本以及相應(yīng)的標(biāo)注信息，為研究者們提供了寶貴的資源。由于人體是一個多自由度冗余系統(tǒng)，人體活動具有復(fù)雜性和多樣性，為準(zhǔn)確識別人體活動，需要大量的活動數(shù)據(jù)支持，因此，以人體活動識別為目的的數(shù)據(jù)集超過萬種。根據(jù)當(dāng)前主要的人體活動識別方法中使用到的數(shù)據(jù)采集傳感器類型，人體活動識別數(shù)據(jù)采集主要分為基于接觸方式采集數(shù)據(jù)和基于非接觸方式采集數(shù)據(jù)?；诮佑|方式的數(shù)據(jù)集主要通過加速度計、陀螺儀、磁力計以及智能手機(jī)、手表等傳感器來采集數(shù)據(jù)，用于監(jiān)測人體生理信號。基于非接觸方式的數(shù)據(jù)集可以采用視頻傳感器或直接使用圖像、視頻信息識別人體活動。表1總結(jié)了文獻(xiàn)中常見的人體活動識別數(shù)據(jù)集。圖1列舉了目前常用的一些人體活動識別傳感器。

數(shù)據(jù)集名稱動作內(nèi)容傳感器類型應(yīng)用場景UCI-HAR走路、上樓、下樓、坐著、站著和躺著等多種日常活動智能手機(jī)運(yùn)動監(jiān)測、健康評估 Extrasensory行走、跑步、駕駛等多種日?；顒又悄苁謾C(jī)疾病診斷Opportunity走路、坐下、站立等多種日?；顒蛹铀俣葌鞲衅髦悄芙煌?、車輛控制Skoda轉(zhuǎn)向、剎車等對汽車進(jìn)行的各種運(yùn)動操作加速度傳感器駕駛員行為分析PAAL ADL步行、跑步、上樓梯等多種日?；顒蛹铀俣葌鞲衅魅粘Ｉ罨顒颖O(jiān)測REALDISP跑步、舉重、跳遠(yuǎn)等各類體育活動加速度傳感器體育訓(xùn)練HiEve烹飪、洗衣、觀看電視等多種家庭活動加速度傳感器日常生活活動監(jiān)測MSR走路、跑步、騎自行車等多種日?；顒右曨l傳感器運(yùn)動識別、視頻分析MuHAVi俯臥撐、臥推等臨床人體動作視頻傳感器康復(fù)輔助SURREAL虛擬人物在不同場景中進(jìn)行各種動作視頻傳感器虛擬現(xiàn)實(shí)MPII Human 散步、購物、做飯等多種日常活動視頻傳感器人體姿態(tài)估計、行為識別Human3.6M走路、跑步、舉重等多種動作內(nèi)容視頻傳感器人體姿態(tài)估計、行為識別PoseTrack跑步、舉重、跳遠(yuǎn)等各類體育活動視頻傳感器人體姿態(tài)估計、行為識別

表1中，前7個數(shù)據(jù)集為接觸式傳感器數(shù)據(jù)集，UCI-HAR［6］與Extrasensory［7］數(shù)據(jù)集分別通過讓30個和200個志愿者攜帶智能手機(jī)，使用智能手機(jī)上的多個傳感器來捕捉人類的行為和情感數(shù)據(jù)。研究人員可以利用其數(shù)據(jù)來探索行為模式和情感變化、人類活動與環(huán)境之間的關(guān)系，從而為智能設(shè)備和應(yīng)用程序提供更智能化和個性化的交互體驗(yàn)。其中，UCI-HAR［6］數(shù)據(jù)集是一個大規(guī)模的行人動作識別數(shù)據(jù)集，包含了多種不同的場景和視角，對于研究人員的實(shí)驗(yàn)和算法評估具有很高的實(shí)用價值，但規(guī)模和多樣性相對有限，更適用于一些較為簡單的實(shí)際應(yīng)用場景。而Extrasensory［7］數(shù)據(jù)集是一個多模態(tài)情感識別數(shù)據(jù)集，包含多種模態(tài)的數(shù)據(jù)，對于研究多模態(tài)情感識別算法具有很高的實(shí)用價值。此外，其規(guī)模相對較小，需要注意避免模型在訓(xùn)練過程中出現(xiàn)過擬合的情況。Opportunity、Skoda、PAAL ADL、REALDISP、HiEve數(shù)據(jù)集均采用加速度傳感器。基于加速度傳感器的數(shù)據(jù)集提供了實(shí)時的加速度數(shù)據(jù)，用于監(jiān)測和分析物體或人體的運(yùn)動狀態(tài)，并且能夠以高精度測量物體的加速度變化，可以提供準(zhǔn)確的運(yùn)動信息。此外，加速度傳感器數(shù)據(jù)集的數(shù)據(jù)采集和處理相對簡單，可快速應(yīng)用于各種應(yīng)用領(lǐng)域，如運(yùn)動追蹤、健康監(jiān)測、智能手表等。大部分加速度傳感器采集的是物體在某一方向上的加速度，因此，需要合理結(jié)合其他維度去獲取物體的全方位運(yùn)動信息。并且數(shù)據(jù)的測量范圍有限，比較適用于速度和運(yùn)動幅度較小的數(shù)據(jù)。最后，由于數(shù)據(jù)會受到噪聲和漂移的影響，在處理數(shù)據(jù)前還需要進(jìn)行濾波和校準(zhǔn)處理，以提高數(shù)據(jù)質(zhì)量。

后6個數(shù)據(jù)集為非接觸式傳感器數(shù)據(jù)集，皆采用了視頻數(shù)據(jù)。MSR數(shù)據(jù)集包含了多種不同的活動和動作，涵蓋了人類日常生活中常見的動作和姿勢，數(shù)據(jù)規(guī)模較大，包含了大量的視頻片段和動作序列，適用于訓(xùn)練和評估深度學(xué)習(xí)模型，同時需要注意部分視頻片段的質(zhì)量可能不高的問題，包括模糊、噪聲等，需要進(jìn)行濾波和降噪處理，提高模型的訓(xùn)練能力和性能評估。MPII Human數(shù)據(jù)集包含了多種類的人體姿勢和活動數(shù)據(jù)，涵蓋了多種不同的場景和動作，不過數(shù)據(jù)集中的各種類的視頻數(shù)量相對較少，適用于對模型的泛化能力要求較小的場景。SURREAL數(shù)據(jù)集是通過合成技術(shù)生成了逼真的人體姿勢和動作序列，可以用于研究姿勢估計和人體活動識別等任務(wù)。MuHAVi數(shù)據(jù)集是一個多模態(tài)的人體活動識別數(shù)據(jù)集，包含了視頻、深度圖像和傳感器數(shù)據(jù)，有助于研究多模態(tài)融合的活動識別算法。Human3.6M數(shù)據(jù)集提供了人體姿勢的高精度標(biāo)注，而PoseTrack數(shù)據(jù)集提供了帶有人體姿勢標(biāo)注的視頻序列。上述3個數(shù)據(jù)集的規(guī)模相對較小，適用于一些復(fù)雜度較低的活動場景?？偠灾?，基于視頻傳感器的人體活動識別數(shù)據(jù)集擁有豐富的多維信息，包括物體的形狀、顏色、運(yùn)動軌跡等，有助于識別不同的身體動作，其數(shù)據(jù)集通常是在實(shí)際場景中采集的，具有較高的現(xiàn)實(shí)意義和應(yīng)用價值。不過視頻數(shù)據(jù)的處理和分析需要較高的計算資源，會對計算設(shè)備產(chǎn)生較大的負(fù)擔(dān)，需要對應(yīng)的優(yōu)化算法來減少負(fù)擔(dān)，而且相較于其他類型的數(shù)據(jù)集，視頻數(shù)據(jù)集通常較大，在數(shù)據(jù)的存儲和傳輸方面可以進(jìn)一步優(yōu)化。

目前，用于人體活動識別的數(shù)據(jù)集普遍具有多樣性、多模態(tài)、大規(guī)模的特點(diǎn)，總的來說，這些數(shù)據(jù)集在人體活動識別領(lǐng)域具有很高的價值，但在使用過程中也需要注意其局限性和潛在問題，在選擇和使用數(shù)據(jù)集時，需要根據(jù)具體任務(wù)和需求進(jìn)行評估和權(quán)衡。因?yàn)槿祟惢顒拥膹?fù)雜性和多樣性，對于人體活動識別技術(shù)的研究和應(yīng)用而言，數(shù)據(jù)的豐富性是至關(guān)重要的?，F(xiàn)有的人體活動識別數(shù)據(jù)集雖然涵蓋了許多活動類型，但仍然存在許多特定領(lǐng)域和場景下的人體活動需要被納入數(shù)據(jù)庫中。為了更好地理解和識別人類活動，我們需要不斷豐富數(shù)據(jù)庫，包括不同的活動類型、各種運(yùn)動姿勢、不同人群的數(shù)據(jù)等。通過構(gòu)建更全面、更多樣的數(shù)據(jù)庫，可以提高人體活動識別的準(zhǔn)確性和適應(yīng)性，使其在更廣泛的應(yīng)用領(lǐng)域中發(fā)揮作用。此外，現(xiàn)有的數(shù)據(jù)集種類繁多，標(biāo)注方式和數(shù)據(jù)格式也各不相同，這給數(shù)據(jù)的協(xié)同分析帶來了困難。為了解決這個問題，未來的發(fā)展趨勢是使用通用性數(shù)據(jù)分析人類活動。這意味著建立一個統(tǒng)一的數(shù)據(jù)平臺，將來自不同數(shù)據(jù)集的人體活動數(shù)據(jù)進(jìn)行整合和標(biāo)準(zhǔn)化處理，以便更有效地進(jìn)行數(shù)據(jù)分析和模型訓(xùn)練。通過建立通用性數(shù)據(jù)分析人類活動的平臺，研究人員和開發(fā)者可以更方便地訪問和利用各種數(shù)據(jù)，進(jìn)行深入的數(shù)據(jù)分析和交叉驗(yàn)證。這樣做不僅可以提高人體活動識別的精度和魯棒性，還可以促進(jìn)不同研究團(tuán)隊之間的合作和知識共享，推動整個領(lǐng)域的進(jìn)步。

綜上所述，因?yàn)槿祟惢顒拥膹?fù)雜性和多樣性，不斷豐富和完善數(shù)據(jù)庫是人體活動識別技術(shù)發(fā)展的必然趨勢。同時，通過建立通用性數(shù)據(jù)分析人類活動的平臺，可以更好地協(xié)同分析各種數(shù)據(jù)，推動人體活動識別領(lǐng)域的進(jìn)一步發(fā)展。這將為我們在更深入的人類活動理解和更智能的應(yīng)用場景研究上提供更廣闊的前景。

2人體活動識別方法

2.1基于接觸方式采集數(shù)據(jù)的人體活動識別方法分析

根據(jù)人體活動數(shù)據(jù)采集的方式不同，人體活動識別主要采用接觸式傳感器、非接觸式的視覺和無線信號［8］。接觸式傳感器是一類能夠通過接觸物體表面來檢測物體的物理特性或運(yùn)動的傳感器，由于與目標(biāo)物體直接接觸，使得其能夠提供更直接、更準(zhǔn)確的測量結(jié)果［9］。并且，由于接觸式傳感器能夠直接接觸目標(biāo)物體并測量其特定參數(shù)，因此通常具有較高的測量精度，這使得其在需要高精度檢測的應(yīng)用中效果顯著［10］。此外，接觸式傳感器直接與目標(biāo)物體接觸并實(shí)時測量參數(shù)，能夠提供幾乎即時的反饋和數(shù)據(jù)輸出。但是，接觸式傳感器在測量過程中需要與目標(biāo)物體接觸，這可能對目標(biāo)物體產(chǎn)生一定的影響。同時，由于接觸式傳感器需要與目標(biāo)物體直接接觸，因此在長時間使用過程中需要考慮傳感器受到磨損和損壞，物體的表面質(zhì)地、硬度和形狀等因素也可能對傳感器產(chǎn)生影響［11］。

在人體活動識別中，接觸式傳感器直接與人體接觸，能夠提供較為準(zhǔn)確的數(shù)據(jù)，并且能夠?qū)崟r地獲取人體活動的數(shù)據(jù)，對于瞬時變化的人體活動有較好的響應(yīng)能力，同時還可以測量多種參數(shù)，如壓力、力度、角度等，適用于多種人體活動的識別。但是由于與人體直接接觸，可能會給人帶來不舒適的感覺，影響用戶的體驗(yàn)，因此需要把傳感器放置在合適的位置，減少對人體的自由運(yùn)動的限制［12］。圖2為基于接觸方式采集數(shù)據(jù)的人體活動識別大體流程。

以下總結(jié)文獻(xiàn)中常見的基于接觸式傳感器人體活動識別數(shù)據(jù)分析方法。宋欣瑞等［13］運(yùn)用智能手機(jī)與手表采集的人體活動數(shù)據(jù)，采用CNN和GRU融合的方法構(gòu)建多任務(wù)深度學(xué)習(xí)模型，自動從每個傳感器原始數(shù)據(jù)中進(jìn)行特征提取，人體活動識別的準(zhǔn)確率可達(dá)到93%以上。鄧詩卓等［14］運(yùn)用接觸式慣性和加速度傳感器采集的測試者在廚房環(huán)境內(nèi)日常動作及汽車工人工作場景運(yùn)動數(shù)據(jù)，提出了基于共享參數(shù) TS-2DCNN 和 MS-2DCNN 的

網(wǎng)絡(luò)結(jié)構(gòu)，在保證識別準(zhǔn)確率的同時，減少了卷積層訓(xùn)練參數(shù)數(shù)量。ASUROGLU［15］基于加速度傳感器采集的人體活動數(shù)據(jù)，運(yùn)用局部加權(quán)隨機(jī)森林算法，評估老年受測者的健康狀況。MARDANPOUR等［16］運(yùn)用慣性傳感器模塊采集的活動數(shù)據(jù)，采用知識提取范式解決計算成本過高的問題，利用參數(shù)更少的學(xué)生模型可以得到92.9%的準(zhǔn)確度。WIJEKOON等［17］利用慣性傳感器模塊采集的活動數(shù)據(jù)，建立了一種個性化的開放式HAR算法——MNZ，它通過用戶上下文感知的匹配網(wǎng)絡(luò)架構(gòu)，對整個HAR數(shù)據(jù)源進(jìn)行了評估，與最常見的“知識密集型”開放式HAR算法相比，個性化性能提高了48.9%。王剛等［18］利用加速度傳感器獲取人體活動數(shù)據(jù)，提出一種基于多傳感器與脈沖神經(jīng)網(wǎng)絡(luò)的人體活動識別方法，分類準(zhǔn)確率達(dá)到 97.8%，運(yùn)用脈沖神經(jīng)網(wǎng)絡(luò)專用芯片低功耗特性，以數(shù)毫瓦的功耗實(shí)現(xiàn)人體活動識別任務(wù)。李新科等［19］構(gòu)建了基于加速度計慣導(dǎo)信息和卷積神經(jīng)網(wǎng)絡(luò) 的人體活動識別模型，模型的分類正確率達(dá)到了 92.73%。KUNCAN等［20］采用陀螺儀、加速度計和磁力計組成的接觸式傳感器組采集了人體活動19種信號，運(yùn)用MP+LSTM方法識別人體活動。這些研究運(yùn)用接觸式傳感器進(jìn)行人體活動數(shù)據(jù)采集，通過深度學(xué)習(xí)、共享參數(shù)、知識提取等技術(shù)手段，實(shí)現(xiàn)了人體活動識別較高的準(zhǔn)確率和個性化性能，在特征提取、多模態(tài)數(shù)據(jù)融合、可解釋性、計算與存儲成本、實(shí)時性和適應(yīng)性等方面還有一定的發(fā)展空間，可以進(jìn)一步研究和改進(jìn)。

2.2基于非接觸方式采集數(shù)據(jù)的人體活動識別方法分析

基于非接觸方式采集數(shù)據(jù)的人體活動識別主要通過視頻傳感器或者視頻數(shù)據(jù)來進(jìn)行，基于機(jī)器視覺的識別是以圖像處理技術(shù)為核心，按幀對視頻序列中人體行為進(jìn)行描述和識別［14-15］。非接觸式傳感器無需與人體直接接觸，使用起來更加方便，具有較大的靈活性和適應(yīng)性。但是非接觸式傳感器受到環(huán)境因素的影響較大，可能存在一定的誤差，并且在數(shù)據(jù)采集和處理方面可能存在一定的延遲，不適用于對瞬時變化較敏感的活動識別。此外，由于視頻數(shù)據(jù)量十分大，非接觸式傳感器采集的數(shù)據(jù)需要經(jīng)過復(fù)雜的算法處理，才可以提取到有用的信息［21］。在人體活動識別過程中，非接觸式傳感器通過攝像頭捕捉圖像和視頻，無需與人體直接接觸。這種非接觸式感知方式可以提高使用者的舒適度和便利性，避免因傳感器與人體接觸而產(chǎn)生的不適。并且非接觸式傳感器不僅可以捕捉人體的運(yùn)動軌跡、姿態(tài)和動作，還可以捕捉到人體的面部表情、眼神等豐富信息，這為人體活動識別提供了更全面的數(shù)據(jù)支持。圖3介紹了基于非接觸式傳感器的人體識別活動方法大體流程。

下面總結(jié)文獻(xiàn)中常見的基于非接觸式傳感器人體活動識別數(shù)據(jù)分析方法。DEGARDIN等［22］運(yùn)用Ntu-RGB的動作視頻數(shù)據(jù)，提出一種原子運(yùn)動表示方法，用于自監(jiān)督人體動作的識別，可以在減少骨骼標(biāo)記點(diǎn)的同時進(jìn)行更細(xì)粒度的人體動作識別。QI等［23］利用NTU-RGB數(shù)據(jù)集，提出了一種

多流框架全局-局部運(yùn)動融合網(wǎng)絡(luò)，集成了時空維度的全局和局部運(yùn)動信息，用分組圖卷積模塊增強(qiáng)聚合局部空間運(yùn)動信息的能力。ZHOU等［24］將殘差模塊和雙向長短期記憶模塊與提出的注意機(jī)制相結(jié)合，進(jìn)一步估計手臂運(yùn)動軌跡。ISMAIL等［25］利用UCI視頻數(shù)據(jù)集，建立了AUTO-HAR框架，用于人體活動識別任務(wù)的CNN架構(gòu)。LIU等［26］利用Stanford Actions圖片數(shù)據(jù)集，建立身體部位關(guān)系推理模塊，實(shí)現(xiàn)人體活動識別。ASIF等［27］從視頻中提取人體骨架數(shù)據(jù)，結(jié)合身體和手的運(yùn)動特征，形成了DeepActs數(shù)據(jù)表示方法識別人體動作。SINHA等［28］提出一種基于無人機(jī)視頻的卷積神經(jīng)網(wǎng)絡(luò)模型，對人體輪廓進(jìn)行分割，從而識別人體動作。HUSSAIN等［29］提出一種基于邊緣計算和云計算、用于不確定低光環(huán)境下HAR的云輔助物聯(lián)網(wǎng)計算框架。ISLAM等［30］利用UP-Fall視覺數(shù)據(jù)集，使用具有卷積塊注意力模塊的多頭卷積神經(jīng)網(wǎng)絡(luò)來處理視覺數(shù)據(jù)，用于多模式人類活動識別的多層次特征融合?；诜墙佑|式傳感器的人體活動的數(shù)據(jù)處理通常需要設(shè)計有效的特征提取和表示學(xué)習(xí)方法，以從原始數(shù)據(jù)中提取有用的特征表示，在算法方面需要進(jìn)一步優(yōu)化特征提取和表示學(xué)習(xí)、多模態(tài)融合、空間和時間建模等方面，以提高活動識別的性能。同時，可以考慮引入知識圖譜等輔助方法來增強(qiáng)活動識別的準(zhǔn)確性和可解釋性。使用測試集數(shù)據(jù)對訓(xùn)練好的模型進(jìn)行測試，評估模型的性能和準(zhǔn)確率。

2.3知識圖譜在人體活動識別中的應(yīng)用

近年來，人工智能信息技術(shù)的迅猛發(fā)展，帶來了行業(yè)的新需求，推動著智能系統(tǒng)的發(fā)展，驅(qū)動著認(rèn)知模式的創(chuàng)新。數(shù)據(jù)和知識是新一代信息技術(shù)融合的基礎(chǔ)，是實(shí)現(xiàn)人工智能的保障。谷歌副總裁AMIT［31］2012年提出，知識圖譜是揭示實(shí)體間關(guān)系的語義網(wǎng)絡(luò)知識庫，本質(zhì)上是以語義網(wǎng)絡(luò)為特征的知識庫。知識圖譜建立實(shí)體間的互聯(lián)關(guān)系，以結(jié)構(gòu)化的方式組織和表示知識，是人工智能的重要基礎(chǔ)，已成為當(dāng)前研究的熱點(diǎn)。

知識圖譜在基于加速度和慣性傳感器的人體活動識別中具有重要的應(yīng)用。首先，知識圖譜可以整合和組織與人體活動識別相關(guān)的領(lǐng)域知識，如運(yùn)動學(xué)、生理學(xué)、醫(yī)學(xué)等。LI等［32］由膝骨關(guān)節(jié)炎患者的電子病歷文本中提取信息構(gòu)建醫(yī)學(xué)知識圖譜，以支持知識檢索和決策支持等智能醫(yī)療應(yīng)用。并且通過將這些知識與非接觸式傳感器數(shù)據(jù)進(jìn)行關(guān)聯(lián)，捕捉人體活動識別中的上下文信息。通過將傳感器數(shù)據(jù)與知識圖譜中的上下文知識進(jìn)行關(guān)聯(lián)，可以更好地理解人體活動的環(huán)境背景，提高活動識別的準(zhǔn)確性。ZHANG等 ［33］為解決本體輔助多源數(shù)據(jù)集成和日常事務(wù)數(shù)據(jù)的動態(tài)更新問題，構(gòu)建了自上而下模式的知識圖譜，適應(yīng)了運(yùn)行時間段內(nèi)服務(wù)的動態(tài)組成。其次，知識圖譜還可以幫助理解和解釋人體活動的語義含義，通過將傳感器數(shù)據(jù)與知識圖譜中的語義信息進(jìn)行關(guān)聯(lián)，可以對人體活動進(jìn)行更深入的理解和解釋，提高活動識別的可解釋性。最后，知識圖譜可以幫助整合和共享人體活動識別的數(shù)據(jù)集。通過將不同數(shù)據(jù)集中的活動標(biāo)簽、特征和元數(shù)據(jù)整合到知識圖譜中，可以提供更全面和一致的數(shù)據(jù)集，促進(jìn)研究者之間的合作和數(shù)據(jù)共享。綜上所述，知識圖譜在基于接觸式傳感器的人體活動識別中具有多種應(yīng)用，包括領(lǐng)域知識整合、上下文感知、知識推理和推薦、活動語義理解以及數(shù)據(jù)集整合和共享等。這些應(yīng)用有助于提高人體活動識別的準(zhǔn)確性、可解釋性和應(yīng)用價值。

此外，知識圖譜在基于視頻數(shù)據(jù)的人體活動識別中也具有廣泛的應(yīng)用。首先，知識圖譜可以幫助提取視頻傳感器數(shù)據(jù)中的特征，并學(xué)習(xí)表示人體活動的語義信息，通過將視頻數(shù)據(jù)與知識圖譜中的語義關(guān)系進(jìn)行關(guān)聯(lián)，可以提取更有意義和判別性的特征，提高人體活動識別的準(zhǔn)確性。其次，知識圖譜可以用于多模態(tài)數(shù)據(jù)的融合和表達(dá)。在基于視頻傳感器的人體活動識別中，除了視頻數(shù)據(jù)，還可以結(jié)合其他傳感器數(shù)據(jù)（如聲音、慣性傳感器等）進(jìn)行綜合分析。WANG等［34］構(gòu)建人體運(yùn)動圖像的自動空間規(guī)劃模型， 采用自適應(yīng)邊緣特征檢測方法重構(gòu)人體運(yùn)動空間輪廓結(jié)構(gòu)，提取運(yùn)動圖像的知識圖譜，運(yùn)用多尺度信息增強(qiáng)方法識別人體運(yùn)動圖像，解決人體運(yùn)動圖像空間分布不均和圖像可靠性增強(qiáng)峰值信噪比低的問題。通過將不同傳感器數(shù)據(jù)與知識圖譜中的關(guān)系進(jìn)行融合，可以提供更全面和準(zhǔn)確的人體活動識別結(jié)果。再次，知識圖譜還可以幫助整合和共享基于視頻傳感器的人體活動識別數(shù)據(jù)集。SHEN等［35］提出了考慮拓?fù)潢P(guān)系的空間場景知識圖譜，探討了空間場景知識圖譜的定義、拓?fù)潢P(guān)系知識的獲取和存儲以及空間場景知識圖形的可視化，可用于空間查詢、空間分析和空間數(shù)據(jù)建模，通過將不同數(shù)據(jù)集中的活動標(biāo)簽、特征和元數(shù)據(jù)整合到知識圖譜中，可以提供更全面和一致的數(shù)據(jù)集，還可以促進(jìn)研究者之間的合作和數(shù)據(jù)共享，CHEN等［36］構(gòu)建一個來自多模式視圖（如文本、視覺和聽覺視圖）的多模態(tài)知識圖譜，可為自然語言處理和計算機(jī)視覺的研究提供數(shù)據(jù)范圍和研究基礎(chǔ)，促進(jìn)跨領(lǐng)域融合研究。最后，知識圖譜可以提供對人體活動識別結(jié)果的解釋和理解。通過將視頻數(shù)據(jù)與知識圖譜中的語義信息進(jìn)行關(guān)聯(lián)，可以獲得更可解釋和可理解的人體活動識別結(jié)果，增強(qiáng)對識別結(jié)果的解釋能力。綜上所述，知識圖譜在基于非接觸式傳感器的人體活動識別中具有廣泛的應(yīng)用，包括特征提取和表示學(xué)習(xí)、上下文建模和關(guān)系推理、多模態(tài)融合、數(shù)據(jù)集整合和共享，以及可解釋性和結(jié)果解釋等方面。這些應(yīng)用有助于提高人體活動識別的準(zhǔn)確性、可解釋性和應(yīng)用價值。

3人體活動識別的應(yīng)用

3.1基于接觸方式采集數(shù)據(jù)的人體活動識別應(yīng)用

接觸式傳感器提供的數(shù)據(jù)因其廣泛使用、易于安裝和非侵入性，也在逐漸變得受歡迎。包括手表和智能手機(jī)在內(nèi)的許多智能產(chǎn)品都集成了加速度計等慣性傳感器以及可以連續(xù)記錄各種人類活動數(shù)據(jù)的陀螺儀［37］，來進(jìn)行人體運(yùn)動識別，從而對人體健康進(jìn)行檢測。隨著人體可穿戴傳感技術(shù)的發(fā)展，人體活動識別可以運(yùn)用在服裝行業(yè)。近年來，基于紡織品的傳感器已被用于活動識別。利用最新的電子紡織技術(shù)，傳感器可以被整合到服裝中，讓用戶可以舒適地穿著并享受長期的人體動作記錄，最近電子紡織品的發(fā)展使得將傳感器集成到服裝中成為可能［38］。這具有顯著的優(yōu)勢，例如能夠捕捉自然行為，并通過不顯眼的傳感確保穿著者的舒適度，并且傳感器可以附著在衣服上的任何位置?；诮佑|式傳感器的人體活動識別也可用于監(jiān)測運(yùn)動員的姿勢、動作和力度，以提供個性化的健身指導(dǎo)和反饋。例如，通過測量壓力傳感器的數(shù)據(jù)，可以識別重量訓(xùn)練中的姿勢正確性，提醒用戶調(diào)整姿勢［39］。此外，基于接觸式傳感器的人體活動識別還可用于監(jiān)測康復(fù)患者的運(yùn)動范圍、姿勢和活動水平，以幫助評估康復(fù)進(jìn)展和指導(dǎo)治療計劃。例如，通過測量關(guān)節(jié)傳感器的數(shù)據(jù)，可以監(jiān)測關(guān)節(jié)的活動范圍，幫助康復(fù)訓(xùn)練的監(jiān)控和調(diào)整［40］。

總體而言，基于接觸式傳感器的人體活動識別應(yīng)用有著廣闊的前景，將在健康、康復(fù)、智能產(chǎn)品等領(lǐng)域發(fā)揮重要的作用。隨著技術(shù)和算法的不斷進(jìn)步，我們可以期待更精確、智能化和個性化的人體活動識別應(yīng)用的發(fā)展。

3.2基于非接觸方式采集數(shù)據(jù)的人體活動識別應(yīng)用

人體動作識別由于其在現(xiàn)實(shí)世界中的應(yīng)用，在計算機(jī)視覺領(lǐng)域引起了極大的關(guān)注?；谝曈X的系統(tǒng)具有堅實(shí)的理論基礎(chǔ)，在識別人類活動方面表現(xiàn)良好。計算機(jī)視覺中的動作識別一般分為視頻中的動作識別和靜止圖像中的動作識別。靜止圖像中的動作識別旨在在沒有任何時間信息的靜態(tài)圖像中識別人類活動。由于跑步和吸煙等人類活動可以通過單個輸入圖像進(jìn)行識別，無需額外的運(yùn)動線索［41］，因此基于非接觸式傳感器的動作識別十分受重視。此前，由于COVID-19大流行的出現(xiàn)，導(dǎo)致人們避免與設(shè)備親密接觸，因此對準(zhǔn)確、高效的基于視覺的通信的需求顯著增加［34］。與傳統(tǒng)的無線鼠標(biāo)和鍵盤不同，基于視覺的交互除了能提供有效的遠(yuǎn)程控制外，還可以在不接觸電子設(shè)備任何部分的情況下控制電子設(shè)備。隨著近年來電子健康在智能家居各種應(yīng)用領(lǐng)域的普及，人類運(yùn)動識別技術(shù)還越來越多地應(yīng)用于康復(fù)系統(tǒng)、慢性疾病管理和老年人個人健康監(jiān)測。例如，通過監(jiān)測老年人的日常行為，助手服務(wù)可以跟蹤他的日常行為是如何完整和一致地執(zhí)行的，并在此基礎(chǔ)上確定是否以及何時需要干預(yù)或協(xié)助［42］，比如，該人是否在浴室摔倒等。還可以圍繞非結(jié)構(gòu)化智能空間家庭養(yǎng)老監(jiān)護(hù)機(jī)器人活動感知技術(shù)開展研究，進(jìn)行監(jiān)護(hù)機(jī)器人原型系統(tǒng)的集成開發(fā)和應(yīng)用驗(yàn)證，為老年人活動意圖發(fā)掘、醫(yī)療診斷、行為干預(yù)和機(jī)器人的主動服務(wù)等提供依據(jù)，為基于機(jī)器人的智能養(yǎng)老產(chǎn)品的研發(fā)奠定理論與技術(shù)基礎(chǔ)。此外，自動駕駛的發(fā)展也帶來了對智能、安全和穩(wěn)定性的要求。因此，人類動作識別技術(shù)在這方面也有重要的應(yīng)用，在動態(tài)、復(fù)雜和不確定的環(huán)境中，需要在行人和車輛之間建立有效的互動認(rèn)知形式，車輛在做出適當(dāng)?shù)臎Q策之前，需要通過視頻傳感器檢測行人，識別他們的肢體動作，理解他們的動作含義［43］。

未來，隨著深度學(xué)習(xí)和計算機(jī)視覺技術(shù)的不斷發(fā)展，人體運(yùn)動識別將在更多的領(lǐng)域，例如醫(yī)學(xué)、農(nóng)業(yè)［44］、紡織業(yè)、制造業(yè)［45］等中得到應(yīng)用。

4結(jié)束語

近年來，隨著人體活動識別技術(shù)的發(fā)展以及知識圖譜在不同領(lǐng)域不斷發(fā)揮作用，本文從人體活動識別數(shù)據(jù)采集角度出發(fā)，對現(xiàn)有的人體活動識別方法進(jìn)行了歸納總結(jié)，并與知識圖譜相連接，總結(jié)了知識圖譜在各類人體活動識別方式中發(fā)揮的作用，并且進(jìn)一步探索了人體活動識別的實(shí)際應(yīng)用與發(fā)展前景。使用接觸方式采集數(shù)據(jù)進(jìn)行人體活動識別時，傳感器的活動檢測方法［13］不易受到環(huán)境影響，檢測數(shù)據(jù)精度較高，信息量豐富，需要注意避免邊界信息模糊，以及設(shè)計合理的裝置佩戴方案來降低對用戶體驗(yàn)的影響。在使用接觸方式采集數(shù)據(jù)進(jìn)行人體活動識別時，主要采用視頻數(shù)據(jù)?；趫D像的人體動作識別不會對用戶的生活造成干擾，具有較大的靈活性和適應(yīng)性。識別過程中需要考慮背景、視角、光線等因素干擾，降低數(shù)據(jù)采集和處理方面存在的延遲，它適用于對瞬時變化較慢的活動識別。此外，由于視頻數(shù)據(jù)量大，非接觸式傳感器采集的數(shù)據(jù)需要經(jīng)過一定的算法處理，才可以提取到有用的信息［21］。針對目前的人體活動識別具體技術(shù)，可以利用動作視頻數(shù)據(jù)和骨架數(shù)據(jù)，進(jìn)行精細(xì)化的人體動作識別，甚至可以通過自監(jiān)督學(xué)習(xí)，減少標(biāo)記點(diǎn)的數(shù)量。另外，運(yùn)用注意機(jī)制、殘差模塊、雙向長短期記憶模塊等技術(shù)，可以進(jìn)一步提高人體活動識別和運(yùn)動軌跡估計的準(zhǔn)確性。利用RFID信號、無人機(jī)視頻等不同類型的數(shù)據(jù)進(jìn)行人體活動識別，可以實(shí)現(xiàn)多尺度、多模式的識別和特征融合。知識圖譜在人體活動識別中也發(fā)揮著重要作用。通過對知識圖譜的應(yīng)用，可以整合領(lǐng)域知識和數(shù)據(jù)，提供準(zhǔn)確、可解釋的活動識別結(jié)果。隨著深度學(xué)習(xí)和知識圖譜技術(shù)的不斷發(fā)展，人體活動識別將在更多的領(lǐng)域得到應(yīng)用?？傮w上而言，基于傳感器的人體活動識別從技術(shù)方法到現(xiàn)實(shí)應(yīng)用上都取得了一定的進(jìn)展，但是在多模態(tài)融合、知識表達(dá)和推理、實(shí)時性和效率上仍然值得進(jìn)一步研究。

參考文獻(xiàn)：

[1]WALID G，A M K.A perspective on human activity recognition from inertial motion data［J］.Neural Computing and Applications，2023，35（28）：20463-20568.

［2］ MOHAMMED M H，ZIA U，AMR M，et al.A robust human activity recognition system using smartphone sensors and deep learning[J].Future Generation Computer Systems，2018，81：307-313.

［3］ JIA Q. A review on the application of knowledge graph technology in the medical field［J］. Scientific Programming， 2022， 2022：3212370.1-3212370.12.

［4］ GUO K Y， WANG P S， SHI P P， et al. A new partitioned spatial-temporal graph attention convolution network for human motion recognition［J］. Applied Sciences， 2023， 13（3）： 1647.1-1647.15.

［5］ HUSZAR V D， ADHIKARLA V K. Live spoofing detection for automatic human activity recognition applications［J］. Sensors， 2021， 21（21）： 7339.1-7339.20.

［6］ RONAO C A，CHO S B. Human activity recognition with smartphone sensors using deep learning neural networks［J］. Expert Systems with Applications，2016，59：235-244.

［7］ TRIANTAFYLLIDIS A K， VELARDO C， SALVI D， et al. A survey of mobile phone sensing， self-reporting， and social sharing for pervasive healthcare［J］. IEEE Journal of Biomedical and Health Informatics， 2015， 21（1）： 218-227.

［8］ ZHANG S B， LI Y X， ZHANG S， et al. Deep learning in human activity recognition with wearable sensors： a review on advances［J］. Sensors， 2022， 22（4）： 1476.1-1476.43.

［9］ZYER T， AK D S， ALHAJJ R. Human action recognition approaches with video datasets：a survey［J］. Knowledge-Based Systems， 2021， 222： 106995.1-106995.21.

［10］MUNOZ-ORGANERO M， LOTFI A. Human movement recognition based on the stochastic characterisation of acceleration data［J］. Sensors， 2016， 16（9）： 1464.1-1464.16.

［11］TASNIM N， BAEK J H. Dynamic edge convolutional neural network for skeleton-based human action recognition［J］. Sensors， 2023， 23（2）： 778.1-778.17.

［12］YU X Q， PARK S， XIONG S P. Trunk range of motion： a wearable sensor-based test protocol and indicator of fall risk in older people［J］. Applied ergonomics， 2023， 108： 103963.1-103963.12.

［13］宋欣瑞，張憲琦，張展，等.多傳感器數(shù)據(jù)融合的復(fù)雜人體活動識別［J］.清華大學(xué)學(xué)報（自然科學(xué)版），2020，60（10）：814-821.

［14］鄧詩卓，王波濤，楊傳貴，等.CNN多位置穿戴式傳感器人體活動識別［J］.軟件學(xué)報，2019，30（3）：718-737.

［15］AUROGLU T. Complex human activity recognition using a local weighted approach［J］. IEEE Access， 2022， 10： 101207-101219.

［16］MARDANPOUR M， SEPAHVAND M， ABDALI-MOHAMMADI F， et al. Human activity recognition based on multiple inertial sensors through feature-based knowledge distillation paradigm［J］. Information Sciences， 2023， 640： 119073.1-119073.13.

［17］WIJEKOON A， WIRATUNGA N， SANI S， et al. A knowledge-light approach to personalised and open-ended human activity recognition［J］. Knowledge-Based Systems， 2020， 192： 105651.1-105651.43.

［18］王剛，莫凌飛.基于多傳感器融合的低功耗人體活動識別方法［J］.傳感器與微系統(tǒng)，2023，42（3）：132-135.

［19］李新科，劉欣雨，李勇明，等.基于慣導(dǎo)信息和卷積神經(jīng)網(wǎng)絡(luò)的人體活動識別［J］.生物醫(yī)學(xué)工程學(xué)雜志，2020，37（4）：596-601.

［20］KUNCAN F， KAYA Y， YINER Z， et al. A new approach for physical human activity recognition from sensor signals based on motif patterns and long-short term memory［J］. Biomedical Signal Processing and Control， 2022， 78： 103963.1-103963.23.

［21］BESHARATIAN B， DAS A， AWAWDEH A， et al. Benchmarking dynamic properties of structures using non-contact sensing［J］. Earthquake Engineering and Engineering Vibration， 2023， 22（2）： 387-405.

［22］DEGARDIN B， LOPES V， PROENA H. ATOM： self-supervised human action recognition using atomic motion representation learning［J］. Image and Vision Computing， 2023， 137： 104750.1-104750.9.

［23］QI Y P， PANG C， LIU Y L， et al. Multi-stream global-local motion fusion network for skeleton-based action recognition［J］. Applied Soft Computing Journal， 2023，145： 110536.1-110536.13.

［24］ZHOU H Y， YANG G， WANG B C， et al. An attention-based deep learning approach for inertial motion recognition and estimation in human-robot collaboration［J］. Journal of Manufacturing Systems， 2023， 67： 97-110.

［25］ISMAIL W N， ALSALAMAH H A， HASSAN M M， et al. AUTO-HAR： an adaptive human activity recognition framework using an automated CNN architecture design［J］. Heliyon， 2023，9（2）：e13636.

［26］LIU Q L， CHE X J， ZHAO M X. Body part relation reasoning network for human activity understanding［J］. Information Sciences， 2023， 619： 526-539.

［27］ASIF U， MEHTA D， VON CAVALLAR S， et al. DeepActsNet： a deep ensemble framework combining features from face， hands， and body for action recognition［J］. Pattern Recognition， 2023， 139： 109484.1-109484.12.

［28］SINHA K P， KUMAR P. Human activity recognition from UAV videos using a novel DMLC-CNN model［J］. Image and Vision Computing， 2023， 134： 104674.1-104674.11.

［29］HUSSAIN A， KHAN S U， KHAN N， et al. Low-light aware framework for human activity recognition via optimized dual stream parallel network［J］. Alexandria Engineering Journal， 2023， 74： 569-583.

［30］ISLAM M M， NOORUDDIN S， KARRAY F， et al. Multi-level feature fusion for multimodal human activity recognition in Internet of Healthcare Things［J］. Information Fusion， 2023， 94： 17-31.

［31］AMIT S. Introducing the knowledge graph： things， not strings［EB/OL］.（2012-05-16）［2022-05-02］.https：//www.blog.google/products/search/introducing-knowledge-graph-things-not/.

［32］LI X， LIU H Y， ZHAO X， et al. Automatic approach for constructing a knowledge graph of knee osteoarthritis in Chinese［J］. Health Information Science and Systems， 2020， 8（1）：12.

［33］ZHANG W Y， LIU Y G， JIANG L H， et al. The construction of a domain knowledge graph and its application in supply chain risk analysis[C]//Advances in E-Business Engineering for Ubiquitous Computing： Proceedings of the 16th International Conference on E-Business Engineering （ICEBE 2019）. Cham： Springer International Publishing， 2020： 464-478.

［34］WANG Y W， FENG F. Reliability enhancement algorithm of human motion recognition based on knowledge graph［J］. International Journal of Distributed Systems and Technologies （IJDST）， 2021， 12（1）： 1-15.

［35］SHEN J W， SHI K F， MA M G. Exploring the construction and application of spatial scene knowledge graphs considering topological relations［J］. Transactions in GIS， 2022， 26（3）： 1531-1547.

［36］CHEN Y， GE X K， YANG S L， et al. A survey onmultimodal knowledge graphs： construction， completion and applications［J］. Mathematics， 2023， 11（8）： 1815.1-1815.27.

［37］ESSA E， ABDELMAKSOUD I R. Temporal-channel convolution with self-attention network for human activity recognition using wearable sensors［J］. Knowledge-Based Systems， 2023， 278： 110867.1-110867.14.

［38］SHEN T C， DI GIULIO I， HOWARD M. A probabilistic model of human activity recognition with loose clothing［J］. Sensors， 2023， 23（10）： 4669.1-4669.18.

［39］PARK J， LEE H J， PARK J S， et al. Development of a gait feature-based model for classifying cognitive disorders using a single wearable inertial sensor［J］. Neurology， 2023， 101（1）： e12-e19.

［40］CHEN Z， WANG Y Q， QIU P， et al. Pulmonary rehabilitation exercise based on wearable device pedometer improved lung cancer patients with impaired pulmonary function［J］. Alternative Therapies in Health and Medicine， 2024，30（1）：78-82.

［41］DEHKORDI H A， NEZHAD A S， KASHIANI H， et al. Multi-expert human action recognition with hierarchical super-class learning［J］. Knowledge-Based Systems， 2022， 250： 109091.1-109091.47.

［42］YAO L N， SHENG Q Z， BENATALLAH B， et al. WITS： an IoT-endowed computational framework for activity recognition in personalized smart homes［J］. Computing， 2018， 100： 369-385.

［43］CHEN L， MA N， WANG P， et al. Survey of pedestrian action recognition techniques for autonomous driving［J］. Tsinghua Science and Technology， 2020， 25（4）： 458-470.

［44］ANAGNOSTIS A， BENOS L， TSAOPOULOS D， et al. Human activity recognition through recurrent neural networks for human-robot interaction in agriculture［J］. Applied Sciences， 2021， 11（5）： 2188.1-2188.20.

［45］GNTHER L C， KRCHER S， BAUERNHANSL T. Activity recognition in manual manufacturing： detecting screwing processes from sensor data［J］. Procedia CIRP， 2019， 81： 1177-1182.

（責(zé)任編輯：曾晶）

Abstract：

In recent years， the technology for recognizing human activity has progressed rapidly and has found widespread applications in the fields of security， healthcare， human-computer interaction， and sports.Based on the relevant literature at home and abroad， this paper reviews the knowledge graph， human activity data sets and human activity recognition methods and applications.It begins by identifying the distinguishing features of human activity recognition datasets collected using various methods. Subsequently， it examines specific techniques aimed at enhancing the accuracy and performance of human activity recognition models. Furthermore， it underscores the crucial role of knowledge graphs in unveiling the relationships befjU0fM6ChRkCFI7rMrEVXlnr6fT0GLCaGWIsTW9yrFE=tween entities in human activity recognition and in providing implicit knowledge for the analysis of human activity. Finally， in light of the practical implementation of human activity recognition， it summarizes existing research challenges and anticipates future development trends. This study provides direction and technical suggestions for the technology development and practical application of human activity recognition research.

Key words：

knowledge graph; human activity data sets; human activity recognition

基金項目：貴州省科技支撐計劃項目（黔科合支撐【2021】一般439，黔科合支撐【2023】一般124）

作者簡介：何玲（1975—），女，副教授，博士，研究方向：智能機(jī)器人系統(tǒng)、智能康養(yǎng)裝備、新能源汽車智能控制，E-mail：529252287@qq.com.

*通訊作者：何玲，E-mail：529252287@qq.com.