朱 偉 張旭照 馬東林 李 澄

中郵建技術(shù)有限公司

0 引言

傳統(tǒng)的人體行為動(dòng)作識別主要是采用能夠進(jìn)行錄像或者照相的設(shè)備，采集人的視頻和照片，利用圖像處理的方法進(jìn)行動(dòng)作識別。隨著技術(shù)手段的不斷發(fā)展，人體行為識別已不再局限于計(jì)算機(jī)視覺領(lǐng)域，而是擴(kuò)展到了其他技術(shù)領(lǐng)域中。比如，利用慣性傳感器進(jìn)行識別，或者利用WiFi、手機(jī)等常見的無線設(shè)備，采集信號強(qiáng)度（Received Signal Strength Indicator，RSSI）數(shù)據(jù)，進(jìn)而進(jìn)行人體行為識別。這些方法各有優(yōu)缺點(diǎn)。傳統(tǒng)方法研究比較成熟，如基于視頻或圖像的時(shí)間差分法和背景減除法的人體行為動(dòng)作識別，已經(jīng)能做到非常高的識別精確度。但是錄像設(shè)備并不能隨處普及，所以有使用空間范圍的限制。新興的方法如基于信道狀態(tài)信息（Channel State Information，CSI）的行為識別方法，雖精確度還不及傳統(tǒng)方法，但是所使用的設(shè)備簡單、成本低廉。而基于傳感器的行為識別方法，利用手機(jī)等設(shè)備里自帶的傳感器就可以進(jìn)行識別，較為方便。因此，在不同環(huán)境下，可以選擇不同的識別方法。

本文提出的系統(tǒng)設(shè)計(jì)基于RSSI的人體動(dòng)作識別，具有較廣的應(yīng)用前景。當(dāng)前的人居環(huán)境中存在大量無線設(shè)備，可采集到足夠的數(shù)據(jù)，這可以解決行為識別需要專用設(shè)備的問題。模型具有良好的可遷移前景。

1 ZigBee背景介紹

1.1 ZigBee協(xié)議簡介

ZigBee，也稱紫蜂，是一種低速短距離傳輸?shù)臒o線網(wǎng)上協(xié)議，底層是采用IEEE 802.15.4標(biāo)準(zhǔn)規(guī)范的媒體訪問層與物理層，是TI公司推出的一款短距離、低速率無線通信協(xié)議。ZigBee、藍(lán)牙和IEEE 802.11b都是工作在2.4GHz頻段上的無線協(xié)議。但是，這三者又有各自的不同點(diǎn)。由于當(dāng)前的物聯(lián)網(wǎng)技術(shù)快速發(fā)展，藍(lán)牙和802.11b并不能滿足所有的應(yīng)用場景，ZigBee被推出來主要是用來滿足對可靠性和低功耗等有強(qiáng)烈要求的應(yīng)用場景。

現(xiàn)代計(jì)算機(jī)網(wǎng)絡(luò)架構(gòu)中，一般采用分層的理念設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)，不同的層負(fù)責(zé)不同的功能，數(shù)據(jù)只能在相鄰的層之間流動(dòng)。每一層負(fù)責(zé)接收相鄰層數(shù)據(jù)，處理完成后，封裝打包給相鄰的另外一層，例如國際標(biāo)準(zhǔn)化組織提出的開放式通信系統(tǒng)互聯(lián)參考模型（Open System Interconnection，OSI），ZigBee參考了此模型，并且結(jié)合無線網(wǎng)絡(luò)的特點(diǎn)，采用分層結(jié)構(gòu)實(shí)現(xiàn)ZigBee協(xié)議。

ZigBee CC2530是用于2.4-GHz IEEE 802.15.4、ZigBee和RF4CE應(yīng)用的一個(gè)真正的片上系統(tǒng)（SoC）解決方案，它能夠以非常低的總材料成本建立強(qiáng)大的網(wǎng)絡(luò)節(jié)點(diǎn)。

1.2 ZigBee CC2530的組網(wǎng)結(jié)構(gòu)

ZigBee CC2530在一個(gè)網(wǎng)絡(luò)中有三種設(shè)備：協(xié)調(diào)器、路由器和終端節(jié)點(diǎn)。根據(jù)ZigBee的協(xié)議棧，無線網(wǎng)絡(luò)支持三種網(wǎng)絡(luò)結(jié)構(gòu)，分別是星型拓?fù)浣Y(jié)構(gòu)、樹形拓?fù)浣Y(jié)構(gòu)和網(wǎng)狀拓?fù)浣Y(jié)構(gòu)。這三種結(jié)構(gòu)的統(tǒng)一特點(diǎn)就是整個(gè)網(wǎng)絡(luò)中只能存在一個(gè)協(xié)調(diào)器，可以存在多個(gè)路由器和終端節(jié)點(diǎn)。但是終端節(jié)點(diǎn)互相之間不能通信，只能通過他們的父節(jié)點(diǎn)進(jìn)行通信。網(wǎng)狀結(jié)構(gòu)是最靈活的結(jié)構(gòu)，在需要的情況下，路由器之間也可以進(jìn)行通信。而星型結(jié)構(gòu)則最不可靠，如果協(xié)調(diào)器失靈，那么整個(gè)無線網(wǎng)絡(luò)都不能通信。

1.3 卷積神經(jīng)網(wǎng)絡(luò)

為建立從RSSI數(shù)據(jù)識別出不同人體動(dòng)作的模型，本系統(tǒng)設(shè)計(jì)采用了當(dāng)前具有潛在應(yīng)用價(jià)值的卷積神經(jīng)網(wǎng)絡(luò)。

卷積神經(jīng)網(wǎng)絡(luò)是一種特殊的深層神經(jīng)網(wǎng)絡(luò)模型。它不同于以往的神經(jīng)網(wǎng)絡(luò)模型，原因是在一些隱藏層上，它的神經(jīng)元的連接是非全連接的，即有一部分是斷開的，而且還會(huì)出現(xiàn)在某些層中，同一層的某些神經(jīng)元的權(quán)值是共享的。這種結(jié)構(gòu)是更進(jìn)一步仿造生物大腦的神經(jīng)結(jié)構(gòu)，在大量的神經(jīng)元連接的情況下降低了運(yùn)算量，降低模型的復(fù)雜程度，減少權(quán)值的數(shù)量。在很多的分類和回歸實(shí)驗(yàn)中取得了非常好的實(shí)驗(yàn)結(jié)果。

卷積神經(jīng)網(wǎng)絡(luò)通常由輸入層、卷積層、池化層、全連接層、輸出層等層級疊加組成。

輸入層：卷積神經(jīng)網(wǎng)絡(luò)本身對輸入層的輸入數(shù)據(jù)并沒有太大限制，只是，輸入不同結(jié)構(gòu)的數(shù)據(jù)就需要改變一些參數(shù)。一維向量或者二維矩陣的形式可以作為輸入進(jìn)入一維卷積神經(jīng)網(wǎng)絡(luò)。二維卷積神經(jīng)網(wǎng)絡(luò)輸入層的輸入可以是二維矩陣或者三維矩陣。

卷積層：卷積層主要用來對輸入層輸入的數(shù)據(jù)進(jìn)行特征提取。這一層一般包含卷積核、卷積層參數(shù)和激勵(lì)函數(shù)。卷積層參數(shù)包括三個(gè)量，分別是卷積核大小、步長和填充。常見的激勵(lì)函數(shù)有Sigmoid函數(shù)、雙曲正切函數(shù)、ReLU函數(shù)等。

池化層：池化層經(jīng)常是用來縮減模型的大小，提高計(jì)算速度。池化層將單個(gè)點(diǎn)的值替換成為池化區(qū)域的特征圖統(tǒng)計(jì)量。經(jīng)過池化計(jì)算后，輸出的特征矩陣可以防止過擬合。

全連接層：在這一層，每個(gè)神經(jīng)元都會(huì)和前一層產(chǎn)生全連接，通過這一層之后，將會(huì)用到所有的局部特征，把之前的局部特征通過權(quán)值矩陣再一次合成為一張矩陣，這樣就得到了一個(gè)輸出結(jié)果。所以，全連接層會(huì)起到分類器的作用。

2 系統(tǒng)設(shè)計(jì)、實(shí)驗(yàn)及數(shù)據(jù)處理

2.1 設(shè)計(jì)原理

在開放環(huán)境中，無線信號受到物體遮擋等因素的影響，會(huì)產(chǎn)生反射、折射、吸收等現(xiàn)象。這些現(xiàn)象對無線信號的影響之一是信號強(qiáng)度的變化。信號強(qiáng)度的變化攜帶了信號鏈路上的物體遮擋信息，通過測量可以獲知被遮擋的無線鏈路。因此，設(shè)想通過研究多條無線信號被遮擋而產(chǎn)生的信號強(qiáng)度上的衰落來進(jìn)行人體行為識別研究。設(shè)想在一個(gè)空間里，有n個(gè)ZigBee CC2530終端，終端之間能夠兩兩互相通信，那么在這個(gè)空間里就形成了n×(n-1)/2條無線鏈路。被測試者在這個(gè)多條鏈路組成的空間里做出不同的行為動(dòng)作，會(huì)遮擋不同的無線鏈路，理論上我們根據(jù)被遮擋的鏈路的不同，能夠分辨出不同的行為動(dòng)作。

2.2 實(shí)驗(yàn)場景及工作流程

2.2.1 實(shí)驗(yàn)場景

在實(shí)際實(shí)驗(yàn)中，采用一個(gè)立體空間結(jié)構(gòu)，如圖1所示。

圖1 實(shí)驗(yàn)場景示意圖

實(shí)驗(yàn)采用八個(gè)節(jié)點(diǎn)組成的空間結(jié)構(gòu)，同時(shí)需要確定器件的相對布置距離等等。因此，根據(jù)人的平均身高以及所需要測量的動(dòng)作的變化范圍和幅度，將此實(shí)驗(yàn)設(shè)計(jì)為雙層1.1米和1.3米的高度，即低一層四個(gè)節(jié)點(diǎn)距離地面1.1米，高一層節(jié)點(diǎn)距離地面1.3米。每兩個(gè)節(jié)點(diǎn)安裝于同一個(gè)支架，共使用4個(gè)支架。事先測量好每個(gè)支架上兩個(gè)高度不同的節(jié)點(diǎn)的位置，進(jìn)行安裝固定。

在這個(gè)雙層結(jié)構(gòu)中，從上一層以逆時(shí)針編號為1—4號，下一層以逆時(shí)針編號為5—8號。上下層依次對應(yīng)。同一支架節(jié)點(diǎn)與同列另一支架節(jié)點(diǎn)相距3.6米，構(gòu)成一個(gè)正方形區(qū)域，圖2是實(shí)驗(yàn)俯視平面圖。

圖2 實(shí)驗(yàn)場地平面圖

實(shí)驗(yàn)時(shí)，被測試者站在距離實(shí)驗(yàn)區(qū)域邊緣1.8米的地方，此點(diǎn)為整個(gè)區(qū)域的中心點(diǎn)，可以最大限度使各條無線鏈路能夠通過不同行為動(dòng)作的被測試者。為了在建立模型時(shí)不同動(dòng)作下采集的數(shù)據(jù)可以形成差異化對比，在這個(gè)無線鏈路區(qū)域里，首先測5分鐘無人情況的信號強(qiáng)度情況并采集數(shù)據(jù)，然后依次測量抱頭、鞠躬、平伸、平推、直立這5個(gè)動(dòng)作時(shí)無線鏈路的信號強(qiáng)度數(shù)據(jù)，每個(gè)動(dòng)作分別測量5分鐘。

2.2.2 無線網(wǎng)絡(luò)的工作流程

在本實(shí)驗(yàn)中，采用ZigBee CC2530的廣播方式進(jìn)行組網(wǎng)。即每個(gè)終端節(jié)點(diǎn)都可以發(fā)送數(shù)據(jù)，被網(wǎng)絡(luò)中其他所有節(jié)點(diǎn)接收到信息，其他節(jié)點(diǎn)負(fù)責(zé)測量建立的無線鏈路的RSSI值，并且記錄。具體方法如下：使用8個(gè)終端節(jié)點(diǎn)按照確定好的距離布置，當(dāng)網(wǎng)絡(luò)啟動(dòng)之后，由網(wǎng)絡(luò)中一個(gè)節(jié)點(diǎn)發(fā)出信息，網(wǎng)絡(luò)中其他7個(gè)節(jié)點(diǎn)收到此節(jié)點(diǎn)廣播的信息并與之建立連接，從交換的報(bào)文中讀取無線鏈路的RSSI值，記錄在內(nèi)部存儲(chǔ)中，并在本節(jié)點(diǎn)發(fā)送信息時(shí)，把RSSI值寫入對應(yīng)節(jié)點(diǎn)的數(shù)據(jù)報(bào)文中。每個(gè)節(jié)點(diǎn)采用不同的發(fā)射延時(shí)，保證節(jié)點(diǎn)發(fā)送信息不沖突。當(dāng)節(jié)點(diǎn)的發(fā)射延時(shí)到期，便向網(wǎng)絡(luò)廣播一條記錄本節(jié)點(diǎn)ID號和接收到的各條鏈路的RSSI值的數(shù)據(jù)報(bào)文，經(jīng)過一段時(shí)間的循環(huán)之后，每條節(jié)點(diǎn)發(fā)送的信息，都包括自己與其他7個(gè)終端節(jié)點(diǎn)的RSSI值。協(xié)調(diào)器即匯聚節(jié)點(diǎn)，在網(wǎng)絡(luò)中同樣接收每個(gè)節(jié)點(diǎn)廣播的信息，并且把信息傳送給電腦，實(shí)現(xiàn)數(shù)據(jù)的收集。

除了所有終端節(jié)點(diǎn)在網(wǎng)絡(luò)中廣播信息，并且負(fù)責(zé)測量自己對其他所有節(jié)點(diǎn)的RSSI值之外，還有一個(gè)匯聚節(jié)點(diǎn)處于網(wǎng)絡(luò)中。匯聚節(jié)點(diǎn)不參與信息的廣播以及節(jié)點(diǎn)RSSI值的測量，它只負(fù)責(zé)把所有終端節(jié)點(diǎn)的每條信息接收并且通過串口傳送給電腦。圖3是無線傳感器物聯(lián)網(wǎng)絡(luò)中終端節(jié)點(diǎn)的工作流程。

圖3 終端節(jié)點(diǎn)工作流程圖

根據(jù)實(shí)驗(yàn)流程，被測試者在限定空間里做出五個(gè)不同的動(dòng)作，每個(gè)動(dòng)作分別維持一段時(shí)間不作變化，不同動(dòng)作對不同的終端節(jié)點(diǎn)之間產(chǎn)生的無線鏈路產(chǎn)生遮擋。被遮擋鏈路的RSSI數(shù)據(jù)會(huì)相應(yīng)減小。協(xié)調(diào)器接收這些數(shù)據(jù)，并且匯聚轉(zhuǎn)發(fā)到電腦上，數(shù)據(jù)最終形成適合訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)集。

2.3 數(shù)據(jù)處理

2.3.1 數(shù)據(jù)拼接

由硬件平臺(tái)發(fā)送過來未經(jīng)整理的數(shù)據(jù)是亂序的，并且存在部分錯(cuò)誤，需要進(jìn)行數(shù)據(jù)的清洗和拼接，以適合神經(jīng)網(wǎng)絡(luò)訓(xùn)練。根據(jù)模型的需要，把這個(gè)數(shù)據(jù)整理成多個(gè)8×8大小的矩陣，每個(gè)矩陣中行號和列號都是節(jié)點(diǎn)的ID值。盡管硬件中每個(gè)終端節(jié)點(diǎn)發(fā)送數(shù)據(jù)為不定時(shí)，但是整個(gè)接收包里，8個(gè)節(jié)點(diǎn)的數(shù)據(jù)存在時(shí)間順序。所以每次按時(shí)間序列滾動(dòng)依次抽取1-8號節(jié)點(diǎn)的對應(yīng)數(shù)據(jù)，組成一個(gè)完整的8×8數(shù)據(jù)矩陣。

拼接矩陣過后，可以得到一個(gè)三維矩陣數(shù)據(jù)集，數(shù)據(jù)集中的單層矩陣大小為8×8，記錄了當(dāng)前節(jié)點(diǎn)和其他七個(gè)節(jié)點(diǎn)之間的信號強(qiáng)度數(shù)據(jù)。三維矩陣的層數(shù)代表了形成的8×8信號強(qiáng)度矩陣的個(gè)數(shù)。每個(gè)矩陣的基本形式如圖4所示。

圖4 單個(gè)信號強(qiáng)度矩陣

2.3.2 數(shù)據(jù)預(yù)處理

由于在之前的八頂點(diǎn)立方體結(jié)構(gòu)中，被測試者處于幾個(gè)體對角線信號鏈路和頂面、地面的面對角線信號鏈路上，立方體的邊和四個(gè)側(cè)面上的信號鏈路并不會(huì)被人體行為動(dòng)作遮擋，根據(jù)卷積神經(jīng)網(wǎng)絡(luò)的降噪要求，將這些不影響輸出結(jié)果的無線鏈路對應(yīng)的RSSI值剔除置零，減小其對卷積神經(jīng)網(wǎng)絡(luò)模型的噪聲輸出。

2.4 神經(jīng)網(wǎng)絡(luò)模型的建立

實(shí)驗(yàn)所采集的RSSI數(shù)據(jù)是以單個(gè)節(jié)點(diǎn)對應(yīng)網(wǎng)絡(luò)中其他節(jié)點(diǎn)的信號強(qiáng)度的形式存在，在經(jīng)過處理之后形成了8個(gè)節(jié)點(diǎn)之間的互相記錄RSSI的二維矩陣，類似于階梯化的灰度圖像的記錄形式，所以本實(shí)驗(yàn)仿照圖像處理采用卷積神經(jīng)網(wǎng)絡(luò)來進(jìn)行人體行為動(dòng)作分類。在把用RSSI二維矩陣數(shù)據(jù)堆疊成的三維矩陣的數(shù)據(jù)集輸入到神經(jīng)網(wǎng)絡(luò)之前，對矩陣進(jìn)行標(biāo)簽編碼，用以在輸出中形成多分類結(jié)果。實(shí)驗(yàn)中采用one-hot編碼，例如平伸動(dòng)作記作動(dòng)作1，那么RSSI矩陣對應(yīng)的其one-hot編碼形式應(yīng)該為[1，0，0，0，0，0]，即動(dòng)作標(biāo)簽對應(yīng)的數(shù)字在這個(gè)編碼的行向量中對應(yīng)下標(biāo)的元素值為1。

然后根據(jù)神經(jīng)網(wǎng)絡(luò)模型的一般結(jié)構(gòu)，設(shè)置其中各層的參數(shù)，添加需要的層，連接起前后各層，建立神經(jīng)網(wǎng)絡(luò)模型，其步驟和結(jié)構(gòu)如下：（1）添加輸入層；（2）添加一個(gè)Dense全連接層，連接全部輸入的相關(guān)數(shù)據(jù)；（3）添加一個(gè)Activation激活層，此激活層使用ReLU作為激活函數(shù)；（4）添加一個(gè)Dropout遺忘層，此層遺忘概率為0.2；（5）添加一個(gè)Dense全連接層，定義神經(jīng)元數(shù)量；（6）添加一個(gè)Activation激活層，激活函數(shù)使用ReLU；（7）添加一個(gè)Dropout遺忘層，此層遺忘概率為0.2；（8）添加一個(gè)Dense分類層，使用softmax作為激活函數(shù)。

模型建立之后，把數(shù)據(jù)集輸入模型，一共有1770組信號強(qiáng)度矩陣。選取其中的1540組矩陣作為訓(xùn)練集，230組矩陣作為測試集，分別進(jìn)行神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和驗(yàn)證。

3 訓(xùn)練結(jié)果及系統(tǒng)性能分析

1540組訓(xùn)練集全部打亂順序輸入。打亂重排可以降低原本數(shù)據(jù)的規(guī)律性，提高結(jié)果的準(zhǔn)確度，防止過擬合。另外230組測試集矩陣同樣也全部打亂，用來驗(yàn)證模型的準(zhǔn)確率。在此神經(jīng)網(wǎng)絡(luò)中每次前向過程和反向過程時(shí)處理的訓(xùn)練樣本數(shù)為128。共訓(xùn)練1500次，輸出結(jié)果如圖5所示。

圖5 模型的準(zhǔn)確率和損失函數(shù)

如圖（a）和圖（b）中，train acc是訓(xùn)練集的準(zhǔn)確率，為上升曲線，train loss是訓(xùn)練集的損失值，為下降曲線。val acc是驗(yàn)證集的準(zhǔn)確率，為上升曲線，val loss是驗(yàn)證集的損失率，為下降曲線。訓(xùn)練超過1000次以后，模型的準(zhǔn)確率上升速度變慢，并且損失降低也開始變慢。訓(xùn)練集和測試集的準(zhǔn)確度最終在70.21%左右。這代表這個(gè)神經(jīng)網(wǎng)絡(luò)模型對五個(gè)不同的行為動(dòng)作和一個(gè)無人狀態(tài)識別率在70.21%左右。

4 結(jié)束語

本實(shí)驗(yàn)在參考國內(nèi)外文獻(xiàn)的基礎(chǔ)上，根據(jù)他人利用WiFi、紅外等傳感器設(shè)計(jì)的網(wǎng)絡(luò)，確定了本實(shí)驗(yàn)中的立體八頂點(diǎn)空間結(jié)構(gòu)，最大限度保證了有足夠多的無線鏈路通過在區(qū)域內(nèi)的人體，從而提高不同行為動(dòng)作的區(qū)分度。其次利用ZigBee CC2530搭建一個(gè)RSSI數(shù)據(jù)采集物聯(lián)網(wǎng)絡(luò)。最后是建立一個(gè)卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行分類。通過多次測試調(diào)整了卷積神經(jīng)網(wǎng)絡(luò)各層的參數(shù)，最終使此模型對人體行為動(dòng)作的識別準(zhǔn)確率達(dá)到70.21%左右。獲得了較為良好的效果。

本實(shí)驗(yàn)采集的是RSSI數(shù)據(jù)，而現(xiàn)實(shí)里的無線終端都可以測量其RSSI數(shù)據(jù)，只要周圍有安裝足夠的終端設(shè)備，那么就能低成本獲得大量RSSI數(shù)據(jù)用于行為識別。另外，由于現(xiàn)實(shí)中的各類無線設(shè)備大概率采用不同通信協(xié)議，所以可以聯(lián)合使用多種不同通信協(xié)議的無線設(shè)備采集數(shù)據(jù)，并且使用更復(fù)雜的深度學(xué)習(xí)算法來提高結(jié)果的準(zhǔn)確性。