張帥旗 劉子龍 張彬 韓光鮮

摘要 針對老年人或者殘疾人獨自行走時，可能發(fā)生意外事故而得不到及時處理等問題，提出一種解決方案：智能機器人在保持安全距離的前提下，能夠跟隨獨居老人或殘疾人移動，在移動過程中能夠?qū)崟r監(jiān)測老年人的人體姿態(tài)變化，以便及時關(guān)注老年人的生活狀況。該方案以Microsoft Kinect為硬件基礎(chǔ) ，結(jié)合模式識別算法在LabVIEW平臺上來實現(xiàn)人體姿態(tài)檢測，相比采用傳統(tǒng)的RGB或者深度圖像做姿態(tài)匹配時需要建立大量樣本庫，采用Kinect的骨骼圖來檢測人體姿態(tài)，只需要根據(jù)Kinect的三維坐標就可以判斷出人體的各種姿態(tài)，應(yīng)用價值較大。

關(guān)鍵詞 智能機器人；Microsoft Kinect；LabVIEW；姿態(tài)檢測

DOI DOI： 10.11907/rjdk.162797

中圖分類號： TP301

文獻標識碼： A 文章編號 文章編號： 16727800（2017）002001603

0 引言

人體姿態(tài)實時檢測是智能服務(wù)機器人的一大特點，近年來逐漸成為機器人研究領(lǐng)域的重點[1]。通過實時的人體姿態(tài)檢測，該服務(wù)器機器人可以對被跟隨者的實時狀態(tài)是否安全作出相應(yīng)判斷，然后進行及時的事故處理，可用于殘障人士、獨居老人等社會弱勢群體的日常監(jiān)護中。一旦檢測并判斷出被跟隨者有類似跌倒的緊急情況，智能機器人報警模塊會立刻發(fā)出警報，尋求幫助。

過去研究者大多采用RGB圖像檢測人體姿態(tài)，不僅需要大量的樣本庫供機器人進行學(xué)習(xí)和匹配，而且受周圍光線影響容易導(dǎo)致姿態(tài)檢測判斷失誤；也有很多研究者采用Kinect的深度圖，此方法同樣需要建立大量樣本庫。雖然以上方法都能較準確地實現(xiàn)人體姿態(tài)檢測的目的，但是都需要建立大量的樣本庫，都有各自應(yīng)用場合的局限性[2]。

本方案采用Kinect的骨骼圖來檢測人體姿態(tài)，骨骼圖中包含人體20個關(guān)節(jié)點，并將每個關(guān)節(jié)點標注為Kinect的三維坐標，根據(jù)坐標值的變化可以準確判斷出人體各種姿態(tài)。首先在機器人上安裝一臺miniPC，通過 Microsoft的SDK獲取骨骼圖。Kinect本身采集到的是深度圖和RGB圖，然后經(jīng)過SDK中的相關(guān)算法處理才得到骨骼圖。使用骨骼圖雖然需要相應(yīng)的硬件支持，但是可以不用建立大量的樣本庫，并且可以精確地檢測到各種人體姿態(tài)?？傮w來看，采用Kinect的骨骼圖來實現(xiàn)人體姿態(tài)的檢測擁有良好的應(yīng)用前景。

1 人體姿態(tài)檢測原理分析

1.1 智能服務(wù)機器人及Kinect模塊

該智能跟隨服務(wù)機器人如圖1（左圖）所示，該服務(wù)機器人具有智能跟隨、自動避障、實時人體姿態(tài)檢測以及遠程監(jiān)控等功能。人體姿態(tài)檢測模塊采用的傳感器是Microsoft的Kinect模塊，如圖1（右圖）所示，模塊有3個攝像鏡頭，中間的RGB攝像鏡頭主要用來負責采集彩色圖像信息，其兩邊的3D DEPTH SENSORS攝像頭主要用來采集深度數(shù)據(jù)。比如場景中物體到攝像頭的距離，此外模塊還擁有強大的隨著對焦物體移動的技術(shù)。隨著對焦物體的移動，其底座上的馬達也會跟著轉(zhuǎn)動，能夠?qū)\動物體進行實時拍攝，以便后續(xù)用于人體姿態(tài)檢測處理。

1.2 Kinect 骨骼圖

Microsoft還使用模式識別算法，根據(jù)RGB圖像和深度圖生成人體骨骼圖，可實時顯示Kinect攝像頭前人體的20個關(guān)節(jié)點，如圖2所示，同時還能將每個關(guān)節(jié)點用坐標（x，y，z）表示出其相對于Kinect的位置，從Kinect感應(yīng)器的視角來看，假設(shè)HIP CENTER為坐標原點，以坐標原點向左的直線作為坐標系軸的負向，以坐標原點向上的直線作為坐標系軸的正向，Kinect感應(yīng)的方向作為坐標系的z。這為人們檢測人體姿態(tài)提供了極大地便利，在該方案中主要是檢測人體是否處于跌倒狀態(tài)，以便更好地實現(xiàn)對獨居老人的監(jiān)護功能[3]。因此，可以用圖2中的頭部關(guān)節(jié)點坐標中的值來判斷獨居老人是否處于跌倒狀態(tài)，即當小于某個值時即認為老人此時已經(jīng)處于跌倒狀態(tài)，此時機器人會觸發(fā)報警裝置，并發(fā)生報警信號，使得能夠在第一時間里及時處理事故，更好地監(jiān)控老年人的生活狀態(tài)。

2 人體姿態(tài)檢測的LabVIEW程序設(shè)計

2.1 LabVIEW介紹

LabVIEW是美國NI公司開發(fā)的編程語言，與其它語言最大的不同是其采用圖形化編輯方式。使用LabVIEW進行軟件開發(fā)，其流程相對簡單、高效。

LabVIEW最大的優(yōu)點是在硬件一定情況下，可以通過修改流程圖或者框圖，實現(xiàn)不同儀表的功能[4]。使用LabVIEW進行原理研究、算法設(shè)計，并最終實現(xiàn)系統(tǒng)功能時，極大提高了工程師的設(shè)計效率，同時使用LabVIEW Real-Time工具進行并發(fā)編程時，可以對相應(yīng)的嵌入式開發(fā)平臺進行多核支持，比如在此智能機器人的硬件平臺下，使用LabVIEW進行人體姿態(tài)軟件開發(fā)，具有簡單、高效的特點。

2.2 人體姿態(tài)檢測程序設(shè)計

LabVIEW程序架構(gòu)主要分為兩部分，前面板由輸入及顯示兩種類型的控件組成，程序的框圖包含檢測程序的全部代碼，如圖3所示。A處所指的矩形框內(nèi)容是初始化Kinect以及模式設(shè)置，該處選擇“Skeleton and Video”模式，并初始化獲取骨骼圖的狀態(tài)；B處所指的矩形框里的內(nèi)容即是While內(nèi)部循環(huán)主程序，包括讀取Skeleton and Video模塊、2DPicture模塊、3D Skeleton模塊以及關(guān)節(jié)點協(xié)同控制等模塊，實時讀取骨骼圖和視頻的原始坐標數(shù)據(jù)，并由這些實時的原始坐標數(shù)據(jù)生成RGB視頻以及骨骼圖[5]；C處所指的矩形框是在While循環(huán)停止后執(zhí)行，用于結(jié)束對Kinect的調(diào)用。

3 實驗結(jié)果與分析

運行圖3的LabVIEW程序設(shè)計，分別對人體處于直立和摔倒狀態(tài)時進行姿態(tài)檢測，然后從20個關(guān)節(jié)點的坐標數(shù)據(jù)中取出頭部的坐標數(shù)據(jù)，并用表示高度的y值判斷是否跌倒，當y小于-0.39時，則認為此時檢測的目標出現(xiàn)跌倒狀態(tài)。在LabVIEW中可以使用變量的值決定是否觸發(fā)語音警報，當檢測正常狀態(tài)時，此時指示燈常綠，此時人體姿態(tài)的檢測結(jié)果如圖4所示；當檢測到跌倒狀態(tài)時，“Fall”指示燈由綠變紅，此時人體姿態(tài)檢測結(jié)果如圖5所示。在LabVIEW程序運行過程中，Joint Coordinates顯示模塊是在While循環(huán)停止后執(zhí)行，用于結(jié)束對Kinect的調(diào)用，最后Labview的錯誤處理機制會檢查程序執(zhí)行中的錯誤，若有錯誤則在圖4、圖5的輸出接口處顯示出錯誤代碼，否則停止整個程序的運行。

人體姿態(tài)檢測的程序是在miniPC（即上位機）中運行，通過Labview的網(wǎng)絡(luò)共享變量將“Fall”變量的值傳給myRIO，從而決定是否觸發(fā)語音警報并暫停機器人的運動[6]。

4 結(jié)語

本方案所設(shè)計的智能跟隨服務(wù)機器人能夠?qū)崿F(xiàn)人體的實時姿態(tài)檢測，相比采用傳統(tǒng)的RGB或者深度圖像，在不需要建立大量樣本庫的情況下，即能對老年人或者智障人士生活狀態(tài)進行實時檢測，然而要實現(xiàn)更好的智能監(jiān)護功能，仍需要對智能機器人的其它功能作進一步優(yōu)化，比如在智能跟隨、語音交互方面進行改進。在智能跟隨方面，在電機的最大轉(zhuǎn)速不能使機器人快速跟隨移動目標的情況下，使智能機器人與目標對象保持更小的安全距離，在語音交互方面，可以進一步優(yōu)化交互的方式和功能。

參考文獻：

[1] I S CHOI，J S CHOI.VFH based obstacle avoidance system for leaderfollowing formation control[C].Seoul：2013 44th International Symposium on Robotics （ISR），2013：14.

[2] 曹雛清.面向多方式人際交互的肢體動作識別研究[D].哈爾濱：哈爾濱工業(yè)大學(xué)，2012.

[3] 林志強.面向智能服務(wù)機器人的物體感知研究[D].合肥：中國科學(xué)技術(shù)大學(xué)，2014.

[4] 馬瓊雄.基于視覺的服務(wù)機器人人機交互技術(shù)研究[D].廣州：華南理工大學(xué)，2014.

[5] 黃彬.智能空間中人的行為識別與理解[D].濟南：山東大學(xué)，2010.

[6] 謝炯坤.面向人機互動的自然語言理解的研究[D].合肥：中國科學(xué)技術(shù)大學(xué)，2015.

（責任編輯：孫 娟）