高金瀟 陳亦楠

摘 ?要：人工智能技術的興起也推進了人機交互的快速發(fā)展。該系統(tǒng)利用Kinect視覺圖像傳感器識別人體骨骼數(shù)據(jù)，并完成對操作者動作的識別。通過以計算機軟件為核心的上位機平臺對實時數(shù)據(jù)的濾波處理、編寫算法，實現(xiàn)從數(shù)據(jù)到控制信號的轉(zhuǎn)換。系統(tǒng)通過串口通信的傳輸方式將信號傳送至以Arduino為核心的下位機平臺，進而完成對舵機的控制。為驗證理論的可行性，團隊搭建了4自由度的機械臂控制系統(tǒng)，并完成軟件開發(fā)，可實時在計算機操作界面上顯示當前骨骼角度及動作狀態(tài)等其他功能。實驗數(shù)據(jù)表明，基于Kinect的動作識別方法能夠有效地完成預期動作的跟蹤，并完成規(guī)定物體的抓取和移送，具有極高的可操作性。

關鍵詞：Kinect ?Arduino ?骨骼角度 ?動作跟蹤 ?機械臂平臺

中圖分類號：TP241 ? 文獻標識碼：A 文章編號：1672-3791（2019）05（c）-0001-05

Abstract： The rise of artificial intelligence technology has also promoted the rapid development of human-computer interaction. The system uses the Kinect visual image sensor to identify human bone data and complete the recognition of the operator's movements. Through the filtering process of real-time data by the host computer platform with computer software as the core， the algorithm is programmed to realize the conversion from data to control signals. The system transmits the signal to the lower computer platform with Arduino as the core through the transmission mode of the serial communication， thereby completing the control of the steering gear. In order to verify the feasibility of the theory， the team built a 4-DOF robotic arm control system and completed software development. It can display other functions such as the current bone angle and motion status in real time on the computer operation interface. The experimental data shows that the Kinect-based motion recognition method can effectively complete the tracking of the expected motion and complete the grasping and transfer of the specified objects， which has extremely high operability.

Key Words： Kinect; Arduino; Bone angle; Motion tracking; Robotic arm platform

隨著近些年來人工智能領域的大力發(fā)展，人機交互成為了人們關注的熱點問題。動作識別在人們?nèi)粘ａt(yī)療、教育、娛樂等諸多領域有著廣泛的應用。此外，動作分析作為工業(yè)工程的關鍵技術之一，實現(xiàn)該技術的相關方法卻一直停留在手工階段，這不僅工作量大，而且效率低。人體姿勢及特定動作是一種人與周圍信息或生物進行信息交互的方式。圍繞動作識別的研究在國際上可以追溯到20世紀80年代，此后，人體動作識別的研究逐漸滲入到各個領域的研究開發(fā)，并得到迅速的發(fā)展。

無線設備大大促進了人機交互的發(fā)展，但目前其一定程度上依賴人工連續(xù)操作，十分不便。人體動作或肢體語言是另一種有效溝通的特殊語言，作為一個應用前景廣、操作性強的對象，非常值得關注和開發(fā)。動作識別跟蹤就是指對人體的某些特征運動動作進行定位，目標檢測、提取、識別和跟蹤，獲得人體動作的狀態(tài)，如位置、速度和運動軌跡等，從而完成處理與分析，并獲取一定量的有價值的實用參數(shù)，實現(xiàn)對人體運動的自動處理和分析，以完成動作跟蹤這一任務，并力爭擴大到應用于其他方面。仿真一直是人們?nèi)梭w工程學和機器人人工智能研究的重點方向之一，目前生產(chǎn)生活中人們使用的大型仿真機械設備成本高昂，且尚未能大量投入使用。

1 ?控制系統(tǒng)總體結(jié)構(gòu)

該控制系統(tǒng)總體硬件結(jié)構(gòu)共有視覺圖像處理傳感器、數(shù)據(jù)處理器、信號發(fā)生器、機械臂平臺（執(zhí)行部件）四部分組成。其中傳感器采用Kinect V2.0視覺圖像處理傳感器，數(shù)據(jù)處理器使用計算機平臺控制完成，信號發(fā)生器則采用Arduino控制器及相關電子模塊完成，機械臂平臺完成實際預期動作。計算機平臺實時接收從Kinect視覺圖像傳感器傳回的實時骨骼狀態(tài)和信息，以數(shù)據(jù)流的形式傳送至計算機，用已編寫的算法實時將數(shù)據(jù)處理后，實時用串行通信發(fā)送至下位機Arduino中，完成對舵機的控制，并將實時骨骼角度顯示在軟件操作界面中。該軟件同時加入實時截圖與錄像功能，可完成任意操作時間內(nèi)的骨骼角度的后臺保存和處理（見圖1）。

2 ?控制系統(tǒng)硬件結(jié)構(gòu)

2.1 Kinect V2.0

首先是攝像頭可以借助紅外線來識別人體的運動，它能夠發(fā)射紅外線，從而對整個房間進行立體定位。根據(jù)光反射回來的時間判斷物體的方位。其次是光編碼技術——利用激光照射到不規(guī)整物體上會隨機產(chǎn)生高度隨機的衍射光斑這一特性，所以任意兩處的光斑強度都不同。每隔一段距離在一個參考平面上記錄斑點，累積起來就會形成一個三維形狀。對圖像進行逐點掃描像素，就能區(qū)分出人體輪廓了。最后將人體中的各部分用不用顏色標示出來，就很容易且準確地找出關節(jié)的節(jié)點了。

Kinect V2.0的主要組成及參數(shù)如表1所示。Kinect主要有RGB感應攝像頭、深度視覺傳感器，其可完成一定視野角度的探測識別;多點陣列麥克風，用于語音識別和輸出聲音。

2.2 舵機

在該系統(tǒng)中，舵機的穩(wěn)定性直接影響了系統(tǒng)的穩(wěn)定性。舵機應用范圍廣，控制簡單，更穩(wěn)定，不妨設為基本的輸出執(zhí)行機構(gòu)，其簡單的控制使得下位機控制器與其可以便捷地連接。

該系統(tǒng)采用型號為LDX218的舵機，控制信號進入舵機的內(nèi)部調(diào)制芯片，通過信號處理得到一定的直流偏置電壓。其將產(chǎn)生的直流偏置電壓與電位器電壓比較（周期20ms，寬度1.5ms），獲得電壓差作為輸出控制信號的模擬量。電壓的大小決定了電機的轉(zhuǎn)速，正負代表電機的轉(zhuǎn)向。當電壓差為0，電機停止轉(zhuǎn)動。PWM方波是舵機的控制信號，利用其占空比的瞬變性改變舵機的轉(zhuǎn)動特性。一般舵機的控制要求如圖2所示。

2.3 下位機

該系統(tǒng)擬采用Arduino mega2560為核心控制模塊（見圖3），其是一種體積小、處理速度快、操作便捷的開源電子原型平臺，能通過連接多種傳感器來感知當前所處狀態(tài)，并得到反饋或發(fā)出控制信號。其開發(fā)主要基于Arduino IDE環(huán)境，這也提高了其開發(fā)效率。該系統(tǒng)主要用下位機處理計算機發(fā)送的串口數(shù)據(jù)，通過控制板處理后傳送控制信號至舵機，從而控制機械臂。

3 ?控制系統(tǒng)軟件設計

3.1 流程圖

該上位機軟件涉及的整體流程圖如圖4所示，開始后需要進行初始化對象操作，從而確定追蹤目標，打開傳感器，開始利用Kinect的圖像采集功能收集深度數(shù)據(jù)和骨骼數(shù)據(jù)，在經(jīng)過濾波處理后，在軟件操作界面中顯示當前圖像及數(shù)據(jù)信息。

通過算法計算出位置所需舵機轉(zhuǎn)動角度后，將轉(zhuǎn)動控制信息以串行通信的方式發(fā)送至下位機平臺，從而控制舵機即機械臂的運動，直至達到預期位置停止。

3.2 軟件界面及功能

該操作系統(tǒng)可完成實時顯示圖像、截屏、錄像、存儲骨骼角度信息等功能，方便用戶感知實時狀態(tài)及有效操作（見圖5）。

3.3 數(shù)據(jù)通信

控制器通過Arduino IDE環(huán)境編寫控制程序并發(fā)送PWM信號給機械臂舵機，從而完成對機械臂的控制。該系統(tǒng)數(shù)據(jù)傳送采用串口通信的方式，將計算機發(fā)出的控制信號傳送至控制器Arduino中，實現(xiàn)上、下位機的連接。在協(xié)議使用兩位16進制數(shù)作為通信協(xié)議的幀頭，并選擇中間4位作為關節(jié)轉(zhuǎn)角數(shù)據(jù)，最后一位0xED作為幀尾，用以數(shù)據(jù)校驗。

4 ?算法簡述

4.1 骨骼數(shù)據(jù)獲取

故角度就為當前2個骨骼的夾角特征值，基于此，可以推廣至人體20個骨骼識別中，任意2個骨骼間的夾角均可以提取。用該識別方法具有一系列的好處，其不僅僅操作性強，還排除了一些如光照、背景和操作人位置等因素的干擾。綜上，欲得到準確穩(wěn)定的目標返回值，必須將大量的實時數(shù)據(jù)進行數(shù)據(jù)濾波處理，提高系統(tǒng)性能，降低容錯率。

5 系統(tǒng)性能測試

5.1 可行性

為了驗證上述理論的可操作性，團隊搭建了一個硬件機械臂控制系統(tǒng)（見圖6），機械臂以Arduino為主控制器，并完成對舵機的PWM方波控制，開始啟動前，進行實際串接，在不同的背景環(huán)境和光照強度下，識別操作人員不同的相同動作，并完成相應要求。該系統(tǒng)測試擬采用的方法是抓取并搬運物體到到指定位置，驗證系統(tǒng)穩(wěn)定性和準確性。

5.2 識別率

將Kinect水平放置在距離地面高度為70cm的平臺上，測試人員距離Kinect設備150cm遠，按照要求完成動作，利用開發(fā)的操作軟件的錄像功能，完成錄像。

經(jīng)過多次驗證（見表2、表3），其平均識別率達到95.24%，平均誤差為5.15%，可近似認為其可以完成對目標動作的識別及跟蹤。

5.3 實時率

在相同條件下，以手部為例對其延遲進行測量，如表4、圖7所示。

6 ?結(jié)語

該系統(tǒng)欲搭建起精確的動作識別機械臂平臺，對人體的有規(guī)律性動作或可替代性動作進行仿制系統(tǒng)研究。通過動作識別系統(tǒng)對人體的動作進行跟蹤性模仿，今后替代人們進行生產(chǎn)生活中高危險、高難度、工作環(huán)境惡劣的工作;在交通方面，人體動作識別跟蹤系統(tǒng)可以代替交通警察的日常出勤指揮交通工作，避免了交通警察在工作過程中發(fā)生的種種意外，使得交通警察可以在遠處遠程指揮交通，提高了工作效率，減輕了交通警察的負擔。除此以外，在醫(yī)療衛(wèi)生、工業(yè)生產(chǎn)等諸多生產(chǎn)生活領域均有一定的使用價值。

綜上所述，人體動作識別跟蹤系統(tǒng)有著巨大的研究價值。該系統(tǒng)通過Kinect視覺圖像傳感器來采集人體的骨骼數(shù)據(jù)，并將數(shù)據(jù)濾波處理，轉(zhuǎn)化為舵機的控制指令，進而完成對其動作的識別并對應映射到所搭建的4自由度機械臂平臺上，間接實現(xiàn)了人機交互的功能。

參考文獻

[1] 李文陽，馬行，穆春陽.基于Kinect V2的跌倒行為檢測與分析[J].現(xiàn)代電子技術，2019（6）：142-145.

[2] 高日，張雷，郭亮.基于Kinect的機器人交互系統(tǒng)設計與研究[J].現(xiàn)代電子技術，2019（6）：175-178，182.

[3] 朱耀麟，王丹，萬韜阮，等.Kinect體感器的人體姿勢交互漫游方法[J].單片機與嵌入式系統(tǒng)應用，2019，19（2）：1-3，8.

[4] 呂思男，馬培立，陳哲，等.基于Kinect骨骼信息的機械臂體感示教研究[J].工業(yè)控制計算機，2018，31（12）：11-12，16.

[5] 王順帆.基于Kinect的手勢識別及其在機械臂控制中的應用[D].湖北工業(yè)大學，2018.

[6] 陳慰南.基于Kinect動作交互系統(tǒng)設計[D].廣東工業(yè)大學，2018.

[7] 陳佳文，蘇齊光，王卓.基于Kinect的桌面型仿人雙臂機器人設計[J].機械管理開發(fā)，2018，33（2）：1-2，154.

[8] 丁大民.手術機器人機械臂運動控制系統(tǒng)的研究與實現(xiàn)[D].上海工程技術大學，2015.

[9] 裴巖明.基于Kinect的遠程機械臂體感控制系統(tǒng)研究[D].大連理工大學，2013.

[10] F.Buisseret，F(xiàn). Dierick，O.Hamzaoui，et al.Ergonomic Risk Assessment of Developing Musculoskeletal Disorders in Workers with the Microsoft Kinect： TRACK TMS[J]. IRBM，2018.

[11] Chenglong Li，F(xiàn)an Zhong，Qian Zhang，et al.Accurate and fast 3D head pose estimation with noisy RGBD images[J].Multimedia Tools and Applications，2018，77（12）：14605-14624.