詹彬 周磊
摘 要:針對(duì)當(dāng)前大學(xué)生體質(zhì)素質(zhì)下降的狀況,以及體質(zhì)測(cè)試設(shè)備簡(jiǎn)陋易損壞,操作繁瑣等缺點(diǎn),我們結(jié)合最新體感識(shí)別技術(shù),開(kāi)發(fā)了一套完整的無(wú)接觸體質(zhì)測(cè)試系統(tǒng)。該系統(tǒng)利用微軟Kinect V2智能攝像頭,可實(shí)時(shí)準(zhǔn)確地獲取人體骨架關(guān)節(jié)點(diǎn)的三維空間位置信息并將其轉(zhuǎn)化為動(dòng)作數(shù)據(jù)流,與設(shè)計(jì)有限狀態(tài)機(jī)模板數(shù)據(jù)進(jìn)行模式匹配,完成靜態(tài)骨骼識(shí)別。利用Kinect的優(yōu)勢(shì)進(jìn)行步態(tài)識(shí)別算法的設(shè)計(jì),以實(shí)現(xiàn)運(yùn)動(dòng)識(shí)別。同時(shí)該方法還具有無(wú)接觸、多人檢測(cè)、一機(jī)多測(cè)等優(yōu)勢(shì),智能打分機(jī)制可將用戶運(yùn)動(dòng)數(shù)據(jù)實(shí)時(shí)上傳至Web。
關(guān)鍵詞:運(yùn)動(dòng)識(shí)別;DTW動(dòng)態(tài)匹配算法;Kinect V2;骨骼識(shí)別;步態(tài)識(shí)別
中圖分類號(hào):TP39;TH789 文獻(xiàn)標(biāo)識(shí)碼:A 文章編號(hào):2095-1302(2018)09-00-04
0 引 言
學(xué)生體質(zhì)健康狀況逐漸成為社會(huì)大眾關(guān)注的焦點(diǎn)。為徹底貫徹落實(shí)健康第一的指導(dǎo)思想,切實(shí)加強(qiáng)學(xué)校體育工作,促進(jìn)學(xué)生積極參加體育鍛煉。國(guó)家頒發(fā)的《國(guó)家學(xué)生身體素質(zhì)健康標(biāo)準(zhǔn)》中明確要求各個(gè)高校在對(duì)各年級(jí)學(xué)生進(jìn)行《素質(zhì)健康標(biāo)準(zhǔn)》測(cè)試工作的同時(shí)還需每年對(duì)在校生進(jìn)行一次體質(zhì)健康測(cè)試。
人民生活水平的提高和健康意識(shí)的發(fā)展是促進(jìn)體質(zhì)測(cè)試系統(tǒng)發(fā)展的關(guān)鍵。在滿足人民的生活需求后,人們就會(huì)越加關(guān)注自身的身體素質(zhì)[1-3]。隨著網(wǎng)絡(luò)、計(jì)算機(jī)以及數(shù)字通信等技術(shù)的快速發(fā)展,美國(guó)和日本等多個(gè)國(guó)家在體質(zhì)測(cè)試相關(guān)領(lǐng)域已進(jìn)入了智能化階段。而我國(guó)在體質(zhì)測(cè)試方面起步緩慢,目前更側(cè)重于測(cè)試完成后對(duì)測(cè)試數(shù)據(jù)的管理和分析,忽略了測(cè)試過(guò)程中采集數(shù)據(jù)的復(fù)雜度和誤差。目前我們?cè)O(shè)計(jì)的無(wú)接觸體質(zhì)測(cè)試系統(tǒng)能夠較準(zhǔn)確地完成運(yùn)動(dòng)檢測(cè),根據(jù)完成度給測(cè)試者打分,為學(xué)生鍛煉提供指導(dǎo)。
1 識(shí)別原理
1.1 步態(tài)識(shí)別
隨著人類社會(huì)文明程度的高速發(fā)展,傳統(tǒng)的識(shí)別技術(shù)已然無(wú)法滿足人們?nèi)找嬖鲩L(zhǎng)的需求。在這種情況下,步態(tài)識(shí)別技術(shù)應(yīng)運(yùn)而生。步態(tài)識(shí)別是利用人的行為特征來(lái)對(duì)人體動(dòng)作進(jìn)行識(shí)別的一種生物識(shí)別技術(shù),通過(guò)采集追蹤用戶行走動(dòng)作特點(diǎn)來(lái)識(shí)別人的身份。步態(tài)識(shí)別步驟如下:
(1)采集視頻;
(2)對(duì)目標(biāo)視頻進(jìn)行預(yù)處理;
(3)根據(jù)現(xiàn)實(shí)情況從得到的圖片中提取目標(biāo)輪廓特征;
(4)將提取到的特征和步態(tài)庫(kù)內(nèi)的數(shù)據(jù)進(jìn)行匹配。
人體骨骼關(guān)節(jié)點(diǎn)3D位置信息可以作為動(dòng)作識(shí)別參考點(diǎn),如圖1所示。將Kinect V2追蹤采集到的3D動(dòng)作骨骼25個(gè)關(guān)節(jié)點(diǎn)三維坐標(biāo)組合形成骨骼模板,獲得步態(tài)的數(shù)據(jù)序列[4],經(jīng)過(guò)預(yù)處理分析用戶的步態(tài)特征。將骨骼模板樣本與該系統(tǒng)之前設(shè)置的用戶姿勢(shì)進(jìn)行判斷即可識(shí)別用戶意圖,從而實(shí)現(xiàn)用戶動(dòng)作識(shí)別。
1.2 Kinect識(shí)別分析
該系統(tǒng)采用微軟公司推出的一款3D攝像頭Kinect[5]傳感器。其主要優(yōu)勢(shì)在于能夠?qū)崟r(shí)抓取實(shí)驗(yàn)運(yùn)動(dòng)場(chǎng)景,高效識(shí)別和傳輸骨骼信息,并且能夠?qū)κ褂谜哌M(jìn)行語(yǔ)音識(shí)別等。Kinect主要由RGB攝像頭、深度圖像使用的紅外接收器和紅外線發(fā)射器、麥克風(fēng)陣列組成。
Kinect之所以能夠?qū)崟r(shí)抓取運(yùn)動(dòng)場(chǎng)景,主要依靠紅外攝像頭、紅外投影機(jī)、彩色攝像頭。Kinect通過(guò)紅外線發(fā)射器發(fā)射波長(zhǎng)為830 mm的紅外光線,再由紅外線接收器接收反射回來(lái)的紅外光線,并編碼、解碼,逐幀生成深度圖像。深度圖像通過(guò)背景分離、識(shí)別人體等算法從深度圖像RGB攝像頭獲取相應(yīng)的彩色圖像。Kinect將這些圖像數(shù)據(jù)傳送至應(yīng)用程序進(jìn)行處理。
總而言之,Kinect V2設(shè)備相對(duì)于普通攝像頭而言優(yōu)點(diǎn)繁多。普通攝像頭的缺陷主要在于過(guò)度依賴彩色圖像[6],難以消除環(huán)境對(duì)實(shí)驗(yàn)數(shù)據(jù)的影響。而Kinect V2對(duì)運(yùn)動(dòng)骨骼進(jìn)行識(shí)別分析時(shí)依賴于深度圖像,所以較好地消除了環(huán)境的影響。軟件系統(tǒng)框架如圖2所示。
2 運(yùn)動(dòng)識(shí)別的實(shí)現(xiàn)
2.1 系統(tǒng)架構(gòu)
本系統(tǒng)的技術(shù)架構(gòu)可分成五層。Kinect數(shù)據(jù)采集層利用Kinect智能攝像頭采集人體深度圖像、人體骨骼圖像、人體彩色圖像,并把這些信息以視頻流的數(shù)據(jù)形式傳遞給骨骼算法處理層,算法處理層對(duì)這些數(shù)據(jù)進(jìn)行濾波處理與DTW模板匹配[7]。最后對(duì)經(jīng)過(guò)處理的骨骼節(jié)點(diǎn)數(shù)據(jù)進(jìn)行運(yùn)動(dòng)識(shí)別層的運(yùn)動(dòng)匹配,在應(yīng)用層顯示運(yùn)動(dòng)檢測(cè)的結(jié)果和成績(jī)。體質(zhì)測(cè)試系統(tǒng)框架結(jié)構(gòu)如圖3所示。
2.2 DTW動(dòng)態(tài)匹配算法
利用DTW算法“局部最優(yōu),全局最優(yōu)”的思想在本運(yùn)動(dòng)識(shí)別系統(tǒng)中的運(yùn)用,尋找模版匹配中最相近的節(jié)點(diǎn),成功識(shí)別仰臥起坐運(yùn)動(dòng)的狀態(tài)節(jié)點(diǎn)。本系統(tǒng)對(duì)一個(gè)運(yùn)動(dòng)周期實(shí)時(shí)提取骨骼特征,本系統(tǒng)骨骼特征序列參考模版樣本數(shù)小于測(cè)試模版樣本數(shù),即N 其中:橫坐標(biāo)為特征矩陣的時(shí)序,縱坐標(biāo)為標(biāo)準(zhǔn)骨骼數(shù)據(jù)時(shí)序,折線表示匹配最優(yōu)路徑,即相似度最高路徑。在局部最優(yōu)路徑的計(jì)算中,采用加權(quán)歐式距離計(jì)算圖中節(jié)點(diǎn)相似度。根據(jù)公式最終找到相似度最大的時(shí)序坐標(biāo)點(diǎn)。依次類推找到上圖所示的最優(yōu)路徑。 3 仰臥起坐運(yùn)動(dòng)的實(shí)現(xiàn) 3.1 仰臥起坐識(shí)別原理 鑒于步態(tài)識(shí)別原理的特點(diǎn),特征值的采樣和提取成為該系統(tǒng)的首要難點(diǎn)。骨骼特征序列和運(yùn)動(dòng)特征序列是運(yùn)動(dòng)識(shí)別的兩個(gè)重要組成部分。骨骼點(diǎn)在三維空間的相對(duì)角度如圖5所示,將運(yùn)動(dòng)姿勢(shì)[9]骨骼數(shù)據(jù)點(diǎn)映射在Kinect V2坐標(biāo)中,如圖6所示。 運(yùn)動(dòng)識(shí)別時(shí)刻的某一姿勢(shì)特點(diǎn)在提取特征時(shí),將由上述骨骼角度方法計(jì)算得到的相對(duì)角度組成每個(gè)骨骼的特征序列。為提高運(yùn)動(dòng)識(shí)別的準(zhǔn)確性和完整性,運(yùn)動(dòng)特征和骨骼特征[10]的提取分別針對(duì)各自的特點(diǎn)同步分類提取。 3.2 仰臥起坐狀態(tài)機(jī) 仰臥起坐是一種鍛煉身體的方式,身體仰臥于地墊上,屈膝約成90°,腳部平放在地面上。平地上切勿把腳部固定
(可由同伴用手按住腳踝),否則大腿和髖部的屈肌便會(huì)加入工作,從而降低了腹部肌肉的工作量。根據(jù)本身腹肌的力量雙手按放在頭部位置,且雙手越靠近頭部,仰臥起坐就越吃力。利用腹肌收縮,兩臂向前擺動(dòng),迅速成坐姿,上體繼續(xù)前屈,然后還原成坐姿,如此連續(xù)進(jìn)行。狀態(tài)機(jī)流程如圖7
所示。
3.3 運(yùn)動(dòng)特征提取
仰臥起坐人體運(yùn)動(dòng)姿勢(shì)轉(zhuǎn)化如圖8所示。
上述姿勢(shì)為仰臥起坐人體側(cè)面骨骼圖,做深蹲運(yùn)動(dòng)時(shí)都有左右兩側(cè)骨骼節(jié)點(diǎn)。所有的節(jié)點(diǎn)包括SL(左肩),SR(右肩),EL(左肘),ER(右肘),HL(左手),HR(右手),KL(左膝),KR(右膝),F(xiàn)L(左腳),F(xiàn)R(右腳),T(臀部)。本系統(tǒng)設(shè)定和的夾角為α,和的夾角為β,和的夾角為γ,和的夾角為δ。在實(shí)際情況中,提取特征矩陣,如公式(15)所示,其中T,t分別表示深蹲運(yùn)動(dòng)的運(yùn)動(dòng)周期和完成一次深蹲運(yùn)動(dòng)的時(shí)間。
與上述兩個(gè)運(yùn)動(dòng)一致,將深蹲運(yùn)動(dòng)中DTW算法中一般狀態(tài)節(jié)點(diǎn)的相似度閾值設(shè)定為ds,單位為度。深蹲運(yùn)動(dòng)有兩個(gè)關(guān)鍵點(diǎn),即雙臂是否水平前伸,深蹲狀態(tài)完成度是否較高。將深蹲狀態(tài)節(jié)點(diǎn)的相似度閾值設(shè)為dsmax,計(jì)算相似度權(quán)重為α∶β∶γ∶δ=ks1∶ks2∶ks3∶ks4。
仰臥起坐運(yùn)動(dòng)的關(guān)鍵是仰臥起坐的狀態(tài)動(dòng)作,仰臥狀態(tài)和起坐狀態(tài)分值比為b1∶b2。以一仰臥起坐測(cè)試周期為例,每個(gè)仰臥起坐運(yùn)動(dòng)周期滿分為m,在實(shí)際情況下m為100分。假設(shè)測(cè)試者完成了n個(gè)深蹲運(yùn)動(dòng),其中站立狀態(tài)相似度為g,仰臥起坐狀態(tài)相似度為k,根據(jù)公式得到最終成績(jī)S:
3.4 功能展示
該運(yùn)動(dòng)過(guò)程對(duì)運(yùn)動(dòng)動(dòng)作規(guī)范性有嚴(yán)格要求。根據(jù)《國(guó)家學(xué)生體質(zhì)健康標(biāo)準(zhǔn)》要求,測(cè)試者首先應(yīng)平躺在坐墊上,兩腿稍分開(kāi),屈膝呈90°左右,兩手貼于頭部。受試者坐起時(shí)兩肘觸及或超過(guò)雙膝為完成一次。仰臥時(shí)兩肩必須觸墊。如果受試者已坐起但肘關(guān)節(jié)未達(dá)到雙膝者則不計(jì)該次數(shù)。測(cè)試者站立且雙手平舉成T字型則判定測(cè)試者結(jié)束運(yùn)動(dòng),同時(shí)給運(yùn)動(dòng)動(dòng)作打分。運(yùn)動(dòng)過(guò)程如圖9所示。
3.5 測(cè)試結(jié)果分析
仰臥起坐運(yùn)動(dòng)功能的識(shí)別主要利用Kinect V2智能攝像頭采集人體骨骼數(shù)據(jù),然后將前景和背景分離,三維空間坐標(biāo)轉(zhuǎn)化,限幅濾波等,獲取可靠的骨骼數(shù)據(jù)。利用步態(tài)識(shí)別算法和DTW匹配算法實(shí)現(xiàn)運(yùn)動(dòng)識(shí)別。
在系統(tǒng)測(cè)試過(guò)程中對(duì)于運(yùn)動(dòng)識(shí)別算法做了多人多次的系統(tǒng)測(cè)試。取得測(cè)試樣本結(jié)果進(jìn)行分析,對(duì)運(yùn)動(dòng)次數(shù)和運(yùn)動(dòng)識(shí)別率的統(tǒng)計(jì)見(jiàn)表1所列。
分析數(shù)據(jù)可知,誤差可能由以下原因?qū)е拢?/p>
(1)Kinect V2是基于光學(xué)感測(cè)體感技術(shù)的傳感器,周圍環(huán)境光線可能導(dǎo)致誤差產(chǎn)生;
(2)Kinect V2接收的信息由一點(diǎn)位攝像機(jī)采集,會(huì)有一定的圖像畸變,可能產(chǎn)生誤差。
測(cè)試結(jié)果表明該運(yùn)動(dòng)識(shí)別率很高,運(yùn)動(dòng)識(shí)別功能可靠,性能和新穎性略優(yōu)于市面上的同類產(chǎn)品。故可以判斷此運(yùn)動(dòng)算法有很好的識(shí)別效果,并可對(duì)運(yùn)動(dòng)動(dòng)作做精確識(shí)別。將本系統(tǒng)運(yùn)用在校園運(yùn)動(dòng)中,得到了老師和學(xué)生的一致好評(píng)。
4 結(jié) 語(yǔ)
針對(duì)傳統(tǒng)體質(zhì)測(cè)試儀器易損壞,測(cè)試過(guò)程繁瑣等問(wèn)題,文中設(shè)計(jì)的系統(tǒng)基于體感識(shí)別技術(shù)、骨骼追蹤技術(shù)憑借其創(chuàng)新性較好地改善了這一狀況。不僅在國(guó)內(nèi)高校建立了體驗(yàn)平臺(tái)設(shè)施,同時(shí)還設(shè)置有獨(dú)立的多功能體感運(yùn)動(dòng)訓(xùn)練展廳,讓更多的人能體驗(yàn)到無(wú)接觸式體感運(yùn)動(dòng)。本系統(tǒng)安裝實(shí)施使用一年多來(lái),深受學(xué)生的喜愛(ài),收獲到了越來(lái)越多的贊譽(yù)。隨著技術(shù)的進(jìn)步,通過(guò)智能體感設(shè)備進(jìn)行體制測(cè)試系統(tǒng)的研究將是未來(lái)體質(zhì)測(cè)試系統(tǒng)開(kāi)發(fā)的新方向。
參考文獻(xiàn)
[1]高德霞.大學(xué)生對(duì)體質(zhì)的認(rèn)識(shí)及體育行為與體質(zhì)狀況的關(guān)系探究[J].當(dāng)代體育科技,2017,7(33):183-184.
[2]徐萬(wàn)江.基于特征子空間的跨視角步態(tài)識(shí)別研究[D].蘇州:蘇州大學(xué),2017.
[3]傅國(guó)棟,韓凱多.大學(xué)生體質(zhì)健康現(xiàn)狀及對(duì)策研究[J].考試刊,2018(36):191-192.
[4]陳海峰.步態(tài)識(shí)別中的不變特征提取算法設(shè)計(jì)和研究[D].深圳:深圳大學(xué),2017.
[5]楊海清,王洋洋.基于多Kinect的三維人臉重建研究[J].浙江工業(yè)大學(xué)學(xué)報(bào),2018,46(2):137-142.
[6] GUTIERREZ J,CAMPS-VALLS G ,LUQUE M J,et al. A color contrast definition for perceptually based color image coding[J]. Recent patents on signal processing,2012,2(1).
[7]王晶晶.基于云計(jì)算的視頻轉(zhuǎn)碼自適應(yīng)方法研究[D].南京:南京郵電大學(xué),2017.
[8]何存富,王森,吳強(qiáng),等.基于FPGA的FIR濾波器在超聲導(dǎo)波接收系統(tǒng)中信號(hào)降噪的應(yīng)用[J].北京工業(yè)大學(xué)學(xué)報(bào),2018(5).
[9]庾晶.運(yùn)動(dòng)視頻標(biāo)注算法研究[D].南京:南京郵電大學(xué),2017.
[10]胡珂杰.基于3D骨骼的人體行為識(shí)別關(guān)鍵技術(shù)研究[D].無(wú)錫:江南大學(xué),2018.