劉雨聰，徐碩晨，宋帥超，張東生

（河南大學(xué) 軟件學(xué)院，河南 開封 475004）

0 引言

中國傳統(tǒng)武術(shù)有著悠久的歷史，具有極其廣泛的群眾基礎(chǔ)，是中國優(yōu)秀文化遺產(chǎn)的重要組成部分。傳統(tǒng)武術(shù)中的太極拳、少林拳、詠春拳等不僅可以用來防身，更對人體健康有益。研究表明，太極拳可提高活力，改善人體身心健康[1]。因此，以太極拳為代表的武術(shù)項目受到廣泛關(guān)注、大力推廣。

目前，國內(nèi)外對于武術(shù)的教學(xué)大多停留在面授或是練習(xí)者僅跟隨視頻學(xué)習(xí)的傳統(tǒng)方式。一方面，傳統(tǒng)武術(shù)的傳承人較為稀缺，群眾很難接觸到正宗的面授教學(xué)；另一方面，僅跟隨視頻學(xué)習(xí)技巧性動作存在直觀性差、效率低下等問題，練習(xí)者極易做錯動作，造成肌肉損傷[2]。

隨著人工智能技術(shù)的發(fā)展，利用深度學(xué)習(xí)等技術(shù)對于人體姿態(tài)識別與比對的研究也較為深入。針對上文提到的問題，本文提出使用OpenPose算法對武術(shù)練習(xí)者的動作進行提取分析，利用OpenPose算法處理后得到的人體骨架數(shù)據(jù)與標(biāo)準動作進行比對，幫助判斷練習(xí)者動作是否規(guī)范。以嘗試解決這一問題，并探索武術(shù)教學(xué)的新方式。本文對該方法作了初步研究。

1 姿態(tài)估計OpenPose

由美國卡耐基大學(xué)提出的基于深度學(xué)習(xí)的開源庫OpenPose[3]可實現(xiàn)對人體動作、手指運動、面部表情等的識別捕捉，對圖像中人體姿態(tài)進行較為精準的估計，提取多個身體、手部或面部骨骼關(guān)鍵點。它適用于單人和多人情況，具有極好的魯棒性。

OpenPose算法首先定位人體的特征位置，再將人體組合，其識別思路是自下向上的[4]。在人體被部分遮擋或背景復(fù)雜度較高的情況下，仍可較好的解決問題；在場景中存在多人的情況下，可有效減少運算時間。本文利用該算法這一特性，提取出練習(xí)者與標(biāo)準運動視頻中的關(guān)鍵幀或是圖片，作為后續(xù)比對的素材使用。

OpenPose算法的大致思路如下：將輸入的圖像經(jīng)10層VGG19網(wǎng)絡(luò)處理，提取出圖片特征F，再將特征F放入兩個卷積網(wǎng)絡(luò)進行計算，即關(guān)鍵點置信度網(wǎng)絡(luò)S和關(guān)鍵點親和度向量場網(wǎng)絡(luò)L，然后預(yù)測得到每個關(guān)鍵點的置信度、親和度向量。之后通過二分匹配進行關(guān)鍵點聚類，將同一人的骨架節(jié)點拼接，最終得到每一個人的骨架信息。傳統(tǒng)的姿態(tài)估計算法需要依靠深度攝像頭計算，而OpenPose僅使用單目攝像頭便可達到極佳的實時性。

2 動作比對

人體的不同特征部位可以抽象為18個特征點，由這些特征點組成的人體骨架即可反映此刻人體的姿態(tài)。而特定關(guān)節(jié)間的角度值可以為判斷一個人動作的準確性提供參考，無需受不同人體型、膚色、著裝等特征影響。本文將利用這一特征進行動作比對。

經(jīng)過OpenPose處理圖片后，可以得到人體18個特征點的坐標(biāo)，如圖1所示。個別情況下，平面圖片中人體的部分不能完整呈現(xiàn)，這會導(dǎo)致該特征點對應(yīng)坐標(biāo)為“None”,圖1就是這種情況。但本實驗主要關(guān)注人體軀干骨架，眼部特征點未識別對于動作的比對影響不大，故面部數(shù)據(jù)可以忽略不計。

圖1 人體18個特征點的坐標(biāo)

得出的人體骨架圖片如圖2所示。兩點之間的長度可以通過計算歐氏距離得出，再使用余弦定理計算得出反映人體動作的特定關(guān)節(jié)間夾角的角度值。本文使用這一方法分別對標(biāo)準動作圖片進行處理，得出該圖片人體骨架的關(guān)節(jié)角度值，作為比對范本。之后輸入需要進行評判的訓(xùn)練者動作圖片，同樣得出關(guān)節(jié)角度值。將兩者角度值進行分析即可得出訓(xùn)練者動作是否標(biāo)準，達到動作比對的效果。

圖2 OpenPose還原出的人體骨架

3 實驗結(jié)果

3.1 實驗環(huán)境

本實驗的硬件環(huán)境如下：CPU為Intel（R）Core i7-8750H，2.20 GHz，內(nèi)存為8GB；GPU為NVIDIA GeForce GTX 1060，操作系統(tǒng)為Windows 10專業(yè)版。軟件平臺為Eclipse IDE。

3.2 數(shù)據(jù)處理

本實驗首先對標(biāo)準動作的視頻數(shù)據(jù)切割處理，對視頻剪輯得到一個完整的動作或招式片段，然后將招式中部分動作截取生成關(guān)鍵幀圖片，作為對照數(shù)據(jù)。再將練習(xí)者的動作視頻做同樣處理，截取其相同動作的關(guān)鍵幀，用來與對照數(shù)據(jù)比對。

3.3 實驗過程

本文使用Python 3.0開發(fā)了一個腳本程序，該程序命名為Judge.py，主要實現(xiàn)輸入一張關(guān)鍵幀圖片，調(diào)用OpenPose計算出圖片中人體18個關(guān)鍵點坐標(biāo)、還原骨架、計算關(guān)節(jié)間角度值的功能。實驗輸入的數(shù)據(jù)為的圖片文件，格式為JPG，如圖3所示。

圖3 輸入的練習(xí)者動作圖片

運行Judge.py后，該程序會自動將預(yù)先截取好的練習(xí)者動作關(guān)鍵幀進行處理，得出此畫面中包含多個關(guān)節(jié)角度的人體骨架數(shù)據(jù)，如圖4所示。同時，畫面中的人體會被標(biāo)注出含有關(guān)鍵點的骨架結(jié)構(gòu)，如圖5所示。之后，將輸出的數(shù)據(jù)與事先已用同樣方法處理過的標(biāo)準動作數(shù)據(jù)進行比對，即可大致判斷出訓(xùn)練者的動作是否規(guī)范。

圖4 人體關(guān)節(jié)間角度值

圖5 練習(xí)者骨架結(jié)構(gòu)

4 討論

實驗采集了3位練習(xí)者的動作視頻，截取幾個動作的關(guān)鍵幀，使用OpenPose算法分別處理，得出最終用來判別動作規(guī)范度的關(guān)節(jié)角度數(shù)據(jù)，與預(yù)先處理好的標(biāo)準動作關(guān)節(jié)角度數(shù)據(jù)對比，以此判斷OpenPose算法應(yīng)用在武術(shù)動作中人體動作的識別與比對的可靠性。在實驗過程中，即使背景復(fù)雜、拍照角度特殊、練習(xí)者著裝色彩與背景相似等情況下，系統(tǒng)均可根據(jù)人體動作關(guān)鍵幀還原出骨架，說明該算法的可用性。而得出的關(guān)節(jié)角度數(shù)據(jù)也符合客觀規(guī)律，與人眼判斷練習(xí)者動作外形的規(guī)范程度吻合，說明本實驗的方法應(yīng)用于武術(shù)動作外形識別是可行的。

但是，在個別情況下OpenPose對人體骨架的還原存在問題。例如，當(dāng)訓(xùn)練者的手垂直舉過頭頂時，該算法會存在手臂部分骨架還原失敗的情況。這是由于OpenPose在姿態(tài)估計時，依靠兩個已知的骨骼點生成一個PAF連接，如果兩個骨骼點有一個不存在或識別失敗，則不生成PAF標(biāo)簽[5]。因此推測，當(dāng)訓(xùn)練者的手舉過頭頂時，只識別出了腕關(guān)節(jié)點，而肘關(guān)節(jié)識別失敗，故不生成PAF連接，但此連接實際存在，是應(yīng)該生成的。

本實驗也存在以下不足：本實驗所使用的樣本過于單一，僅對指定的幾個人體動作進行了識別比對，未來應(yīng)擴大樣本范圍，覆蓋更多的武術(shù)品種與招式、動作，以探究該方法應(yīng)用在傳統(tǒng)武術(shù)動作識別與比對領(lǐng)域的普適性。另外本實驗使用的OpenPose算法中也存在一些問題，如COCO數(shù)據(jù)集中存在一些不適當(dāng)標(biāo)簽，即對于超出圖片范圍的肘部缺少標(biāo)注等，當(dāng)使用包含此類缺少標(biāo)簽的數(shù)據(jù)進行模型訓(xùn)練時，會對模型的性能造成一定的負面影響[6]。之后的研究可以通過使用OpenPose的相關(guān)改進算法進行動作識別，嘗試提高人體骨架還原與動作識別的精度[7-8]。

5 結(jié)語

本文以傳統(tǒng)武術(shù)動作識別與比對為目標(biāo)，使用OpenPose算法處理訓(xùn)練者及標(biāo)準動作關(guān)鍵幀，還原人體骨架，得出人體關(guān)節(jié)角度值，進行兩者的比對，驗證了OpenPose及比對算法在武術(shù)動作教學(xué)中的可行性，對于推動武術(shù)教學(xué)、傳承、推廣等具有較好的現(xiàn)實意義和實用價值。該技術(shù)成熟后，也可應(yīng)用于如飛行器駕駛、車輛操控等對于動作規(guī)范度要求較高的領(lǐng)域，發(fā)揮更大的應(yīng)用價值。但在實際操作中，訓(xùn)練者做出部分動作時，該算法會識別出不完整的人體骨架；另外，如何處理兩者關(guān)節(jié)角度數(shù)據(jù)、如何制定評判標(biāo)準也是值得研究的。針對這一問題，將繼續(xù)開展對姿態(tài)估計的算法與應(yīng)用的研究。