王廣軍，陳曉慧，湯慶豐，馬金宇，楊　瑾

(1.安慶師范大學 計算機與信息學院，安徽 安慶 246133；2.安慶職業(yè)技術(shù)學院 電子信息系，安徽 安慶 246011；3. 安慶師范大學 黃梅戲藝術(shù)學院，安徽 安慶 246133)

?

基于慣性動捕系統(tǒng)的黃梅戲動作數(shù)字化保護

王廣軍1，陳曉慧2，湯慶豐1，馬金宇1，楊瑾3

(1.安慶師范大學 計算機與信息學院，安徽 安慶 246133；2.安慶職業(yè)技術(shù)學院 電子信息系，安徽 安慶 246011；3. 安慶師范大學 黃梅戲藝術(shù)學院，安徽 安慶 246133)

摘要：黃梅戲是我國重要的非物質(zhì)文化遺產(chǎn)之一，其中角色的舞臺動作是戲曲的重要組成部分，本文對黃梅戲角色三維動作數(shù)字化開展研究。首先利用慣性動作捕捉技術(shù)對黃梅戲角色動作進行三維數(shù)字化采集；然后進行動捕數(shù)據(jù)的分析處理，初步構(gòu)建黃梅戲標準動作庫，結(jié)合Kinect獲取黃梅戲演員三維形體數(shù)據(jù)，建立黃梅戲角色模型；最后采用運動重定向技術(shù)實現(xiàn)動作捕捉數(shù)據(jù)驅(qū)動黃梅戲角色動畫。

關(guān)鍵詞：黃梅戲；慣性動作捕捉；運動重定向；黃梅戲動畫

DOI：10.13757/j.cnki.cn34-1150/n.2016.02.018

黃梅戲是我國重要的戲曲非物質(zhì)文化遺產(chǎn)[1]。目前，黃梅戲主要采用錄音、錄像等方式進行記錄，雖然信息采集方便，后期制作和傳播相對容易，但是這些方式無法準確詳細記錄演員的動作姿態(tài)，即便是視頻可以記錄基本的動作姿態(tài)信息，但二維轉(zhuǎn)化為三維會造成信息的嚴重缺失，更難以進行科學分析。近年來，動作捕捉系統(tǒng)逐漸應用于戲曲、舞蹈等非物質(zhì)文化保護中，為非物質(zhì)文化遺產(chǎn)保護提供了新的技術(shù)支撐[2-4]。但是由于動作捕捉系統(tǒng)不盡相同，技術(shù)流程不統(tǒng)一規(guī)范，再加上戲曲舞蹈的本身特點，因此三維數(shù)字化保護方式面臨各種挑戰(zhàn)。針對黃梅戲動作的三維數(shù)字化保護，目前處于初步探索階段。本文主要采用慣性動作捕捉技術(shù)對黃梅戲動作進行數(shù)字化采集與分析，獲得標準的黃梅戲動作捕捉數(shù)據(jù)，初步構(gòu)建黃梅戲角色標準動作庫，然后結(jié)合Kinect采集黃梅戲演員真實三維形體數(shù)據(jù)，建立黃梅戲角色三維模型，以標準動作數(shù)據(jù)驅(qū)動黃梅戲三維動畫，實現(xiàn)黃梅戲三維動畫重定向，具體研究流程如圖1所示。

圖1　研究技術(shù)路線圖

1黃梅戲動作三維數(shù)據(jù)的獲取

1.1動作捕捉技術(shù)

動作捕捉技術(shù)主要是通過多種技術(shù)手段記錄人體主要關(guān)節(jié)部位的運動信息，從而達到人體運動信息的記錄和分析。動作捕捉數(shù)據(jù)可以是記錄關(guān)節(jié)部位的空間位置、速度角度等數(shù)據(jù)，也可以是手指動作、面部表情等數(shù)據(jù)[5]。目前動作捕捉系統(tǒng)主要分為光學式動作捕捉系統(tǒng)[6]、慣性動作捕捉系統(tǒng)[7]、機械式動作捕捉系統(tǒng)等[8]，其中光學式和慣性動作捕捉系統(tǒng)是較為主流的動作捕捉系統(tǒng)。

黃梅戲動作三維數(shù)字化采集主要是通過動作捕捉技術(shù)獲取黃梅戲演員身體主要關(guān)節(jié)部位的運動信息，然后進行分析處理，得到較為準確的動作捕捉序列數(shù)據(jù)，形成黃梅戲標準動作數(shù)據(jù)庫。由于黃梅戲表演的角色服裝通常寬衣飄袖，光學式動作捕捉系統(tǒng)難以捕捉，同時光學式動作捕捉進行時容易產(chǎn)生身體關(guān)節(jié)的遮擋等問題，從而造成動作捕捉數(shù)據(jù)的不準確，而慣性動作捕捉系統(tǒng)(簡稱慣性動捕系統(tǒng))通常是把傳感器綁定在演員的身體主要關(guān)節(jié)上，不存在遮擋問題且數(shù)據(jù)較為準確，因此本實驗主要采用慣性動捕系統(tǒng)進行黃梅戲動作三維數(shù)字化采集。

慣性動捕系統(tǒng)通過多個慣性測量單元測量表演者關(guān)鍵關(guān)節(jié)的運動加速度、方位、角度等數(shù)據(jù)，進而合成人體運動數(shù)據(jù)。本文采用諾亦騰公司生產(chǎn)的騰挪全身動作捕捉系統(tǒng)進行黃梅戲的動作捕捉[9]。該慣性動捕系統(tǒng)采用無線設(shè)計，單個傳感器通過彈性綁帶綁在人體關(guān)節(jié)相應位置，無線高速把數(shù)據(jù)傳給接收器，再把多個傳感器獲取的數(shù)據(jù)匯總傳給計算機進行處理，單個傳感器的數(shù)據(jù)包括傳感器編號、三軸加速度信息、三軸角速度信息等。全身通過17個無線慣性傳感器獲取人體的運動信息，這樣能夠準確捕捉身體動作，如圖2所示。

圖2慣性動捕系統(tǒng)

1.2黃梅戲動捕數(shù)據(jù)的后期處理

通過慣性動作捕捉系統(tǒng)采集到的黃梅戲動捕數(shù)據(jù)，通常會包含干擾信息和失幀等，特別是采用無線方式接收數(shù)據(jù)，雖然極大地方便了數(shù)據(jù)的采集，但電磁會對其產(chǎn)生一定程度的干擾，因此要對動捕數(shù)據(jù)進行后期處理[10]。后期處理一般包含去噪平滑和丟幀修補兩部分。雖然動捕系統(tǒng)包含數(shù)據(jù)去噪和平滑運動數(shù)據(jù)的功能，但為了數(shù)據(jù)的準確性，還要對數(shù)據(jù)進行二次平滑去噪，以滿足具體行為特征的準確性需求。動捕數(shù)據(jù)的失幀存在局部傳感器失幀和整體失幀的情況。因此采用三次樣條插值方法對動捕數(shù)據(jù)進行補齊，以達到動作的準確性和流暢性。

2黃梅戲動捕數(shù)據(jù)的動畫重現(xiàn)

通過動作捕捉系統(tǒng)獲得的黃梅戲角色動作捕捉數(shù)據(jù)可以應用于黃梅戲標準動作庫的構(gòu)建、交互游戲的設(shè)計和動畫的編排與重現(xiàn)。實驗首先采用黃梅戲動作捕捉數(shù)據(jù)驅(qū)動與真實演員等比例角色模型進行動捕數(shù)據(jù)的驗證，并采用運動重定向方法實現(xiàn)非等比動畫角色的黃梅戲動捕數(shù)據(jù)驅(qū)動動畫。

2.1黃梅戲角色建模

2.1.1角色模型的建立

戲曲角色具有鮮明的特色，特別是服裝、裝飾等，因此，建立黃梅戲角色模型必須符合真實黃梅戲演員的基本特征。在建立人物三維模型時，通常根據(jù)真實演員圖像等為參考，采用建模軟件如3dsmax、Maya等建立，但容易因為制作人員的主觀因素造成角色模型的失真，從而影響動畫的效果，因而為了達到逼真的效果，需要經(jīng)過大量的調(diào)試。同時，為了更好地驗證動捕數(shù)據(jù)的準確性，建立與真實演員等大小的模型至關(guān)重要，故本文借助Kinect深度攝像，掃描真實黃梅戲演員的三維模型數(shù)據(jù)[11]，然后在三維模型數(shù)據(jù)的基礎(chǔ)上通過Maya建模軟件建立較為美觀的三維角色模型，如圖3所示。

圖3黃梅戲演員三維等比虛擬角色模型

2.1.2角色模型骨骼綁定

黃梅戲角色模型建好之后，還需要建立骨骼模型并與角色模型進行嚴密的綁定，才能實現(xiàn)數(shù)據(jù)驅(qū)動骨骼運動時帶動角色模型運動。首先建立骨骼模型，在Maya中具有較為成熟的骨骼系統(tǒng)，直接使用骨骼系統(tǒng)建立黃梅戲角色骨骼，通過調(diào)整使骨骼系統(tǒng)很好地與角色模型相適應；然后把骨骼模型關(guān)節(jié)位置與角色模型進行蒙皮綁定，反復調(diào)試，設(shè)置角色模型網(wǎng)格點與骨骼關(guān)節(jié)的權(quán)重關(guān)系，從而形成逼真的跟隨動畫，如圖4所示。

圖4　黃梅戲角色模型骨骼綁定

2.2動捕數(shù)據(jù)驅(qū)動黃梅戲角色虛擬動畫

黃梅戲角色模型和骨骼綁定完成后就可以利用處理好的黃梅戲動捕數(shù)據(jù)實現(xiàn)數(shù)據(jù)驅(qū)動動畫。采用與真實演員骨骼等比例的三維模型進行驅(qū)動動畫驗證數(shù)據(jù)的準確性，而當把動作捕捉數(shù)據(jù)運用于骨骼拓撲結(jié)構(gòu)和骨骼長度不同的角色模型時，就會造成數(shù)據(jù)驅(qū)動動畫的錯誤，因此需要采用運動重定向技術(shù)實現(xiàn)黃梅戲動畫[12]。

人體是由一系列骨骼、關(guān)節(jié)構(gòu)成，并呈現(xiàn)層次結(jié)構(gòu)。人體的運動是每一個骨骼做的有約束的旋轉(zhuǎn)運動，并帶動與之關(guān)聯(lián)的下一層骨骼運動，整體的移動主要是依據(jù)根節(jié)點的移動而進行的。因此，人體運動數(shù)據(jù)可以根據(jù)根節(jié)點的位移向量和其他關(guān)節(jié)的旋轉(zhuǎn)角度由時間的序列來表示。令人體運動函數(shù)為

M(t)={p(t),r1(t),r2(t),r3(t),…,rn(t)}

其中，t表示離散時間變量，n表示動捕數(shù)據(jù)的關(guān)節(jié)數(shù)量，p(t)表示根節(jié)點的平移向量，ri(t)表示第i個關(guān)節(jié)的旋轉(zhuǎn)角度信息。常用的動捕數(shù)據(jù).BVH格式的文件就是采用骨骼層級結(jié)構(gòu)及與之相對應的關(guān)節(jié)數(shù)據(jù)信息構(gòu)成，如圖5所示。

通過層級角度計算各關(guān)節(jié)的位置可以有效解決非等比角色模型的動捕數(shù)據(jù)動畫重現(xiàn)。動捕數(shù)據(jù)驅(qū)動動畫基本算法如下

圖5　等比例角色模型的黃梅戲動畫

step1 輸入：通過程序讀取BVH文件，讀入M(t)={p(t),r1(t),r2(t),r3(t),…,rn(t)}人體運動數(shù)據(jù)；

step2 初始化：建立相應的骨骼關(guān)節(jié)并與動捕數(shù)據(jù)關(guān)節(jié)對應，骨骼層級關(guān)系準確；

step3 對于t時刻角色動畫，人體根節(jié)點數(shù)據(jù)要與動捕數(shù)據(jù)的根節(jié)點p(t)位移信息對應，各關(guān)節(jié)t時刻位置信息由與上一級骨骼相對角度ri(t)數(shù)據(jù)計算得出；

step4 執(zhí)行：根據(jù)時間t逐幀通過數(shù)據(jù)驅(qū)動虛擬模型動畫；

step5 結(jié)束。

3實驗展示與分析

安慶師范大學黃梅戲藝術(shù)學院開設(shè)了黃梅戲?qū)I(yè)，在黃梅戲的教育宣傳和研究保護方面取得了較好的成績。本實驗中黃梅戲?qū)嶒灁?shù)據(jù)是以黃梅戲?qū)I(yè)學生為原型進行采集的，經(jīng)過黃梅戲動捕數(shù)據(jù)的獲取、處理和角色模型的建立實現(xiàn)數(shù)據(jù)驅(qū)動動畫，實驗部分結(jié)果如圖6和圖7所示。

圖6 等比例角色模型的黃梅戲動畫圖7 非等比角色模型的黃梅戲動畫

圖6中分別展示了黃梅戲真實表演和等比例黃梅戲角色模型的動捕再現(xiàn)動畫效果，圖7展示了兩種非等比例角色模型的動畫效果。實驗表明，慣性動作捕捉系統(tǒng)可以真實地采集黃梅戲演員的表演動作，動捕數(shù)據(jù)可以很好地用于制作黃梅戲動畫，并可采用運動重定向技術(shù)實現(xiàn)多種角色模型的黃梅戲表演。

4結(jié)論

本文展開了對黃梅戲動作的三維數(shù)字化研究，采用慣性動作捕捉技術(shù)，獲取黃梅戲動作，對動捕數(shù)據(jù)進行分析和驗證，以黃梅戲動畫為例介紹了黃梅戲動捕數(shù)據(jù)的應用，對非物質(zhì)文化遺產(chǎn)的保護具有重要參考價值，對黃梅戲的研究和推廣提供了新的途徑。同時，實驗中動捕數(shù)據(jù)的驗證主要是以主觀評價進行的，還需形成更加科學的評價驗證，在動捕數(shù)據(jù)范圍如面部表情、手指動作等方面還有待進一步的研究。

參考文獻:

[1] 張彩云. 黃梅戲的起源與發(fā)展——從黃梅戲發(fā)展的歷史說起[J]. 戲劇文學, 2013(12): 114-117.

[2] 宋瑾. 論黃梅戲在新時期發(fā)展中面臨的問題與對策[J]. 戲劇文學, 2015(4): 102-105.

[3] 吳曉雨, 張宜春, 沈縈華, 等. 基于動作捕捉技術(shù)的民族舞蹈三維數(shù)字化方法研究[J]. 計算機與現(xiàn)代化, 2013(1): 112-114.

[4] 許樂, 朱柏宇. 計算機技術(shù)與電影真實感的建立——以動作捕捉技術(shù)和奧斯卡視覺特效獎為例[J]. 北京電影學院學報, 2014(1): 64-72.

[5] 向澤銳, 支錦亦, 徐伯初, 等. 運動捕捉技術(shù)及其應用研究綜述[J]. 計算機應用研究, 2013, 30(8): 2241-2245.

[6] 梁豐, 張志利, 李向陽, 等. 基于光學運動捕捉數(shù)據(jù)的虛擬人下肢運動控制方法[J]. 系統(tǒng)仿真學報, 2015, 27(2): 327-335.

[7] 劉博. 基于MEMS傳感器的動作捕捉系統(tǒng)開發(fā)設(shè)計[D]. 北京: 北京理工大學, 2011.

[8] 王廣軍. 基于運動捕捉數(shù)據(jù)的交互式智能控制與虛擬仿真[D]. 安慶: 安慶師范學院, 2013.

[9] 張燕. 眼見并非真諾亦騰解密動作捕捉技術(shù)[J]. 中國經(jīng)濟周刊, 2014(45): 38-40.

[10] 何昆林. 基于Kinect的三維人體快速建模與蒙皮動畫研究[D]. 廣州: 華南理工大學, 2014.

[11]TongJing,ZhouJin,LiuLigang,etal.Scanning3DFullHumanBodiesUsingKinects[J].IEEETransactionsonVisualization&ComputerGraphics, 2012, 18(4): 643-650.

[12] 李琳, 鄭利平, 王玉培, 等. 基于關(guān)鍵姿態(tài)映射的運動重定向[J]. 系統(tǒng)仿真學報, 2012, 24(1): 48-52.

DigitalProtectionofHuangmeiOperaActionBasedontheInertiaMotionCaptureSystem

WANGGuang-jun1,CHENXiao-hui2,TANGQing-feng1,MAJin-yu1,YANGjin3

(1.DepartmentofComputerandInformation,AnqingNormalUniversity,Anqing,Anhui246133,China;2.DepartmentofElectronicInformation,AnqingVocational&TechnicalCollege,Anqing,Anhui246011,China;3.DepartmentofArtofHuangmeiOpera,AnqingNormalUniversity,Anqing,Anhui246133,China)

Abstract:Thehuangmeioperaisoneoftheimportantintangibleculturalheritagesinourcountry,wherethestagemovementofroleisanimportantpartoftheopera.Inthispaper,weresearchonhowtoprotectthecharactersofhuangmeioperawiththree-dimensionaldigitaltechnology.Theinertialmotioncapturetechnologyisadoptedtoimprovethe3Ddigitalacquisitionofroleactioninthehuangmeiopera.Then,weanalyzethemotion-capturedata,andbuildthepreliminaryhuangmeioperalibraryasastandardaction.Afterobtainingtherealactor3DdatabyKinect,themodelofhuangmeioperaactorisbuilt.Lastly,thehuangmeioperaanimationisrealizedwiththedesignedmodeldrivenbythemotion-capturedata.

Keywords:huangmeiopera;inertialmotioncapture;motionretargeting;huangmeioperaanimation

* 收稿日期：2015-12-18

基金項目：安慶師范學院校青年基金(KJ201401)。

作者簡介：王廣軍，男，安徽宣城人，碩士，安慶師范大學計算機與信息學院教師，研究方向為圖形圖像處理與人機交互。 E-mail:910800546@qq.com

中圖分類號：TP3

文獻標識碼：A

文章編號：1007-4260(2016)02-0077-04

網(wǎng)絡(luò)出版時間：2016-06-08 12:57網(wǎng)絡(luò)出版地址：http://www.cnki.net/kcms/detail/34.1150.N.20160608.1257.018.html