楊光耀
(北京維周智能科技有限公司,北京 102600)
深度學(xué)習(xí)算法是當(dāng)前計(jì)算機(jī)領(lǐng)域中實(shí)現(xiàn)視覺感知、目標(biāo)識(shí)別等目標(biāo)的常用方法,借助CPU 和GPU 強(qiáng)大的運(yùn)算能力,通過模擬人體視覺、聽覺等復(fù)雜功能的物理作用機(jī)制來完成過去很多因受運(yùn)算水平和認(rèn)知深度限制而難以實(shí)現(xiàn)的任務(wù)。當(dāng)一個(gè)運(yùn)動(dòng)的物體作用于人眼時(shí),眼睛通過分析人體的關(guān)鍵特征點(diǎn)隨時(shí)間的變化趨勢(shì),在動(dòng)態(tài)標(biāo)記特征點(diǎn)的基礎(chǔ)上對(duì)運(yùn)動(dòng)狀態(tài)進(jìn)行識(shí)別,從而做出相應(yīng)的判斷?;谔卣髯兓?guī)律的姿態(tài)識(shí)別是眼睛的主要功能,同時(shí)也是一個(gè)信息采集與深度加工的過程。在對(duì)眼睛物理機(jī)理和目標(biāo)識(shí)別過程進(jìn)行研究的過程中,有學(xué)者結(jié)合神經(jīng)網(wǎng)絡(luò)運(yùn)算方法提出了OpenPose 姿態(tài)識(shí)別算法。該文重點(diǎn)研究該姿態(tài)識(shí)別算法的實(shí)現(xiàn)過程。
OpenPose 是一個(gè)基于卷積神經(jīng)網(wǎng)絡(luò)和監(jiān)督學(xué)習(xí)的開源項(xiàng)目,主要用于人體姿態(tài)識(shí)別。該項(xiàng)目最早由美國(guó)卡耐基梅隆大學(xué)提出,既可以用于單人姿態(tài)識(shí)別,也可以用于多人姿態(tài)識(shí)別。該算法在線辨識(shí)人體在運(yùn)動(dòng)過程中產(chǎn)生的肢體、表情等部位的變化狀態(tài),再通過卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取與識(shí)別,經(jīng)過在線訓(xùn)練之后可以用于類似場(chǎng)景。OpenPose 可以對(duì)運(yùn)動(dòng)中的人體進(jìn)行關(guān)鍵點(diǎn)自動(dòng)辨識(shí),在相同運(yùn)動(dòng)時(shí)間內(nèi)采集多個(gè)關(guān)鍵點(diǎn)進(jìn)行特征標(biāo)記,之后對(duì)這些關(guān)鍵點(diǎn)進(jìn)行持續(xù)跟蹤。在跟蹤過程中,對(duì)攝像機(jī)拍攝到的扭曲畫面進(jìn)行參數(shù)評(píng)估和實(shí)時(shí)補(bǔ)償,最大限度地提升對(duì)人體姿態(tài)識(shí)別的精度。
一般來說,在姿態(tài)識(shí)別過程中,以下關(guān)鍵因素會(huì)影響識(shí)別的速度和精度:1) 在攝像機(jī)鏡頭內(nèi),由于目標(biāo)處于時(shí)刻運(yùn)動(dòng)的狀態(tài),因此采集到的物體位置分布不一,且運(yùn)動(dòng)中的人體在攝像機(jī)鏡頭內(nèi)成像時(shí)所占用的像素?cái)?shù)目會(huì)變化,這些因素會(huì)對(duì)目標(biāo)特征的捕捉與識(shí)別造成影響。2) 如果攝像機(jī)成像過程中出現(xiàn)某些因素(光線變化、突然出現(xiàn)遮擋物以及進(jìn)入攝像機(jī)鏡頭內(nèi)人數(shù)的變化等),那么這些偶發(fā)因素都會(huì)影響計(jì)算方法對(duì)目標(biāo)識(shí)別的效率和采集目標(biāo)特征的精度。3) 利用攝像機(jī)成像技術(shù)對(duì)進(jìn)入視場(chǎng)內(nèi)的運(yùn)動(dòng)目標(biāo)進(jìn)行姿態(tài)識(shí)別是串行運(yùn)算的過程,也就是必須對(duì)一個(gè)運(yùn)動(dòng)物體進(jìn)行識(shí)別之后才能對(duì)下一個(gè)物體進(jìn)行識(shí)別,這對(duì)于小樣本數(shù)據(jù)是有效的,但是當(dāng)待識(shí)別的運(yùn)動(dòng)物體數(shù)量增加時(shí),就會(huì)增加運(yùn)算難度,同時(shí)實(shí)時(shí)性也會(huì)降低,這就會(huì)給實(shí)際應(yīng)用帶來困難。為了解決以上目標(biāo)識(shí)別過程中的難題,OpenPose 采用基于深度神經(jīng)網(wǎng)絡(luò)的方法對(duì)關(guān)鍵特征點(diǎn)進(jìn)行預(yù)測(cè)式估計(jì),從而獲得準(zhǔn)確的識(shí)別結(jié)果。OpenPose的計(jì)算流程如圖1 所示。
由圖1 可知,當(dāng)利用OpenPose 進(jìn)行目標(biāo)識(shí)別計(jì)算時(shí),首先,需要對(duì)輸入系統(tǒng)中的圖像或視頻進(jìn)行預(yù)處理,采用歸一化的方法對(duì)組成圖像或視頻的數(shù)據(jù)進(jìn)行處理,從而便于后續(xù)運(yùn)算。其次 ,采用從上到下的順序?qū)θ梭w的特征點(diǎn)進(jìn)行檢測(cè),將檢測(cè)后采集的特征點(diǎn)數(shù)據(jù)進(jìn)行矩陣化存儲(chǔ),按照行和列不同的含義進(jìn)行編碼。再次,基于特征點(diǎn)數(shù)據(jù),利用神經(jīng)網(wǎng)絡(luò)強(qiáng)大的數(shù)據(jù)擬合能力對(duì)采集的特征點(diǎn)數(shù)據(jù)進(jìn)行建模,對(duì)其中有規(guī)則的變化進(jìn)行數(shù)學(xué)表征,同時(shí)對(duì)特征點(diǎn)后續(xù)發(fā)展趨勢(shì)(也就是人體關(guān)鍵部位的運(yùn)動(dòng)狀態(tài))進(jìn)行預(yù)測(cè),以提升特征點(diǎn)在線識(shí)別的效率,縮短識(shí)別時(shí)間,便于在多種類型的設(shè)備上進(jìn)行部署。最后,對(duì)建立的特征點(diǎn)數(shù)據(jù)模型和預(yù)測(cè)值進(jìn)行修正,采用殘差補(bǔ)全的方法對(duì)不準(zhǔn)確的結(jié)果進(jìn)行校正,最終確保輸出的姿態(tài)識(shí)別結(jié)果符合實(shí)際情況和邏輯預(yù)期。
圖1 OpenPose 計(jì)算流程
在大多數(shù)應(yīng)用場(chǎng)景中,選擇采用雙層卷積神經(jīng)網(wǎng)絡(luò)就能完成姿態(tài)識(shí)別任務(wù)。首先,在雙層卷積神經(jīng)網(wǎng)絡(luò)中,對(duì)攝像機(jī)中采集到的像素點(diǎn)進(jìn)行骨架化拆分,也就是根據(jù)進(jìn)入攝像機(jī)內(nèi)人體的大小和姿態(tài)、四肢的走向以及頭顱的位置,采用簡(jiǎn)單的線段集合進(jìn)行模擬,并假設(shè)這些線段的集合可以用L(p)來表示。其次,對(duì)其中的關(guān)鍵點(diǎn)進(jìn)行標(biāo)記,假設(shè)這些關(guān)鍵點(diǎn)的集合可以用S(p)來表示。最后,分別對(duì)L(p)、S(p)進(jìn)行回歸運(yùn)算,將回歸后的結(jié)果輸入神經(jīng)網(wǎng)絡(luò)中進(jìn)行卷積運(yùn)算,通過特征融合的方法采集特征點(diǎn)信息。對(duì)采集到的信息來說,需要利用其他值(另一層神經(jīng)網(wǎng)絡(luò)在對(duì)特征點(diǎn)變化趨勢(shì)進(jìn)行預(yù)測(cè)后得到的值)對(duì)其進(jìn)行修正,這樣就可以對(duì)特征點(diǎn)信息進(jìn)行再次校正,有利于獲得更高的輸出精度。
為了利用攝像頭和計(jì)算機(jī)達(dá)到人體姿態(tài)識(shí)別的目的,需要結(jié)合OpenPose 算法設(shè)計(jì)一整套算法實(shí)現(xiàn)流程。二維平面的人體姿態(tài)識(shí)別的步驟如圖2 所示。
圖2 人體姿態(tài)識(shí)別過程步驟
由圖2 可知,當(dāng)利用OpenPose 進(jìn)行二維平面內(nèi)的人體姿態(tài)識(shí)別時(shí),首先,需要根據(jù)采集的姿態(tài)特征點(diǎn)建立數(shù)據(jù)集,按照一定的比例將數(shù)據(jù)集劃分為訓(xùn)練集以及驗(yàn)證集,一般訓(xùn)練集的數(shù)據(jù)量比驗(yàn)證集多,這樣才能最大限度地提升人體姿態(tài)數(shù)學(xué)模型的擬合精讀,從而訓(xùn)練出泛化能力較強(qiáng)的神經(jīng)網(wǎng)絡(luò)。其次,利用OpenPose 算法遍歷整個(gè)數(shù)據(jù)集,利用訓(xùn)練集擬合數(shù)據(jù)模型,利用驗(yàn)證集測(cè)試訓(xùn)練好的數(shù)據(jù)模型,測(cè)試結(jié)果符合誤差指標(biāo)表示模型準(zhǔn)確,可以進(jìn)行后續(xù)運(yùn)算,否則重新對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行調(diào)參并進(jìn)行再次訓(xùn)練,直至獲得準(zhǔn)確的數(shù)據(jù)模型為止。再次,利用OpenPose算法對(duì)新輸入的人體姿態(tài)圖像或者視頻進(jìn)行動(dòng)作特征的提取,經(jīng)過前期的訓(xùn)練和驗(yàn)證后,數(shù)據(jù)模型具有一定的泛化能力,能夠識(shí)別輸入系統(tǒng)的姿態(tài)特征點(diǎn)數(shù)據(jù),從而進(jìn)行特征計(jì)算,給出符合預(yù)期的結(jié)果。從次,對(duì)識(shí)別的特征點(diǎn)進(jìn)行標(biāo)簽化處理,對(duì)重要特征點(diǎn)建立數(shù)據(jù)標(biāo)簽,替換特征較弱的數(shù)據(jù)點(diǎn),從而完成對(duì)訓(xùn)練集的更新,在該基礎(chǔ)上,再次對(duì)建立的數(shù)據(jù)模型進(jìn)行訓(xùn)練,進(jìn)一步完善模型的識(shí)別準(zhǔn)確度,同時(shí)對(duì)OpenPose 算法進(jìn)行改進(jìn),通過關(guān)鍵參數(shù)的優(yōu)化提升泛化能力。最后,對(duì)人體姿態(tài)圖像或者視頻進(jìn)行再次識(shí)別,將2 次識(shí)別的結(jié)果進(jìn)行比較,利用第二次識(shí)別的結(jié)果校正第一次識(shí)別的結(jié)果,對(duì)2 次識(shí)別結(jié)果中重合的部分進(jìn)行提取,將其作為最優(yōu)識(shí)別結(jié)果輸出,便于在線使用。
為了實(shí)現(xiàn)人體姿態(tài)識(shí)別過程,需要分別搭建系統(tǒng)開發(fā)環(huán)境對(duì)采集到的數(shù)據(jù)和特征進(jìn)行處理,然后再基于OpenPose 進(jìn)行算法改進(jìn)與設(shè)計(jì),最終獲得理想的識(shí)別結(jié)果。
用于人體姿態(tài)識(shí)別目的的檢測(cè)系統(tǒng)是以O(shè)penPose 為核心算法進(jìn)行設(shè)計(jì)和開發(fā)的,因此需要先搭建OpenPose基本運(yùn)行環(huán)境。目前,機(jī)器視覺領(lǐng)域中的算法開發(fā)主要依靠Python 語言來實(shí)現(xiàn)。同時(shí),OpenPose 是基于C++開發(fā)的算法,因此該文選擇Python 語言作為代碼編寫、調(diào)試和運(yùn)行工具,選擇CUDA 作為調(diào)用顯卡訓(xùn)練測(cè)試的必須軟件,選擇swig(一種深度學(xué)習(xí)軟件開發(fā)工具)的目的在于給OpenPose 提供編譯環(huán)境。根據(jù)OpenPose 官方提供的cmu 模型、mobilenet_thin 模型、mobilenet_v2_large 模型和mobilenet_v2_small 模型的評(píng)價(jià),該文選擇cmu 模型作為姿態(tài)識(shí)別的調(diào)用模型,主要原因是cmu 具有更高的識(shí)別精度。OpenPose 中集成了很多完整的、易于實(shí)現(xiàn)特定功能的函數(shù),在使用過程中可以直接進(jìn)行調(diào)用。
在利用神經(jīng)網(wǎng)絡(luò)進(jìn)行大規(guī)模訓(xùn)練之前,需要選定并設(shè)定相應(yīng)的標(biāo)簽,便于神經(jīng)網(wǎng)絡(luò)識(shí)別。該文結(jié)合常見的人類肢體動(dòng)作,選擇站立、行走、奔跑、跳躍、轉(zhuǎn)體、坐下、下蹲以及揮手等動(dòng)作作為標(biāo)簽。結(jié)合這些標(biāo)簽,選擇進(jìn)入攝像機(jī)鏡頭的人體骨架部位的鼻子、脖子、左右肩膀、左右手腕以及左右膝蓋等部位作為關(guān)鍵識(shí)別點(diǎn),通過采集這些點(diǎn)位的變化信息來進(jìn)行特征識(shí)別。
當(dāng)OpenPose 進(jìn)行姿態(tài)識(shí)別時(shí),是基于攝像機(jī)采集到的視頻(圖片)信息進(jìn)行特征提取的。OpenPose 根據(jù)關(guān)鍵識(shí)別點(diǎn)的分布對(duì)進(jìn)入攝像機(jī)內(nèi)的人體進(jìn)行骨架化抽象。
在對(duì)關(guān)鍵識(shí)別點(diǎn)進(jìn)行骨架化抽象之后,OpenPose 對(duì)關(guān)鍵識(shí)別點(diǎn)的特征進(jìn)行實(shí)時(shí)提取,提取的數(shù)據(jù)既包括關(guān)鍵識(shí)別點(diǎn)的位置分布,也包括臨近識(shí)別點(diǎn)之間連線的變化情況。
OpenPose 提供了18 個(gè)身體部位的準(zhǔn)確位置,包括鼻子、脖子、眼睛、耳朵、肩膀、肘部、手腕、臀部、膝蓋以及腳踝等。對(duì)這18 個(gè)身體部位進(jìn)行辨識(shí)就可以得到18條曲線,分別對(duì)應(yīng)這些關(guān)節(jié)的運(yùn)動(dòng)軌跡。為了減少數(shù)據(jù)集的冗余度,根據(jù)身體的結(jié)構(gòu)和運(yùn)動(dòng)特點(diǎn)將人體關(guān)節(jié)分為不同的組別,具體如下:1) 面部關(guān)節(jié)。面部關(guān)節(jié)包括頭部?jī)?nèi)部的點(diǎn)。面部關(guān)節(jié)分布密集,在小范圍內(nèi)運(yùn)動(dòng),很少表現(xiàn)出強(qiáng)烈的獨(dú)立運(yùn)動(dòng)。因此,將這些關(guān)節(jié)從表示方案中刪除。2) 軀干關(guān)節(jié)。軀干關(guān)節(jié)包括肩部和臀部。它們反映了身體的運(yùn)動(dòng)狀態(tài)。此外,它們是連接身體和四肢的關(guān)節(jié)。因此,將它們加入表現(xiàn)方案中。3) 一級(jí)關(guān)節(jié)。一級(jí)關(guān)節(jié)包括肘關(guān)節(jié)和膝關(guān)節(jié)。肘關(guān)節(jié)和膝關(guān)節(jié)包括大量關(guān)于手勢(shì)和運(yùn)動(dòng)的信息。尤其是當(dāng)身體旋轉(zhuǎn)和彎曲時(shí),它們?cè)谝曈X上發(fā)揮了比軀干關(guān)節(jié)更重要的作用。因此,將它們加入表示方案中。4) 二級(jí)關(guān)節(jié)。二級(jí)關(guān)節(jié)包括腕關(guān)節(jié)和踝關(guān)節(jié)。腕關(guān)節(jié)和踝關(guān)節(jié)比肘關(guān)節(jié)和膝關(guān)節(jié)更容易被拉伸,對(duì)人體姿態(tài)識(shí)別具有決定作用。因此,將它們加入表現(xiàn)方案中。
根據(jù)表現(xiàn)方案對(duì)進(jìn)入攝像機(jī)中的人體重要部位進(jìn)行識(shí)別。在識(shí)別過程中,由于身體的不同關(guān)節(jié)在人類視覺印象中的重要性是不相等的,因此,為了給這些關(guān)節(jié)分配適當(dāng)?shù)臋?quán)重,使分?jǐn)?shù)與人類的判斷相吻合,該文制定了以下權(quán)重系數(shù)賦值規(guī)則:1) 二級(jí)關(guān)節(jié)與身體軀干的距離較長(zhǎng),但是一級(jí)關(guān)節(jié)與身體軀干相連,并受二級(jí)關(guān)節(jié)和身體軀干的影響。因此,在手勢(shì)匹配中,一級(jí)關(guān)節(jié)的重要性比二級(jí)關(guān)節(jié)低,身體軀干關(guān)節(jié)的權(quán)重最小。2) 因?yàn)橐患?jí)關(guān)節(jié)與二級(jí)關(guān)節(jié)之間的距離比一級(jí)關(guān)節(jié)與身體軀干之間的距離長(zhǎng),所以下肢更加靈活,也更難模仿。因此,以一級(jí)關(guān)節(jié)和二級(jí)關(guān)節(jié)為端點(diǎn)的運(yùn)動(dòng)軌跡在匹配時(shí)更重要,給其賦予最高級(jí)別的權(quán)重系數(shù)。
在給不同部位的運(yùn)動(dòng)軌跡賦予不同的權(quán)重系數(shù)之后,就開始對(duì)人體運(yùn)動(dòng)軌跡進(jìn)行識(shí)別,并根據(jù)識(shí)別結(jié)果提取數(shù)據(jù),分別按照點(diǎn)特征、線特征和面特征對(duì)提取的數(shù)據(jù)進(jìn)行相應(yīng)預(yù)處理,包括剔除無效數(shù)據(jù)、建立每一組數(shù)據(jù)的標(biāo)簽以及對(duì)標(biāo)簽化數(shù)據(jù)進(jìn)行輸入和輸出分類等,從而便于后續(xù)利用算法進(jìn)行訓(xùn)練和識(shí)別。
對(duì)攝像機(jī)采集到的視頻(圖像)來說,將其進(jìn)行預(yù)處理后組成輸入數(shù)據(jù)集,利用OpenPose 進(jìn)行數(shù)據(jù)集遍歷,提取關(guān)鍵識(shí)別點(diǎn)的特征信息,對(duì)提取到的特征點(diǎn)進(jìn)行信息整合。將預(yù)處理后的輸入信息和輸出信息建立一一映射的關(guān)系,將其中70%的數(shù)據(jù)作為訓(xùn)練集、將30%的數(shù)據(jù)作為驗(yàn)證集進(jìn)行訓(xùn)練,訓(xùn)練過程中選擇不同的評(píng)估模型會(huì)得到不同的訓(xùn)練精度。經(jīng)過現(xiàn)場(chǎng)試驗(yàn),最終確定選擇MLPClassifier分類器作為評(píng)估模型,該分類器模型的基本參數(shù)見表1。
表1 MLPClassifier 分類器基本參數(shù)
在選擇分類器之后,就對(duì)輸入數(shù)據(jù)進(jìn)行訓(xùn)練,一方面利用OpenPose 自帶的算法進(jìn)行姿態(tài)識(shí)別,另一方面采用RNN 網(wǎng)絡(luò)對(duì)輸入數(shù)據(jù)進(jìn)行預(yù)測(cè),根據(jù)預(yù)測(cè)結(jié)果對(duì)現(xiàn)有的數(shù)據(jù)訓(xùn)練結(jié)果進(jìn)行修正,從而提高姿態(tài)識(shí)別的準(zhǔn)確度。RNN 網(wǎng)絡(luò)選用LSTM 網(wǎng)絡(luò),也就是長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)。這種網(wǎng)絡(luò)最大的特點(diǎn)就是可以準(zhǔn)確地對(duì)時(shí)間序列數(shù)據(jù)進(jìn)行預(yù)測(cè),根據(jù)當(dāng)前數(shù)據(jù)特征對(duì)未來變化趨勢(shì)進(jìn)行預(yù)測(cè),結(jié)合預(yù)測(cè)值對(duì)訓(xùn)練結(jié)果進(jìn)行修正,從而獲得理想輸出。結(jié)合LSTM 網(wǎng)絡(luò)后的OpenPose 算法主要由7 層主要結(jié)構(gòu)組成,如圖3 所示。
利用神經(jīng)網(wǎng)絡(luò)對(duì)人體姿態(tài)進(jìn)行識(shí)別的重點(diǎn)在于神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)和訓(xùn)練。前文主要介紹了神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)方法,基于圖3 可以設(shè)計(jì)一個(gè)符合使用要求、能夠有效進(jìn)行人體姿態(tài)識(shí)別的神經(jīng)網(wǎng)絡(luò)。在完成設(shè)計(jì)工作后,需要對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程就是參數(shù)調(diào)整的過程,該文采用在線訓(xùn)練的方式對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。首先,指定多名不同體態(tài)、身高的工作人員在攝像機(jī)前做不同的動(dòng)作,錄制視頻后將其傳入神經(jīng)網(wǎng)絡(luò)進(jìn)行識(shí)別,根據(jù)識(shí)別結(jié)果與標(biāo)準(zhǔn)結(jié)果的均方差來判斷識(shí)別的效果,當(dāng)識(shí)別效果不佳時(shí),工作人員重新對(duì)神經(jīng)網(wǎng)絡(luò)參數(shù)進(jìn)行調(diào)整,賦予其新的參數(shù)值,之后再進(jìn)行反復(fù)識(shí)別、判斷和調(diào)整,最終可以獲得越來越接近實(shí)際情況的識(shí)別效果,這時(shí)就表示神經(jīng)網(wǎng)絡(luò)已完成訓(xùn)練。之后,另外組織其他工作人員依次通過攝像機(jī)做出不同的姿態(tài)供神經(jīng)網(wǎng)絡(luò)識(shí)別,以判斷識(shí)別率。識(shí)別率是識(shí)別成功的次數(shù)與總識(shí)別次數(shù)之間的比值。當(dāng)識(shí)別率很高(該文設(shè)置為95%)時(shí),表示神經(jīng)網(wǎng)路訓(xùn)練效果顯著,能夠用于識(shí)別任務(wù)。經(jīng)過在線測(cè)試發(fā)現(xiàn),訓(xùn)練后的網(wǎng)絡(luò)能夠達(dá)到預(yù)定的識(shí)別率,表示該神經(jīng)網(wǎng)絡(luò)符合使用要求,能夠用于人體姿態(tài)的在線測(cè)試。
利用以上算法對(duì)輸入數(shù)據(jù)進(jìn)行訓(xùn)練,再利用訓(xùn)練好的網(wǎng)絡(luò)進(jìn)行人體姿態(tài)識(shí)別,就可以獲得較好的識(shí)別結(jié)果,識(shí)別精度較高,準(zhǔn)確度也較高。
該文結(jié)合OpenPose 算法研究了實(shí)現(xiàn)人體姿態(tài)識(shí)別系統(tǒng)的過程。通過分析與設(shè)計(jì)可以發(fā)現(xiàn),OpenPose 是目前進(jìn)行人體姿態(tài)識(shí)別的主流算法,其具有很高的識(shí)別精度和很快的識(shí)別速度,能夠滿足商業(yè)化開發(fā)的需求。另外,該文在實(shí)現(xiàn)算法的過程中,利用RNN 網(wǎng)絡(luò)的預(yù)測(cè)值對(duì)辨識(shí)結(jié)果進(jìn)行修正,從而進(jìn)一步提高姿態(tài)識(shí)別的精度。研究人員在通過計(jì)算機(jī)實(shí)現(xiàn)算法的過程中發(fā)現(xiàn),OpenPose 算法具有一定的延遲,當(dāng)利用該文所提出的方法進(jìn)行姿態(tài)識(shí)別時(shí),存在大約0.1 s 的延遲,如何最大限度縮短延遲將是未來的重點(diǎn)研究方向。
圖3 OpenPose 算法網(wǎng)絡(luò)結(jié)構(gòu)層次