国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

基于人體關(guān)節(jié)點視覺特征的姿態(tài)識別方法研究進展

2023-08-01 15:44:11梅健王甜甜黃凱鄒青宇
化工自動化及儀表 2023年2期
關(guān)鍵詞:深度學(xué)習(xí)人工智能

梅健 王甜甜 黃凱 鄒青宇

摘 要 隨著深度學(xué)習(xí)和人工智能的發(fā)展,相關(guān)算法在人體姿態(tài)識別領(lǐng)域得到了廣泛應(yīng)用?;谌梭w關(guān)節(jié)點智能化算法的姿態(tài)識別得到了利用和優(yōu)化,現(xiàn)有的研究成果不同程度涉及各類算法,亟待系統(tǒng)性總結(jié)和分類。綜述近年來基于視覺特征的姿態(tài)識別領(lǐng)域的研究成果,將這些方法分為兩類:單人姿態(tài)識別和多人姿態(tài)識別。分析各方法的原理和突出進步,并介紹基于OpenPose方法的多人姿態(tài)研究,指出了未來研究的趨勢與焦點。

關(guān)鍵詞 人工智能 深度學(xué)習(xí) 多人姿態(tài)識別 智能化算法 OpenPose

中圖分類號 TP389.1? ?文獻標(biāo)識碼 A? ?文章編號 1000?3932(2023)02?0119?06

隨著科技的發(fā)展,智能化的概念和產(chǎn)品日新月異,在人工智能領(lǐng)域,人體姿態(tài)識別是計算機視覺領(lǐng)域中極具挑戰(zhàn)的研究方向,在道路姿態(tài)監(jiān)

控[1]、人體動作分析[2,3]、運動培訓(xùn)[4~6]等方面都有重要的應(yīng)用前景,也是我國科研攻堅的熱點。人體姿態(tài)通過智能識別檢測將提供一種全新的交互模式,如在車站或智能化娛樂場所,使用姿態(tài)識別的人工智能交互方式,能夠提供更準(zhǔn)確更智能的服務(wù)[7~9]。

姿態(tài)識別的重點是檢測人體關(guān)節(jié)點和肢體,并且能夠適應(yīng)各種多變的場景,姿態(tài)識別技術(shù)的本質(zhì)是問題歸類[10,11]。姿態(tài)識別以向量作為輸出,因此人體姿態(tài)識別方法需要一個從高維檢測向量到高維姿態(tài)向量的映射。在二維空間中,根據(jù)場景中人體個數(shù)的差異,將人體姿態(tài)識別分為單人姿態(tài)和多人姿態(tài)[12~14]。

1 單人姿態(tài)識別

隨著深度學(xué)習(xí)的發(fā)展與應(yīng)用,科研人員逐漸使用深度學(xué)習(xí)算法替代傳統(tǒng)方法進行單人姿態(tài)識別,傳統(tǒng)的單人姿態(tài)識別是各種人體姿態(tài)分析的基礎(chǔ),對于分析圖像或視頻中的人體姿態(tài)至關(guān)重要。在深度學(xué)習(xí)的姿態(tài)識別方法中,人體姿態(tài)的骨骼節(jié)點具有尺度小、容易被遮擋的特性,因此算法需要更高的精度要求。

當(dāng)前,單人姿態(tài)識別方法中,坐標(biāo)回歸[14]、熱力圖檢測和使用熱力圖表示坐標(biāo)回歸是主流方法[15]。

坐標(biāo)回歸的原理是將二維坐標(biāo)的骨骼關(guān)節(jié)點作為有效值,訓(xùn)練網(wǎng)絡(luò)模型后實現(xiàn)關(guān)節(jié)點的輸出,在熱力圖檢測方法出現(xiàn)之前,這類研究思路通常用于機器學(xué)習(xí)的單人姿態(tài)識別系統(tǒng)[14]。使用熱力圖表示坐標(biāo)回歸方法結(jié)合了坐標(biāo)和熱力圖兩者的優(yōu)點,構(gòu)建組合方式的有效值,同時具有檢測和回歸任務(wù)[16]。

1.1 基于坐標(biāo)回歸的單人姿態(tài)識別

人體姿態(tài)識別中,坐標(biāo)回歸的數(shù)據(jù)存在大量冗余,這類問題的本質(zhì)是數(shù)值坐標(biāo)回歸。研究人體關(guān)節(jié)點回歸主要有兩種方法:

a. 全連接層直接回歸坐標(biāo)點。此類方法的優(yōu)勢是輸出點就是坐標(biāo)點、縮短了訓(xùn)練時間、效率高,并且是端到端的全微分運算。但特征圖容易丟失空間信息,直接回歸欠缺泛化性[17]。文獻

[18]中指出,采用全連接輸出坐標(biāo)點方式會極大損害空間泛化能力。全連接方式所得權(quán)重嚴(yán)重依賴訓(xùn)練數(shù)據(jù)的分布,非常容易造成過擬合。

b. 熱力圖檢測方式。通過熱力圖檢測可以收集海量數(shù)據(jù),Argmax提出峰值對應(yīng)的索引即為坐標(biāo)點的方法,使其精度高于坐標(biāo)回歸。但是從輸入到輸出不是一個全微分的算法,低分辨率的采樣精度低,并且內(nèi)存冗余高。

目前,全卷積網(wǎng)絡(luò)是單人姿態(tài)識別最常用的方法之一,其解決了環(huán)境和人體動作的干擾?;谧鴺?biāo)回歸的單人姿態(tài)識別主要分為兩大類:多階段直接回歸和多階段分步回歸。

文獻[19]針對視覺定位的局限性,提出回歸查詢像素點對應(yīng)的場景坐標(biāo)方法,此方法用于姿態(tài)識別的全卷積神經(jīng)網(wǎng)絡(luò),將彩色圖像中二維像素對應(yīng)的三維坐標(biāo)映射到場景圖像的RGB值中,快速建立匹配關(guān)系,無需特征檢測和特征匹配過程。

文獻[20]使用雙源深度卷積神經(jīng)網(wǎng)絡(luò)(Dual Source Deep Convolutional Neural Network,DS?CNN)從單一圖像設(shè)計二維人體姿態(tài)算法,提出將整個身體的外觀和多個微觀圖像結(jié)合起來,可以更加準(zhǔn)確地實現(xiàn)人體姿態(tài)識別。

1.2 基于熱力圖檢測的單人姿態(tài)識別

單人姿態(tài)識別算法依據(jù)任務(wù)的定義和監(jiān)督形式可以劃分為兩類:直接坐標(biāo)回歸和熱力圖(Heatmap)檢測。各骨骼關(guān)節(jié)點相對原始圖片的偏移是坐標(biāo)回歸所需的數(shù)據(jù),這個過程對于非線性的要求非常高。所以,在基于坐標(biāo)回歸思路之后,熱力圖檢測方法成為單人姿態(tài)識別的主流方法[21]。

熱力圖檢測思想是將每個關(guān)節(jié)點的位置信息由一張低分辨率的熱力圖表示,熱力圖中的每一個像素值都代表該位置是否是關(guān)節(jié)點的概率。這種特性很容易利用高斯函數(shù)模擬。

文獻[22]針對人體關(guān)節(jié)點的熱力圖干擾姿態(tài)識別造成的姿態(tài)不一致的問題,提出了一種基于圖模型推理的單人姿態(tài)識別網(wǎng)絡(luò),設(shè)計了人體姿態(tài)圖顯示人體結(jié)構(gòu)信息,并通過圖模型推理網(wǎng)絡(luò)實現(xiàn)關(guān)節(jié)點熱力圖間的信息交互。

文獻[23]提出一種基于深度卷積神經(jīng)網(wǎng)絡(luò)(Deep Convolutional Neural Network,DNN)的級聯(lián)姿態(tài)預(yù)測器,極大增強了骨骼關(guān)節(jié)點識別的準(zhǔn)確度。

從姿態(tài)識別開始,不論完整圖像還是深度卷積神經(jīng)網(wǎng)絡(luò)的回歸向量,都可以使用細(xì)節(jié)聯(lián)合的方式預(yù)測數(shù)據(jù)。但是由于其固定的輸入大小,使得算法對于細(xì)節(jié)的處理存在不足。為了獲得更高的精度,訓(xùn)練多樣化成為主要待解決問題,或者可以結(jié)合回歸和檢測兩種方式進行姿態(tài)識別。

1.3 基于回歸與檢測混合方式的姿態(tài)識別

單人姿態(tài)識別中,坐標(biāo)回歸的優(yōu)點是更快的前向速度和端到端全微分訓(xùn)練,熱力圖檢測的優(yōu)點是精度高。結(jié)合兩者的優(yōu)點,坐標(biāo)回歸中效果最好的方法是使用熱力圖表示坐標(biāo)回歸,直接坐標(biāo)回歸方法是從圖像到骨骼關(guān)節(jié)點坐標(biāo)的即時反映,弊端是網(wǎng)絡(luò)學(xué)習(xí)空間、收集數(shù)據(jù)空間不足和丟失空間信息[24]。

基于回歸和熱力圖檢測的人體姿態(tài)識別雖然性能良好,但存在后處理不可微、量化誤差大等問題。文獻[25]通過積分運算將熱力圖表示與聯(lián)合回歸結(jié)合,解決了后處理和量化誤差問題,并且兼容任何基于熱力圖表示的方法。

諾丁漢大學(xué)計算機視覺實驗室的ADRIAN B和GEORGIOS T提出一種檢測后回歸的由兩個相互連接深度子網(wǎng)組成的卷積神經(jīng)網(wǎng)絡(luò)級聯(lián)[21],級聯(lián)輸出的順序是先檢測熱力圖再回歸。該架構(gòu)不僅可以指導(dǎo)算法在圖像中的焦點位置,還可以有效應(yīng)對遮擋問題,從而引導(dǎo)網(wǎng)絡(luò)的回歸部分來預(yù)測位置。

2 多人姿態(tài)識別

人體姿態(tài)算法從人數(shù)上區(qū)分為單人人體關(guān)節(jié)點檢測和多人人體關(guān)節(jié)點檢測兩類,自頂向下(Top?Down)和自底而上(Bottom?Up)是多人姿態(tài)識別領(lǐng)域常用的兩種處理思路。其中,自頂向下用于定位骨骼關(guān)節(jié)點的設(shè)計,包括人體檢測和人體關(guān)節(jié)點檢測,先從環(huán)境背景中估計每個待檢測目標(biāo),然后對單個人的關(guān)節(jié)點進行檢測;自底而上的邏輯與之相反,分別檢測和類聚關(guān)節(jié)點,即先檢測出圖像中所有的人體骨骼關(guān)節(jié)點,然后將全部關(guān)節(jié)點連接成個人[14]。

自頂向下和自底而上確定關(guān)節(jié)點的方法如圖1所示。

2.1 自頂向下算法

自頂向下算法是先用目標(biāo)檢測算法檢測出圖像中存在的所有人體實例,然后逐個檢測不同人體的關(guān)節(jié)點[15,17,18]。二維多人姿態(tài)估計方法使用串聯(lián)網(wǎng)絡(luò)提取特征,然后提高特征圖的分辨率,用于關(guān)節(jié)點的定位[26~30]。

文獻[31]研究了順序卷積結(jié)構(gòu)模型,多層深度卷積網(wǎng)絡(luò)是卷積姿態(tài)結(jié)構(gòu)的基礎(chǔ),每層網(wǎng)絡(luò)都是在原始圖像和前期數(shù)據(jù)的特征圖上進行,最終可以得到人體各關(guān)節(jié)點結(jié)構(gòu)圖。文獻[28]提出的算法使用ResNet來提取特征,用反卷積提高分辨率。最初,多人檢測網(wǎng)絡(luò)為Faster R?CNN[32],F(xiàn)aster R?CNN的出現(xiàn)縮短了檢測網(wǎng)絡(luò)的運行時間。Mask R?CNN提高了檢測回歸的準(zhǔn)確性,并使用像素到像素的方式進行分割預(yù)測,便可以對檢測到的目標(biāo)進行多人姿態(tài)識別[33]。

文獻[34]提出一種用于多人檢測和二維姿態(tài)識別的自頂向下方法。針對關(guān)節(jié)點類型,提出且實現(xiàn)了完全卷積用來預(yù)測熱力圖。

文獻[35]采用自頂向下的二維多人姿態(tài)識別算法,使用金字塔卷積,采用一種基于多尺度融合的二維多人姿態(tài)識別模型,該模型能夠同時取得圖像中人體局部的關(guān)節(jié)信息和全局結(jié)構(gòu)信息,從而可以更準(zhǔn)確地定位難以檢測的關(guān)節(jié)點。

2.2 自底而上算法

自底而上算法是檢測圖像中所有人的身體關(guān)節(jié),再將其分組為個體。由于設(shè)計識別中尺度的變化,自底而上的人體姿態(tài)識別方法難以高精準(zhǔn)度估計人體姿態(tài)。文獻[29]使用金字塔卷積網(wǎng)絡(luò)方法提出了一種新的自底而上的更迅速的定位關(guān)節(jié)點,并且可以解決多人姿態(tài)檢測中尺度變化的檢測方法。

為了聯(lián)合應(yīng)對檢測和姿態(tài)識別,更準(zhǔn)確地識別環(huán)境中的人數(shù),判斷遮擋的重要關(guān)節(jié)點,并且消除相互重合的身體部分[36~39],文獻[40]為確定關(guān)節(jié)點對應(yīng)的人體部位,首先提出了DeepCut,改進了快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)來檢測骨骼關(guān)節(jié)點,組合成關(guān)節(jié)點密度圖,再標(biāo)記檢測出的關(guān)節(jié)點。文獻[41]為優(yōu)化算法的復(fù)雜度,精簡了DeepCut算法,提高了檢測的精準(zhǔn)度,利用殘差網(wǎng)絡(luò)ResNet獲取人體骨骼關(guān)節(jié)點,提高了魯棒性。

文獻[42]設(shè)計了OpenPose,最先使用VGG網(wǎng)絡(luò)對圖樣特征進行粗提取,從而得到關(guān)節(jié)點置信圖(Part Confidence Maps,PCMs)和部位親和域(Part Affinity Fields,PAFs),使用匈牙利算法[43]最優(yōu)化匹配,連接所有骨骼關(guān)節(jié)點。

3 基于自底而上的OpenPose方法

OpenPose是根據(jù)卷積神經(jīng)網(wǎng)絡(luò)與監(jiān)督學(xué)習(xí),以Caffe為框架編寫的開放源代碼庫,能夠進行人的臉部、軀干與四肢的跟蹤,不僅適用于單人也適用于多人,同時具有較好的魯棒性[14],是用于2D、3D多人人體姿態(tài)估計的最流行的自底而上的方法之一,該成果在單人和多人人體姿態(tài)識別中取得了成功。

OpenPose算法、G?RMI算法、DL?61算法和R4D算法在2016年COCO比賽中的準(zhǔn)確度對比見表1,其中,AP表示實驗結(jié)果中與關(guān)節(jié)點坐標(biāo)對比的準(zhǔn)確度,AP50與AP75表示與關(guān)節(jié)點相似度在50%以上及75%以上的準(zhǔn)確度,APM與APL則分別表示識別小規(guī)模人群和大規(guī)模人群的準(zhǔn)確度。

美國卡耐基梅隆大學(xué)(Carnegie Mellon University)在2016年開源了OpenPose項目,該成果在單人和多人人體姿態(tài)識別中取得了巨大成功。OpenPose項目采用自底而上的思路,先找出圖像中人體的各個關(guān)節(jié)點,再用這些點拼接成人的骨架,完成姿態(tài)識別的任務(wù)。OpenPose可以實現(xiàn)人體關(guān)節(jié)點的信息檢測,并且適用于單人和多人環(huán)境。研究表明,OpenPose具有很高的魯棒性和精準(zhǔn)度,適用于戶外等復(fù)雜環(huán)境[44,45]。

文獻[42]給出了OpenPose算法模型,解決了多人肢體關(guān)節(jié)點連接的問題,不過仍然存在模型較大、網(wǎng)絡(luò)參數(shù)較多等現(xiàn)實問題需要解決。文獻[46]提出一種新的自底而上的多人人體姿態(tài)識別方法,構(gòu)建了一個完全卷積、單發(fā)的設(shè)計,該方法利用部分強度場定位身體部位,利用關(guān)聯(lián)場將身體各部分結(jié)合了起來。文獻[47]在OpenPose的基礎(chǔ)上首先提出了Lightweight OpenPose輕量級的方法,探討了適合于實時人體姿態(tài)識別網(wǎng)絡(luò)邊緣設(shè)備上的性能。使用Mobilenet[48]提取數(shù)據(jù),最后結(jié)合空洞卷積[49]優(yōu)化OpenPose。

4 總結(jié)和展望

人體姿態(tài)識別是計算機視覺的分支,在多領(lǐng)域都具有高質(zhì)量的發(fā)展。國內(nèi)關(guān)于人體姿態(tài)識別的研究起步晚、研究投入少,但在國家安防和日常生活中,該技術(shù)具有極大的應(yīng)用市場和發(fā)展前景。目前,人體姿態(tài)識別的問題和難點集中在兩點,往后的工作也會從這兩方面展開:

a. 提高數(shù)據(jù)采集的魯棒性。樣本數(shù)據(jù)的噪聲和樣本種類的相似度都會降低數(shù)據(jù)采集的質(zhì)量、影響特征選取和導(dǎo)致邊緣輪廓缺失。使用模型驅(qū)動輸入可以保持原有特性,在識別檢測過程中會有輸入噪聲影響結(jié)果,通常采用空約束來提高輸出質(zhì)量。因此,對于基于模型驅(qū)動的方法,探討更有效的運動空間時序約束十分必要。在戶外環(huán)境中捕捉圖像會受到多種因素的影響,主要有氣候環(huán)境變化、背景干擾、光照變換、人體移動的影子、攝像機的運動等,這些都給實驗數(shù)據(jù)的采集和預(yù)處理帶來了影響。對于處理的圖像序列,在目標(biāo)檢測中,雖然可以進行多種數(shù)據(jù)預(yù)處理,但是數(shù)據(jù)依然存在冗余,非必要的數(shù)據(jù)依舊會影響整體的運算量和速度,開發(fā)新的高效率算法,在數(shù)據(jù)采集和判斷過程中是急需解決的問題。

b. OpenPose算法的有效性和實時性之間的誤差。當(dāng)前,人體姿態(tài)研究都是基于相似的算法,算法的創(chuàng)新程度存在一定限制。OpenPose架構(gòu)在人體姿態(tài)識別上具有優(yōu)勢,先找出環(huán)境中的人體關(guān)節(jié)點,再逐一拼接成人體骨架,但是對于環(huán)境的判斷存在不足?;谀P偷乃惴梢愿珳?zhǔn)地判斷和描述關(guān)節(jié)點特征,大幅降低外部環(huán)境的影響。因此,低功耗、高精度的姿態(tài)算法是目前姿態(tài)算法重要的研究目標(biāo)。

參 考 文 獻

[1] 朱棟棟.基于視覺檢測與定位的快速路車輛異常行為識別[D].北京:北京郵電大學(xué),2022.

[2] 汪雯.基于深度學(xué)習(xí)的人體動作分析與識別方法研究[D].成都:電子科技大學(xué),2022.

[3] 崔莉亞.運動場景下人體動作分析算法研究[D].鄭州:鄭州大學(xué),2021.

[4] 李淑敏,周曙,田國輝,等.科技助力冬奧:人工智能在冰雪運動訓(xùn)練中的應(yīng)用與發(fā)展[C]//中國體育科學(xué)學(xué)會運動訓(xùn)練學(xué)分會.2022年全國運動訓(xùn)練學(xué)術(shù)研討會.2022:106.

[5] 韓曉明,喬鳳杰.人工智能助力全民健身參與的基本邏輯、現(xiàn)實困境與突破路徑[J].天津體育學(xué)院學(xué)報,2022,37(5):559-565.

[6] 朱厚偉,申翠梅,鄭哲,等.基于人工智能的運動輔助系統(tǒng)研發(fā)進展研究[C]//中國體育科學(xué)學(xué)會運動生物力學(xué)分會.第二十二屆全國運動生物力學(xué)學(xué)術(shù)交流大會.2022:391-392.

[7] 洪梁杰.基于視覺的人體軀干特征提取與姿態(tài)識別[D].吉林:東北電力大學(xué),2022.

[8] 王珊,張雙寒,高靖楠,等.基于PoseNet模型實現(xiàn)人體姿態(tài)識別[J].電腦編程技巧與維護,2022(1):112-113;135.

[9] 黃國范,李亞.人體動作姿態(tài)識別綜述[J].電腦知識與技術(shù),2013,9(1):133-135.

[10] 史偉民.基于深度學(xué)習(xí)的人體姿態(tài)估計方法研究[D].北京:北京化工大學(xué),2021.

[11] 車鑫.基于深度學(xué)習(xí)的二維人體姿態(tài)估計研究[D].武漢:華中科技大學(xué),2021.

[12] 王梓任.人體關(guān)節(jié)點多視角融合和人體姿態(tài)估計[D].濟南:山東大學(xué),2019.

[13] 王子沁.基于OpenPose的人體行為識別系統(tǒng)研究與實現(xiàn)[D].南京:南京郵電大學(xué),2021.

[14] 鄧益儂,羅健欣,金鳳林.基于深度學(xué)習(xí)的人體姿態(tài)估計方法綜述[J].計算機工程與應(yīng)用,2019,55(19):22-42.

[15] 張鋒,葉茂,曾凡玉.深度學(xué)習(xí)的單人姿態(tài)估計方法綜述[J].小型微型計算機系統(tǒng),2020,41(7):1502-1507.

[16] SUN K,XIAO B,LIU D,et al.Deep high?resolution representation learning for human pose estimation[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.2019:5693-5703.

[17]? NIBALI A,HE Z,MORGAN S,et al.Numerical Coordinate Regression with Convolutional Neural Networks[J].arXiv,2018.10.48550/arXiv.1801.07372.

[18]? LIN M,CHEN Q,YAN S C.Network in Network:10.48550/arXiv.1312.4400[P].2013-12-16.

[19] ALEX K,MATTHEW G,ROBERTO C.PoseNet:A Convolutional Network for Real?Time 6?DOF Camera Relocalization[C]//IEEE International Conference on Computer Vision.Santiago,Chile,2015:2938-2946.

[20]? ?FAN X C,ZHENG K,LIN Y W,et al.Combining Local Appearance and Holistic View:Dual?Source Deep Neural Networks for Human Pose Estimation[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.2015:1347-1355.

[21]? ?ADRIAN B,GEORGIOS T.Human pose estimation via convolutional part heatmap regression[C]//Proceedings of the European Conference on Computer Vision(ECCV).2016:717-732.

[22]? ?馬麗華.基于推理的多等級預(yù)測單人姿態(tài)估計方法[D].西安:西安電子科技大學(xué),2020.

[23]? ?TOSHEV A,SZEGEDY C.Deeppose:Human pose es?timation via deep neural networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern? Recognition.2014.10.1109/CVPR.2014.214.

[24]? ?LEE C Y,XIE S N,PATRICK W G,et al.Deeply?Supervised Nets[J].arXiv:Machine Learning,2014.10.48550/arXiv.1409.5185.

[25]? ?SUAN X,XIAO B,WEI F Y,et al.Integral human pose regression[C]//Proceedings of the European Conference on Computer Vision(ECCV).2018:529-545.

[26]? ?郭天曉,胡慶銳,李建偉,等.基于人體骨架特征編碼的健身動作識別方法[J].計算機應(yīng)用,2021,41(5):1458-1464.

[27]? ?林里浪,宋思捷,劉家瑛.基于人體骨架特征學(xué)習(xí)的動作識別[J].中國傳媒大學(xué)學(xué)報(自然科學(xué)版),2021,28(5):22-28.

[28]? ?XIAO B,WU H P,WEI Y C.Simple Baselines for Human Pose Estimation and Tracking[C]//European Conference on Computer Vision.2018:472-487.

[29] CHENG B W,XIAO B,WANG J D,et al.HigherHRNet:Scale?Aware Representation Learning for Bottom?Up Human Pose Estimation[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.2020:5385-5395.

[30]? ?BOBICK A F,WILSON A D.A state?based approach to the representation and recognition of gesture[J].IEEE Trans PAMI,1997,19(12):1325-1337.

[31]? WEI S E,RAMAKRISHNA V.Convolutional pose machine[C]//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition.2016.

[32]? ?REN S Q,HE K M,ROSS G,et al.Faster R?CNN:towards Real?time Object Detection with Region Proposal Networks[C]//Proceedings of IEEE ANIPS15.2015.

[33]? ?HE K M,GKIOXARI G,DOLLAR P,et al.Mask R?CNN[C]//Proceedings of IEEE International Confe?rence on Computer Vision.2017:2961-2970.

[34]? ?PAPANDREOU G,ZHU T,KANAZAWA N,et al.Towards accurate multi?person pose estimation in the wild[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition CVPR.2017.

[35]? ?湯香渝.基于多尺度融合的二維人體姿態(tài)估計算法研究[D].北京:北方工業(yè)大學(xué),2021.

[36]? ?MUHAMMED K,SALIH K,ENRE A.MultiPoseNet:Fast multi?person pose estimation using pose residual network[C]//European Conference on Computer Vision.2018.

[37]? ?SANGHOON H,BYUNG SEOK R,KYE?HYEON K,et al.PVANet:Lightweight Deep Neural Networks for Real?time Object Detection[J].arXiv Preprint arXiv,2016.

[38]? VASILEIOS B,ANDREW Z.Recurrent human pose estimation[C]//2017 12th IEEE International Confer?ence on Automatic Face and Gesture Recognition(FG).2017.

[39]? ?HE K M,ZHANG X Y,REN S P,et al.Deep residual learning for image recognition[C]//2016 IEEE Con?ference on Computer Vision and Pattern Recognition.2016.

[40]? ?PISHCHULIN L,INSAFUTDINOV E,TANG S,et al.DeepCut:Joint subset partition and labeling for multi person pose estimation[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recogni?tion.2016:4929-4937.

[41]? ?ELDAR I,LENONID P,BJOERN A,et al.DeeperCut:A deeper,stronger,and faster multi?person pose esti?mation model[C]//Proceedings of the European Conference on Computer Vision.2016:34-50.

[42]? ?ZHE C,TOMAS S,SHIH?EN W,et al.Realtime multi?person 2D pose estimation using part affinity fields[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.2017:7291-7299.

[43]? ?STEFANO B,CARMEN D A,MARIA F,et al.Pilot assignment in cell?free massive MIMO based on the Hungarian algorithm[J].IEEE Wireless Commun?

ications Letters,2021(1):10.

[44]? ?MARK S,ANDREW H,ZHU M L,et al.MobileNet?

V2:Inverted Residuals and Linear Bottlenecks[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR).2018.

[45]? ?TSUNG?YI L,MICHAEL M,SERGE B,et al.Micro?soft COCO:Common objects in context[C]//European Conference on Computer Vision.2014.

[46]? ?SVEN K,LORENZO B,ALEXANDRE A,et al.Pifp?af:Composite Fields for Human Pose Estimation[C]//IEEE Computer Vision Foundation.2020:11977-11986.

[47]? ?DANIIL O.Real?time 2D Multi?Person Pose Estima?tion on CPU:Lightweight OpenPose[C]//International Conference on Pattern Recognition Applications and Methods.2019.

[48]? ?ANDREW G H,ZHU M L,CHEN B,et al.Mobile?Nets:Efficient convolutional neural networks for mobile vision applications[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.2017.

[49]? YU F,VLADLEN K,THOMAS F.Dilated Residual Networks[C]//IEEE Computer Vision Foundation.2017.

(收稿日期:2022-08-29,修回日期:2022-11-22)

Study Progress in Posture Recognition Method?Based on Visual Features of Human Joints

MEI Jian1, WANG Tian?tian2, HUANG Kai1, ZOU Qing?yu2

(1. College of Information and Control Engineering, Jilin Institute Chemical Technology;?2. College of Electrical and Information Technology, Beihua University)

Abstract? ?With the development of deep learning and artificial intelligence, relevant algorithms have been widely applied in human postures recognition and the posture recognition based on the intelligent algorithms for human joints has been optimized. Existing research results involve all kinds of algorithms at various degrees, wait for being systematically summarized and classified. A large number of recent research achievements in the posture recognition were reviewed and divided into single?person posture recognition and multi?person posture identification, including having their principles and outstanding progress analyzed, and their future research trends and hot spots were pointed out based on describing the OpenPose?based study of the multi?person postures.

Key words? ?AI, deep learning, multi?person posture recognition, intelligent algorithm, OpenPose

基金項目:中央引導(dǎo)地方科技發(fā)展資金吉林省基礎(chǔ)研究專項(YDZJ202101ZYTS170);教育部產(chǎn)學(xué)合作協(xié)同育人項目(202102181046);2020年度吉林省高等教育教學(xué)研究課題;國家大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計劃項目(202210201055);吉林省職業(yè)教育與成人教育教學(xué)改革研究課題(PX?521509);吉林市科技創(chuàng)新發(fā)展計劃項目(20210103098)。

作者簡介:梅?。?995-),碩士研究生,從事人體姿態(tài)識別方面的研究。

通訊作者:鄒青宇(1983-),副教授,從事復(fù)雜網(wǎng)絡(luò)的研究,zouqingyu2002@126.com。

引用本文:梅健,王甜甜,黃凱,等.基于人體關(guān)節(jié)點視覺特征的姿態(tài)識別方法研究進展[J].化工自動化及儀表,2023,50(2):119-124.

猜你喜歡
深度學(xué)習(xí)人工智能
我校新增“人工智能”本科專業(yè)
2019:人工智能
商界(2019年12期)2019-01-03 06:59:05
人工智能與就業(yè)
數(shù)讀人工智能
小康(2017年16期)2017-06-07 09:00:59
有體驗的學(xué)習(xí)才是有意義的學(xué)習(xí)
電子商務(wù)中基于深度學(xué)習(xí)的虛假交易識別研究
MOOC與翻轉(zhuǎn)課堂融合的深度學(xué)習(xí)場域建構(gòu)
大數(shù)據(jù)技術(shù)在反恐怖主義中的應(yīng)用展望
深度學(xué)習(xí)算法應(yīng)用于巖石圖像處理的可行性研究
基于深度卷積網(wǎng)絡(luò)的人臉年齡分析算法與實現(xiàn)
軟件工程(2016年8期)2016-10-25 15:47:34
磐安县| 太和县| 玉林市| 内黄县| 临汾市| 会泽县| 淅川县| 盐山县| 巴东县| 于田县| 岳西县| 柘城县| 柯坪县| 罗城| 高平市| 富阳市| 林州市| 梅州市| 蓝山县| 蒙自县| 万全县| 碌曲县| 瓮安县| 揭西县| 泰顺县| 中阳县| 萨迦县| 南昌县| 江华| 南江县| 漠河县| 绥江县| 潞西市| 当涂县| 高雄市| 巴中市| 定兴县| 红安县| 定陶县| 临朐县| 新密市|