梁 鴻，任文靜，張 千，李傳秀

(中國石油大學(xué)(華東) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，山東 青島 266580)

0 引 言

隨著深度學(xué)習(xí)技術(shù)的發(fā)展，深度卷積神經(jīng)網(wǎng)絡(luò)開始被應(yīng)用到人體姿態(tài)估計(jì)任務(wù)中。DeepPose是第一個將深度卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用到人體姿態(tài)估計(jì)領(lǐng)域的模型。Newell等[1]提出的經(jīng)典網(wǎng)絡(luò)結(jié)構(gòu)——堆疊沙漏網(wǎng)絡(luò)，可以更好地混合全局和局部信息，在姿態(tài)估計(jì)任務(wù)上具有重要的意義。Papandreou等[2]先使用Faster R-CNN[3]檢測出可能包含人物的區(qū)域，然后利用全卷積殘差網(wǎng)絡(luò)(ResNet[4])預(yù)測每個人的關(guān)鍵點(diǎn)坐標(biāo)，但是人體目標(biāo)檢測效果不理想。

多人姿態(tài)估計(jì)需要對多個人體姿態(tài)進(jìn)行區(qū)分和匹配，加大了算法的復(fù)雜程度，存在以下難點(diǎn)：①圖像中存在的人數(shù)不定。需要使用檢測器遍歷圖像才能知道圖像中的人數(shù)，這就對檢測器的速度和精度提出了高要求;②檢測尺度問題。圖像中不同人離鏡頭的遠(yuǎn)近使得人與人之間相對圖像的占比會有所不同，這就涉及到人體多尺度的檢測;③關(guān)鍵點(diǎn)遮擋問題。包括人體自身衣物的遮擋和物體對部分關(guān)節(jié)的遮擋。

針對以上問題，本文提出了基于堆疊沙漏網(wǎng)絡(luò)改進(jìn)的多人姿態(tài)估計(jì)網(wǎng)絡(luò)模型(channel shuffle and attention residual stacked hourglass networks，CA-SHN)。結(jié)合先進(jìn)的人體目標(biāo)檢測模型YOLOv3[5]提高人體目標(biāo)檢測的準(zhǔn)確率；通過對通道上的信息進(jìn)行多尺度融合加強(qiáng)網(wǎng)絡(luò)學(xué)習(xí)能力，幫助信息在特征通道間流動，有助于人體多尺度的識別；在沙漏網(wǎng)絡(luò)的殘差模塊中加入注意力機(jī)制，提高了網(wǎng)絡(luò)對小尺度關(guān)鍵點(diǎn)的關(guān)注度，更好地解決遮擋問題，繼而可以提高人體姿態(tài)估計(jì)的識別效果。最后在MPII和MSCOCO數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果驗(yàn)證了本文算法的有效性和優(yōu)越性。

1 網(wǎng)絡(luò)結(jié)構(gòu)

堆疊沙漏網(wǎng)絡(luò)(stacked hourglass networks，SHN)作為MPII 2016年關(guān)鍵點(diǎn)挑戰(zhàn)賽的冠軍，取得了不錯的識別效果，也是經(jīng)典的人體姿態(tài)估計(jì)方法之一。它成功的關(guān)鍵在于使用對稱式的沙漏結(jié)構(gòu)，先對特征圖進(jìn)行自下而上的處理，得到不同尺度的特征，然后再對下采樣得到的特征圖執(zhí)行自上而下的處理，同時(shí)把下采樣之前的特征圖經(jīng)過卷積操作保留下來，和之后上采樣到相同分辨率的特征圖融合。這種自下而上、自上而下的處理重復(fù)多次，從而建立一個疊加的沙漏網(wǎng)絡(luò)。但是，堆疊沙漏網(wǎng)絡(luò)只專注于從圖像中定位單人姿態(tài)的關(guān)鍵點(diǎn)，而且在針對小尺度關(guān)鍵點(diǎn)時(shí)的識別效果不佳，同時(shí)原始沙漏網(wǎng)絡(luò)中使用的殘差單元也存在一些問題：在特征圖傳遞的過程中，它是將所有的特征統(tǒng)一權(quán)重傳給后面的沙漏網(wǎng)絡(luò)，當(dāng)多個殘差單元的輸出被總結(jié)時(shí)，輸出方差幾乎翻倍，這會導(dǎo)致計(jì)算量加大，優(yōu)化困難。因此，本文改進(jìn)基于堆疊沙漏網(wǎng)絡(luò)的單人姿態(tài)估計(jì)，使其可以更好地應(yīng)用到多人姿態(tài)估計(jì)中。

本文所提出的算法的整體流程如圖1所示，首先使用改進(jìn)后的人體目標(biāo)檢測器(YOLOv3-person)將含有人體目標(biāo)的區(qū)域裁剪出來，然后送入改進(jìn)后的姿態(tài)估計(jì)網(wǎng)絡(luò)(CA-SHN)進(jìn)行人體關(guān)鍵點(diǎn)的檢測，最后將檢測后的圖像重新映射回原圖像中，即可完成對一張圖像的多人姿態(tài)估計(jì)識別。

圖1 整體算法流程

改進(jìn)后的沙漏網(wǎng)絡(luò)結(jié)構(gòu)如圖2，改進(jìn)部分如虛線框所示，圖2中的每個小方塊表示融入注意力機(jī)制的殘差模塊。本文在原始沙漏網(wǎng)絡(luò)的基礎(chǔ)上，將下采樣前的卷積特征Conv_1～Conv_4進(jìn)行通道混洗之后作為新的特征加入到上采樣之后的模塊中，加強(qiáng)不同尺度多層特征之間的跨通道信息交流，并將原始網(wǎng)絡(luò)中的殘差模塊改為融入注意力機(jī)制的殘差單元，讓網(wǎng)絡(luò)更好地將注意力放到有用特征的學(xué)習(xí)上。

2 改進(jìn)方法

2.1 多尺度特征融合

使用局部特征對于識別面部和手部等特征至關(guān)重要，但是最終的姿態(tài)估計(jì)需要對全身有整體的理解，同時(shí)人的方位、相鄰關(guān)鍵點(diǎn)之間的關(guān)系等信息在圖像不同尺度下可以得到不同的理解。高層低分辨率的語義特征可以用來推導(dǎo)看不見的關(guān)鍵點(diǎn)，而低層高分辨率的語義特征對于推導(dǎo)小尺度的關(guān)節(jié)點(diǎn)至關(guān)重要。因此將兩者結(jié)合起來，既可以解決被遮擋關(guān)鍵點(diǎn)的識別，也能使尺度較小的關(guān)鍵點(diǎn)被有效檢測出來。因此，人體姿態(tài)估計(jì)需要在網(wǎng)絡(luò)中將局部信息與全局信息結(jié)合，將低層特征與高層特征結(jié)合。

多尺度特征融合作為深度學(xué)習(xí)的常規(guī)操作，可以提高網(wǎng)絡(luò)的學(xué)習(xí)性能。原始的堆疊沙漏網(wǎng)絡(luò)將下采樣前的卷積特征Conv_1～Conv_4保留，與上采樣之后得到的相同維度的卷積特征Conv_4’～Conv_1’進(jìn)行像素點(diǎn)的相加，做到了局部信息與全局信息的結(jié)合。但是對于多人姿態(tài)估計(jì)，低層特征和高層特征之間的取舍仍然存在局限性。與此同時(shí)，很少有人關(guān)注特征圖在通道信息上的多尺度融合。受ShuffleNet[6]的啟發(fā)，本文對不同尺度的特征圖在通道特征上采取混洗操作，進(jìn)一步打亂高層特征和底層特征之間的依賴性，進(jìn)而這些不同尺度的特征可以相互作為補(bǔ)充和強(qiáng)化。通過對通道上的信息進(jìn)行多尺度的融合也可以加強(qiáng)網(wǎng)絡(luò)學(xué)習(xí)能力，幫助信息在特征通道間流動，從而可以更好地識別出被遮擋的關(guān)鍵點(diǎn)。同時(shí)，將不同分辨率的圖像采樣到相同的尺度，在經(jīng)過反復(fù)的融合，加上網(wǎng)絡(luò)自身的學(xué)習(xí)能力，會使得多次融合后的結(jié)果更加接近于正確的結(jié)果表示。

圖2 改進(jìn)后的沙漏網(wǎng)絡(luò)結(jié)構(gòu)

圖3 通道混洗模塊網(wǎng)絡(luò)結(jié)構(gòu)

通道混洗操作如圖3所示，首先將沙漏模塊中下采樣得到的卷積特征Conv_1～Conv_4進(jìn)行1×1卷積，變換到相同的通道數(shù)256；然后把中低分辨率特征Conv_2～Conv_4進(jìn)行上采樣得到與Conv_1相同的分辨率，接著在通道維度進(jìn)行concat操作，得到1024維的長特征；再對長特征進(jìn)行混洗(shuffle)操作：①把1024維的通道特征圖進(jìn)行數(shù)據(jù)重組操作到 (g,n)， 其中g(shù)為分組，且g×n=1024； ②進(jìn)行轉(zhuǎn)置操作，得到規(guī)模為 (n,g) 的通道特征圖；③再進(jìn)行一次數(shù)據(jù)重組操作，由 (n,g) 重新拉長為1024維；通過上一步操作，得到了新的1024維的通道特征圖，接著進(jìn)行劃分到之前的組數(shù)，下采樣，最終得到了shuffle后的新特征Conv_s1～Conv_s4；最后對Conv_s1～Conv_s4分別進(jìn)行1×1卷積后，與沙漏網(wǎng)絡(luò)上采樣到相同分辨率的Conv_4’～Conv_1’特征進(jìn)行元素相加，從而完成了一個沙漏模塊在通道特征圖上的多尺度融合。

2.2 融入注意力機(jī)制的殘差模塊

文獻(xiàn)[7,8]證明加深網(wǎng)絡(luò)的深度和寬度可以在一定程度上提高網(wǎng)絡(luò)的性能，殘差模塊使用卷積路和跳級路的方式既提取了較高層次的特征，又保留了原有層次的信息，不改變尺度，只改變深度。為了提高人體姿態(tài)估計(jì)網(wǎng)絡(luò)的性能，沙漏網(wǎng)絡(luò)就是基于殘差模塊設(shè)計(jì)，沙漏中的每個小模塊代表了一個殘差單元。

但是在特征圖傳遞的過程中，不是所有的特征通道都對特征圖的學(xué)習(xí)有用，因此，要根據(jù)特征通道的重要程度去抑制無用的特征并且提升有用的特征，從而提高小尺度關(guān)鍵點(diǎn)的識別效果。L.Shen等[9]提出的SENet，可以通過學(xué)習(xí)的方式自動獲取到每個特征通道的重要程度，根據(jù)loss去學(xué)習(xí)特征權(quán)重，使得有效的特征映射權(quán)重變大，無效或者效果小的特征映射權(quán)重變小，從而達(dá)到更好的訓(xùn)練效果。因此，受SENet的啟發(fā)，使用融入注意力機(jī)制的殘差模塊(attention residual module，ARM)試圖在特征圖的傳遞過程中提高有用特征圖的權(quán)重，降低無用特征圖的權(quán)重，從而提高小尺度關(guān)鍵點(diǎn)的檢測效果。原始?xì)埐钅K和融入注意力機(jī)制的殘差模塊結(jié)構(gòu)如圖4所示。

圖4 原始?xì)埐钅K和融入注意力機(jī)制的殘差模塊結(jié)構(gòu)

(1)在Squeeze操作中，對輸入V進(jìn)行全局池化操作得到通道統(tǒng)計(jì)量z∈RC， 如式(1)，其中uc∈RH×W, 使用式(1)將H×W×C的輸入轉(zhuǎn)換成1×1×C的輸出，從而得到了全局描述特征

(1)

(2)在Excitation操作中，為了降低模型復(fù)雜度以及提升泛化能力，使用兩個全連接層的bottleneck結(jié)構(gòu)。在第一個全連接層中把通道數(shù)減少為原始通道的1/16；然后經(jīng)過一個ReLU層激活；再使用一個全連接層恢復(fù)原始維度；接著經(jīng)過Sigmoid函數(shù)獲得0～1之間歸一化的權(quán)重，得到的注意力權(quán)重s如式(2)；最后通過一個縮放(scale)操作將歸一化后的權(quán)重加權(quán)到每個通道的特征上，增加對關(guān)鍵通道的注意力，最終得到重新調(diào)節(jié)變換的輸出如式(3)所示

s=Fex(z,W)=σ(g(z,W))=σ(W2(δ(W1(z))))

(2)

(3)

同時(shí)，融入注意力機(jī)制后的殘差模塊加深了整個網(wǎng)絡(luò)，這在一定程度上會提高網(wǎng)絡(luò)識別的準(zhǔn)確率，其中的跳級路可以讓來自深層的梯度能直接暢通無阻地去到上一層，使得淺層的網(wǎng)絡(luò)層參數(shù)得到有效的訓(xùn)練，從而解決網(wǎng)絡(luò)梯度消失的問題,更好地優(yōu)化網(wǎng)絡(luò)性能。

2.3 其它改進(jìn)

基于自頂向下的姿態(tài)估計(jì)算法的檢測精度同時(shí)要依賴第一步的人體目標(biāo)檢測的效果，在此部分，本文選用YOLOv3作為人體目標(biāo)檢測模型。針對人體目標(biāo)檢測任務(wù)，對YOLOv3算法做了如下改進(jìn)，改進(jìn)后的網(wǎng)絡(luò)為YOLOv3-person。

(1)修改anchor尺寸。原始YOLOv3算法中設(shè)置的anchor的大小是為了滿足通用物體檢測數(shù)據(jù)集PASCAL VOC或COCO而設(shè)計(jì)的，物體的類別至少包含20類，而本文只需人物這一類，需要根據(jù)當(dāng)前任務(wù)的數(shù)據(jù)集重新設(shè)定anchor尺寸。通過使用k-means算法針對人物目標(biāo)檢測數(shù)據(jù)集，設(shè)置表1所示的9個anchor尺寸。從表1中可以看出由k-means聚類得到的anchor尺寸的長度均大于寬度，趨向于一個長方體，這與人體目標(biāo)的特征是符合的。

表1 anchor尺寸大小

(2)使用SoftNMS[10]替代NMS。NMS(non maximum suppression)算法直接將大于某個閾值的邊界框的得分置零，這樣會將多人重疊情況下檢測到的正確的邊界框錯誤刪除，造成人體目標(biāo)的大量漏檢。SoftNMS將閾值較大的框中分?jǐn)?shù)較小的框的置信度大幅衰減，而不是直接去除掉，保證了在多人重疊情況下有相對較高的召回率，從而提高了人體目標(biāo)檢測的準(zhǔn)確率。

3 實(shí)驗(yàn)結(jié)果

3.1 評估數(shù)據(jù)集

本文在MPII多人姿態(tài)估計(jì)數(shù)據(jù)集和MSCOCO關(guān)鍵點(diǎn)挑戰(zhàn)數(shù)據(jù)集上驗(yàn)證了CA-SHN模型的有效性。

MPII多人姿態(tài)估計(jì)數(shù)據(jù)集由3844個訓(xùn)練組和1758個測試組組成，標(biāo)記了16個人體關(guān)鍵點(diǎn)，同時(shí)包含2萬多個單人姿態(tài)估計(jì)訓(xùn)練樣本。本文使用單人姿態(tài)估計(jì)數(shù)據(jù)集所有訓(xùn)練樣本和多人訓(xùn)練數(shù)據(jù)集中80%的樣本訓(xùn)練網(wǎng)絡(luò)，剩下20%數(shù)據(jù)用于驗(yàn)證。本文使用PCKh@0.5(Percentage of Correct Keypoints)作為評價(jià)指標(biāo)，以人體目標(biāo)頭部作為歸一化標(biāo)準(zhǔn)。

MSCOCO關(guān)鍵點(diǎn)挑戰(zhàn)數(shù)據(jù)集包括10萬多人的訓(xùn)練樣本和大約8萬人的測試樣本，標(biāo)記了18個人體關(guān)鍵點(diǎn)，訓(xùn)練集包含超過100萬個標(biāo)記的關(guān)鍵點(diǎn)。本文使用數(shù)據(jù)集中的test-dev子集作為測試集，測試指標(biāo)是基于OKS(object keypoint similarity)的平均精度值(mean average precision，mAP)，本文使用OKS閾值分別設(shè)為0.5, 0.05, 0.95時(shí)，對應(yīng)的3個mAP的平均值，同時(shí)以AP@0.5、AP@0.75、AP(M)和AP(L)作為參考指標(biāo)。

3.2 訓(xùn)練中的實(shí)現(xiàn)細(xì)節(jié)

在實(shí)驗(yàn)中，YOLOv3-person使用PASCAL VOC2007和VOC2012數(shù)據(jù)集中的person類進(jìn)行訓(xùn)練，其余19個類別都被忽略。為了保證將人體目標(biāo)區(qū)域完全提取出來，將檢測到的目標(biāo)框沿寬高各拓展20%，同時(shí)將輸出圖像resize到256*256像素作為關(guān)鍵點(diǎn)檢測網(wǎng)絡(luò)的輸入。所有的代碼基于Pytorch1.0框架編寫。

在MPII數(shù)據(jù)集中，網(wǎng)絡(luò)使用均方根梯度下降算法優(yōu)化，初始學(xué)習(xí)率為2.5e-4，批處理大小為16，在第100和150epoch時(shí)，將學(xué)習(xí)率降低5倍，共訓(xùn)練180epoch。

在MSCOCO數(shù)據(jù)集中，同樣使用均方根梯度下降算法優(yōu)化，初始學(xué)習(xí)率為5e-3，批處理大小為16，在第100和150epoch時(shí)，將學(xué)習(xí)率降低10倍，共訓(xùn)練200epoch。

同時(shí)，Newell等經(jīng)實(shí)驗(yàn)驗(yàn)證，堆疊4個沙漏網(wǎng)絡(luò)，每個沙漏網(wǎng)絡(luò)中使用2個殘差模塊將可以使用最少的參數(shù)達(dá)到相對最優(yōu)的結(jié)果。因此，在實(shí)驗(yàn)中采取相同結(jié)構(gòu)的網(wǎng)絡(luò)設(shè)置。

3.3 實(shí)驗(yàn)結(jié)果

在MPII和MSCOCO數(shù)據(jù)上驗(yàn)證了本文方法的有效性，實(shí)驗(yàn)結(jié)果見表2、表3。圖5和表2分別顯示了在MPII數(shù)據(jù)集上測試的PCKh曲線圖和部分單個關(guān)鍵點(diǎn)的實(shí)驗(yàn)結(jié)果?？梢钥闯?，在MPII數(shù)據(jù)集中，本文的方法總體性能要優(yōu)于之前的一些姿態(tài)估計(jì)方法和堆疊沙漏網(wǎng)絡(luò)(stacked hourglass networks,SHN)。相比較于堆疊沙漏網(wǎng)絡(luò)，本方法在總體PCK@0.5提升了3.2%，同時(shí)在腳踝、膝蓋、手腕和手肘等小尺度關(guān)節(jié)上的檢測效果都有所提升，驗(yàn)證通道混洗模塊可以更好地識別被遮擋的關(guān)節(jié)，融入注意力機(jī)制的殘差模塊可以更好地關(guān)注小尺度的姿態(tài)。

從表3中看出，在MSCOCO數(shù)據(jù)集上，雖然本文的方法在mAP上略低于之前的方法，但是在AP@0.75和AP(M)上要優(yōu)于之前的方法，同時(shí)本方法與堆疊沙漏網(wǎng)絡(luò)相比，各種評價(jià)指標(biāo)的精度均有提升。

CA-SHN模型將為每個關(guān)鍵點(diǎn)生成熱力圖，本文在COCO數(shù)據(jù)集中測試多人圖像檢測的熱力圖效果，熱力圖效果如圖6所示，包括整體熱力圖和每個關(guān)鍵點(diǎn)的熱力圖。

表2 MPII數(shù)據(jù)集實(shí)驗(yàn)結(jié)果(PCK@0.5)/%

表3 MSCOCO數(shù)據(jù)集實(shí)驗(yàn)結(jié)果/%

圖5 MPII數(shù)據(jù)集的PCKh比較

結(jié)果表明，CA-SHN模型對耳朵、手腕、腳踝等小尺度關(guān)鍵點(diǎn)具有良好的檢測效果，提高了對遮擋關(guān)鍵點(diǎn)的檢測效果。

圖7顯示了CA-SHN模型對一些COCO數(shù)據(jù)集的姿態(tài)估計(jì)效果。如圖7所示，我們的模型可以很好地處理各種姿勢、遮擋和雜亂的場景。

3.4 對比實(shí)驗(yàn)

3.4.1 人物目標(biāo)檢測模型對比實(shí)驗(yàn)

對于人物目標(biāo)檢測模型，訓(xùn)練時(shí)將batch size設(shè)置為32，并使用前5個階段進(jìn)行預(yù)熱訓(xùn)練，動量設(shè)置為0.9，初始學(xué)習(xí)率為1e-3，在150和250epoch時(shí)學(xué)習(xí)率迭代下降，共訓(xùn)練300個epoch，本文在多臺配備NVIDIA 2080 GPU的機(jī)器上使用分布式訓(xùn)練。

將改進(jìn)前的YOLOv3模型與改進(jìn)后的YOLOv3-person模型同時(shí)在PASCAL VOC2007和PASCAL VOC2012數(shù)據(jù)集的person類上訓(xùn)練和測試，其中VOC2007含有人物目標(biāo)的圖像2095張，VOC2012含有人物的圖像9566張，使用80%作為訓(xùn)練集，20%作為驗(yàn)證集。另外，對圖像做了縮放(0.75-1.25)和旋轉(zhuǎn)(-/+30度)的數(shù)據(jù)增強(qiáng)，實(shí)驗(yàn)結(jié)果見表4。

實(shí)驗(yàn)結(jié)果顯示對于person這一類YOLOv3-person模型在VOC2007和VOC2012中達(dá)到了更好的檢測效果，驗(yàn)證本文對YOLOv3提出的改進(jìn)方法是有效的。

圖6 多人姿態(tài)估計(jì)各關(guān)鍵點(diǎn)的熱力圖效果

圖7 COCO數(shù)據(jù)集的姿態(tài)估計(jì)效果

表4 YOLOv3與YOLOv3-person在PASCAL VOC數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果/%

3.4.2 人體姿態(tài)估計(jì)方法對比實(shí)驗(yàn)

對于姿態(tài)估計(jì)器，本文使用兩臺配備NVIDIA 2080 GPU的機(jī)器上訓(xùn)練，批量大小為16。本文使用5e-3的固定學(xué)習(xí)率和RMSProp優(yōu)化方法，共訓(xùn)練200epoch。

將堆疊沙漏網(wǎng)絡(luò)、加入多尺度特征融合模塊(channel shuffle module，CSM)、加入融入注意力機(jī)制的殘差網(wǎng)絡(luò)(attention residual module，ARM)和同時(shí)加入CSM，ARM的4網(wǎng)絡(luò)結(jié)構(gòu)在MSCOCO數(shù)據(jù)集上訓(xùn)練后進(jìn)行了對比，見表5。實(shí)驗(yàn)結(jié)果表明，單獨(dú)加入CSM模塊和ARM模塊都可以有效提高檢測結(jié)果，同時(shí)加入時(shí)效果最佳。

表5 在MSCOCO上的對比實(shí)驗(yàn)結(jié)果

4 結(jié)束語

本文提出了一種基于改進(jìn)Stacked Hourglass網(wǎng)絡(luò)的多人姿態(tài)估計(jì)方法，該方法結(jié)合基于YOLOv3改進(jìn)的人物目標(biāo)檢測模型，設(shè)計(jì)了通道混洗模塊和注意力殘差模塊。通道混洗模塊幫助信息在特征通道間流動，注意力殘差模塊使模型對各個通道更具有辨別能力。通過在MPII和MSCOCO挑戰(zhàn)數(shù)據(jù)集上的對比實(shí)驗(yàn)，可以看出本文的方法相比于堆疊沙漏網(wǎng)絡(luò)，在手腕、腳踝等小尺度關(guān)鍵點(diǎn)的檢測精度提高了2%左右，總體PCK@0.5提升了3.2%，同時(shí)在面對多人姿態(tài)估計(jì)時(shí)存在的關(guān)鍵點(diǎn)遮擋時(shí)的檢測效果也有所提高，驗(yàn)證了本文提出的方法能有效提高多人姿態(tài)估計(jì)的識別率，同時(shí)為多人的姿態(tài)估計(jì)提供了一種方法。