摘? 要：為了提高行人屬性識別的準(zhǔn)確率，提出基于多尺度注意力網(wǎng)絡(luò)的行人屬性識別算法，并對其進(jìn)行了改進(jìn)。將行人屬性分為上身、上身附屬、下身、下身附屬、腳部、朝向、性別、年齡、攜帶物9個(gè)類型。在進(jìn)行初步的二分類屬性預(yù)測后，實(shí)行進(jìn)一步的屬性篩選分類，避免互斥屬性同時(shí)出現(xiàn)，從而提高屬性識別結(jié)果的準(zhǔn)確性和合理性。此外，為了有利于行人屬性識別算法的應(yīng)用，基于模塊化的設(shè)計(jì)理念，按照原始圖像和目標(biāo)檢測預(yù)測結(jié)果中的行人類型和位置信息獲取行人圖像塊信息進(jìn)行屬性識別，提出目標(biāo)檢測與行人屬性識別一體化的方法。

關(guān)鍵詞：圖像處理；深度學(xué)習(xí)；行人屬性識別；目標(biāo)檢測

中圖分類號：TP391.4? 文獻(xiàn)標(biāo)識碼：A? ? 文章編號：2096-4706（2023）17-0061-06

Pedestrian Attribute Recognition and Application Based on Deep Learning

WU Xinsen

（CRSC Communication & Information Corporation， Beijing? 100070， China）

Abstract： In order to improve the accuracy of pedestrian attribute recognition， a pedestrian attribute recognition algorithm based on multi-scale attention networks is proposed and improved. Divide pedestrian attributes into 9 types： upper body， upper body attachment， lower body， lower body attachment， feet， orientation， gender， age， and carrying items. After preliminary binary attribute prediction， further attribute screening and classification are implemented to avoid the simultaneous occurrence of mutually exclusive attributes， thereby improving the accuracy and rationality of attribute recognition results. In order to facilitate the application of pedestrian attribute recognition algorithms， and based on a modular design concept， pedestrian image block information is obtained from the original image and the pedestrian type and position information in the target detection prediction results for attribute recognition. An integrated method of target detection and pedestrian attribute recognition is proposed.

Keywords： image processing; deep learning; pedestrian attribute recognition; object detection

0? 引? 言

行人屬性識別是近年來發(fā)展迅速的一種算法，作為深度學(xué)習(xí)算法的一個(gè)分支，行人屬性識別算法可以有效挖掘出監(jiān)控場景中行人可被觀察到的一些語義信息，如行人性別、年齡、朝向、發(fā)型、帽子、上衣、下衣、鞋子，以及行人是否佩戴眼鏡、口罩、背包等附屬物等，為此該算法在智慧城市、刑事偵查等領(lǐng)域得到廣泛的應(yīng)用。雖然這些信息可通過人工觀察的方式獲得，但這會(huì)十分耗時(shí)費(fèi)力。行人屬性識別無須人工操作，只是將這些信息轉(zhuǎn)換成可以用于檢索的高級語義信息即可進(jìn)行計(jì)算。如進(jìn)行行人檢索時(shí)可基于屬性快速檢索感興趣的目標(biāo)[1]。在真實(shí)場景中，有些監(jiān)控?cái)z像頭捕獲的行人圖像分辨率較低，而行人屬性憑借其對比度和光照不變性而具有較高的應(yīng)用價(jià)值[2]。

在行人屬性識別中，不同類別屬性所屬的粒度不同，如發(fā)型、帽子、眼鏡、口罩等信息是圖像中行人的局部區(qū)域低層信息，而年齡、性別、朝向等信息則為全局的高層語義信息。針對細(xì)粒度的屬性（如眼鏡、裝飾），采用直接提取整幅圖像特征的方法無法有效識別這些屬性。因行人的屬性各不相同，識別時(shí)對網(wǎng)絡(luò)淺層或深層特征，局部或全局特征的需求也各不相同[3]。此外，在視角、光線等信息變化時(shí)，采樣到的圖像變化可能很大，但對這些屬性信息的判別結(jié)果不應(yīng)該因受上述環(huán)境因素的影響而發(fā)生改變。從一張輸入圖像中提取不同尺度的特征完成對應(yīng)屬性的判別及提升屬性判別的魯棒性，是行人屬性識別的難點(diǎn)所在。在很多的現(xiàn)實(shí)場景中，行人往往比較密集，攝像機(jī)角度和分辨率等都存有較大的差別。

在研究層面，目前行人屬性識別的研究大都是以單獨(dú)完整的行人圖片作為輸入，但是真實(shí)場景中的應(yīng)用往往需要以原始圖片作為輸入，需要實(shí)現(xiàn)目標(biāo)檢測和行人屬性識別算法的有機(jī)結(jié)合。此外，行人屬性總是表現(xiàn)出語義或視覺空間上的相關(guān)性或互斥性，但若是基于多標(biāo)簽二分類屬性的輸出，因訓(xùn)練數(shù)據(jù)集屬性不均衡等原因，有可能會(huì)導(dǎo)致不符合常識互斥屬性的出現(xiàn)，比如識別結(jié)果為同一個(gè)人既穿短褲又穿長褲。所以應(yīng)采取有效措施避免不符合常識互斥屬性的出現(xiàn)，這將有助于提高檢測結(jié)果的準(zhǔn)確性和合理性。

在國內(nèi)外的研究中，隨著深度學(xué)習(xí)的發(fā)展，Li等[4]提出了多標(biāo)簽屬性學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)模型（DeepMar），通過卷積神經(jīng)網(wǎng)絡(luò)（CNN）獲得更豐富的特征以代替手工特征，進(jìn)而從一個(gè)網(wǎng)絡(luò)模型中同時(shí)識別出行人的多個(gè)屬性。Sudowe等[5]提出了屬性卷積網(wǎng)絡(luò)（ACN），將整個(gè)行人圖像作為模型輸入，聯(lián)合學(xué)習(xí)所有屬性的預(yù)測。這些方法都是利用網(wǎng)絡(luò)中的最后一個(gè)特征圖來完成屬性識別任務(wù)，不能提高屬性識別的準(zhǔn)確率，原因是不同網(wǎng)絡(luò)層的特征反映了屬性不同的語義信息。如CNN模型需要從前幾層網(wǎng)絡(luò)中提取顏色或紋理等底層特征，這些特征對于衣服顏色和條紋的屬性非常重要，但對于性別、年齡這樣的語義屬性，高層網(wǎng)絡(luò)的特征比底層特征更有效[6，7]。為了應(yīng)對多層次的屬性識別，通過CNN提取行人圖像的特征，構(gòu)建特征金字塔網(wǎng)絡(luò)（FPN）。Li等針對行人屬性識別任務(wù)的特點(diǎn)設(shè)計(jì)了多尺度注意力網(wǎng)絡(luò)，采用基礎(chǔ)的殘差網(wǎng)絡(luò)ResNet50框架構(gòu)建特征金字塔網(wǎng)絡(luò)（FPN），以融合底層特征和高層特征，并利用通道注意力機(jī)制提升特征通道之間的關(guān)聯(lián)性，以增強(qiáng)網(wǎng)絡(luò)的屬性識別能力。

在深度學(xué)習(xí)領(lǐng)域，目標(biāo)檢測的實(shí)現(xiàn)通常是基于主流的卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建用于提取特征的基礎(chǔ)網(wǎng)絡(luò)，而后在基礎(chǔ)網(wǎng)絡(luò)中預(yù)先選定的特征提取層后部，通過額外附加的卷積層進(jìn)一步增加卷積圖的語義深度并調(diào)整其維度，使之匹配后面連接的檢測器的輸入要求，最終由檢測器實(shí)現(xiàn)對目標(biāo)的分類和定位等功能。YOLO系列是當(dāng)下非常流行的單階段實(shí)時(shí)目標(biāo)檢測算法，其將目標(biāo)檢測問題轉(zhuǎn)化為回歸問題，采用一個(gè)單獨(dú)的卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)端到端的目標(biāo)檢測，具有速度快、準(zhǔn)確率高、適用性廣、可擴(kuò)展性強(qiáng)等特點(diǎn)。Wang等[8]推出的YOLOv7模型針對模型結(jié)構(gòu)重參化和動(dòng)態(tài)標(biāo)簽分配問題進(jìn)行了優(yōu)化，使模型的參數(shù)量和計(jì)算量大幅度減少，進(jìn)一步提升了目標(biāo)檢測性能。

1? 算法介紹

1.1? 行人屬性識別算法

采用基于弱監(jiān)督多尺度注意力網(wǎng)絡(luò)的行人屬性識別算法，能夠融合網(wǎng)絡(luò)中不同層次的特征并自適應(yīng)分配網(wǎng)絡(luò)權(quán)重，可以以端到端簡單易行的方式進(jìn)行訓(xùn)練，并可有效識別行人的各類屬性[2，9]。其以從ImageNet訓(xùn)練的BN-Inception網(wǎng)絡(luò)作為基礎(chǔ)網(wǎng)絡(luò)，沿著自底向上的路徑以多個(gè)尺度從低層特征圖中提取細(xì)節(jié)信息，并沿著自頂向下的路徑從高層特征圖中提取語義信息，然后在網(wǎng)絡(luò)中添加橫向連接，使得高層的語義特征能夠與底層的細(xì)節(jié)特征進(jìn)行融合構(gòu)建特征金字塔，并通過通道注意力機(jī)制自主融合不同通道的特征，提升特征通道之間的關(guān)聯(lián)性。最后，采用屬性定位模塊將屬性與圖像中的具體區(qū)域進(jìn)行關(guān)聯(lián)，將屬性標(biāo)簽與圖像中相應(yīng)的位置進(jìn)行匹配和定位，以提供屬性的局部化信息。在對行人的各個(gè)屬性進(jìn)行判斷和預(yù)測時(shí)，采用sigmoid函數(shù)將網(wǎng)絡(luò)的輸出映射到0到1之間，表示屬性存在的概率。

但行人屬性識別本身是個(gè)多標(biāo)簽分類問題，若只是對屬性采用sigmoid函數(shù)以二分類的形式進(jìn)行預(yù)測，有時(shí)會(huì)產(chǎn)生一些互斥屬性同時(shí)出現(xiàn)的現(xiàn)象，比如識別結(jié)果為同時(shí)出現(xiàn)短褲和長褲。為了避免互斥屬性的同時(shí)出現(xiàn)，將行人屬性分為上身、上身附屬、下身、下身附屬、腳部、朝向、性別、年齡、攜帶物9個(gè)類型，并將屬性歸類到9個(gè)類型中，如表1所示。通過對行人屬性進(jìn)行sigmoid二分類，獲取每個(gè)屬性存在概率的分值Kij，如式（1）所示，并只保留分值Kij大于閾值αij的屬性。對于攜帶物這個(gè)類型中的屬性，允許多項(xiàng)屬性同時(shí)存在。而其余8個(gè)類型中的屬性，通過softmax函數(shù)對其余8個(gè)類型中的屬性重新獲得分值gij，如式（2）所示。最后通過argmax函數(shù)獲取每個(gè)類型存在概率最大值屬性的索引sij，并將該索引對應(yīng)的屬性xij作為該類型唯一顯示的屬性，如式（3）所示。

其中，xij表示第i個(gè)類型的第j個(gè)屬性，kij表示屬性xij通過sigmoid獲得的分值，ni表示類型i中的屬性個(gè)數(shù)，kim表示類型i中每個(gè)屬性通過sigmoid獲得的分值，gij表示屬性xij在類型i中通過softmax獲得的分值，sij表示類型i中通過argmax篩選出來的屬性索引。

1.2? 算法結(jié)合

在研究層面，通常是目標(biāo)檢測和行人屬性識別等算法分開單獨(dú)研究；而在工程應(yīng)用層面，需要將目標(biāo)檢測和行人屬性識別算法有機(jī)結(jié)合。完整的流程是以原始圖像作為輸入，通過目標(biāo)檢測算法識別行人類型并獲取其位置坐標(biāo)，然后將獲取的行人圖像信息傳入改進(jìn)后的行人屬性識別算法，獲取行人的有效屬性并進(jìn)行輸出，如圖1所示。

在YOLO系列中，預(yù)測的物體邊界框坐標(biāo)（中心坐標(biāo)和寬高）通常是相對于輸入圖像的歸一化坐標(biāo)，取值范圍在[0，1]之間。為了實(shí)現(xiàn)進(jìn)一步的處理，需要將這些歸一化坐標(biāo)轉(zhuǎn)換為圖像像素坐標(biāo)，如式（4）～（7）所示：

其中，xi和yi表示檢測目標(biāo)i在圖像中歸一化的中心坐標(biāo)，wi和hi表示歸一化的寬度和高度。wo和ho表示原始圖像的寬度和高度。xip和yip表示檢測目標(biāo)的中心像素坐標(biāo)，wip和hip表示檢測目標(biāo)的寬度和高度。

為了便于獲取圖像中的行人圖像塊信息，將目標(biāo)在圖像中的中心坐標(biāo)和寬高轉(zhuǎn)換為目標(biāo)左上角和右下角的坐標(biāo)，如式（8）～（11）所示：

其中，xil和yil表示檢測目標(biāo)i在圖像中左上角的像素坐標(biāo)，xir和yir表示檢測目標(biāo)i在圖像中右下角的像素坐標(biāo)。

在原圖中獲取行人圖像塊信息的方法如式（12）所示。將行人圖像塊信息傳入行人屬性識別算法，以進(jìn)行下一步的屬性識別。

其中，Io和Ii分別表示原始圖像像素信息和行人圖像塊信息。

2? 實(shí)驗(yàn)結(jié)果

2.1? 實(shí)驗(yàn)測試

服務(wù)器使用的是64位Centos 7系統(tǒng)，GPU為NVIDIA RTX 2080 Ti，內(nèi)存為32 GB。編程語言為Python 3.8，模型訓(xùn)練使用的深度學(xué)習(xí)框架為PyTorch。實(shí)驗(yàn)采用的行人屬性數(shù)據(jù)集為PA-100K，包含由598個(gè)室外監(jiān)控?cái)z像頭采集到的100 000張行人圖像，每張圖像有26個(gè)屬性標(biāo)注，圖像分辨率從50×100到758×454 [9，10]。隨機(jī)選擇80 000張圖像用于訓(xùn)練，10 000張圖像用于驗(yàn)證，10 000張圖像用于測試。

在行人屬性識別模型中，根據(jù)行人圖像的特點(diǎn)將輸入圖像的分辨率統(tǒng)一縮放至256×128，同時(shí)使用隨機(jī)水平鏡像和數(shù)據(jù)洗牌等數(shù)據(jù)增強(qiáng)方法進(jìn)行行人屬性識別，網(wǎng)絡(luò)采用自適應(yīng)運(yùn)動(dòng)估計(jì)算法（Adam）進(jìn)行訓(xùn)練?？偣灿?xùn)練了60個(gè)Epoch，batch-size為32，初始學(xué)習(xí)率為0.000 1，且每10個(gè)Epoch衰減0.1。參數(shù)衰減值（weight-decay）為0.000 5，動(dòng)量因子（momentum）為0.9，模型參數(shù)量為1.4×107。

經(jīng)過60個(gè)Epoch訓(xùn)練，模型訓(xùn)練結(jié)果如表2所示。在第60個(gè)Epoch時(shí)，當(dāng)前批次的處理時(shí)長（time）為0.721 s，整個(gè)訓(xùn)練過程的平均處理時(shí)長為0.769 s；當(dāng)前批次的損失值（Loss）為0.015 6，整個(gè)訓(xùn)練過程的平均損失值為0.021 4；當(dāng)前批次的準(zhǔn)確率（Accuracy）為1.000，整個(gè)訓(xùn)練過程的平均準(zhǔn)確率為1.000。損失值和準(zhǔn)確率這兩個(gè)指標(biāo)通常用于監(jiān)控模型在訓(xùn)練過程中的性能表現(xiàn)。損失值越低，準(zhǔn)確率越高，代表模型的訓(xùn)練效果越好。

為了避免模型過度擬合訓(xùn)練數(shù)據(jù)，在每個(gè)Epoch中對模型進(jìn)行驗(yàn)證。在第60個(gè)Epoch的驗(yàn)證集中，26個(gè)屬性的驗(yàn)證結(jié)果如表3所示。其中，p_true/n_true表示屬性在驗(yàn)證集中為“真”的正樣本數(shù)/總正樣本數(shù)，p_tol/n_tol表示屬性在驗(yàn)證集中為“真”或誤差容忍度范圍內(nèi)的正樣本數(shù)/總正樣本數(shù)，p_pred/n_pred表示模型對屬性的預(yù)測結(jié)果中為“真”的正樣本數(shù)/總正樣本數(shù)，cur_mA表示當(dāng)前的平均精度。

衡量行人屬性識別能力的指標(biāo)通常為基于標(biāo)簽的評價(jià)指標(biāo)和基于實(shí)例的評價(jià)指標(biāo)，前者主要是平均精度均值（mA），后者主要是準(zhǔn)確率（Accuracy）、精確率（Precision）、召回率（Recall）和F1_Score[11，12]。其中，在評價(jià)屬性識別模型的性能時(shí)，主要看mA和F1。經(jīng)過60個(gè)Epoch訓(xùn)練，行人屬性識別算法的mA為0.782，F(xiàn)1為0.865，取得了較好的效果，如表4所示。

在第60個(gè)Epoch的測試集中，模型的準(zhǔn)確率為0.939。對PA-100K測試集中行人屬性的預(yù)測效果進(jìn)行可視化展示，如圖2所示。

而對于目標(biāo)檢測，通常采用平均精度（AP）來評價(jià)。YOLOv7模型采用經(jīng)過MS COCO數(shù)據(jù)集訓(xùn)練的模型參數(shù)進(jìn)行各種常見場景的類型檢測，其各項(xiàng)指標(biāo)APtest/APval為51.4%/51.2%，AP50test為69.7%，AP100test為55.9%[8]。

2.2? 實(shí)例測試

真實(shí)場景中的行人行為更為復(fù)雜多變，以鐵路車站場景的圖片為例進(jìn)行實(shí)例測試，在視頻截圖中可以看到遠(yuǎn)近有多名不同性別的行人，其穿戴、朝向、攜帶物等均有差異，如圖3所示。

若僅讓該圖經(jīng)過YOLOv7目標(biāo)檢測算法的運(yùn)算，可以有效識別出行人、火車、背包等各種類別，并可獲取其位置坐標(biāo)，如圖4所示。

通過目標(biāo)檢測算法在原圖中篩選出行人類型及其歸一化位置坐標(biāo)，并將歸一化位置坐標(biāo)轉(zhuǎn)換為像素位置坐標(biāo)。若把每個(gè)檢測到的行人裁剪出來，可視化效果如圖5所示。

將每個(gè)行人的圖像塊信息傳入改進(jìn)的行人屬性識別算法進(jìn)行識別，能夠有效識別出行人的各項(xiàng)屬性（如性別、年齡、朝向、上衣、下衣、穿戴物以及攜帶物等），且沒有互斥屬性出現(xiàn)，如圖6所示。

在實(shí)際應(yīng)用中，已經(jīng)把目標(biāo)檢測算法和改進(jìn)的行人屬性識別算法進(jìn)行了有機(jī)結(jié)合，所以輸入原圖可以直接獲得行人屬性識別的效果圖及其屬性識別信息，以便做進(jìn)一步的處理和分析。

3? 結(jié)? 論

采用端到端多尺度特征融合的行人屬性識別算法，基于多層提取特征和自適應(yīng)分配特征權(quán)重的框架，以端到端簡便易行的訓(xùn)練方式，可以完全由屬性識別的總體標(biāo)定結(jié)果驅(qū)動(dòng)算法進(jìn)行端到端的位置回歸和類別打分訓(xùn)練迭代，從而自動(dòng)獲得屬性識別結(jié)果。在此基礎(chǔ)上，將行人屬性分為9個(gè)類型進(jìn)行篩選，實(shí)現(xiàn)對行人性別、年齡、朝向、帽子、上衣、下衣、鞋子，及其是否帶有眼鏡、背包等附屬物的自動(dòng)檢測識別，并避免互斥屬性的同時(shí)出現(xiàn)，提高了屬性識別結(jié)果的準(zhǔn)確性和合理性。

在行人屬性與目標(biāo)檢測算法結(jié)合方面，采用模塊化的設(shè)計(jì)理念，通過目標(biāo)檢測對圖像中不同尺度、位置的行人進(jìn)行檢測。通過目標(biāo)檢測獲取行人類型和位置信息，進(jìn)而獲取行人圖像塊信息傳入改進(jìn)的行人屬性識別模型，以獲得準(zhǔn)確的屬性識別結(jié)果，可為行人在崗檢測等其他算法的研發(fā)應(yīng)用提供基礎(chǔ)參考。

參考文獻(xiàn)：

[1] SU C，YANG F，ZHANG S L，et al. Multi-task learningwith low rank attribute embedding for multi-cameraperson re-identification [J].IEEE Transactions onPattern Analysis and Machine Intelligence，2018，40（5）：1167-1181.

[2] 李娜，武陽陽，劉穎，等.基于多尺度注意力網(wǎng)絡(luò)的行人屬性識別算法 [J].激光與光電子學(xué)進(jìn)展，2021，58（4）：290-296.

[3] 馬騰飛.自適應(yīng)特征匹配的行人識別技術(shù)研究及實(shí)現(xiàn) [D].北京：中國科學(xué)院大學(xué)（中國科學(xué)院人工智能學(xué)院），2021.

[4] LI D W，CHEN X T，HUANG K Q. Multi-attributelearning for pedestrian attribute recognition in surveillance scenarios [C]//2015 3rd IAPR Asian Conference on Pattern Recognition （ACPR）. Kuala Lumpur：IEEE，2015：111-115.

[5] SUDOWE P，SPITZER H，LEIBE B. Person attribute recognition with a jointly-trained holistic CNN model [C]//Proceedings of the IEEE International Conference on Computer Vision （ICCV） Workshops. Santiago：IEEE，2015：87-95.

[6] 袁配配，張良.基于深度學(xué)習(xí)的行人屬性識別 [J].激光與光電子學(xué)進(jìn)展，2020，57（6）：61-67.

[7]林笑.基于人體子部件分割的行人多屬性識別模型研究 [D].北京：北京工業(yè)大學(xué)，2021.

[8] WANG C Y，BOCHKOVSKIY A，LIAO H M，et al. YOLOv7：Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors [J/OL].arXiv：2207.02696v1 [cs.CV].[2023-04-20].https：//arxiv.org/abs/2207.02696.

[9] TANG C，SHENG L，ZHANG Z X，et al. Improving Pedestrian Attribute Recognition With Weakly-Supervised Multi-Scale Attribute-Specific Localization [C]//2019 IEEE/CVF International Conference on Computer Vision （ICCV）. Seoul：IEEE，2019：4996-5005.

[10] SARFRAZ M S，SCHUMANN A，WANG Y，et al. Deep view-sensitive pedestrian attribute inference in an end-to-end model [J/OL].arXiv：1707.06089v1 [cs.CV].[2023-04-13].https：//arxiv.org/abs/1707.06089v1.

[11] DENG Y B，LUO P，LOY C C，et al. Learning torecognize pedestrian attribute [J/OL].arXiv：1501.00901v2 [cs.CV].[2023-04-19].https：//arxiv.org/pdf/1501.00901.pdf.

[12] ZHAO X，SANG L F，DING G G，et al. Groupingattribute recognition for pedestrian with jointrecurrent learning [C]//Proceedings of the Twenty-Seventh International Joint Conference on Artificial Intelligence.California：AAAI Press，2018：3177-3183.

作者簡介：武鑫森（1990—），男，漢族，河北滄州人，工程師，博士，研究方向：計(jì)算機(jī)視覺。