摘要：為了解決監(jiān)控中的遮擋問(wèn)題和提高人群監(jiān)控的準(zhǔn)確性，該文提出了基于三維空間的多行人重識(shí)別方法，結(jié)果表明，該方面可以大幅提高監(jiān)控系統(tǒng)的覆蓋范圍和人群監(jiān)控系統(tǒng)在復(fù)雜環(huán)境下的識(shí)別與跟蹤準(zhǔn)確性，有效支持密集人群環(huán)境下的安全監(jiān)控需求。

關(guān)鍵詞：三維空間；行人重識(shí)別；人群監(jiān)控

doi：10.3969/J.ISSN.1672-7274.2024.07.021

中圖分類號(hào)：TP 3 文獻(xiàn)標(biāo)志碼：A 文章編碼：1672-7274（2024）07-00-03

Multi-pedestrian Rerecognition Method Based on Three-dimensional Space

SUN Yiyang

（Hubei University. Wuhan 430062， China）

Abstract： In order to solve the occlusion problem and improve the accuracy of crowd monitoring， a multi-pedestrian rerecognition method based on three-dimensional space is proposed. The research results show that the coverage of the monitoring system and the identification and tracking accuracy of the crowd monitoring system in complex environments can be greatly improved， and the security monitoring requirements in dense crowd environments can be effectively supported.

Keywords： three-dimensional space; pedestrian rerecognition; crowd monitoring

1 研究背景

當(dāng)前，目標(biāo)識(shí)別、目標(biāo)跟蹤等技術(shù)已廣泛應(yīng)用于視頻監(jiān)控領(lǐng)域。然而，現(xiàn)有視頻監(jiān)控系統(tǒng)中，監(jiān)控端攝像頭等設(shè)備存在容易被遮擋、遠(yuǎn)距離成像效果較差等問(wèn)題[1-3]。由于攝像頭取景范圍有限，造成難以完整地檢測(cè)到行人的面部特征、手足運(yùn)動(dòng)軌跡，從而無(wú)法達(dá)到實(shí)時(shí)監(jiān)控的效果。另外，單一維度的攝像頭無(wú)法獲取行人在多個(gè)方向的運(yùn)動(dòng)軌跡。在行人面向鏡頭行走時(shí)，無(wú)法獲取行人坐標(biāo)位置。因此，本文提出一種基于三維空間的多行人重識(shí)別方法，以解決以上問(wèn)題。

2 研究方法

行人重識(shí)別是指在視頻監(jiān)控系統(tǒng)中，通過(guò)分析行人的外觀特征或行為特征，實(shí)現(xiàn)在不同場(chǎng)景、不同攝像頭下對(duì)同一行人的再次識(shí)別。多行人重識(shí)別方法包括如下步驟：

步驟1，將監(jiān)控區(qū)域劃分為存在多個(gè)可安裝平面的立體監(jiān)控空間（見(jiàn)圖1）；基于立體監(jiān)控空間的各個(gè)可安裝平面布設(shè)分布式監(jiān)控裝置（見(jiàn)圖2）。

步驟2，利用布設(shè)的分布式監(jiān)控裝置獲取當(dāng)前監(jiān)控目標(biāo)區(qū)域的實(shí)時(shí)監(jiān)控圖像，利用神經(jīng)網(wǎng)絡(luò)模型判斷采集的實(shí)時(shí)監(jiān)控圖像中是否存在行人[4]。

步驟3，當(dāng)監(jiān)控圖像中存在行人時(shí)，則采用基于鄰域判定的跟蹤拍攝方法控制分布式監(jiān)控裝置對(duì)行人進(jìn)行跟蹤[5]。

識(shí)別行人軌跡方法如下：

①布置攝像頭時(shí)將其按相同間距排列，對(duì)于安裝面a，定義其長(zhǎng)度為L(zhǎng)c，寬度為L(zhǎng)k；安裝面a存在x×y個(gè)分?jǐn)z像頭，分?jǐn)z像頭兩個(gè)方向上的間距分別為L(zhǎng)c/x、Lk/y；對(duì)于安裝面b、c，以安裝面b為例，定義其長(zhǎng)度為L(zhǎng)，在安裝面b上安置n個(gè)分?jǐn)z像頭，則每個(gè)分?jǐn)z像頭之間間距L/n；共設(shè)置n個(gè)安裝面a，攝像頭平行于地面安裝，每個(gè)安裝面上均安裝攝像頭。

②設(shè)置預(yù)警區(qū)域，取導(dǎo)軌兩側(cè)距離為dy1的矩形區(qū)域，與中心點(diǎn)距離近的一側(cè)為近側(cè)，與中心點(diǎn)距離遠(yuǎn)的一側(cè)為遠(yuǎn)側(cè)；以攝像頭背面中心，取半徑為dy2的圓形區(qū)域。設(shè)置切換區(qū)域，取導(dǎo)軌兩側(cè)距離為dq1的矩形區(qū)域，與中心點(diǎn)距離近的一側(cè)為近側(cè)，與中心點(diǎn)距離遠(yuǎn)的一側(cè)為遠(yuǎn)側(cè)；以攝像頭背面中心，取半徑為dq2的圓形區(qū)域。

③當(dāng)中心點(diǎn)進(jìn)入預(yù)警區(qū)域，系統(tǒng)對(duì)中心點(diǎn)相對(duì)于導(dǎo)軌或者攝像頭的運(yùn)動(dòng)軌跡（從進(jìn)入預(yù)警區(qū)域到進(jìn)入切換區(qū)域的運(yùn)動(dòng)過(guò)程中，圖像采集到的一系列位置坐標(biāo)形成運(yùn)動(dòng)軌跡[6-7]，每隔t秒進(jìn)行軌跡點(diǎn)采樣，t可取0.1）進(jìn)行擬合，每隔t秒可以得到一段運(yùn)動(dòng)軌跡，可采用最小二乘法對(duì)圖像的x、y坐標(biāo)進(jìn)行線性擬合，形成預(yù)判運(yùn)動(dòng)趨勢(shì)方向的方向線段y=ax+b，x、y分別為圖像的橫縱坐標(biāo)。根據(jù)視頻每幀時(shí)間（1/24 s）以及幀數(shù)（圖像數(shù)）p，可以推算出運(yùn)動(dòng)速度v=L/（1/24×（p-1）），其中，L為每隔t秒運(yùn)動(dòng)軌跡的起始位置的直線距離。將平面沿半徑方向平均劃分為m個(gè)扇形區(qū)域，對(duì)應(yīng)了m個(gè)方向。設(shè)置計(jì)數(shù)器，計(jì)數(shù)器包括m個(gè)值，對(duì)應(yīng)m個(gè)扇形區(qū)域的計(jì)數(shù)值。每隔t秒進(jìn)行一次計(jì)數(shù)器更新，當(dāng)方向線段所指的方向位于第i（i=1，…，m）個(gè)扇形區(qū)域間時(shí)，第i個(gè)計(jì)數(shù)器值為v×k+c，其中，k為速度比例系數(shù)，c、k均為經(jīng)驗(yàn)值。

當(dāng)下層安裝面a的導(dǎo)軌或者攝像頭（背面）遮擋住上層安裝面a的攝像頭視野時(shí)，避免遮擋的方法：首先采用深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)方式對(duì)攝像頭獲得的圖像進(jìn)行識(shí)別[8]，并對(duì)已有的導(dǎo)軌或者攝像頭背面的數(shù)據(jù)集進(jìn)行訓(xùn)練，然后對(duì)實(shí)時(shí)圖像中的導(dǎo)軌或者攝像頭進(jìn)行識(shí)別，獲取下層導(dǎo)軌或者下層攝像頭在圖像中的位置，從而獲取當(dāng)前攝像頭與下層導(dǎo)軌或攝像頭的對(duì)應(yīng)位置關(guān)系。如圖3所示。

對(duì)于導(dǎo)軌，中心點(diǎn)進(jìn)入切換區(qū)域時(shí)，最后一段方向線段的重合直線與切換區(qū)域相交于兩點(diǎn)，分別位于近側(cè)、遠(yuǎn)側(cè)。上層安裝面的攝像頭當(dāng)前位于近側(cè)交點(diǎn)，移動(dòng)攝像頭至遠(yuǎn)側(cè)的位置。對(duì)于攝像頭，中心點(diǎn)進(jìn)入切換區(qū)域相交時(shí)，最后一段方向線段的重合直線與切換區(qū)域相交于兩點(diǎn)，分別位于近側(cè)、遠(yuǎn)側(cè)，上層安裝面的攝像頭當(dāng)前位于近側(cè)交點(diǎn)，移動(dòng)攝像頭至遠(yuǎn)側(cè)的位置；最后一段方向線段的重合直線與切換區(qū)域相切時(shí)，不進(jìn)行切換。

當(dāng)中心點(diǎn)與切換區(qū)域邊界相交時(shí)，攝像頭移動(dòng)至遠(yuǎn)側(cè)位置的方法。

（1）對(duì)于導(dǎo)軌情況，設(shè)相交點(diǎn)為A。設(shè)置扇形區(qū)域，扇形區(qū)域圓心為A，將A與導(dǎo)軌的垂線設(shè)為扇形的對(duì)稱中心，扇形角度可取經(jīng)驗(yàn)值α。扇形與遠(yuǎn)側(cè)交點(diǎn)為B、C，A與導(dǎo)軌的垂線與弧線BC交點(diǎn)為D。近側(cè)邊界以A為界，兩側(cè)分別取L、R兩個(gè)點(diǎn)，形成角BAL和角CAR，如圖4所示。

（2）對(duì)于攝像頭情況，設(shè)相交點(diǎn)為A。設(shè)置扇形區(qū)域，扇形區(qū)域圓心為A，將A與攝像頭中心點(diǎn)O的線段設(shè)為扇形的對(duì)稱中心，扇形角度可取經(jīng)驗(yàn)值β。將線段AO沿AO方向延長(zhǎng)攝像頭圓形的半徑r至攝像頭與扇形的切點(diǎn)D，扇形弧線的兩個(gè)終點(diǎn)為B、C。以A為交點(diǎn)取AD的垂線LR，形成角BAL和角CAR，如圖5所示。

（3）當(dāng)角BAC屬于m個(gè)扇形區(qū)域方向中第p，p+1，...，q個(gè)區(qū)域時(shí)（p≤q≤m），則取計(jì)數(shù)器中第p，p+1，...，q個(gè)計(jì)數(shù)值的和為sum1。當(dāng)角BAL屬于m個(gè)扇形區(qū)域方向中第p，p+1，...，q個(gè)區(qū)域時(shí)（p≤q≤m），則取計(jì)數(shù)器中第p，p+1，...，q個(gè)計(jì)數(shù)值的和為sum2。當(dāng)角CAR屬于m個(gè)扇形區(qū)域方向中第p，p+1，...，q個(gè)區(qū)域時(shí)（p≤q≤m），則取計(jì)數(shù)器中第p，p+1，...，q個(gè)計(jì)數(shù)值的和為sum3。不含角BAC、角BAL、角CAR，當(dāng)角LAR屬于m個(gè)扇形區(qū)域方向中第p，p+1，...，q個(gè)區(qū)域時(shí)（p≤q≤m），則取計(jì)數(shù)器中第p，p+1，...，q個(gè)計(jì)數(shù)值的和為sum4。

取sum1、sum2、sum3、sum4中最大值summax：summax等于sum1時(shí)，移動(dòng)攝像頭，直到中心點(diǎn)位于D為止；summax等于sum2時(shí)，移動(dòng)攝像頭，直到中心點(diǎn)位于B為止；summax等于sum3時(shí)，移動(dòng)攝像頭，直到中心點(diǎn)位于C為止；summax等于sum4時(shí)，攝像頭保持不動(dòng)。

在具有多個(gè)安裝面ai（i=1，…，n）情況下，當(dāng)中心點(diǎn)與切換區(qū)域邊界相交時(shí)，完成前述預(yù)防遮擋的算法，如果summax等于sum1、sum2、sum3，則進(jìn)行區(qū)域重疊測(cè)試[9]。如果距離最近的攝像頭無(wú)區(qū)域重疊，則改用該攝像頭進(jìn)行重識(shí)別；如果所有攝像頭都處于區(qū)域重疊狀態(tài)，則系統(tǒng)發(fā)出警告提示。

3 研究結(jié)果

（1）本研究提出了一種基于三維空間的行人重識(shí)別方法，對(duì)于被監(jiān)控區(qū)域，將其抽象為存在多個(gè)可安裝平面的立體空間；通過(guò)多組攝像設(shè)備，分別將其布置在被監(jiān)控區(qū)域內(nèi)的多個(gè)安裝平面，通過(guò)配套的固定支架和活動(dòng)導(dǎo)軌，實(shí)現(xiàn)攝像設(shè)備可活動(dòng)的目的；可根據(jù)目標(biāo)監(jiān)控區(qū)域人群活動(dòng)情況進(jìn)行動(dòng)態(tài)調(diào)整攝像頭分布情況，達(dá)到分布式攝像監(jiān)控和預(yù)警的目的。

（2）本研究通過(guò)在垂直于地面方向安裝多個(gè)可安裝平面，每個(gè)安裝平面可獨(dú)立識(shí)別一個(gè)行人的運(yùn)動(dòng)軌跡，從而能夠重識(shí)別多個(gè)行人。同時(shí)，對(duì)于判定為重識(shí)別目標(biāo)的行人（如重點(diǎn)監(jiān)控對(duì)象），引入基于鄰域判定的跟蹤拍攝方法，對(duì)目標(biāo)行人進(jìn)行跟蹤拍攝，通過(guò)提前關(guān)注潛在危險(xiǎn)人員達(dá)到危險(xiǎn)預(yù)防的目的。

（3）本研究能夠彌補(bǔ)現(xiàn)有技術(shù)存在監(jiān)控端攝像頭等設(shè)備攝像過(guò)程中容易被遮擋、遠(yuǎn)距離成像效果較差等問(wèn)題，能夠?qū)χ攸c(diǎn)關(guān)注人員進(jìn)行不間斷的、高質(zhì)量的視頻監(jiān)控，為社會(huì)治安管理提供了有效支持。

如圖6所示，單個(gè)攝像頭攝像范圍為S2，未覆蓋范圍S1，造成攝像死角，導(dǎo)致重識(shí)別失敗。在增加了攝像頭2后，監(jiān)控覆蓋范圍S2增大。如圖7所示。

8 mm焦距攝像頭為典型焦距值，為拍攝更清晰畫(huà)面，往往采用更小焦距，同時(shí)監(jiān)控距離變小影響監(jiān)控效果，8 mm焦距攝像頭角度在30°～40°。以10 m×10 m場(chǎng)地為例，設(shè)置8 mm焦距攝像頭，常見(jiàn)的攝像頭角度為40°，在場(chǎng)地兩側(cè)安裝攝像頭如圖8所示，大幅提升了監(jiān)控范圍。

為提高攝像質(zhì)量，需要擴(kuò)大攝像角度，盡可能減小焦距。而已有的攝像頭在較近距離攝像時(shí)會(huì)產(chǎn)生桶形畸變，尤其是廣角攝像頭，如圖9所示。

在此情況下，距離攝像中心點(diǎn)越遠(yuǎn)，畸變?cè)矫黠@。因此，需要盡可能將攝像頭攝像中心靠近被攝像物體，這樣可以減小畸變，更精確確定行人位置坐標(biāo)。行人運(yùn)動(dòng)速度約為1.2 m/s，使用導(dǎo)軌能將攝像頭以最高至3 m/s以上速度移動(dòng)到行人上方位置，并跟隨行人移動(dòng)。如果在人高速奔跑的情況下，還可以通過(guò)更多的安裝面a上的攝像頭輔助捕捉人員信息，避免單一攝像頭攝像范圍有限且固定，而無(wú)法捕捉到人員圖像。

參考文獻(xiàn)

[1] 宋婉茹，趙晴晴，陳昌紅，等．行人重識(shí)別研究綜述．智能系統(tǒng)學(xué)報(bào)，2017，12（6）：770-780．

[2] 李擎，胡偉陽(yáng)，李江昀，劉艷，李夢(mèng)璇．基于深度學(xué)習(xí)的行人重識(shí)別方法綜述[J]．工程科學(xué)學(xué)報(bào)，2022，44（5）：920-932．

[3] 劉莎，黨建武，王松，等．結(jié)合一階和二階空間信息的行人重識(shí)別[J]．激光與光電學(xué)進(jìn)展，2021，58（2）：299-307．

[4] 羅浩，姜偉，范星，等．基于深度學(xué)習(xí)的行人重識(shí)別研究進(jìn)展[J]．自動(dòng)化學(xué)報(bào)，2019，45（11）：2032-2049．

[5] 趙元龍，單玉剛，袁杰．改進(jìn)YOLOv7與DeepSORT的佩戴口罩行人跟蹤[J]．計(jì)算機(jī)工程與應(yīng)用，2023，59（6）：221-230．

[6] 孔瑋，劉云，李輝，等．基于深度學(xué)習(xí)的行人軌跡預(yù)測(cè)方法綜述[J]．控制與決策，2021，36（12）：2841-2850．

[7] 李琳輝，周彬，任威威，等．行人軌跡預(yù)測(cè)方法綜述[J]．智能科學(xué)與技術(shù)學(xué)報(bào)，2021，3（4）：399-411．

[8] Girshick R. Fast r-cnn[C]//Proceedings of the IEEE international conference on computer vision. 2015： 1440-1448.

[9] 盧小平，盧遙，焦金龍，等．基于重疊區(qū)域相關(guān)系數(shù)的視頻影像關(guān)鍵幀提取算法[J]．武漢大學(xué)學(xué)報(bào)（信息科學(xué)版），2019，44（2）：260-267.