王國(guó)慶 鄭國(guó)華 邵衛(wèi)華 李克祥 朱朝柯

（浙江索思科技有限公司，浙江溫州 325000）

1.設(shè)計(jì)背景

自動(dòng)扶梯是一種類(lèi)似于傾斜式傳送帶的運(yùn)輸裝置，在機(jī)場(chǎng)、地鐵、火車(chē)站和商場(chǎng)等公共場(chǎng)合場(chǎng)所完成乘客和貨物的運(yùn)輸。自動(dòng)扶梯的大規(guī)模應(yīng)用，給人們帶來(lái)了便利，同時(shí)其安全問(wèn)題也日益凸顯。近年來(lái)，自動(dòng)扶梯的安全事故時(shí)有發(fā)生，不僅影響了扶梯的運(yùn)行效率，同時(shí)造成了一定的人員傷亡，因此提高自動(dòng)扶梯的安全性受到普遍關(guān)注。當(dāng)前，為了提高自動(dòng)扶梯的安全性，人們采用了安排工作人員看守、語(yǔ)音提示、按緊急制動(dòng)按鈕等方式，但是這些方式都有一定的弊端。首先，對(duì)于車(chē)站、商場(chǎng)等場(chǎng)所，使用的自動(dòng)扶梯數(shù)量多，若每個(gè)扶梯都安排專(zhuān)人看護(hù)，人工成本大，而且在這些場(chǎng)所的人流量通常都比較大，因此單憑人工看守，很難第一時(shí)間采取應(yīng)對(duì)措施。同時(shí)，隨著電動(dòng)扶梯使用年限的增加，磨損和老化問(wèn)題會(huì)不斷加劇，故障率會(huì)上升，不僅會(huì)導(dǎo)致自動(dòng)扶梯運(yùn)動(dòng)維護(hù)的成本增加，而且安全性難以保證，因此建立一種自動(dòng)的扶梯乘客危險(xiǎn)行為監(jiān)控和行為預(yù)警系統(tǒng)，對(duì)自動(dòng)扶梯商人和物品進(jìn)行自動(dòng)監(jiān)控，并進(jìn)行預(yù)警，具有重要作用，可以顯著降低扶梯的安全事故?；诖吮疚幕谝曈X(jué)分析，建立了一個(gè)扶梯乘客危險(xiǎn)行為監(jiān)控和預(yù)警系統(tǒng)。

2.系統(tǒng)框架設(shè)計(jì)

本文設(shè)計(jì)的基于視覺(jué)的乘扶梯人員危險(xiǎn)行為監(jiān)控和安全行為預(yù)警系統(tǒng)，主要包括視頻接入模塊、智能數(shù)采模塊和云平臺(tái)模塊。其中，智能數(shù)采模塊包含3個(gè)子模塊，分別是視頻采集、算法計(jì)算和視頻流存儲(chǔ)，在實(shí)際運(yùn)行過(guò)程中，視頻接入模塊的視頻流數(shù)據(jù)會(huì)被傳輸?shù)揭曨l流存儲(chǔ)模塊，傳輸給算法計(jì)算模塊，由其對(duì)數(shù)據(jù)進(jìn)行計(jì)算和分析，將根據(jù)不同的數(shù)據(jù)內(nèi)容，將視頻內(nèi)容分別儲(chǔ)存到視頻流存儲(chǔ)模塊和云平臺(tái)，方便后續(xù)應(yīng)用。下面從各模塊出發(fā)，對(duì)系統(tǒng)的設(shè)計(jì)進(jìn)行介紹。

2.1 視頻接入模塊

視頻接入模塊的主要功能是獲得扶梯運(yùn)行和行人的視頻數(shù)據(jù)，主要的器件是高清攝像頭，安裝在扶梯入口、扶梯出口、扶梯中間以及扶梯底部等位置，通過(guò)這些高清攝像頭可以實(shí)時(shí)獲取各監(jiān)控點(diǎn)的食品數(shù)據(jù)信息[1]。

2.2 智能數(shù)采數(shù)模塊

智能數(shù)采模塊包括視頻采集、算法計(jì)算和視頻流存儲(chǔ)等子模塊。其中視頻采集模塊的作用是采集視頻接入模塊獲取的視頻信息，并且將其傳輸給算法計(jì)算模塊；算法計(jì)算模塊在獲取到視頻數(shù)據(jù)以后，對(duì)數(shù)據(jù)進(jìn)行分析和計(jì)算，根據(jù)分析和計(jì)算的結(jié)果，將視頻存儲(chǔ)到視頻流存儲(chǔ)模塊，或者上傳到云平臺(tái)。視頻流存儲(chǔ)模的作用是儲(chǔ)存視頻流。

算法計(jì)算模塊是智能數(shù)采模塊的核心，該模塊包括人流密度檢測(cè)、乘客檢測(cè)、逆行檢測(cè)、滯留判斷和越界判斷和增強(qiáng)現(xiàn)實(shí)展示等子模塊，各模塊的功能如下[2]：

（1）人流密度檢測(cè)模塊。該模塊的核心部件是尺度自適應(yīng)的CNN網(wǎng)絡(luò)和濾波器，其能夠?qū)崿F(xiàn)視頻視野內(nèi)人數(shù)的統(tǒng)計(jì)，基于標(biāo)定的空間尺寸數(shù)據(jù)，計(jì)算出人流密度。（2）乘客檢測(cè)模塊。該模塊的功能是檢測(cè)扶梯上是否存在乘客。（3）逆行檢測(cè)模塊。功能是判斷扶梯上是否有乘客逆行。（4）滯留判斷模塊。功能是判斷扶梯上是夠有大件物品滯留。（5）越界判斷。系統(tǒng)會(huì)設(shè)置有警戒線(xiàn)，若有乘客越過(guò)警戒線(xiàn)，則越界模塊會(huì)判斷出這一行為。（6）增強(qiáng)顯示模塊。增強(qiáng)顯示模塊能夠根據(jù)攝像機(jī)影響的位置和角度等信息對(duì)乘客的危險(xiǎn)行為進(jìn)行建模，從而展示出乘客的危險(xiǎn)行為。

2.3 云計(jì)算平臺(tái)

云計(jì)算平臺(tái)主要包括數(shù)據(jù)分發(fā)、分布式算法計(jì)算、文件服務(wù)器和數(shù)據(jù)庫(kù)和應(yīng)用服務(wù)等幾個(gè)子模塊，下面對(duì)這幾個(gè)子模塊進(jìn)行介紹[3]。

（1）數(shù)據(jù)分發(fā)模塊。智能數(shù)采模塊的數(shù)據(jù)分析結(jié)果，會(huì)通過(guò)以太網(wǎng)經(jīng)過(guò)數(shù)據(jù)分發(fā)模塊傳輸?shù)皆破脚_(tái)，同時(shí)，云平臺(tái)上所有數(shù)據(jù)都由該模塊進(jìn)行處理，并進(jìn)行統(tǒng)一的分發(fā)。如搭乘時(shí)間分布、搭乘高峰曲線(xiàn)和危險(xiǎn)行為數(shù)量等分布式計(jì)算結(jié)果，都有其進(jìn)行處理和分發(fā)。（2）分布式算法模塊。在接收到智能數(shù)采模塊上傳的數(shù)據(jù)以后，云平臺(tái)上的分布式算法模塊將進(jìn)行這些數(shù)據(jù)的計(jì)算和統(tǒng)計(jì)，包括搭乘時(shí)間分布、搭乘高峰曲線(xiàn)和危險(xiǎn)行為數(shù)量等信息，計(jì)算結(jié)果將被制作成計(jì)算文件、標(biāo)記信息和統(tǒng)計(jì)表格等，并被儲(chǔ)存到文件服務(wù)器和數(shù)據(jù)庫(kù)中。（3）文件服務(wù)器模塊。主要作用是存儲(chǔ)計(jì)算文件、統(tǒng)計(jì)表格等信息。（4）服務(wù)模塊。云計(jì)算平臺(tái)中的視頻展示功能由應(yīng)用服務(wù)模塊來(lái)完成，該模塊能夠提供視頻和數(shù)據(jù)的服務(wù)調(diào)用接口。

3.乘扶梯人員安全行為系統(tǒng)運(yùn)行過(guò)程

本文設(shè)計(jì)的基于視覺(jué)的扶梯乘客危險(xiǎn)行為監(jiān)控和預(yù)警系統(tǒng)的運(yùn)行步驟如[4]：首先，在運(yùn)行過(guò)程，高清攝像頭會(huì)對(duì)扶梯進(jìn)行全方位的監(jiān)控，獲取視頻數(shù)據(jù)，然后由算法計(jì)算模塊和分布式算法模塊對(duì)視頻圖像進(jìn)行處理和統(tǒng)計(jì)分析。系統(tǒng)對(duì)采集到的數(shù)據(jù)進(jìn)行分析，主要是計(jì)算扶梯上的人流密度；判斷扶梯上是否有乘客，并且檢測(cè)乘客是否有逆行、越界等危險(xiǎn)行為；檢測(cè)扶梯上是否有大件物品滯留；系統(tǒng)還能夠根據(jù)攝像機(jī)影響的位置和角度等，建立特效圖像和動(dòng)畫(huà)庫(kù)，從而實(shí)現(xiàn)乘客危險(xiǎn)行為的圖形化建模，通過(guò)這樣的方式，當(dāng)乘客發(fā)生危險(xiǎn)行為動(dòng)作時(shí)，其能夠進(jìn)行顯示。當(dāng)發(fā)現(xiàn)乘客有危險(xiǎn)行為，或者是有大件物品滯留等情況以后，系統(tǒng)會(huì)進(jìn)行報(bào)警，從而提高扶梯運(yùn)行的安全性。其次，該系統(tǒng)的優(yōu)點(diǎn)能夠?qū)崿F(xiàn)扶梯運(yùn)行情況的實(shí)時(shí)監(jiān)控，并且具有多維感知、預(yù)警分析和行為報(bào)警等功能，當(dāng)乘客出現(xiàn)逆行、越線(xiàn)等危險(xiǎn)應(yīng)為以后，能夠進(jìn)行識(shí)別和預(yù)警，在發(fā)生突發(fā)事件以后，能夠快速的進(jìn)行處理。通過(guò)應(yīng)用這一系統(tǒng)，能夠加強(qiáng)扶梯運(yùn)行全過(guò)程的管理，實(shí)現(xiàn)事先有預(yù)警、事中有相應(yīng)、事后有記錄，在出現(xiàn)事故后能夠進(jìn)行分析、取證和追溯，從而在發(fā)生事故之后能夠?qū)ω?zé)任進(jìn)行準(zhǔn)確的鑒定，避免法律糾紛。同時(shí)，通過(guò)對(duì)系統(tǒng)數(shù)據(jù)，包括人流密度、搭乘時(shí)間分布等數(shù)據(jù)進(jìn)行分析，可以為扶梯的運(yùn)營(yíng)調(diào)度提供數(shù)據(jù)支持，提高扶梯管理調(diào)度的安全性，從而更好的保證扶梯的運(yùn)行安全。在實(shí)際應(yīng)用中，該系統(tǒng)還能夠根據(jù)出現(xiàn)的不規(guī)范行為，對(duì)分析算法進(jìn)行優(yōu)化，不斷能提高其功能。

4.重點(diǎn)功能介紹

4.1 扶梯人流密度檢測(cè)

本系統(tǒng)能夠?qū)崿F(xiàn)人流密度的檢測(cè)，具體的方法如下：系統(tǒng)設(shè)定一個(gè)尺度自適應(yīng)的CNN網(wǎng)絡(luò)及錄波器，其能夠根據(jù)CNN網(wǎng)絡(luò)不同網(wǎng)絡(luò)層的特征提取出視頻視野內(nèi)的人數(shù)，并且進(jìn)行統(tǒng)計(jì)，系統(tǒng)會(huì)標(biāo)定空間尺寸，通過(guò)計(jì)算確定人流密度。CNN網(wǎng)絡(luò)包括圖像輸入層和卷積計(jì)算層，其中，圖像輸入層的主要作用是對(duì)原始數(shù)據(jù)進(jìn)行取均值和歸一化等預(yù)處理；卷積計(jì)算層的作用是對(duì)數(shù)據(jù)進(jìn)行計(jì)算和池化。

4.2 危險(xiǎn)行為檢測(cè)

乘客的危險(xiǎn)行為包括逆行和越界等，在系統(tǒng)運(yùn)行過(guò)程中，其會(huì)將乘客正常行走的場(chǎng)景作為背景；同時(shí)，其還能夠獲取實(shí)時(shí)圖像，通過(guò)差分兩種圖像，確定運(yùn)動(dòng)目標(biāo)的中心，并且通過(guò)對(duì)其位置進(jìn)行預(yù)測(cè)和持續(xù)跟蹤，確定目標(biāo)的運(yùn)動(dòng)狀態(tài)，并基于此判斷是否存在逆行行為。在越界行為檢測(cè)中，系統(tǒng)會(huì)設(shè)置越界警戒線(xiàn)，即扶梯靠外緣一側(cè)，系統(tǒng)會(huì)計(jì)算人體到直線(xiàn)的距離，若發(fā)現(xiàn)距離出現(xiàn)負(fù)值，則說(shuō)明存在越界的情況。

5.結(jié)語(yǔ)

本文建立的乘扶梯人員安全監(jiān)控和行為預(yù)警系統(tǒng)，具有人員密度檢測(cè)、逆行檢測(cè)、越界檢測(cè)和大件行李滯留檢測(cè)等功能，并對(duì)危險(xiǎn)行為進(jìn)行預(yù)警，能有效地提高扶梯運(yùn)行的安全性。