劉晗 張醒敏 周炳清 李明 牛靜路 曹賀雙

（河北高速集團(tuán)有限公司京哈北線分公司，河北 唐山 063000）

隧道監(jiān)控室

0 引言

我國(guó)正處于城市化高速發(fā)展時(shí)期，大城市、特大城市持續(xù)改造與擴(kuò)張，中小城市迅猛發(fā)展。城市規(guī)模與結(jié)構(gòu)都處在巨大變化之中?，F(xiàn)代交通的發(fā)展在給人們帶來便利同時(shí)，也帶來一定負(fù)面影響。未來城市交通的發(fā)展要強(qiáng)化前沿關(guān)鍵科技研發(fā)，瞄準(zhǔn)新一代信息技術(shù)、人工智能、智能制造、新材料、新能源等世界科技前沿，大力發(fā)展智慧交通，推動(dòng)大數(shù)據(jù)、互聯(lián)網(wǎng)、人工智能、區(qū)塊鏈、超級(jí)計(jì)算等新技術(shù)與交通行業(yè)深度融合。

隧道AI事件監(jiān)測(cè)系統(tǒng)研發(fā)思路受當(dāng)前人工智能技術(shù)啟發(fā)，研發(fā)成功后可減少造價(jià)高昂的事件監(jiān)測(cè)設(shè)備投入。該系統(tǒng)探索用人工智能技術(shù)分析視頻數(shù)據(jù)特征，借助多種深度學(xué)習(xí)算法，對(duì)系統(tǒng)神經(jīng)網(wǎng)絡(luò)開展訓(xùn)練，自動(dòng)總結(jié)出不同目標(biāo)的特征和規(guī)律，自行學(xué)習(xí)強(qiáng)化，實(shí)現(xiàn)準(zhǔn)確識(shí)別和分類，提高事件檢測(cè)準(zhǔn)確率，為隧道運(yùn)營(yíng)管理提供精準(zhǔn)判斷、快速?zèng)Q策、果斷施策的依據(jù)。

1 隧道AI事件監(jiān)測(cè)系統(tǒng)主要功能

系統(tǒng)通過固定攝像機(jī)分析檢測(cè)視頻事件、記錄和報(bào)警，具有自學(xué)習(xí)功能，能夠自動(dòng)判斷攝像機(jī)類型（遙控或者固定），根據(jù)攝像機(jī)類型自動(dòng)切換檢測(cè)模式，可提供實(shí)時(shí)事件、事故檢測(cè)及交通數(shù)據(jù)。

系統(tǒng)具備視頻檢測(cè)圖像的自學(xué)習(xí)功能，能夠根據(jù)攝像機(jī)工作狀態(tài)自動(dòng)調(diào)整其工作模式，從而始終保持最佳檢測(cè)狀態(tài)，當(dāng)攝像機(jī)畫面穩(wěn)定2秒鐘后，系統(tǒng)即可開始自動(dòng)檢測(cè)，在檢測(cè)到交通事件或事故時(shí)，能夠快速報(bào)警。

1.1 靜態(tài)模式

系統(tǒng)能夠檢測(cè)的事件類型包括車輛停駛、交通堵塞、交通事故、慢行車輛、行人、逆行車輛、火災(zāi)/煙霧、拋灑物、交通狀態(tài)（暢通、擁堵、堵塞）等；能夠采集的交通數(shù)據(jù)包括交通流量、平均速度、車道占有率、車型等。

1.2 動(dòng)態(tài)模式

系統(tǒng)使用自校準(zhǔn)算法和自學(xué)習(xí)方式，自動(dòng)執(zhí)行事件檢測(cè)模塊并可對(duì)車輛停止、拋灑物、擁堵、故障車輛等事件進(jìn)行檢測(cè)。

1.3 全天候檢測(cè)功能

在晝、夜、雨、雪、霧等不利環(huán)境條件下，只要車輛有正常的前燈、尾燈照明，系統(tǒng)即可檢測(cè)各種異常交通事件或事故。

隧道監(jiān)控實(shí)時(shí)畫面

1.4 全畫面檢測(cè)

在攝像機(jī)圖像畫面范圍內(nèi)發(fā)生的交通事件和事故，系統(tǒng)均可檢測(cè)。

系統(tǒng)具有多模式自動(dòng)轉(zhuǎn)換功能，可根據(jù)交通流量大小、環(huán)境變化自動(dòng)切換，還可在低亮度下正常工作。

2 隧道AI事件監(jiān)測(cè)系統(tǒng)主要研究?jī)?nèi)容

2.1 目標(biāo)感知分析

通過對(duì)視頻進(jìn)行分析，可實(shí)時(shí)獲取道路行駛車輛、機(jī)動(dòng)車、行人、異常物體等目標(biāo)，并能夠?qū)崟r(shí)測(cè)量其實(shí)際地理坐標(biāo)、行車方向，與正方向之間的偏移角度等信息。可對(duì)交通事件、交通事故或交通違法車輛實(shí)時(shí)定位和跟蹤分析。

2.2 車輛深度識(shí)別

2.2.1 車輛檢測(cè)

通過檢測(cè)視頻或圖像，確認(rèn)路段是否有車及其位置，其難點(diǎn)在于需要應(yīng)對(duì)不同路況、不同姿態(tài)、不同光線、嚴(yán)重遮擋等復(fù)雜情況。該系統(tǒng)車輛檢出率不低于90%，對(duì)于標(biāo)準(zhǔn)卡口圖像等，還可提供司乘人員人臉檢測(cè)和圖像采集功能。

2.2.2 車型識(shí)別

系統(tǒng)基于AI深度學(xué)習(xí)技術(shù)，可有效識(shí)別小轎車、卡車、公交車、吉普車、工程車（消防車、挖掘機(jī)、灑水車、救護(hù)車）、物流車、渣土車、特種車、大貨車等。識(shí)別準(zhǔn)確率白天≥90%，夜間≥85%。

2.3 事件檢測(cè)與取證

2.3.1 非機(jī)動(dòng)車闖入

系統(tǒng)基于AI深度學(xué)習(xí)技術(shù)，可有效識(shí)別自行車、摩托車、機(jī)動(dòng)三輪車等小慢目標(biāo)闖入，在400萬(wàn)像素?cái)z像機(jī)、源碼流視頻情況下，檢測(cè)率達(dá)到90%。

2.3.2 異常停車

系統(tǒng)基于AI深度學(xué)習(xí)技術(shù)，可對(duì)車輛在行車道、應(yīng)急車道、港灣停車區(qū)等區(qū)域異常停車事件進(jìn)行自動(dòng)檢測(cè)、預(yù)警和視頻記錄，同等像素和源碼流視頻情況下，檢測(cè)率達(dá)到90%。

2.3.3 車輛逆行、倒車

系統(tǒng)基于AI深度學(xué)習(xí)技術(shù)，可對(duì)車輛在行車道、應(yīng)急車道等區(qū)域逆向行駛、倒車等事件進(jìn)行自動(dòng)檢測(cè)、預(yù)警和視頻記錄，同等像素和源碼流視頻情況下，檢測(cè)率達(dá)到90%。

2.3.4 行人上路

系統(tǒng)基于AI深度學(xué)習(xí)技術(shù)，可對(duì)發(fā)生在行車道、應(yīng)急車道等區(qū)域的行人入侵事件進(jìn)行自動(dòng)檢測(cè)、預(yù)警和視頻記錄，同等像素和源碼流視頻情況下，檢測(cè)率達(dá)到90%。

2.3.5 拋灑物

系統(tǒng)基于AI深度學(xué)習(xí)技術(shù)，可對(duì)發(fā)生在行車道、應(yīng)急車道等區(qū)域的影響行車安全的拋灑物事件進(jìn)行自動(dòng)檢測(cè)、預(yù)警和視頻記錄，目標(biāo)體積不小于30cm×30cm，同等像素和源碼流視頻情況下，檢測(cè)率達(dá)到90%。

2.3.6 違法掉頭

系統(tǒng)基于AI深度學(xué)習(xí)技術(shù)，可對(duì)車輛在禁止掉頭線位置違法掉頭行為進(jìn)行檢測(cè)預(yù)警，同等像素和源碼流視頻情況下，檢測(cè)率達(dá)到90%。

2.3.7 違法變道

系統(tǒng)基于AI深度學(xué)習(xí)技術(shù)，可對(duì)車輛違法變更車道行為進(jìn)行自動(dòng)檢測(cè)并預(yù)警，這要求相機(jī)在上方正裝、無(wú)遮擋，同等像素和源碼流視頻情況下，檢測(cè)率達(dá)到90%。

2.3.8 道路施工

系統(tǒng)基于AI深度學(xué)習(xí)技術(shù)，可對(duì)在行車道、應(yīng)急車道等區(qū)域發(fā)生的占道施工事件進(jìn)行自動(dòng)檢測(cè)、預(yù)警和視頻記錄；這類施工事件應(yīng)具備明顯的反光錐桶、隔離欄、水馬等施工標(biāo)志。

2.3.9 交通擁堵

系統(tǒng)基于AI深度學(xué)習(xí)技術(shù)，可對(duì)發(fā)生在行車道、應(yīng)急車道等區(qū)域的交通擁堵事件進(jìn)行自動(dòng)檢測(cè)、預(yù)警和視頻記錄。

2.3.10 車輛慢行

系統(tǒng)基于AI深度學(xué)習(xí)技術(shù)，可對(duì)隧道、路面等場(chǎng)景出現(xiàn)的低速車流進(jìn)行自動(dòng)檢測(cè)預(yù)警。

2.3.11 車頭間距

系統(tǒng)基于AI深度學(xué)習(xí)技術(shù)，可實(shí)時(shí)檢測(cè)輸出前后車輛的車頭間距。

2.3.12 能見度檢測(cè)

系統(tǒng)基于AI深度學(xué)習(xí)技術(shù)，可實(shí)時(shí)檢測(cè)道路能見度，米級(jí)數(shù)據(jù)輸出。

2.3.13 排隊(duì)超限

基于AI深度學(xué)習(xí)技術(shù)，當(dāng)車輛排隊(duì)超過預(yù)設(shè)值，系統(tǒng)會(huì)輸出警報(bào)信息。

3 隧道AI事件監(jiān)測(cè)系統(tǒng)關(guān)鍵技術(shù)研究

3.1 目標(biāo)檢測(cè)算法

目標(biāo)檢測(cè)的任務(wù)是在圖片中找到感興趣的目標(biāo)的位置，確定目標(biāo)類別，通過算法將車輛和行人框出來，并加以區(qū)分確定。

在GPU平臺(tái)上運(yùn)行的檢測(cè)器，主干網(wǎng)絡(luò)可能是VGG、ResNet、ResNetXt或DenseNet；在CPU平臺(tái)上運(yùn)行的檢測(cè)器，主干網(wǎng)絡(luò)可能是SqueezeNet、MobileNet或ShuffleNet。對(duì)于head部分，通常分為單階段和雙階段的目標(biāo)檢測(cè)器。單階段目標(biāo)檢測(cè)器的代表模型是YOLO、SSD和RetinaNet。雙階段目標(biāo)檢測(cè)器的代表是R-CNN系列，包括：fast R-CNN、faster R-CNN、R-FCN和Libra R-CNN，還有基于anchor-free的雙階段的目標(biāo)檢測(cè)器如RepPoints。近幾年，出現(xiàn)了基于anchor-free的單階段的算法，例如CenterNet、CornerNet、FCOS等。2018年以來，目標(biāo)檢測(cè)器會(huì)在主干網(wǎng)絡(luò)和head之間插入一些網(wǎng)絡(luò)層，這些網(wǎng)絡(luò)層通常用來收集不同的特征圖，被稱為目標(biāo)檢測(cè)器的neck。通常一個(gè)neck由多個(gè)bottom-up路徑和top-down路徑組成。使用這種機(jī)制的網(wǎng)絡(luò)包括Feature Pyramid Network（FPN）、Path Aggregation Network（PAN）、BiFPN和NAS-FPN。

雙階段檢測(cè)器一般較為復(fù)雜，耗時(shí)較長(zhǎng)，為節(jié)省算力資源，該系統(tǒng)采用YOLOv5算法。YOLOv5是一種基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法，由Joseph Redmon和Alexey Bochkovskiy在2020年提出。該算法采用了一種新的網(wǎng)絡(luò)結(jié)構(gòu)，稱為CSPNet（Cross StagePartial Network）。CSPNet通過將原始特征圖分成兩部分來減少計(jì)算量，增加了跨階段連接，提高了網(wǎng)絡(luò)性能。此外，CSPNet還使用了SPP（Spatial Pyramid Pooling）模塊來處理不同大小的輸入圖像。能夠?qū)崿F(xiàn)更快速、更準(zhǔn)確的目標(biāo)檢測(cè)。

YOLOv5訓(xùn)練流程如下：

數(shù)據(jù)預(yù)處理：將原始數(shù)據(jù)轉(zhuǎn)換為模型可讀取的格式，并增強(qiáng)數(shù)據(jù)以提高模型魯棒性；

構(gòu)建模型：根據(jù)YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)構(gòu)建模型并初始化參數(shù)；

損失函數(shù)：采用交叉損失函數(shù)訓(xùn)練，并使用L1損失函數(shù)來計(jì)算邊界框誤差；

優(yōu)化器：采用Adam優(yōu)化器開展模型優(yōu)化；

訓(xùn)練：將預(yù)處理后的數(shù)據(jù)輸入模型中開展訓(xùn)練，并根據(jù)驗(yàn)證集結(jié)果調(diào)整超參數(shù)。

YOLOv5檢測(cè)流程如下：

該區(qū)為京津冀城市群的核心區(qū)，西部、北部為山區(qū)，中部、南部為華北平原，東部為沿海，地貌多樣、腹地廣闊；區(qū)內(nèi)有密云、官?gòu)d、于橋、西大洋、王塊、安格莊、龍門等大型水庫(kù)，是重要水源區(qū)；有白洋淀、南大港、北大港、七里海等濕地，景觀豐富多樣。該區(qū)域水資源短缺，河流斷流、功能退化，西部山區(qū)水土流失嚴(yán)重。該區(qū)域生態(tài)建設(shè)山區(qū)以水土流失治理和水源涵養(yǎng)為主體，平原以地下水修復(fù)和人居環(huán)境維護(hù)為核心、沿海以濕地保護(hù)與修復(fù)、河口生態(tài)維護(hù)為重點(diǎn)。

圖像預(yù)處理：將待檢測(cè)圖像轉(zhuǎn)換為模型可讀取的格式，并開展歸一化操作；

前向傳播：將預(yù)處理后的圖像輸入模型中前向傳播，得到目標(biāo)框和類別概率；

非極大值抑制（NMS）：對(duì)目標(biāo)框開展NMS操作，去除重合度較高的目標(biāo)框；

輸出結(jié)果：輸出去除重復(fù)目標(biāo)框后的最終結(jié)果。

3.2 目標(biāo)軌跡跟蹤算法

該系統(tǒng)采用ByteTrack算法做目標(biāo)軌跡。ByteTrack算法是一種基于目標(biāo)檢測(cè)的追蹤算法，也是一種簡(jiǎn)單、高效、實(shí)用的多目標(biāo)跟蹤方法，追蹤算法使用了卡爾曼濾波（Kalman flter）預(yù)測(cè)邊界框，通過匈牙利算法匹配目標(biāo)和軌跡。

卡爾曼濾波是一種高效的自回歸濾波器，它能在存在諸多不確定性情況的組合信息中估計(jì)動(dòng)態(tài)系統(tǒng)的狀態(tài)，是一種強(qiáng)大的、通用性極強(qiáng)的工具。只要是存在不確定信息的動(dòng)態(tài)系統(tǒng)，卡爾曼濾波就可以對(duì)其下一步要做什么做出有根據(jù)的推測(cè)。即便有噪聲信息干擾，卡爾曼濾波通常也能很好地辨別發(fā)生了什么，找出現(xiàn)象間不易察覺的相關(guān)性。因此，卡爾曼濾波非常適合不斷變化的系統(tǒng)，其內(nèi)存占用?。ㄖ恍璞Ａ羟耙粋€(gè)狀態(tài)）、速度快，是實(shí)時(shí)問題和嵌入式系統(tǒng)的理想選擇。

卡爾曼濾波器是一個(gè)狀態(tài)估計(jì)器，它利用傳感器融合、信息融合來提高系統(tǒng)的精度。通常觀測(cè)一個(gè)系統(tǒng)的狀態(tài)有兩種手段：一種是通過系統(tǒng)的狀態(tài)轉(zhuǎn)移方程并結(jié)合上一時(shí)刻的狀態(tài)推得下一時(shí)刻的狀態(tài)，另一種是借助輔助系統(tǒng)（量測(cè)系統(tǒng)）的測(cè)量得到系統(tǒng)狀態(tài)。這兩種方式都有各自的不確定性，卡爾曼濾波可將這兩者做到最優(yōu)結(jié)合（加權(quán)平均），使估計(jì)狀態(tài)的不確定性小于其中任何一種。

卡爾曼濾波無(wú)論是在單目標(biāo)還是多目標(biāo)領(lǐng)域都是很常用的一種算法，將其看做一種運(yùn)動(dòng)模型，可用來預(yù)測(cè)目標(biāo)的位置，且利用預(yù)測(cè)結(jié)果修正跟蹤目標(biāo)位置，屬于自動(dòng)控制理論中的一種方法。在跟蹤視頻中的目標(biāo)時(shí)，當(dāng)目標(biāo)運(yùn)動(dòng)速度較慢，很容易關(guān)聯(lián)前后兩幀的目標(biāo)，利用之前幾幀的位置來預(yù)測(cè)下一幀的位置，即可關(guān)聯(lián)同一目標(biāo)。

3.3 深度學(xué)習(xí)和機(jī)器視覺算法

深度學(xué)習(xí)是一種基于人工神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)方法，可以從大量的數(shù)據(jù)中自動(dòng)學(xué)習(xí)特征表示和抽象，從而提高模型的泛化能力和性能。深度學(xué)習(xí)在計(jì)算機(jī)視覺、自然語(yǔ)言處理、語(yǔ)音識(shí)別等領(lǐng)域取得了巨大的成功，也為隧道AI事件監(jiān)測(cè)系統(tǒng)提供了新的思路和技術(shù)支持。實(shí)例分割是計(jì)算機(jī)視覺領(lǐng)域中的常見算法，它不僅要求定位特定類別的目標(biāo)，還要求對(duì)每個(gè)目標(biāo)開展像素級(jí)別的分割。實(shí)例分割既具備語(yǔ)義分割的特點(diǎn)，即做到像素層面上的分類；也具備目標(biāo)檢測(cè)的一部分特點(diǎn)，即區(qū)分不同實(shí)例，適用于區(qū)分拋灑物實(shí)例并估算面積。

AI事件監(jiān)測(cè)的難點(diǎn)之一在于拋灑物的不確定性，如石塊、沙土、金屬碎片、塑料袋、行李箱等，同時(shí)很難收集到足夠多的高質(zhì)量標(biāo)記數(shù)據(jù)來訓(xùn)練一個(gè)傳統(tǒng)的目標(biāo)檢測(cè)模型。零樣本實(shí)例分割是一種在沒有任何標(biāo)記數(shù)據(jù)的情況下對(duì)未知類別的目標(biāo)開展檢測(cè)和分割的方法，其優(yōu)勢(shì)在于可以解決實(shí)際場(chǎng)景中數(shù)據(jù)標(biāo)注困難、類別多樣、數(shù)據(jù)不平衡等問題，提高了實(shí)例分割模型的泛化性和魯棒性，適用于拋灑物檢測(cè)。

4 隧道AI事件監(jiān)測(cè)系統(tǒng)的運(yùn)行效果預(yù)估

4.1 技術(shù)效果預(yù)估

4.1.1 采用智能圖像增強(qiáng)技術(shù)，可使AI算法適應(yīng)較低圖像質(zhì)量條件下的交通事件智能檢測(cè)?；谥悄軋D像增加技術(shù)，系統(tǒng)可充分利用隧道內(nèi)現(xiàn)有攝像頭設(shè)備，結(jié)合隧道運(yùn)行的特殊燈光、光照等場(chǎng)景，定制對(duì)隧道內(nèi)常見事件的AI智能監(jiān)測(cè)，確保模型適應(yīng)隧道場(chǎng)景的照明條件，大幅提升隧道事件預(yù)警的準(zhǔn)確率和實(shí)時(shí)性。

4.1.2 采用基于AI的智能事件檢測(cè)與結(jié)構(gòu)化特征識(shí)別技術(shù)，系統(tǒng)不僅能識(shí)別常規(guī)交通事件，還能提供多維度的車輛結(jié)構(gòu)化信息。在隧道運(yùn)行場(chǎng)景中，系統(tǒng)可主動(dòng)監(jiān)測(cè)多達(dá)16種事件類型，識(shí)別多種車輛類型，預(yù)警準(zhǔn)確率超過85%，完整覆蓋隧道日常運(yùn)行管理中的重要事件。

4.1.3 通過訓(xùn)練專門的目標(biāo)檢測(cè)模型和零樣本實(shí)例分割模型，系統(tǒng)能夠自動(dòng)識(shí)別路面標(biāo)志、車輛及拋灑物等目標(biāo)。

4.1.4 基于YOLO的目標(biāo)檢測(cè)模型及零樣本實(shí)例分割模型，在訓(xùn)練和預(yù)測(cè)階段都具有較高的速度，相比于其他機(jī)器視覺檢測(cè)方法，能夠更快地實(shí)現(xiàn)目標(biāo)檢測(cè)和分類。

4.2 經(jīng)濟(jì)效果預(yù)估

4.2.1 提高隧道通行效率

隧道是公路場(chǎng)景中最難啃的“黑盒子”，對(duì)車輛暢通行駛起到重大作用。該系統(tǒng)將直接應(yīng)用于公路隧道交通的運(yùn)營(yíng)管理，對(duì)提升隧道通行能力和客貨吞吐能力發(fā)揮巨大作用。

4.2.2 提升管理降低成本

通過對(duì)隧道AI事件監(jiān)測(cè)系統(tǒng)的研究及推廣應(yīng)用，管理者可便捷、高效地查詢隧道運(yùn)行狀態(tài)、運(yùn)營(yíng)狀況，完成日常綜合管控操作，有效提高隧道管理者對(duì)交通的管控能力，降低日常管理難度，節(jié)約管理費(fèi)用和時(shí)間成本。

5 結(jié)束語(yǔ)

目前，隧道AI事件監(jiān)測(cè)系統(tǒng)已實(shí)現(xiàn)預(yù)期功能，能準(zhǔn)確識(shí)別非機(jī)動(dòng)車闖入、異常停車、車輛逆行、倒車、火災(zāi)、行人、交通事故、交通擁堵、排隊(duì)長(zhǎng)度、車輛拋灑物、車輛慢行等多種事件，同時(shí)具備“兩客一危”車輛實(shí)時(shí)監(jiān)控管理功能，初步完成了計(jì)劃目標(biāo)。系統(tǒng)功能還有待繼續(xù)拓展，采集大量數(shù)據(jù)樣本開展比對(duì)分析，持續(xù)優(yōu)化完善系統(tǒng)算法，適配多種環(huán)境下的應(yīng)用，進(jìn)一步提高監(jiān)測(cè)系統(tǒng)的精準(zhǔn)度。