呂永萍

山西省交通信息通信有限公司 山西太原 030006

高速公路智能監(jiān)控邊云協(xié)同智能分析系統(tǒng)的構(gòu)建，是實(shí)現(xiàn)高速公路高效管理的重要條件和基礎(chǔ)技術(shù)手段。同時(shí)這一系統(tǒng)構(gòu)建的問題，也是當(dāng)前我國道路交通部門重點(diǎn)關(guān)注的管理內(nèi)容。為了提升高速公路的服務(wù)水平，保障高速公路使用者的生命財(cái)產(chǎn)安全，促進(jìn)社會(huì)穩(wěn)定和諧發(fā)展，我國相關(guān)交通部門開始實(shí)施數(shù)字化的智能監(jiān)控。在本篇文章中，筆者對當(dāng)前我國現(xiàn)存的高速公路智能監(jiān)控系統(tǒng)存在的問題進(jìn)行了客觀的論述，在此基礎(chǔ)上，筆者提出了基于雷視融合的高速公路智能監(jiān)控邊云協(xié)同分析系統(tǒng)構(gòu)建的重點(diǎn)技術(shù)。希望能夠有效實(shí)現(xiàn)高速公路的安全管理，實(shí)現(xiàn)高速公路的社會(huì)經(jīng)濟(jì)價(jià)值。

1 現(xiàn)有系統(tǒng)存在的弊端和挑戰(zhàn)

隨著2019年國務(wù)院《交通強(qiáng)國建設(shè)綱要》明確提升智慧交通戰(zhàn)略地位的趨勢，全國各省份智慧高速建設(shè)也相應(yīng)迎來加速推進(jìn)，實(shí)現(xiàn)傳統(tǒng)基建與新興 ICT技術(shù)的深入融合成為未來大勢所趨。目前高清視頻監(jiān)控技術(shù)是現(xiàn)有高速公路管理的成熟手段，高速公路管理大多推行數(shù)字化高清監(jiān)控視頻來實(shí)現(xiàn)全過程的監(jiān)控管理，保障高速公路過往司乘人員的生命與財(cái)產(chǎn)安全，也屬于新時(shí)期道路交通部門重點(diǎn)管理和改進(jìn)的工作內(nèi)容，但隨著視頻路數(shù)的增加，現(xiàn)有管理手段大都是靠人工及時(shí)發(fā)現(xiàn)確認(rèn)交通事故及道路緊急情況的話工作強(qiáng)度極大。

為進(jìn)一步提升高速公路管理單位對高速路網(wǎng)營運(yùn)全過程的掌控力度，提高高速公路的運(yùn)營管理效率，提升服務(wù)水平，加強(qiáng)高速公路突發(fā)事件的應(yīng)急處置能力，對高速公路全程監(jiān)控的需求越來越迫切，目前已有部分理念領(lǐng)先的高速公路管理單位已經(jīng)開始嘗試使用基于AI視頻分析的智能事件檢測技術(shù)來協(xié)助人工管理，來自動(dòng)檢測車輛停駛、車輛逆行、人員闖入、交通擁堵等事件、事故也可以提升監(jiān)控視頻系統(tǒng)的使用效果[1]。

但隨之帶來的弊端就是，高清攝像機(jī)雖然能夠準(zhǔn)確感知車輛的車型、車牌等特征屬性，但是在探測距離、速度等運(yùn)動(dòng)屬性的時(shí)候精度差一些，而且由于攝像頭的光學(xué)特性，極易受到周圍環(huán)境的干擾，例如強(qiáng)光直射或發(fā)射、雨雪霧、夜晚弱光等惡劣天氣或光照的氣候條件都會(huì)明顯影響攝像頭的正常工作，導(dǎo)致其采集的影像信息結(jié)果不夠準(zhǔn)確，智能事件檢測準(zhǔn)確度較低，在高速公路前端采用多種傳感器組合進(jìn)行數(shù)據(jù)采集的趨勢愈發(fā)突出。

另一方面，隨著高速公路管理對于監(jiān)控?cái)z像機(jī)畫面質(zhì)量和分辨率的提升要求，高清攝像機(jī)的畫面像素開始逐步從200萬像素（1080P攝像機(jī)）持續(xù)升級到800萬像素（4K攝像機(jī)）、1200萬像素甚至更高的參數(shù)規(guī)格，超高清攝像機(jī)的帶寬提升對于高速公路智能事件分析系統(tǒng)的視頻專網(wǎng)的帶寬、延時(shí)和抖動(dòng)影響很大，現(xiàn)有系統(tǒng)將前端所有攝像機(jī)視頻回傳到監(jiān)控機(jī)房智能分析服務(wù)器進(jìn)行統(tǒng)一智能分析處理的系統(tǒng)組網(wǎng)架構(gòu)遇到很高的挑戰(zhàn)，經(jīng)常會(huì)遇到畫面卡頓、馬賽克、延時(shí)較長的問題，無法實(shí)時(shí)預(yù)警和處理現(xiàn)場突發(fā)事故。

根據(jù)以上問題，基于雷視融合的高速公路智能監(jiān)控邊云協(xié)同分析系統(tǒng)將在現(xiàn)有高速公路高清視頻監(jiān)控系統(tǒng)的基礎(chǔ)上，在前端傳感設(shè)備層增加毫米波雷達(dá)檢測，和高清視頻檢測形成全天候采集信號功能互補(bǔ)，在網(wǎng)絡(luò)層，通過增加邊緣計(jì)算智能事件分析服務(wù)器和云端智能事件分析服務(wù)器，形成邊云協(xié)同系統(tǒng)架構(gòu)，通過對高帶寬業(yè)務(wù)的本地分流，降低對核心網(wǎng)絡(luò)及骨干傳輸網(wǎng)絡(luò)的占用，提升通信網(wǎng)絡(luò)的利用率，緩解前端帶寬壓力，通過內(nèi)容與計(jì)算能力的下沉，提升高速公路事件檢測處理實(shí)時(shí)性[2-3]。

2 系統(tǒng)總體架構(gòu)設(shè)計(jì)

2.1 系統(tǒng)組網(wǎng)架構(gòu)設(shè)計(jì)

基于雷視融合的高速公路智能監(jiān)控邊云協(xié)同分析系統(tǒng)的整體系統(tǒng)組網(wǎng)架構(gòu)如下：

圖1 系統(tǒng)組網(wǎng)架構(gòu)

前端傳感層：在前端傳感設(shè)備層將高清攝像機(jī)和毫米波雷達(dá)融合檢測高速公路現(xiàn)場信息，毫米波雷達(dá)和高清攝像機(jī)形成全天候采集信號功能互補(bǔ)。

邊緣側(cè)智能事件分析系統(tǒng)：在系統(tǒng)組網(wǎng)架構(gòu)采用邊緣計(jì)算和云端計(jì)算相結(jié)合的邊云協(xié)同理念，通過在邊緣側(cè)本地增加邊緣計(jì)算智能分析服務(wù)器來進(jìn)行第一次智能事件分析處理，對高帶寬業(yè)務(wù)的本地分流，降低對核心網(wǎng)絡(luò)及骨干傳輸網(wǎng)絡(luò)的占用，提升高速公路事件檢測處理響應(yīng)速度。

云側(cè)事件分析系統(tǒng)：云端智能事件分析服務(wù)器進(jìn)行二次加工處理，將邊緣側(cè)智能事件分析系統(tǒng)的分析結(jié)果進(jìn)行二次分析確認(rèn)以及實(shí)現(xiàn)云端模型管理、算法管理、訓(xùn)練管理以及和邊緣側(cè)系統(tǒng)實(shí)現(xiàn)數(shù)據(jù)上報(bào)和AI能力下發(fā)的系統(tǒng)聯(lián)動(dòng)，從而持續(xù)提升高速公路的事件檢測準(zhǔn)確率，形成邊云協(xié)同系統(tǒng)架構(gòu)。

工作臺(tái)：在業(yè)務(wù)展示的工作臺(tái)，通過網(wǎng)頁、大屏、App、聲光告警燈相關(guān)軟硬件的方式，實(shí)現(xiàn)智能事件分析、路網(wǎng)事件檢測和車流量分析等功能。

2.2 系統(tǒng)邏輯架構(gòu)設(shè)計(jì)

圖2 系統(tǒng)邏輯架構(gòu)圖

基于雷視融合的高速公路智能監(jiān)控邊云協(xié)同分析系統(tǒng)，接入終端支持各類高清攝像機(jī)和毫米波雷達(dá)等各種接入終端的數(shù)據(jù)采集及回傳。邊緣計(jì)算設(shè)備兼容各類X86及ARM邊緣計(jì)算終端，支持海量視頻數(shù)據(jù)和毫米波雷達(dá)數(shù)據(jù)的實(shí)時(shí)接入與計(jì)算分析，邊云協(xié)同智能框架提供支持邊緣側(cè)分布式訓(xùn)練和分布式推理任務(wù)執(zhí)行，兼容Caffe、TensorFlow等業(yè)界主流深度學(xué)習(xí)框架，集成了豐富的AI算法庫與模型庫，支持云端算法庫上傳和下發(fā)，支持AI能力下發(fā)、數(shù)據(jù)上報(bào)、設(shè)備適配、能力調(diào)用功能，實(shí)現(xiàn)事件檢測、交通參數(shù)檢測、車流量分析的功能，通過靈活的配置管理界面設(shè)置各種事件告警觸發(fā)策略、交通參數(shù)統(tǒng)計(jì)策略，提供Web Portal、App、聲光告警等多種展示方式，可以進(jìn)一步拓展高速公路智能化的更多領(lǐng)域。

3 關(guān)鍵技術(shù)應(yīng)用

3.1 雷視融合技術(shù)

與高清攝像機(jī)相比，毫米波雷達(dá)不受任何天氣、光線環(huán)境的影響，包括濃霧、煙塵、風(fēng)暴、雨雪、眩光、全黑等情況下都可正常工作，即使在濃煙或濃霧的情況下，依然可以可靠的進(jìn)行車輛、人體的檢測與跟蹤；實(shí)現(xiàn)快速發(fā)現(xiàn)，快速定位，監(jiān)測功能不受任何影響，因此能真正做到全天候24小時(shí)監(jiān)控，在智慧交通、智慧安防等領(lǐng)域廣泛應(yīng)用和快速發(fā)展，可以實(shí)時(shí)、穩(wěn)定、準(zhǔn)確地提供探測區(qū)域內(nèi)多種交通數(shù)據(jù)，在智能交通管理領(lǐng)域里得到了廣泛的應(yīng)用[4]。

但雷達(dá)在可視化上明顯較差，對于信息量的采集有限，比如只能采集車速或車流量等交通信息，無法采集車牌等信息，不過它在測距測速功能和惡劣天氣下明顯更勝一籌，可以說每種傳感器都有自己的優(yōu)勢也有自己的軟肋。想做到完美的傳感器融合，就要接受不同傳感器的輸入，并利用綜合信息更準(zhǔn)確的感知周邊環(huán)境，其得出的結(jié)果比不同傳感器各自為戰(zhàn)要好得多。表1是現(xiàn)有各類傳感器的特點(diǎn)比對：

表1 現(xiàn)有各類傳感器特點(diǎn)比對表

基于雷視融合的高速公路智能監(jiān)控邊云協(xié)同分析系統(tǒng)能夠接受不同傳感器的輸入，在前端將視頻數(shù)據(jù)采集和雷達(dá)數(shù)據(jù)采集融合，并利用綜合信息更準(zhǔn)確的全天候感知周邊環(huán)境和事件發(fā)生狀態(tài)，規(guī)避單個(gè)傳感器工作的弊端和不足。

圖3 雷視數(shù)據(jù)融合

3.2 邊云協(xié)同架構(gòu)

基于雷視融合的高速公路智能監(jiān)控邊云協(xié)同分析系統(tǒng)將智能事件分析處理流程在邊緣側(cè)和云端進(jìn)行二次分層處理，來解決由于800萬像素、1200萬像素超高清攝像機(jī)的帶寬提升對于高速公路智能事件分析系統(tǒng)組網(wǎng)的帶寬壓力。邊緣計(jì)算靠近現(xiàn)場執(zhí)行單元，作為云端所需數(shù)據(jù)的采集、篩選和初步處理單元，可以更好地支撐云端應(yīng)用。云計(jì)算通過大數(shù)據(jù)分析優(yōu)化輸出的業(yè)務(wù)規(guī)則或訓(xùn)練模型可以下發(fā)到邊緣側(cè)，邊緣計(jì)算基于新的業(yè)務(wù)規(guī)則或模型運(yùn)行[5]。

云計(jì)算擅長全局性、非實(shí)時(shí)、長周期的大數(shù)據(jù)處理與分析，能夠在長周期維護(hù)、業(yè)務(wù)決策支撐等領(lǐng)域發(fā)揮優(yōu)勢；邊緣計(jì)算更適用局部性、實(shí)時(shí)、短周期的本地?cái)?shù)據(jù)的處理與分析，能更好地支撐本地業(yè)務(wù)的實(shí)時(shí)智能化決策與執(zhí)行。

圖4 邊云協(xié)同架構(gòu)圖

邊緣計(jì)算與云計(jì)算需要通過緊密協(xié)同才能更好的滿足各種需求場景的匹配，通過邊云協(xié)同 AI 技術(shù)可以很好的解決在邊緣訓(xùn)練和推理的精度、時(shí)延、通信量、數(shù)據(jù)隱私等問題，從而放大邊緣計(jì)算和云計(jì)算的應(yīng)用價(jià)值。

4 系統(tǒng)主要功能

基于雷視融合的高速公路智能監(jiān)控邊云協(xié)同分析系統(tǒng)能夠提供高速公路的交通流量監(jiān)測和交通事件檢測的智能分析，系統(tǒng)主要功能包括：

圖5 系統(tǒng)功能圖

4.1 異常停車事件檢測

系統(tǒng)可以通過雷達(dá)和視頻的融合信號，識(shí)別車輛在高速公路的行車道、應(yīng)急車道，隧道內(nèi)的行車道、停車帶上的異常停車事件。車輛在道路上由行駛變?yōu)橥Ｖ範(fàn)顟B(tài)，超過一定時(shí)間，判定為停車事件。并自動(dòng)及時(shí)告警。

4.2 道路擁堵緩行事件檢測

系統(tǒng)能通過通過雷達(dá)和視頻的融合信號，采用深度學(xué)習(xí)技術(shù)，系統(tǒng)能夠通過道路上車輛通行速度及監(jiān)測范圍內(nèi)車輛密度判斷出道路交通擁堵情況，并自動(dòng)報(bào)警。

4.3 車輛逆行事件檢測

系統(tǒng)能通過通過雷達(dá)和視頻的融合信號，可以識(shí)別車輛在高速公路或隧道內(nèi)逆向行駛事件。車輛在道路上的行駛方向與所規(guī)定方向相反，即判定為逆行事件。

4.4 拋灑物事件檢測

系統(tǒng)能通過通過雷達(dá)和視頻的融合信號，可以識(shí)別高速公路或隧道內(nèi)車道上拋灑物或遺留物事件?？勺R(shí)別的物體體積不小于50×50×50cm）。

4.5 行人事件檢測

系統(tǒng)能通過通過雷達(dá)和視頻的融合信號，可以識(shí)別高速公路、隧道中出現(xiàn)的行人事件。行人進(jìn)入高速公路上或隧道內(nèi)，如高速公路的行車道、應(yīng)急車道，隧道內(nèi)的行車道、停車帶、人行道，或者其他禁止進(jìn)入?yún)^(qū)域，判定為行人事件，并自動(dòng)及時(shí)告警。系統(tǒng)還能夠檢測識(shí)別區(qū)分工作人員和普通人員，并根據(jù)人員不同，展示不同的告警級別[6-7]。

4.6 車輛速度過高/低檢測

系統(tǒng)能通過通過雷達(dá)和視頻的融合信號，通過雷達(dá)檢測出車輛速度，能通過實(shí)時(shí)獲取道路卡口攝像機(jī)抓拍的車輛高清圖片，當(dāng)速度高于設(shè)定閾值或者低于設(shè)定閾值時(shí)，自動(dòng)報(bào)警。

4.7 車輛占用和駛離應(yīng)急車道事件檢測

系統(tǒng)能通過通過雷達(dá)和視頻的融合信號，采用深度學(xué)習(xí)技術(shù)，系統(tǒng)能夠通過車輛占用和離開應(yīng)急車道時(shí)自動(dòng)報(bào)警，記錄車輛占用應(yīng)急車道的時(shí)長。

4.8 交通事故檢測

系統(tǒng)能通過通過雷達(dá)和視頻的融合信號，采用深度學(xué)習(xí)技術(shù)，系統(tǒng)能夠通過檢測道路發(fā)生車輛碰撞等交通事故，并自動(dòng)報(bào)警。

4.9 車型識(shí)別

系統(tǒng)能通過通過雷達(dá)和視頻的融合信號，采用深度學(xué)習(xí)技術(shù)，系統(tǒng)能夠通過識(shí)別小轎車、大客車、小客車、貨車、危險(xiǎn)品車、面包車。

4.10 車流量檢測

系統(tǒng)通過計(jì)算引擎對車輛檢測、車牌識(shí)別、雷達(dá)數(shù)據(jù)進(jìn)行實(shí)時(shí)大數(shù)據(jù)分析，及時(shí)、準(zhǔn)確分析特定區(qū)域內(nèi)的車流總量數(shù)據(jù)。

4.11 分車型車流量分析

系統(tǒng)通過計(jì)算引擎對車輛檢測、車型識(shí)別、車牌識(shí)別數(shù)據(jù)進(jìn)行實(shí)時(shí)大數(shù)據(jù)分析，準(zhǔn)確分析特定區(qū)域內(nèi)分車型車流量數(shù)據(jù)。

4.12 視頻質(zhì)量診斷

系統(tǒng)運(yùn)行視頻診斷程序，在服務(wù)器上自動(dòng)檢測攝像機(jī)等設(shè)備故障，可以檢測攝像機(jī)信號丟失、攝像頭畫面遮擋、視頻畫面凍結(jié)、視頻畫面模糊、視頻畫面對比度差異、視頻畫面劇烈抖動(dòng)、攝像機(jī)偏離預(yù)置位等視頻質(zhì)量問題。

5 總結(jié)和展望

基于雷視融合的高速公路智能監(jiān)控邊云協(xié)同分析系統(tǒng)，通過雷視融合技術(shù)提供了全天候智能事件檢測方案，解決了攝像頭極易受到強(qiáng)光照射、雨雪霧、夜晚等惡劣天氣或光照的氣候條件都會(huì)影響智能事件檢測系統(tǒng)正常工作的問題，可全天候全方位監(jiān)測公路車流量信息，識(shí)別效率和準(zhǔn)確度均大大超過人工能力，提升車流量分析準(zhǔn)確率，減少損失。

同時(shí)本智能事件分析系統(tǒng)通過邊云協(xié)同架構(gòu)解決了高清攝像機(jī)對于視頻專網(wǎng)的帶寬壓力、事件時(shí)延等問題，并可以將公路通行情況在公路外情報(bào)板上進(jìn)行實(shí)時(shí)路況提醒，并誘導(dǎo)用戶注意擁堵以及事故，降低擁堵和二次交故發(fā)生的概率，減少相關(guān)經(jīng)濟(jì)損失，從而提高高速公路的運(yùn)營管理效率，提升服務(wù)水平，加強(qiáng)高速公路突發(fā)事件的應(yīng)急處置能力。