董學(xué)娟

（北京經(jīng)緯信息技術(shù)有限公司，北京 100081）

截止2020年底，我國(guó)高速鐵路營(yíng)運(yùn)里程已達(dá)3.79萬km，覆蓋范圍廣，運(yùn)營(yíng)場(chǎng)景復(fù)雜，涉及不同氣候和環(huán)境條件，由自然災(zāi)害、環(huán)境及人為原因引發(fā)的安全隱患，如線路塌方落石、接觸網(wǎng)掛附異物、行車設(shè)備破損、重點(diǎn)區(qū)域人員入侵、作業(yè)過程不規(guī)范等時(shí)有發(fā)生，及時(shí)發(fā)現(xiàn)和消除這些隱患對(duì)保障高速鐵路運(yùn)營(yíng)安全極為重要。

目前，綜合視頻監(jiān)控系統(tǒng)已成為我國(guó)高速鐵路保障運(yùn)營(yíng)安全的一種重要基礎(chǔ)設(shè)施[1]，可為鐵路車務(wù)、客貨運(yùn)、工務(wù)、電務(wù)、供電、機(jī)務(wù)、車輛、信息和公安等各專業(yè)提供實(shí)時(shí)視頻和錄像回放等功能，為鐵路各業(yè)務(wù)部門遠(yuǎn)程監(jiān)視現(xiàn)場(chǎng)設(shè)備工況、環(huán)境狀況、作業(yè)過程提供了一種便捷、高效的技術(shù)手段。當(dāng)設(shè)備出現(xiàn)故障或事故發(fā)生后，可利用綜合視頻監(jiān)控系統(tǒng)的歷史數(shù)據(jù)回放功能，輔助故障原因分析，進(jìn)行事故調(diào)查取證。由于綜合視頻監(jiān)控系統(tǒng)實(shí)現(xiàn)的報(bào)警功能是基于傳統(tǒng)的視頻移動(dòng)檢測(cè)（VMD，Video Motion Detection）技術(shù)[2]，只能判斷出畫面變化的內(nèi)容，無法區(qū)分目標(biāo)和背景干擾，報(bào)警準(zhǔn)確率不高，妨礙了其成為鐵路各專業(yè)安全監(jiān)控的利器。另外，綜合視頻監(jiān)控?cái)?shù)據(jù)尚未與各專業(yè)信息系統(tǒng)的相關(guān)信息有效關(guān)聯(lián)和融合，造成綜合視頻監(jiān)控系統(tǒng)的現(xiàn)有應(yīng)用功能尚存不足和局限性，限制了綜合視頻監(jiān)控系統(tǒng)的應(yīng)用成效。

近年來，云計(jì)算和大數(shù)據(jù)技術(shù)已經(jīng)成為鐵路信息化融合創(chuàng)新發(fā)展的新動(dòng)力，使得以較低成本存儲(chǔ)和處理海量、高增長(zhǎng)的視頻數(shù)據(jù)成為可能。同時(shí)，智能視頻分析技術(shù)日趨成熟，廣泛應(yīng)用在安防[3]、客流監(jiān)測(cè)[4]、機(jī)器人[5]、車輛識(shí)別[6]、基建現(xiàn)場(chǎng)管理[7]等應(yīng)用場(chǎng)景，也涌現(xiàn)了越來越多的商用智能視頻分析工具。智能視頻分析系統(tǒng)能夠自動(dòng)識(shí)別出監(jiān)控視頻畫面中的不同物體，分析出異常情況[8]，從而提供準(zhǔn)確的報(bào)警信息，支持工作人員及時(shí)進(jìn)行危機(jī)處理；并通過持續(xù)的深度學(xué)習(xí)優(yōu)化智能分析算法模型，減少誤報(bào)和漏報(bào)。

為此，本文結(jié)合北京—張家口高速鐵路（簡(jiǎn)稱：京張高鐵）綜合視頻系統(tǒng)應(yīng)用狀況和需求調(diào)研，開展高速鐵路基礎(chǔ)設(shè)施視頻大數(shù)據(jù)應(yīng)用系統(tǒng)（簡(jiǎn)稱：視頻大數(shù)據(jù)系統(tǒng)）方案研究，為下一步全面推進(jìn)該系統(tǒng)研究與開發(fā)奠定基礎(chǔ)。

1 高速鐵路基礎(chǔ)設(shè)施視頻大數(shù)據(jù)應(yīng)用的可行性分析

目前，綜合視頻監(jiān)控系統(tǒng)已經(jīng)成為高速鐵路安全防護(hù)的一種重要技術(shù)裝備[9]，主要監(jiān)控范圍覆蓋高速鐵路沿線各動(dòng)車所、部分存車場(chǎng)及站段生產(chǎn)場(chǎng)所等大多數(shù)關(guān)鍵場(chǎng)所，能夠采集較為全面的高鐵基礎(chǔ)設(shè)施動(dòng)態(tài)視頻數(shù)據(jù)。按照《高速鐵路安全防護(hù)設(shè)計(jì)規(guī)范》，針對(duì)高速鐵路的綜合視頻監(jiān)控系統(tǒng)監(jiān)控點(diǎn)設(shè)置要求如表1所示。

表1 高速鐵路綜合視頻監(jiān)控系統(tǒng)監(jiān)控點(diǎn)設(shè)置要求

京張高鐵作為支撐2022年北京冬奧會(huì)的重要交通設(shè)施，沿線設(shè)置了3600多個(gè)監(jiān)控點(diǎn)，可以采集到京張高鐵沿線許多基礎(chǔ)設(shè)施的監(jiān)控視頻；這些監(jiān)控點(diǎn)所采集的視頻數(shù)據(jù)已經(jīng)全部接入中國(guó)國(guó)家鐵路集團(tuán)有限公司（簡(jiǎn)稱：國(guó)鐵集團(tuán)）主數(shù)據(jù)中心。京張高鐵沿線安裝的所有攝像機(jī)均具有夜視功能，視頻數(shù)據(jù)格式統(tǒng)一為 MP4 格式，分辨率為 1920×1080，圖像清晰度較好，從原始數(shù)據(jù)源頭上保證全天候視頻分析具有較高的準(zhǔn)確率，也無需進(jìn)行轉(zhuǎn)碼處理。每日采集的監(jiān)控視頻數(shù)據(jù)量大約為80 T，集中存儲(chǔ)在主數(shù)據(jù)中心專用的視頻云存儲(chǔ)[9]中，保存周期為3年。

另一方面，目前已經(jīng)有不少既有鐵路各專業(yè)信息系統(tǒng)接入到國(guó)鐵集團(tuán)主數(shù)據(jù)中心的數(shù)據(jù)服務(wù)平臺(tái)，為開展跨系統(tǒng)、跨專業(yè)的數(shù)據(jù)融合與集成應(yīng)用研究與開發(fā)提供了有利條件。為此，以京張高鐵為試點(diǎn)，展開高鐵基礎(chǔ)設(shè)施視頻大數(shù)據(jù)應(yīng)用切實(shí)可行。

高速鐵路列車運(yùn)行速度快，維修天窗時(shí)間短，及時(shí)掌握各類基礎(chǔ)設(shè)施的狀態(tài)和潛在的安全隱患，對(duì)保障高速鐵路安全運(yùn)營(yíng)意義極為重大?，F(xiàn)有的各類高鐵安全監(jiān)測(cè)系統(tǒng)采集的監(jiān)測(cè)信息內(nèi)容還不夠豐富，遠(yuǎn)遠(yuǎn)不能滿足高速鐵路運(yùn)營(yíng)安全保障的需要。監(jiān)控視頻數(shù)據(jù)是一種具有豐富內(nèi)涵和洞察力的非結(jié)構(gòu)化數(shù)據(jù)，其展示形式直觀和生動(dòng)，一直以來主要在遠(yuǎn)程監(jiān)控、事故調(diào)查取證、輔助設(shè)備設(shè)施故障原因分析等方面發(fā)揮著重要作用。

為此，選用適用的視頻智能分析技術(shù)，利用綜合視頻監(jiān)控系統(tǒng)采集的各種實(shí)際業(yè)務(wù)場(chǎng)景下海量監(jiān)控視頻數(shù)據(jù)進(jìn)行智能視頻分析，自動(dòng)檢測(cè)高速鐵路沿線處在視頻監(jiān)控范圍內(nèi)的基礎(chǔ)設(shè)施的異常狀態(tài)及行車環(huán)境中不安全因素，將復(fù)雜多源的監(jiān)控視頻數(shù)據(jù)轉(zhuǎn)化為計(jì)算機(jī)可識(shí)別的、具有明確語義的各類異常事件告警信息，并將監(jiān)控視頻數(shù)據(jù)與既有各專業(yè)信息系統(tǒng)中涉及行車安全、環(huán)境安全的監(jiān)測(cè)信息數(shù)據(jù)資源進(jìn)行有效關(guān)聯(lián)和融合，進(jìn)一步豐富告警信息內(nèi)容，使高速鐵路綜合視頻監(jiān)控系統(tǒng)采集的視頻數(shù)據(jù)能夠發(fā)揮更大的使用價(jià)值。

2 系統(tǒng)方案

2.1 建設(shè)目標(biāo)

（1）面向高速鐵路基礎(chǔ)設(shè)施運(yùn)維管理提供監(jiān)控視頻結(jié)構(gòu)化分析平臺(tái)

監(jiān)控視頻數(shù)據(jù)價(jià)值密度相對(duì)低，在一個(gè)小時(shí)的監(jiān)控視頻數(shù)據(jù)里，往往僅只有幾秒鐘的數(shù)據(jù)具有使用價(jià)值。目前，綜合視頻監(jiān)控系統(tǒng)采集的視頻數(shù)據(jù)以非結(jié)構(gòu)化形式存儲(chǔ)，當(dāng)事件發(fā)生后需要追查時(shí)，難以快速、高效地檢索所需視頻內(nèi)容。

高速鐵路沿線設(shè)置的視頻監(jiān)控點(diǎn)一般都有較為確定的典型數(shù)據(jù)采集場(chǎng)景、固定的監(jiān)控范圍和拍攝角度。對(duì)高速鐵路沿線所有監(jiān)控點(diǎn)的監(jiān)控目標(biāo)開展全面、細(xì)致的調(diào)查，找出涉及線路設(shè)施、軌旁信號(hào)設(shè)備、接觸網(wǎng)、機(jī)房等重點(diǎn)區(qū)域、自然災(zāi)害易發(fā)地段的所有監(jiān)控點(diǎn)，并利用這些監(jiān)控點(diǎn)的歷史視頻數(shù)據(jù)進(jìn)行分析，確定數(shù)據(jù)具有使用價(jià)值的監(jiān)控點(diǎn)清單，將這些監(jiān)控點(diǎn)采集的視頻數(shù)據(jù)作為視頻大數(shù)據(jù)系統(tǒng)的數(shù)據(jù)源；并根據(jù)這些監(jiān)控點(diǎn)監(jiān)控目標(biāo)的類型及可能出現(xiàn)的異常事件，定義各個(gè)監(jiān)控點(diǎn)的視頻摘要模板、特征數(shù)據(jù)及視頻濃縮方案。通過視頻數(shù)據(jù)標(biāo)注處理，根據(jù)監(jiān)控視頻數(shù)據(jù)自身蘊(yùn)含的語義和內(nèi)容層次，為視頻數(shù)據(jù)添加明確語義標(biāo)簽和清晰層次結(jié)構(gòu)，以便于視頻數(shù)據(jù)的存儲(chǔ)組織、管理和使用，提升海量監(jiān)控視頻數(shù)據(jù)的檢索效率。同時(shí)，只有制作出準(zhǔn)確標(biāo)注的視頻數(shù)據(jù)集，才能利用智能視頻分析算法完成準(zhǔn)確的目標(biāo)檢測(cè)、識(shí)別和行為分析，從視頻數(shù)據(jù)中精準(zhǔn)捕獲異常事件。

（2）實(shí)現(xiàn)視頻數(shù)據(jù)與相關(guān)業(yè)務(wù)數(shù)據(jù)的有效關(guān)聯(lián)與融合

目前，綜合視頻監(jiān)控系統(tǒng)采集的視頻數(shù)據(jù)還是相對(duì)封閉的數(shù)據(jù)孤島，未與相關(guān)業(yè)務(wù)數(shù)據(jù)進(jìn)行有效關(guān)聯(lián)和融合，綜合應(yīng)用難以開展，海量監(jiān)控視頻數(shù)據(jù)的潛在價(jià)值尚未得到有效挖掘。添加了索引和標(biāo)簽的監(jiān)控視頻數(shù)據(jù)在被賦予明確的語義和一定的結(jié)構(gòu)層次后，具備了與其它專業(yè)信息系統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)進(jìn)行關(guān)聯(lián)和融合處理的基礎(chǔ)。為此，通過數(shù)據(jù)接口從相關(guān)業(yè)務(wù)信息系統(tǒng)中獲取與監(jiān)控視頻中目標(biāo)對(duì)象的有關(guān)各種屬性數(shù)據(jù)，一方面可利用屬性數(shù)據(jù)完善智能視頻分析算法，提高智能視頻分析的準(zhǔn)確性；同時(shí)，可建立監(jiān)控目標(biāo)的數(shù)據(jù)立方體，支持多角度探索，進(jìn)行關(guān)聯(lián)分析及趨勢(shì)分析；此外，實(shí)現(xiàn)與地理信息系統(tǒng)（GIS，Geographic Information System）信息集成，可以實(shí)現(xiàn)基于鐵路網(wǎng)電子地圖的監(jiān)控點(diǎn)視頻瀏覽、監(jiān)控點(diǎn)屬性及告警閾值設(shè)置、報(bào)警聯(lián)動(dòng)等應(yīng)用功能。

（3）開展視頻智能分析并實(shí)現(xiàn)異常告警閉環(huán)管理

利用智能視頻分析技術(shù)，自動(dòng)檢測(cè)監(jiān)控點(diǎn)現(xiàn)場(chǎng)出現(xiàn)的異常事件，并根據(jù)告警處置規(guī)則，將告警信息連同經(jīng)結(jié)構(gòu)化處理后的相關(guān)視頻數(shù)據(jù)的索引，主動(dòng)推送給調(diào)度人員和基礎(chǔ)設(shè)施運(yùn)維人員，使其及時(shí)地掌握監(jiān)控點(diǎn)現(xiàn)場(chǎng)動(dòng)態(tài)，以采取針對(duì)性處置措施，同時(shí)還可使視頻監(jiān)控成為人工線路巡檢的有益補(bǔ)充，減少不必要的人工巡檢工作。此外，實(shí)現(xiàn)多專業(yè)系統(tǒng)聯(lián)動(dòng)的告警處置閉環(huán)管理，更好地支持多專業(yè)共同應(yīng)對(duì)安全事件的協(xié)同能力，高效實(shí)施搶修，避免事故的發(fā)生，或?yàn)榫仍笓]人員組織事故救援工作提供一種便捷工具，促進(jìn)高速鐵路運(yùn)營(yíng)管理精細(xì)化，提高高速鐵路安全保障能力。

（4）提供定制化查詢功能和數(shù)據(jù)共享服務(wù)，充分發(fā)揮監(jiān)控視頻數(shù)據(jù)的應(yīng)用價(jià)值

面向高速鐵路基礎(chǔ)設(shè)施運(yùn)維管理、環(huán)境安全及列車運(yùn)行安全監(jiān)控等業(yè)務(wù)，為國(guó)鐵集團(tuán)、路局、站段不同業(yè)務(wù)層面用戶提供便捷的定制化監(jiān)控視頻數(shù)據(jù)及智能分析結(jié)果查詢功能，在事故調(diào)查、故障分析、現(xiàn)場(chǎng)救援、線路設(shè)備搶修等多種業(yè)務(wù)場(chǎng)景下，用戶能夠方便快捷地查找和瀏覽歷史監(jiān)控視頻信息及現(xiàn)場(chǎng)動(dòng)態(tài)監(jiān)控信息；同時(shí)，依托數(shù)據(jù)共享平臺(tái)，通過微服務(wù)網(wǎng)關(guān)，向各業(yè)務(wù)信息系統(tǒng)提供定制化監(jiān)控視頻數(shù)據(jù)共享服務(wù)，促進(jìn)鐵路信息系統(tǒng)的集成與業(yè)務(wù)融合創(chuàng)新。

2.2 總體架構(gòu)

高速鐵路基礎(chǔ)設(shè)施視頻大數(shù)據(jù)應(yīng)用系統(tǒng)依托國(guó)鐵集團(tuán)主數(shù)據(jù)中心的云計(jì)算資源和平臺(tái)即服務(wù)（Platform as a Service，PaaS）構(gòu)建，主要包括監(jiān)控視頻結(jié)構(gòu)化分析平臺(tái)、視頻綜合應(yīng)用、數(shù)據(jù)交互接口3個(gè)部分，如圖1所示。

圖1 高速鐵路基礎(chǔ)設(shè)施視頻大數(shù)據(jù)應(yīng)用系統(tǒng)總體架構(gòu)示意

（1）監(jiān)控視頻結(jié)構(gòu)化分析平臺(tái)：主要包括視頻數(shù)據(jù)抽取/轉(zhuǎn)換/加載（ETL，Extract-Transform-Load）模塊、視頻結(jié)構(gòu)化存儲(chǔ)、視頻數(shù)據(jù)標(biāo)注工具庫、綜合分析數(shù)據(jù)庫、智能視頻離線分析算法庫、智能視頻在線分析算法庫、數(shù)據(jù)關(guān)聯(lián)與融合處理模塊。

其中，視頻數(shù)據(jù)ETL模塊從綜合視頻監(jiān)控系統(tǒng)匯集到主數(shù)據(jù)中心的視頻云存儲(chǔ)中，抽取高速鐵路沿線基礎(chǔ)設(shè)施監(jiān)控視頻數(shù)據(jù)，進(jìn)行初步的結(jié)構(gòu)化處理（如添加摘要、基本索引、分層標(biāo)簽、視頻濃縮等）后，存入視頻結(jié)構(gòu)化存儲(chǔ)中。

視頻數(shù)據(jù)標(biāo)注工具庫用于對(duì)視頻數(shù)據(jù)添加更為豐富的索引、標(biāo)簽，完成細(xì)化目標(biāo)標(biāo)注，使視頻數(shù)據(jù)更便于查詢和瀏覽，并用于制作訓(xùn)練特定智能視頻分析模型的數(shù)據(jù)集。

智能視頻離線分析算法庫是一組用于智能視頻分析工具，針對(duì)某個(gè)具體監(jiān)控點(diǎn)或監(jiān)控類型的特定目標(biāo)識(shí)別和事件分析任務(wù)，分析人員利用標(biāo)注好的數(shù)據(jù)集對(duì)算法模型進(jìn)行訓(xùn)練，得到性能和準(zhǔn)確性均滿足應(yīng)用需求的視頻分析算法模型，經(jīng)過驗(yàn)證的算法模型歸并到智能視頻在線分析算法庫中。

智能視頻在線分析算法庫是一組經(jīng)過測(cè)試驗(yàn)證、針對(duì)特定視頻分析任務(wù)的算法組件，由管理員按照預(yù)先制定的運(yùn)行策略部署運(yùn)行，完成對(duì)來自特定監(jiān)控點(diǎn)的視頻數(shù)據(jù)的分析處理，生成的異常報(bào)警信息存入綜合分析數(shù)據(jù)庫。

綜合分析數(shù)據(jù)庫是一個(gè)可支持聯(lián)機(jī)分析處理（OLAP，OnLine Analytic Processing）任務(wù)的數(shù)據(jù)庫，集中存儲(chǔ)來自外部系統(tǒng)的相關(guān)數(shù)據(jù)、智能視頻分析生成的異常報(bào)警信息，可根據(jù)綜合分析的需要，將數(shù)據(jù)組織成數(shù)據(jù)立方體。

數(shù)據(jù)關(guān)聯(lián)與融合處理模塊對(duì)來自外部系統(tǒng)接入數(shù)據(jù)接口的相關(guān)數(shù)據(jù)進(jìn)行抽取和轉(zhuǎn)換，并將這些數(shù)據(jù)與視頻大數(shù)據(jù)系統(tǒng)自身的結(jié)構(gòu)化視頻數(shù)據(jù)和報(bào)警數(shù)據(jù)進(jìn)行關(guān)聯(lián)和融合，生成面向綜合分析應(yīng)用的數(shù)據(jù)存儲(chǔ)在綜合分析數(shù)據(jù)庫中。

（2）視頻綜合應(yīng)用：采用B/S架構(gòu)，面向國(guó)鐵集團(tuán)、鐵路局集團(tuán)公司、站段、車間4個(gè)業(yè)務(wù)層面用戶，提供針對(duì)多種應(yīng)用場(chǎng)景（包括事故調(diào)查取證、設(shè)備故障分析、事故救援、現(xiàn)場(chǎng)搶修等）的定制化視頻查詢功能；同時(shí)，基于微服務(wù)架構(gòu)，為各專業(yè)信息系統(tǒng)提供所需的定制化視頻數(shù)據(jù)共享服務(wù)。

（3）數(shù)據(jù)交互接口：完成與外部信息系統(tǒng)的數(shù)據(jù)交互，包括外部信息接入接口和視頻數(shù)據(jù)共享服務(wù)接口。

其中，外部信息接入接口依據(jù)數(shù)據(jù)接入接口協(xié)議，從綜合維修系統(tǒng)獲取基礎(chǔ)設(shè)施設(shè)備（包括線橋隧、接觸網(wǎng)、軌旁信號(hào)設(shè)備、機(jī)房等）技術(shù)臺(tái)賬數(shù)據(jù)，從鐵路安全監(jiān)督管理系統(tǒng)獲取事故故障信息，從高速鐵路自然災(zāi)害及異物侵限監(jiān)測(cè)系統(tǒng)（簡(jiǎn)稱：災(zāi)害監(jiān)測(cè)系統(tǒng)）獲取天氣、災(zāi)害、異物侵限信息，從列車調(diào)度指揮系統(tǒng)（TDCS，Train Dispatching Command System）獲取高速鐵路列車運(yùn)行計(jì)劃和實(shí)績(jī)信息；調(diào)用鐵路地理信息服務(wù)平臺(tái)GIS服務(wù)，生成用于展示和瀏覽導(dǎo)航的GIS鐵路網(wǎng)電子地圖。這些外部系統(tǒng)通過視頻數(shù)據(jù)共享服務(wù)接口，調(diào)用視頻大數(shù)據(jù)系統(tǒng)提供的定制化視頻數(shù)據(jù)共享服務(wù)。

2.3 邏輯架構(gòu)

按照系統(tǒng)技術(shù)構(gòu)成要素的功能層次，高速鐵路基礎(chǔ)設(shè)施視頻大數(shù)據(jù)應(yīng)用系統(tǒng)劃分為基礎(chǔ)設(shè)施層、數(shù)據(jù)存儲(chǔ)層、數(shù)據(jù)處理層、數(shù)據(jù)服務(wù)層、查詢分析應(yīng)用層，如圖2所示。

圖2 高速鐵路基礎(chǔ)設(shè)施視頻大數(shù)據(jù)應(yīng)用系統(tǒng)邏輯架構(gòu)示意

（1）基礎(chǔ)設(shè)施層：提供系統(tǒng)運(yùn)行的基礎(chǔ)軟硬件環(huán)境，主要包括存儲(chǔ)海量視頻數(shù)據(jù)的分布式文件系統(tǒng)（HDFS，Hadoop Distribute File System）和分布式數(shù)據(jù)庫（HBase）、存儲(chǔ)綜合分析數(shù)據(jù)的數(shù)據(jù)庫服務(wù)器（MySQL） 和內(nèi)存數(shù)據(jù)庫服務(wù)器（ Redis）、提供定制化查詢功能的應(yīng)用服務(wù)器（ Weblogic）、通信服務(wù)器（Rabbit MQ），均采用虛擬化集群配置，確保系統(tǒng)高性能、高可靠性和可擴(kuò)展性。

（2）數(shù)據(jù)存儲(chǔ)層：基于分布式數(shù)據(jù)存儲(chǔ)架構(gòu)實(shí)現(xiàn)視頻結(jié)構(gòu)化存儲(chǔ)，視頻濃縮和分級(jí)分區(qū)域存儲(chǔ)，提高視頻數(shù)據(jù)的檢索效率和瀏覽進(jìn)度；從其它系統(tǒng)獲取的關(guān)系型數(shù)據(jù)存儲(chǔ)在關(guān)系型數(shù)據(jù)庫，關(guān)聯(lián)融合后的結(jié)構(gòu)化數(shù)據(jù)可按照多維立方體形式存儲(chǔ)。

（3）數(shù)據(jù)處理層： 完成基礎(chǔ)設(shè)施監(jiān)控視頻數(shù)據(jù)的抽取、清洗，手工或自動(dòng)生成視頻的索引、摘要初步標(biāo)注；完成從其它系統(tǒng)采集的接口數(shù)據(jù)的抽取以及初步的關(guān)聯(lián)和融合處理；使用Hadoop MapReduce分布式計(jì)算模型來運(yùn)行智能視頻分析算法組件，完成基于網(wǎng)格計(jì)算的海量視頻實(shí)時(shí)處理和高并行視頻分析計(jì)算。

（4）數(shù)據(jù)服務(wù)層：包括基礎(chǔ)服務(wù)、數(shù)據(jù)接口服務(wù)以及業(yè)務(wù)服務(wù)，使用Spring Cloud 實(shí)現(xiàn)服務(wù)治理；其中，基礎(chǔ)服務(wù)提供日志記錄、用戶與用戶組管理、系統(tǒng)運(yùn)行參數(shù)配置、GIS 鐵路網(wǎng)圖生成等功能；數(shù)據(jù)接口服務(wù)以微服務(wù)形式，提供與相關(guān)業(yè)務(wù)信息系統(tǒng)的數(shù)據(jù)采集、信息交互及共享數(shù)據(jù)訪問服務(wù)；業(yè)務(wù)服務(wù)為本系統(tǒng)查詢應(yīng)用層功能提供數(shù)據(jù)訪問服務(wù)。

（5）查詢應(yīng)用層：面向本系統(tǒng)最終用戶提供查詢和分析功能，用戶通過瀏覽器訪問Web應(yīng)用服務(wù)器，獲取各類定制化查詢和數(shù)據(jù)分析功能。

3 主要功能

高速鐵路基礎(chǔ)設(shè)施視頻大數(shù)據(jù)應(yīng)用系統(tǒng)主要功能包括視頻數(shù)據(jù)抽取清洗與標(biāo)注、數(shù)據(jù)關(guān)聯(lián)與融合、智能異常檢測(cè)、報(bào)警閉環(huán)管理、視頻查詢與共享、系統(tǒng)管理，系統(tǒng)功能結(jié)構(gòu)如圖3所示。

圖3 系統(tǒng)功能結(jié)構(gòu)

3.1 視頻數(shù)據(jù)抽取、清洗與標(biāo)注

（1）視頻數(shù)據(jù)抽?。阂罁?jù)監(jiān)控視頻數(shù)據(jù)價(jià)值調(diào)查分析后確定的監(jiān)控點(diǎn)清單，按照系統(tǒng)預(yù)定義監(jiān)控點(diǎn)視頻摘要模板、特征數(shù)據(jù)及視頻濃縮方案，從綜合視頻監(jiān)控系統(tǒng)的視頻數(shù)據(jù)存儲(chǔ)中抽取這些監(jiān)控點(diǎn)的視頻數(shù)據(jù)，形成初始的結(jié)構(gòu)化監(jiān)控視頻數(shù)據(jù)存儲(chǔ)；根據(jù)監(jiān)控點(diǎn)不同監(jiān)控目標(biāo)的特性、智能視頻分析的要求以及查詢?yōu)g覽的具體需求，按實(shí)時(shí)抽取、分階段抽取、定期匯總抽取3種方式完成數(shù)據(jù)抽取。

（2）視頻數(shù)據(jù)清洗：利用智能分析算法，自動(dòng)檢測(cè)攝像機(jī)是否存在成像異常和取景范圍異常的情況，將夜視成像異常和取景范圍異常的視頻數(shù)據(jù)添加標(biāo)記，并將其從智能視頻分析數(shù)據(jù)集中剔除。

（3）視頻數(shù)據(jù)標(biāo)注：針對(duì)視頻結(jié)構(gòu)化查詢和視頻智能分析應(yīng)用需求，采用人工和自動(dòng)化工具相結(jié)合的方式完成視頻數(shù)據(jù)標(biāo)注；針對(duì)視頻結(jié)構(gòu)化查詢的視頻數(shù)據(jù)標(biāo)注，主要是基于對(duì)視頻內(nèi)容的分析和理解，為抽取的監(jiān)控視頻數(shù)據(jù)建立語義索引和層次結(jié)構(gòu)，以方便用戶檢索和瀏覽查詢；針對(duì)視頻智能分析的視頻數(shù)據(jù)標(biāo)注，主要是制作用于訓(xùn)練智能分析模型的數(shù)據(jù)集，一般需要根據(jù)畫面中需要識(shí)別的目標(biāo)及其行為（或事件），對(duì)視頻中每一幀圖像標(biāo)注好其分類，以及對(duì)其進(jìn)行語義分割及實(shí)例分割，甚至于全景分割。

3.2 數(shù)據(jù)關(guān)聯(lián)與融合

（1）基礎(chǔ)設(shè)施信息關(guān)聯(lián)融合：根據(jù)監(jiān)控點(diǎn)清單，從綜合維修系統(tǒng)中獲取各個(gè)視頻監(jiān)控點(diǎn)上監(jiān)測(cè)目標(biāo)所對(duì)應(yīng)的基礎(chǔ)設(shè)施設(shè)備（包括線橋隧、接觸網(wǎng)、軌旁信號(hào)設(shè)備、機(jī)房等）技術(shù)臺(tái)賬數(shù)據(jù)，將存儲(chǔ)在結(jié)構(gòu)化數(shù)據(jù)庫中，并建立與監(jiān)測(cè)目標(biāo)的關(guān)聯(lián)關(guān)系。

（2）災(zāi)害監(jiān)測(cè)信息關(guān)聯(lián)融合：從高鐵災(zāi)害監(jiān)測(cè)系統(tǒng)獲取高鐵沿線天氣信息（如雨、雪、大風(fēng)等），可用于為智能視頻分析模型增加天氣因素，同時(shí)可監(jiān)控視頻數(shù)據(jù)加注天氣類型標(biāo)簽。

（3）事故/故障信息關(guān)聯(lián)融合：從鐵路安全監(jiān)督管理系統(tǒng)獲取高速鐵路基礎(chǔ)設(shè)施相關(guān)的事故/故障數(shù)據(jù)，作為確定系統(tǒng)監(jiān)測(cè)點(diǎn)清單的分析資料（如確定事故多發(fā)地段），同時(shí)也可為事故地點(diǎn)監(jiān)控視頻添加事故/故障摘要信息。

（4）GIS鐵路網(wǎng)圖：從鐵路GIS獲取GIS 鐵路網(wǎng)圖，可以通過電子地圖實(shí)現(xiàn)監(jiān)控點(diǎn)調(diào)看、設(shè)置、報(bào)警聯(lián)動(dòng)等。

（5）列車運(yùn)行信息關(guān)聯(lián)融合：高鐵沿線的通信鐵塔及高層建筑上安裝的視頻監(jiān)控?cái)z像頭可采集到動(dòng)車組運(yùn)行視頻，從列車調(diào)度指揮系統(tǒng)（TDCS，Train Dispatching Command System）中獲取高速鐵路列車運(yùn)行計(jì)劃和實(shí)績(jī)信息，可將沿線這些監(jiān)控點(diǎn)采集到的動(dòng)車組視頻片段匯編成動(dòng)車組沿途追蹤視頻。

3.3 智能異常檢測(cè)

針對(duì)不同類型視頻監(jiān)控點(diǎn)對(duì)異常識(shí)別實(shí)時(shí)性的不同要求，按照實(shí)時(shí)處理、分階段處理、定期匯總處理3種異常檢測(cè)模式，通過智能視頻分析算法模型完成監(jiān)控目標(biāo)的異常檢測(cè)，生成異常檢測(cè)分析結(jié)果，并將分析結(jié)果連同相關(guān)視頻索引一并存入綜合分析數(shù)據(jù)庫中，供用戶查詢異常信息和檢索相關(guān)視頻。

（1）結(jié)構(gòu)物位置偏移檢測(cè)：對(duì)隧道口邊仰坡、路塹邊坡、上跨橋等結(jié)構(gòu)物的過車前后視頻進(jìn)行智能分析對(duì)比，判斷是否發(fā)生移位；當(dāng)偏移量超出系統(tǒng)設(shè)定的閾值閾值時(shí)，判斷該結(jié)構(gòu)物出現(xiàn)位置偏移異常，并自動(dòng)抽取該結(jié)構(gòu)物在若干個(gè)時(shí)段的不同視頻片段的索引，方便用戶檢索視頻進(jìn)行異常情況比對(duì)。

（2）軌旁信號(hào)設(shè)備外觀異常檢測(cè)：對(duì)應(yīng)答器、箱盒、橋槽蓋板等軌旁信號(hào)設(shè)備建立數(shù)據(jù)樣本集，實(shí)現(xiàn)基于深度學(xué)習(xí)的軌旁設(shè)備外觀異常檢測(cè)；當(dāng)檢測(cè)出設(shè)備外觀異常時(shí)，自動(dòng)抽取該設(shè)備外觀異常視頻片段的索引，方便用戶檢索視頻來了解設(shè)備具體情況。

（3）接觸網(wǎng)異物檢測(cè)：對(duì)接觸網(wǎng)異物的易發(fā)區(qū)段視頻進(jìn)行智能分析，利用出現(xiàn)鳥窩、風(fēng)箏、塑料袋等異物的監(jiān)控視頻圖像數(shù)據(jù)建立數(shù)據(jù)樣本集，實(shí)現(xiàn)基于深度學(xué)習(xí)的接觸網(wǎng)異物檢測(cè)；當(dāng)檢測(cè)出接觸網(wǎng)存在異物時(shí)，自動(dòng)抽取接觸網(wǎng)異物視頻片段的索引，方便用戶檢索視頻來了解具體異物情況。

（4）重點(diǎn)區(qū)域人員入侵檢測(cè)：采用基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法，對(duì)設(shè)備機(jī)房等重點(diǎn)區(qū)域人員入侵進(jìn)行檢測(cè)；當(dāng)檢測(cè)出人員入侵行為時(shí)，自動(dòng)抽取入侵人員進(jìn)入該區(qū)域內(nèi)的整段視頻的索引，供相關(guān)人員詳細(xì)掌握人員入侵過程。

3.4 報(bào)警閉環(huán)管理

系統(tǒng)自動(dòng)生成異常報(bào)警通知，并主動(dòng)推送相關(guān)用戶；相關(guān)人員到現(xiàn)場(chǎng)核查和處理后，用戶及時(shí)反饋現(xiàn)場(chǎng)核查與處置情況，實(shí)現(xiàn)異常告警閉環(huán)管理。

（1）報(bào)警通知推送：當(dāng)視頻智能分析模塊檢測(cè)出異常時(shí)，告警引擎會(huì)根據(jù)按業(yè)務(wù)規(guī)則自動(dòng)生成預(yù)警通知，向相關(guān)用戶推送告警信息及處置建議；用戶在手機(jī)App或監(jiān)控終端瀏覽器監(jiān)控頁面上收到告警信息時(shí)，可點(diǎn)擊告警信息附帶的監(jiān)控視頻鏈接，下載查看相應(yīng)的視頻；若用戶在指定時(shí)限內(nèi)未確認(rèn)收到告警信息，或是未按要求反饋報(bào)警處置報(bào)告，系統(tǒng)均以明顯的聲光或閃爍圖標(biāo)提醒用戶。

（2）報(bào)警處置報(bào)告：接收到告警信息及處置建議的用戶，需要在現(xiàn)場(chǎng)核查和處置完畢后，或是指定的有效期限內(nèi)，報(bào)告報(bào)警處置結(jié)果，包括現(xiàn)場(chǎng)核查情況、已處置結(jié)果、未處置的原因等；依據(jù)報(bào)警反饋信息，系統(tǒng)可以發(fā)現(xiàn)虛警情況。

（3）報(bào)警處置監(jiān)控：系統(tǒng)將報(bào)警分為待處置、處置中、已處置、未處置4種狀態(tài)，超級(jí)用戶（通常是調(diào)度或?qū)Ｂ毠芾砣藛T）可以查看所有報(bào)警的當(dāng)前狀態(tài)，掌握全線視頻監(jiān)控異常報(bào)警整體狀況，對(duì)未按要求處置報(bào)警的相關(guān)人員進(jìn)行監(jiān)督。

（4）告警規(guī)則管理：提供告警規(guī)則編輯功能，系統(tǒng)管理員按照崗位職責(zé)、業(yè)務(wù)處理要求及處理時(shí)限，設(shè)置各種異常事件的告警規(guī)則；告警通知引擎會(huì)按照告警規(guī)則的設(shè)置，自動(dòng)生成告警信息和處置建議。

3.5 視頻查詢與共享

面向各類用戶提供便捷的定制化視頻數(shù)據(jù)查詢功能，滿足各種業(yè)務(wù)場(chǎng)景（包括事故調(diào)查取證、設(shè)備故障分析、事故救援、現(xiàn)場(chǎng)搶修等）下，查詢和瀏覽監(jiān)控視頻的需求；根據(jù)其它鐵路業(yè)務(wù)信息系統(tǒng)的視頻數(shù)據(jù)共享需求，以微服務(wù)方式，提供基礎(chǔ)設(shè)施監(jiān)控視頻及動(dòng)車組沿途追蹤視頻數(shù)據(jù)共享接口服務(wù)，方便相關(guān)系統(tǒng)利用視頻大數(shù)據(jù)系統(tǒng)提供的共享視頻數(shù)據(jù)，開展增值應(yīng)用的開發(fā)。

（1）線路設(shè)施監(jiān)控視頻：根據(jù)線路公里標(biāo)、運(yùn)行方向、線路設(shè)施編號(hào)、時(shí)間段、是否告警等條件，提供線路設(shè)施監(jiān)控視頻匯編。

（2）信號(hào)設(shè)備監(jiān)控視頻：根據(jù)線路公里標(biāo)、運(yùn)行方向、線路設(shè)施類型、時(shí)間段、是否告警等條件，提供軌旁信號(hào)設(shè)備監(jiān)控視頻匯編。

（3）接觸網(wǎng)設(shè)施監(jiān)控視頻：根據(jù)線路公里標(biāo)、運(yùn)行方向、線路設(shè)施類型、時(shí)間段、是否告警等條件，提供接觸網(wǎng)設(shè)施監(jiān)控視頻匯編。

（4）重點(diǎn)區(qū)域監(jiān)控視頻：根據(jù)線路公里標(biāo)、重點(diǎn)區(qū)域名稱/編號(hào)、時(shí)間段、是否告警等條件，提供重點(diǎn)區(qū)域監(jiān)控視頻匯編。

（5）動(dòng)車組沿途追蹤視頻：根據(jù)車次、運(yùn)行時(shí)段、線路區(qū)段和運(yùn)行方向，將高速鐵路沿線通信鐵塔及高層建筑物上的多個(gè)監(jiān)控點(diǎn)采集到的動(dòng)車組運(yùn)行視頻片段匯編成一個(gè)動(dòng)車組沿途運(yùn)行追蹤視頻。

（6）監(jiān)控視頻目錄與索引：基于本系統(tǒng)處理過的結(jié)構(gòu)化視頻數(shù)據(jù)，提供分線路區(qū)段、分基礎(chǔ)設(shè)施類別、分報(bào)警級(jí)別、分監(jiān)控時(shí)間段的監(jiān)控視頻目錄及關(guān)鍵字索引，方便用戶搜索所需監(jiān)控視頻。

3.6 系統(tǒng)管理

（1）用戶與用戶組管理：采用基于角色的用戶訪問控制，提供角色、用戶、用戶組創(chuàng)建、修改、刪除等操作；角色和用戶定義主要對(duì)應(yīng)于各項(xiàng)系統(tǒng)功能使用操作權(quán)限；用戶組則確定了異常告警事件及關(guān)聯(lián)視頻信息的共享范圍，用于確定系統(tǒng)接收系統(tǒng)主動(dòng)推送某類信息的目標(biāo)用戶群。

（2）運(yùn)行參數(shù)設(shè)置：設(shè)置影響系統(tǒng)任務(wù)執(zhí)行時(shí)機(jī)、數(shù)據(jù)處理方式、應(yīng)用功能顯示方式等各類參數(shù)；例如，設(shè)置重點(diǎn)事件置頂顯示參數(shù)，系統(tǒng)管理員可從告警事件庫中選擇若干個(gè)告警事件作為Web應(yīng)用首頁置頂顯示的通告內(nèi)容。

（3）基礎(chǔ)數(shù)據(jù)維護(hù)：提供各類基礎(chǔ)數(shù)據(jù)字典的維護(hù)。

（4）監(jiān)控點(diǎn)清單管理：依據(jù)監(jiān)控視頻數(shù)據(jù)價(jià)值調(diào)查分析結(jié)果，確定視頻大數(shù)據(jù)系統(tǒng)需要從綜合視頻監(jiān)控系統(tǒng)中抽取視頻數(shù)據(jù)的監(jiān)控點(diǎn)，并完成監(jiān)控點(diǎn)清單配置信息的錄入；設(shè)置每個(gè)監(jiān)控點(diǎn)的預(yù)定義視頻摘要模板、特征數(shù)據(jù)及視頻濃縮方案；設(shè)置每個(gè)監(jiān)控點(diǎn)的視頻數(shù)據(jù)抽取方式，實(shí)時(shí)抽取、分階段抽取或定期匯總抽??；視頻數(shù)據(jù)抽取模塊根據(jù)監(jiān)控點(diǎn)清單設(shè)置信息，自動(dòng)完成視頻數(shù)據(jù)的抽取、摘要生成、特征數(shù)據(jù)提取及視頻濃縮處理。

（5）日志管理：系統(tǒng)提供多種日志記錄和統(tǒng)計(jì)分析，包括用戶登錄日志、用戶操作日志、視頻抽取日志、視頻標(biāo)注日志、智能視頻分析日志等；用戶登錄日志記錄用戶登錄信息，用戶操作日志記錄用戶在系統(tǒng)中的操作過程，主要用于安全審計(jì)；其它日志記錄系統(tǒng)主要處理組件的運(yùn)行過程，主要用于故障分析和性能調(diào)優(yōu)。

視頻大數(shù)據(jù)系統(tǒng)的運(yùn)行監(jiān)控將納入主數(shù)據(jù)中心的運(yùn)維監(jiān)測(cè)平臺(tái)，利用健康與應(yīng)用性能監(jiān)控組件，提供統(tǒng)一的可視化監(jiān)控界面，對(duì)視頻大數(shù)據(jù)系統(tǒng)的核心組件運(yùn)行狀態(tài)實(shí)行7×24 h 健康監(jiān)控與異常預(yù)警，保證系統(tǒng)持續(xù)穩(wěn)定運(yùn)行。

4 關(guān)鍵技術(shù)

4.1 視頻標(biāo)注技術(shù)

實(shí)現(xiàn)海量的非結(jié)構(gòu)化監(jiān)控視頻數(shù)據(jù)的快捷檢索和智能分析，需要將復(fù)雜多源的監(jiān)控視頻數(shù)據(jù)轉(zhuǎn)化為計(jì)算機(jī)可識(shí)別的、具有明確語義的信息。視頻標(biāo)注為視頻語義轉(zhuǎn)化提供了一條有效的途徑，根據(jù)視頻內(nèi)容不同的語義概念，給視頻數(shù)據(jù)標(biāo)記上關(guān)鍵字和注釋，建立視頻索引，實(shí)現(xiàn)對(duì)視頻內(nèi)容的有效分類和組織管理。通常，計(jì)算機(jī)視覺底層特征與高層語義的聯(lián)系，難以找到較為通用的解決方法。而在綜合視頻監(jiān)控系統(tǒng)中，每一個(gè)監(jiān)控點(diǎn)的視頻內(nèi)容都具有基本一致的時(shí)域結(jié)構(gòu)和場(chǎng)景語義，都有相對(duì)固定的主題、目標(biāo)和語義事件，根據(jù)領(lǐng)域相關(guān)的語義事件，易于提取用戶真正關(guān)心的數(shù)據(jù)。例如，對(duì)于設(shè)備機(jī)房等重點(diǎn)區(qū)域人員入侵檢測(cè)，可定義人員進(jìn)入、退出、開關(guān)門等語義事件。視頻標(biāo)注完成對(duì)視頻監(jiān)控目標(biāo)和語義事件的檢測(cè)與識(shí)別，按照事先定義好的目標(biāo)類別和事件類型，對(duì)視頻片段進(jìn)行標(biāo)識(shí)，以實(shí)現(xiàn)基于內(nèi)容的視頻分析和檢索。對(duì)于具有較強(qiáng)結(jié)構(gòu)性特點(diǎn)的視頻數(shù)據(jù)，在語義標(biāo)注之后，還可以通過視頻標(biāo)注序列的分析，生成監(jiān)控視頻的層次瀏覽結(jié)構(gòu)，自動(dòng)生成分層組織的視頻瀏覽目錄。

每個(gè)視頻監(jiān)控點(diǎn)一般都有較為確定的典型數(shù)據(jù)采集場(chǎng)景、固定的監(jiān)控范圍和拍攝角度。針對(duì)特定類型基礎(chǔ)設(shè)施的監(jiān)控視頻畫面中，待識(shí)別目標(biāo)類別一般較為確定，可分析的特定行為（或異常事件）也相對(duì)明確，屬于特定場(chǎng)景下針對(duì)特定目標(biāo)的視頻分析應(yīng)用，有利于實(shí)現(xiàn)較為高效、準(zhǔn)確的人工智能（AI，Artificial Intelligence）算法。對(duì)于深度學(xué)習(xí)和計(jì)算機(jī)視覺，訓(xùn)練數(shù)據(jù)的質(zhì)量對(duì)訓(xùn)練結(jié)果有著至關(guān)重要的影響。而取得這些數(shù)據(jù)主要途徑就是完成監(jiān)控視頻數(shù)據(jù)標(biāo)注，針對(duì)特定任務(wù)進(jìn)行學(xué)習(xí)和推理，獲得較高的目標(biāo)識(shí)別和事件（或行為）分析的準(zhǔn)確率。數(shù)據(jù)標(biāo)注可以由人工使用數(shù)據(jù)標(biāo)注工具，或是由數(shù)據(jù)標(biāo)注軟件自動(dòng)完成；通常，人工數(shù)據(jù)標(biāo)注的結(jié)果比較可靠，自動(dòng)數(shù)據(jù)標(biāo)注一般都需要人工二次復(fù)核，避免程序處理錯(cuò)誤。

以接觸網(wǎng)監(jiān)控視頻為例，從歷史監(jiān)控視頻數(shù)據(jù)中抽取接觸網(wǎng)出現(xiàn)異物的視頻碼流，如在鐵路沿線周邊有農(nóng)用地膜、城市防塵網(wǎng)和工地彩鋼房的區(qū)段，利用支持圖像分類、對(duì)象檢測(cè)框、圖像語義分割、實(shí)例分割數(shù)據(jù)的標(biāo)注工具，截取視頻圖像，并提取神經(jīng)網(wǎng)絡(luò)特征，計(jì)算圖像之間的特征值，若特征值達(dá)到一定閾值，則系統(tǒng)自動(dòng)發(fā)出報(bào)警。

為做好監(jiān)控視頻數(shù)據(jù)標(biāo)注，首先需要對(duì)綜合視頻監(jiān)控系統(tǒng)提供的監(jiān)控視頻數(shù)據(jù)的內(nèi)在特性進(jìn)行全面、細(xì)致的調(diào)查與梳理，明確每個(gè)監(jiān)控點(diǎn)位置、攝像機(jī)安裝位置（如通信鐵塔、建筑物等）、監(jiān)控方向（線路上行/下行）、典型監(jiān)控場(chǎng)景、主要監(jiān)控對(duì)象及其狀態(tài)事件、次要監(jiān)控對(duì)象及其狀態(tài)事件、適用的業(yè)務(wù)范圍，以便準(zhǔn)確制定每個(gè)監(jiān)控點(diǎn)的視頻數(shù)據(jù)標(biāo)注方案。此外，利用在災(zāi)害監(jiān)測(cè)系統(tǒng)中獲取的天氣信息（雨、雪、大風(fēng)等），還可在智能視頻識(shí)別算法模型中加入天氣等影響識(shí)別準(zhǔn)確率的因素。

4.2 攝像機(jī)成像異常分析與取景范圍異常分析算法

夜視攝像機(jī)成像異常分析與取景范圍異常分析是視頻數(shù)據(jù)清洗的基礎(chǔ)，用于將存在異常的監(jiān)控視頻數(shù)據(jù)從視頻分析數(shù)據(jù)集中剔除，確保視頻分析的效率和效果；同時(shí)，夜視攝像機(jī)成像異常與取景范圍異常本身也是一類設(shè)備故障，會(huì)觸發(fā)報(bào)警。

（1）夜視攝像機(jī)成像異常分析算法：計(jì)算圖像中像素強(qiáng)度分布及每一個(gè)強(qiáng)度值所具有的像素個(gè)數(shù)，判斷激光相機(jī)的夜視狀態(tài)是否開啟；將圖像中RGB值換算為亮度值并進(jìn)行比較，若圖像像素強(qiáng)度分布或每一個(gè)強(qiáng)度值所具有的像素個(gè)數(shù)低于設(shè)定閾值，自動(dòng)判斷出激光夜視光斑打開、激光夜視未打開及異常的情況。定期在設(shè)定時(shí)間范圍內(nèi)抽取各個(gè)監(jiān)控點(diǎn)視頻碼流，使用夜視攝像機(jī)成像異常分析算法，判斷激光相機(jī)的夜視狀態(tài)是否正常。對(duì)于虛警和漏報(bào)的情況，可抽取對(duì)應(yīng)視頻樣本對(duì)算法進(jìn)行訓(xùn)練和測(cè)試，提高算法精度和適用范圍，提升識(shí)別準(zhǔn)確率。

（2）受大風(fēng)等較惡劣天氣的影響，攝像機(jī)的取景角度會(huì)發(fā)生偏斜，導(dǎo)致拍攝的圖像可能無法覆蓋用戶關(guān)注的取景范圍。取景范圍異常分析可采用基于金字塔Lucas-Kanade的跟蹤算法，精確計(jì)算出圖像偏移，據(jù)此測(cè)算攝像機(jī)監(jiān)視角度偏移量；設(shè)置合適的閾值參數(shù)，以準(zhǔn)確判斷出攝像機(jī)監(jiān)視角度偏移量。

4.3 智能視頻分析技術(shù)

主流的視頻智能分析技術(shù)大多采用監(jiān)督式學(xué)習(xí)（supervised learning）算法，視頻數(shù)據(jù)集的有效性和質(zhì)量很大程度上決定了視頻智能分析結(jié)果的準(zhǔn)確性。要在以幀為單位在一系列圖像中識(shí)別和跟蹤物體，必須對(duì)視頻數(shù)據(jù)進(jìn)行有效標(biāo)注，再將標(biāo)注后的視頻數(shù)據(jù)作為數(shù)據(jù)集，用于訓(xùn)練智能視頻分析模型，模型經(jīng)過測(cè)試驗(yàn)證后可用于特定的計(jì)算機(jī)視覺應(yīng)用?？梢哉f，視頻標(biāo)注是實(shí)現(xiàn)視頻智能分析的技術(shù)關(guān)鍵，視頻索引和標(biāo)簽越準(zhǔn)確，模型的表現(xiàn)就越好。智能視頻分析技術(shù)包括運(yùn)動(dòng)目標(biāo)檢測(cè)、運(yùn)動(dòng)目標(biāo)跟蹤、目標(biāo)識(shí)別、目標(biāo)行為識(shí)別與理解、運(yùn)動(dòng)目標(biāo)異常行為識(shí)別5種類型。

運(yùn)動(dòng)目標(biāo)檢測(cè)是智能視頻分析的基礎(chǔ)，主要任務(wù)是從監(jiān)控視頻圖像中將變化區(qū)域（如設(shè)備外觀破損或結(jié)構(gòu)缺失、列車、行人、異物等）從背景中提取出來。例如，分析乘客上車時(shí)在車門處的擁擠程度，是否有誤傷情況，根據(jù)需要進(jìn)行客流疏導(dǎo)，保證運(yùn)營(yíng)安全。運(yùn)動(dòng)目標(biāo)檢測(cè)主要算法有3種：幀間差分法、背景差分法和光流法。

運(yùn)動(dòng)目標(biāo)跟蹤即通過目標(biāo)的有效表達(dá)，在視頻中尋找與目標(biāo)模板最相似候選目標(biāo)區(qū)位置的過程。運(yùn)動(dòng)目標(biāo)跟蹤算法主要分為4類：基于主動(dòng)輪廓的跟蹤、基于特征的跟蹤、基于區(qū)域的跟蹤和基于模型的跟蹤。

運(yùn)動(dòng)目標(biāo)識(shí)別是指根據(jù)監(jiān)控視頻圖像中目標(biāo)內(nèi)容，自動(dòng)將其劃分到預(yù)定義類別，運(yùn)動(dòng)目標(biāo)分類的效果直接影響到系統(tǒng)后期目標(biāo)行為理解與描述?；A(chǔ)設(shè)施監(jiān)控視頻中需要識(shí)別的主要目標(biāo)是每個(gè)監(jiān)控點(diǎn)相對(duì)固定的監(jiān)控對(duì)象，以及可能出現(xiàn)的種類有限的異物或行人。

運(yùn)動(dòng)目標(biāo)檢測(cè)、分類和跟蹤屬于智能視頻分析中底層和中層處理部分，而行為識(shí)別是將測(cè)試序列與預(yù)先標(biāo)定的代表典型行為的參考序列進(jìn)行匹配，以確定測(cè)試序列的行為類別，并判斷該行為是否屬于異常行為，屬于智能視頻分析中高層處理部分。對(duì)于基礎(chǔ)設(shè)施監(jiān)控視頻，行為識(shí)別與理解主要是對(duì)基礎(chǔ)設(shè)施設(shè)備外觀破損缺失、進(jìn)入監(jiān)控區(qū)域的行人或出現(xiàn)的異物的理解與識(shí)別。行為識(shí)別方法主要有模板匹配法和狀態(tài)空間法。異常行為（事件）往往具有突發(fā)性大、不可預(yù)知、持續(xù)時(shí)間短、無周期性等特點(diǎn)，異常行為識(shí)別的關(guān)鍵是如何從學(xué)習(xí)樣本中獲取參考行為序列，并且學(xué)習(xí)和匹配的行為序列必須能夠處理在相似的運(yùn)動(dòng)模式類別中空間和時(shí)間尺度上輕微的特征變化。針對(duì)特定的場(chǎng)景進(jìn)行異常行為（事件）檢測(cè)，常用方法有基于模型的異常行為檢測(cè)方法和基于相似度的異常行為檢測(cè)方法。

以接觸網(wǎng)異物檢測(cè)為例，通過對(duì)比兩張圖像的相似度，檢測(cè)出異物的特定位置。從歷史監(jiān)控視頻數(shù)據(jù)中抽取接觸網(wǎng)出現(xiàn)異物的視頻碼流，在接觸網(wǎng)異物多發(fā)地段，如鐵路沿線周邊有農(nóng)用地膜、城市防塵網(wǎng)和工地彩鋼房等，采集來自該地段內(nèi)攝像機(jī)的監(jiān)控視頻圖像，通過智能視頻分析的監(jiān)控視頻，能夠及時(shí)發(fā)現(xiàn)接觸網(wǎng)異物，例如圖4所示的鳥窩。

圖4 接觸網(wǎng)異物檢測(cè)（鳥窩）

對(duì)于虛警和漏報(bào)的情況，抽取對(duì)應(yīng)的監(jiān)控視頻作為樣本集，用于改進(jìn)異物檢測(cè)算法。

5 結(jié)束語

結(jié)合對(duì)京張高速鐵路中綜合視頻監(jiān)控系統(tǒng)應(yīng)用現(xiàn)狀及視頻數(shù)據(jù)潛在應(yīng)用需求的調(diào)研，分析開展高速鐵路基礎(chǔ)設(shè)施視頻大數(shù)據(jù)應(yīng)用的可行性，明確系統(tǒng)建設(shè)目標(biāo)，提出系統(tǒng)總體架構(gòu)和邏輯架構(gòu)，探討其主要應(yīng)用功能及關(guān)鍵技術(shù)，為全面推進(jìn)系統(tǒng)研究與開發(fā)奠定基礎(chǔ)。

視頻大數(shù)據(jù)系統(tǒng)以基于智能視頻分析的基礎(chǔ)設(shè)施異常報(bào)警及其閉環(huán)管理為核心功能，將綜合監(jiān)控系統(tǒng)采集的海量視頻數(shù)據(jù)轉(zhuǎn)化為輔助高速鐵路基礎(chǔ)設(shè)施運(yùn)維管理和強(qiáng)化運(yùn)營(yíng)安全保障的重要信息資源。該系統(tǒng)提供監(jiān)控視頻結(jié)構(gòu)化分析平臺(tái)，通過視頻數(shù)據(jù)標(biāo)注，實(shí)現(xiàn)視頻數(shù)據(jù)的結(jié)構(gòu)化組織和存儲(chǔ)管理，不但可為智能視頻數(shù)據(jù)分析提供準(zhǔn)確有效的數(shù)據(jù)集，也為鐵路信息資源整合和綜合應(yīng)用開發(fā)提供了有利條件；此外，提供監(jiān)控視頻定制化查詢功能和數(shù)據(jù)共享服務(wù)，有助于提升視頻數(shù)據(jù)應(yīng)用價(jià)值，促進(jìn)鐵路信息系統(tǒng)集成化發(fā)展與融合創(chuàng)新。

確定監(jiān)控點(diǎn)清單是推進(jìn)視頻大數(shù)據(jù)系統(tǒng)研發(fā)的起點(diǎn)和基礎(chǔ)性工作，決定了監(jiān)控視頻數(shù)據(jù)采集、清洗和標(biāo)注的具體方案，也是選擇適用視頻標(biāo)注工具和智能視頻分析技術(shù)，以及設(shè)計(jì)算法模型的依據(jù)。下一步，將在京張高鐵相關(guān)業(yè)務(wù)部門的支持下，全面深化監(jiān)控點(diǎn)清單的調(diào)研和分析工作。