張玨 盧明
摘要
文章以已建成的杭州市交警支隊(duì)大數(shù)據(jù)平臺(tái)為例,對(duì)其框架體系、數(shù)據(jù)融合、場(chǎng)景應(yīng)用等進(jìn)行闡述,展示了大數(shù)據(jù)和分布式等先進(jìn)技術(shù)在交通管理上的應(yīng)用。
【關(guān)鍵詞】大數(shù)據(jù) 分布式 數(shù)據(jù)融合
1 引言
大數(shù)據(jù)有四個(gè)特點(diǎn):
(1)數(shù)據(jù)量巨大;
(2)數(shù)據(jù)類型繁多;
(3)價(jià)值密度低,商業(yè)價(jià)值高;
(4)處理速度快。
大數(shù)據(jù)技術(shù)可以快速、準(zhǔn)確地獲取、挖掘大量有效的交通數(shù)據(jù),構(gòu)建交通數(shù)據(jù)處理模型,給交通管理智能化帶來(lái)新思路。
杭州交警整合系統(tǒng)資源,立足業(yè)務(wù)需求建立各項(xiàng)應(yīng)用,探索杭州交通特點(diǎn)和出行痛點(diǎn),為提升交通管理提供決策支持。
2 系統(tǒng)架構(gòu)
2.1 基本建設(shè)思路
一是建設(shè)交通管理大數(shù)據(jù)資源中心。采集各項(xiàng)業(yè)務(wù)數(shù)據(jù),建設(shè)大數(shù)據(jù)資源中心,實(shí)現(xiàn)信息資源高度整合共享和綜合開(kāi)發(fā)利用;二是建設(shè)四大數(shù)據(jù)分析應(yīng)用服務(wù)平臺(tái),創(chuàng)建交管數(shù)據(jù)信息資源服務(wù)集市。具體包括大數(shù)據(jù)分析應(yīng)用平臺(tái)、信息資源服務(wù)平臺(tái)、數(shù)據(jù)可視化平臺(tái)、統(tǒng)一數(shù)據(jù)接口服務(wù)平臺(tái)等。
2.2 系統(tǒng)架構(gòu)
大數(shù)據(jù)平臺(tái)系統(tǒng)架構(gòu)如圖1所示。
3 建立數(shù)據(jù)倉(cāng)庫(kù)
構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)的一個(gè)關(guān)鍵核心技術(shù)是數(shù)據(jù)集成和遷移。ETL作為數(shù)據(jù)倉(cāng)庫(kù)構(gòu)建的核心和靈魂,它負(fù)責(zé)按照統(tǒng)一的規(guī)則集成并提高數(shù)據(jù)的價(jià)值,負(fù)責(zé)完成數(shù)據(jù)從數(shù)據(jù)源向目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)轉(zhuǎn)化。如圖2所示。
3.1 數(shù)據(jù)采集
定制開(kāi)發(fā)適應(yīng)杭州交警信息化建設(shè)現(xiàn)狀的數(shù)據(jù)采集平臺(tái),實(shí)現(xiàn)對(duì)采集數(shù)據(jù)的數(shù)據(jù)變化捕獲、數(shù)據(jù)分發(fā)和數(shù)據(jù)處理。數(shù)據(jù)采集范圍包含內(nèi)部自建業(yè)務(wù)系統(tǒng)所產(chǎn)生的各類業(yè)務(wù)數(shù)據(jù)、管理數(shù)據(jù)和分析數(shù)據(jù)。數(shù)據(jù)采集需支持批量采集、實(shí)時(shí)和離線三種采集方式。
3.2 數(shù)據(jù)處理
構(gòu)建分布式處理集群,對(duì)數(shù)據(jù)采集平臺(tái)的原始數(shù)據(jù)實(shí)現(xiàn)數(shù)據(jù)清洗功能,支持?jǐn)?shù)據(jù)的實(shí)時(shí)流處理、批處理、迭代處理等方式,支持?jǐn)?shù)據(jù)處理任務(wù)的擴(kuò)展,實(shí)現(xiàn)數(shù)據(jù)處理模型的管理。
3.3 數(shù)據(jù)存儲(chǔ)
構(gòu)建分布式集群,為支隊(duì)信息化提供數(shù)據(jù)支撐,支持在線擴(kuò)容,支持海量數(shù)據(jù)存儲(chǔ)。
4 開(kāi)發(fā)基本應(yīng)用場(chǎng)景
4.1 大數(shù)據(jù)分析應(yīng)用平臺(tái)
4.1.1 情報(bào)分析應(yīng)用
建立重點(diǎn)人、車管控?cái)?shù)據(jù)庫(kù),與綜合業(yè)務(wù)平臺(tái)、車駕管系統(tǒng)等實(shí)時(shí)連接,對(duì)重點(diǎn)管控機(jī)動(dòng)車、駕駛?cè)诉M(jìn)行自動(dòng)推送、自動(dòng)報(bào)警。
4.1.2 業(yè)務(wù)異常情報(bào)分析
建立執(zhí)法規(guī)范化規(guī)則庫(kù),根據(jù)不同規(guī)則的管理需要,設(shè)定管理區(qū)間,為業(yè)務(wù)異常線索的追蹤分析提供提醒。
4.1.3 交通小區(qū)、交通態(tài)勢(shì)動(dòng)態(tài)分析
通過(guò)在商圈綜合體構(gòu)建交通小區(qū),分析區(qū)域交通特征,指導(dǎo)交通措施的制定和優(yōu)化。
4.2 交管信息資源服務(wù)平臺(tái)
4.2.1 智能搜索
實(shí)現(xiàn)真正意義上的一鍵搜索,秒級(jí)響應(yīng),提供集中、綜合、全面的搜索結(jié)果,針對(duì)搜索結(jié)果,根據(jù)權(quán)限,提供下載、導(dǎo)出等功能。
4.2.2 關(guān)系分析
人、車、事故案件、軌跡關(guān)系分析,并且在此基礎(chǔ)上進(jìn)行關(guān)系挖掘操作。
4.3 數(shù)據(jù)可視化平臺(tái)
以PGIS等為底圖支撐,通過(guò)實(shí)時(shí)數(shù)據(jù)計(jì)算進(jìn)行可視化展現(xiàn),要點(diǎn)包括:分時(shí)流量可視化,重點(diǎn)道路的擁堵,大型活動(dòng)預(yù)警,重點(diǎn)車輛軌跡監(jiān)控等。
4.4 統(tǒng)一數(shù)據(jù)接口服務(wù)平臺(tái)
通過(guò)將大數(shù)據(jù)中心的各類數(shù)據(jù)進(jìn)行信息資源指標(biāo)體系管理和信息資源目錄管理,實(shí)現(xiàn)整個(gè)平臺(tái)的數(shù)據(jù)接口規(guī)范及統(tǒng)一管理,為對(duì)內(nèi)和對(duì)外各系統(tǒng)提供各類數(shù)據(jù)接口服務(wù),提供在線和離線方式的可共享的信息資源提供目錄查詢和封裝好的數(shù)據(jù)信息訂閱服務(wù);實(shí)現(xiàn)數(shù)據(jù)服務(wù)接口運(yùn)行的實(shí)時(shí)監(jiān)控。
5 結(jié)語(yǔ)
目前,杭州交警交通管理大數(shù)據(jù)平臺(tái)建設(shè)已經(jīng)完成,在數(shù)據(jù)層面,實(shí)現(xiàn)了對(duì)交通管理部門內(nèi)部海量數(shù)據(jù)的集中管理、規(guī)范化存儲(chǔ)、高效處理、業(yè)務(wù)靈活應(yīng)用和數(shù)據(jù)公開(kāi)共享;在業(yè)務(wù)層面,依托大數(shù)據(jù)和分布式技術(shù),開(kāi)發(fā)了大數(shù)據(jù)分析應(yīng)用平臺(tái)、交管信息資源服務(wù)平臺(tái)、數(shù)據(jù)可視化平臺(tái)、統(tǒng)一數(shù)據(jù)接口服務(wù)平臺(tái)等應(yīng)用場(chǎng)景,為交管工作科學(xué)化、針對(duì)性、精確化提供了輔助決策。
參考文獻(xiàn)
[1]劉韜.基于大數(shù)據(jù)的交通管理策略研究[J].道路交通管理,2018(01):34-35.
[2]高子初,張寧.用大數(shù)據(jù)智能交通技術(shù)管理復(fù)雜多車道道路的新策略[J].科技與創(chuàng)新,2018(01):25-26.
[3]邵酈.基于大數(shù)據(jù)的道路交通安全管理策略探討[J].甘肅警察職業(yè)學(xué)院學(xué)報(bào),2017,15(02):1-6.