李旭芳
(廈門衛(wèi)星定位應(yīng)用股份有限公司,福建 廈門 361000)
城市交通系統(tǒng)是一個復(fù)雜的巨系統(tǒng),涉及了人車路環(huán)等因素,它具備了一般大數(shù)據(jù)4V(規(guī)模大、種類多、價值密度低、速度快)的特點和痛點,如何有效搭建數(shù)據(jù)資源中心平臺來管理并釋放交通數(shù)據(jù)價值,全生命周期的追蹤和監(jiān)控交通數(shù)據(jù),保障數(shù)據(jù)安全,實現(xiàn)跨層級、跨地域、跨系統(tǒng)、跨部門、跨業(yè)務(wù)的協(xié)同管理和服務(wù),支撐城市交通應(yīng)用,是難點,也是必然趨勢。
本文設(shè)計的交通數(shù)據(jù)資源中心平臺,構(gòu)建了交通數(shù)據(jù)從“接數(shù)據(jù)→存數(shù)據(jù)→管數(shù)據(jù)→用數(shù)據(jù)”整個數(shù)據(jù)生命周期的統(tǒng)一可擴展的數(shù)據(jù)資源中心平臺。它是以交通數(shù)據(jù)標(biāo)準(zhǔn)化為基礎(chǔ),整合城市交通管理部門、交通運輸部門及交通企業(yè)的交通類數(shù)據(jù),引入?yún)^(qū)塊鏈技術(shù),實現(xiàn)多源交通數(shù)據(jù)的統(tǒng)一接入、融合處理、存儲管理、交換共享、可視化展現(xiàn)等服務(wù),將數(shù)據(jù)應(yīng)用于交通業(yè)務(wù)場景,提升數(shù)據(jù)服務(wù)管理效率,強化監(jiān)管能力,促進業(yè)務(wù)協(xié)同,提升服務(wù)水平,為城市的交通管理工作提供數(shù)據(jù)支撐。
平臺在標(biāo)準(zhǔn)規(guī)范體系、網(wǎng)絡(luò)安全體系與平臺運行管理保障體系的基礎(chǔ)之上,建設(shè)城市交通數(shù)據(jù)資源中心平臺,提供統(tǒng)一的數(shù)據(jù)接入、融合處理、存儲管理、數(shù)據(jù)管理、數(shù)據(jù)共享、數(shù)據(jù)可視化應(yīng)用、標(biāo)準(zhǔn)數(shù)據(jù)接口等服務(wù),滿足內(nèi)部業(yè)務(wù)應(yīng)用數(shù)據(jù)支撐需求,同時為外部數(shù)據(jù)交換提供支撐,達到“用數(shù)據(jù)管理、用數(shù)據(jù)說話、用數(shù)據(jù)決策、用數(shù)據(jù)創(chuàng)新”。如圖1的體系結(jié)構(gòu)圖,展示整個交通數(shù)據(jù)資源中心對數(shù)據(jù)全生命周期數(shù)據(jù)管理的過程示意圖。
圖1 平臺體系結(jié)構(gòu)圖
整個平臺設(shè)計了十一大子系統(tǒng),分別是標(biāo)準(zhǔn)規(guī)范管理系統(tǒng)、匯聚接入系統(tǒng)、融合處理系統(tǒng)、數(shù)據(jù)存儲中心、數(shù)據(jù)監(jiān)測管理系統(tǒng)、數(shù)據(jù)質(zhì)量管理系統(tǒng)、任務(wù)調(diào)度管理系統(tǒng)、數(shù)據(jù)監(jiān)測管理系統(tǒng)、數(shù)據(jù)綜合查詢系統(tǒng)、數(shù)據(jù)可視化系統(tǒng)、數(shù)據(jù)共享交換系統(tǒng)。接下來,將按照平臺對數(shù)據(jù)從匯聚接入到應(yīng)用共享整個生命周期進行闡述。
圖2 平臺的系統(tǒng)組成圖
城市的交通數(shù)據(jù)資源大多分布在交通運輸部門、交通管理部門、運輸企業(yè)和個人手中,平臺基于交通數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范體系基礎(chǔ)上,制訂統(tǒng)一的數(shù)據(jù)接口標(biāo)準(zhǔn),提供對不同部門、不同系統(tǒng)、不同接口方式的數(shù)據(jù)匯聚接入與傳輸,通過主流的采集工具kettle、Logstash、Telegraf以及實時數(shù)據(jù)傳輸框架MINA,將不同類型的數(shù)據(jù)存入多源數(shù)據(jù)庫集中,做到高可靠、高性能、高擴展的數(shù)據(jù)匯聚接入,將散落的業(yè)務(wù)數(shù)據(jù)匯聚于數(shù)據(jù)資源中心平臺,實現(xiàn)數(shù)據(jù)沉淀。
通過融合處理發(fā)揮數(shù)據(jù)價值,實現(xiàn)多元異構(gòu)數(shù)據(jù)源的關(guān)聯(lián)和整合,通過數(shù)據(jù)融合處理,完成數(shù)據(jù)加載、轉(zhuǎn)換、清洗、分層、質(zhì)量分析、加密或脫敏、集成、歸約等工作。
在整個大數(shù)據(jù)存儲中采用HADOOP大數(shù)據(jù)庫+SPARK+關(guān)系型混合存儲管理方案來發(fā)揮不同數(shù)據(jù)庫的優(yōu)勢和特點,大數(shù)據(jù)通常用來描述數(shù)據(jù)集足夠大、足夠復(fù)雜的數(shù)據(jù)集,而區(qū)塊鏈能承載的信息數(shù)據(jù)是有限的,主要應(yīng)用在對數(shù)據(jù)安全要求比較高的結(jié)構(gòu)化數(shù)據(jù)中。通過建立各類交通資源庫,存儲交通領(lǐng)域的大量交通信息,按照業(yè)務(wù)邏輯分類和數(shù)據(jù)模型組織存儲海量數(shù)據(jù),便捷調(diào)配存儲空間,并提供完備的數(shù)據(jù)保護功能。按照數(shù)據(jù)的用途和功能定位將數(shù)據(jù)中心劃分成不同庫體:基礎(chǔ)庫、業(yè)務(wù)庫、專題庫、元數(shù)據(jù)庫、軌跡庫、視頻庫、地理庫、共享庫、目錄庫,支持業(yè)務(wù)的應(yīng)用需要。
針對交通數(shù)據(jù)管理,平臺設(shè)計了數(shù)據(jù)資源目錄管理系統(tǒng)、任務(wù)調(diào)度管理系統(tǒng)、數(shù)據(jù)質(zhì)量管理系統(tǒng)、數(shù)據(jù)監(jiān)控管理系統(tǒng)。其中數(shù)據(jù)資源目錄管理系統(tǒng):采用區(qū)塊鏈數(shù)據(jù)庫對數(shù)據(jù)資源進行管理,保證數(shù)據(jù)的安全和易用,從數(shù)據(jù)源頭規(guī)范數(shù)據(jù),明確數(shù)據(jù)來源、所有權(quán)、使有權(quán)和流通路徑。任務(wù)調(diào)度管理系統(tǒng):統(tǒng)一管理各種數(shù)據(jù)處理任務(wù),對不同的處理任務(wù)(算法)采用不同的處理容器,按時(主動、定時、實時)、按需(靈活調(diào)度計算資源和存儲資源)進行執(zhí)行。數(shù)據(jù)質(zhì)量管理系統(tǒng):集標(biāo)準(zhǔn)制定、校驗、修正、評估于一體,建立數(shù)據(jù)全流程的質(zhì)理管理體系,針對采集、存儲、共享、維護、應(yīng)用、消亡整個生命周期里可能引發(fā)的各類數(shù)據(jù)質(zhì)量問題,提供數(shù)據(jù)識別、校驗、處理、監(jiān)控、預(yù)警、報告、改善等一系列管理活動。數(shù)據(jù)監(jiān)控管理系統(tǒng):基于zabbix的二次開發(fā),通過各類監(jiān)控項對各系統(tǒng)運行情況、數(shù)據(jù)情況、支撐環(huán)境情況進行監(jiān)控和預(yù)警,從而保障數(shù)據(jù)資源中心的正常運作。
在交通數(shù)據(jù)應(yīng)用方面,圍繞數(shù)據(jù)查詢、數(shù)據(jù)檢索、數(shù)據(jù)服務(wù)展開對交通數(shù)據(jù)的專題應(yīng)用。其中數(shù)據(jù)綜合查詢系統(tǒng):提供靈活的交通數(shù)據(jù)集制作、方案制作和方案查詢功能??芍С侄喾N數(shù)據(jù)源;具有圖形化編輯界面,無需編寫代碼也可快速生成多維數(shù)據(jù)統(tǒng)計,提供全部文本內(nèi)容進行檢索。通過制作交通數(shù)據(jù)集,構(gòu)建面向公眾提供交通信息服務(wù)的模塊,如交通行業(yè)統(tǒng)計、出行規(guī)劃、動態(tài)路徑誘導(dǎo)、停車誘導(dǎo)服務(wù)、樞紐導(dǎo)航、實時公交信息、物流查詢、維修駕培、違章查詢、氣象信息查詢等便捷公眾出行服務(wù)。
融合交通感知設(shè)備、車流人流物流情況、軌跡、視頻、預(yù)警、行業(yè)監(jiān)測數(shù)據(jù)于一體,運用GIS、大數(shù)據(jù)、北斗等先進科學(xué)技術(shù),通過數(shù)據(jù)可視化系統(tǒng)豐富的交通行業(yè)模板及交通組件,靈活構(gòu)建城市交通數(shù)據(jù)一張圖?!耙粡垐D”既可宏觀展示綜合交通運行整體狀態(tài),又可分層展示交通專題要素,并結(jié)合地圖應(yīng)用進行細(xì)節(jié)查閱、預(yù)警提醒、指揮調(diào)度。
數(shù)據(jù)共享交換系統(tǒng)在實現(xiàn)數(shù)據(jù)統(tǒng)一口徑和集中管控后,將融合處理后的數(shù)據(jù)向各業(yè)務(wù)部門開放共享,開展數(shù)據(jù)和應(yīng)用交換,滿足不同系統(tǒng)間的信息共享與業(yè)務(wù)協(xié)同需求,實現(xiàn)數(shù)據(jù)間、部門間的關(guān)聯(lián)互動,加強共享服務(wù),促進業(yè)務(wù)協(xié)同。
本平臺已應(yīng)用于廈門,是廈門市城市交通大數(shù)據(jù)體系建設(shè)中數(shù)據(jù)資源中心平臺,支撐城市交通大數(shù)據(jù)分析應(yīng)用,平臺支持交通運輸部門、交通管理部門、交通企業(yè)等多部門、多來源、多格式、多元的數(shù)據(jù)匯聚和標(biāo)準(zhǔn)化,目前已接入各類車(船)累計超過10萬輛,每天匯聚車輛定位數(shù)據(jù)、RFID、視頻監(jiān)控、停車場、易通卡等交通數(shù)據(jù)約2億條,具有智能高效海量數(shù)據(jù)的處理、查詢、分析、監(jiān)測能力,提供跨部門、跨網(wǎng)絡(luò)、跨平臺數(shù)據(jù)共享以及數(shù)據(jù)安全監(jiān)管。
城市交通大數(shù)據(jù)資源中心平臺基于高性能大數(shù)據(jù)分布式架構(gòu),匯集海量多源的交通數(shù)據(jù),提供數(shù)據(jù)匯聚、集中存儲、高效處理、數(shù)據(jù)管理、分析應(yīng)用、數(shù)據(jù)共享、數(shù)據(jù)可視化的數(shù)據(jù)全生命周期管控和服務(wù)。平臺未來可在交通大數(shù)據(jù)的基礎(chǔ)上,將區(qū)塊鏈技術(shù)應(yīng)用于更多的場景,提供數(shù)據(jù)區(qū)塊鏈服務(wù),更加智能化的應(yīng)用交通數(shù)據(jù),挖掘更深層次的數(shù)據(jù)價值,促成平臺型的合作,推廣平臺的應(yīng)用。