李聰+丁璐璐
摘 要 跨區(qū)域車(chē)輛GNSS動(dòng)態(tài)信息交換過(guò)程中,存在著區(qū)域跨度大,網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜,數(shù)據(jù)具有分布、異構(gòu)、高并發(fā)、浪涌等特點(diǎn)。為解決數(shù)據(jù)傳輸?shù)母咝院图皶r(shí)性,提高海量數(shù)據(jù)處理的效率,利用異構(gòu)GNSS數(shù)據(jù)高速緩存路由技術(shù)、異構(gòu)集群海量GNSS數(shù)據(jù)入庫(kù)技術(shù)、異構(gòu)集群海量GNSS數(shù)據(jù)入庫(kù)技術(shù),是解決問(wèn)題的關(guān)鍵所在。
關(guān)鍵詞 GNSS;高速緩存路由;海量數(shù)據(jù)入庫(kù);令牌流控
中圖分類(lèi)號(hào) TP3 文獻(xiàn)標(biāo)識(shí)碼 A 文章編號(hào) 1674-6708(2017)182-0100-02
為實(shí)現(xiàn)省際間的漫游車(chē)輛的跨區(qū)域信息交換和相關(guān)部門(mén)間的信息共享,必須通過(guò)采集各省級(jí)監(jiān)控平臺(tái)的車(chē)輛GNSS(Global?Navigation? Satellite?System)動(dòng)態(tài)信息,建立車(chē)輛靜態(tài)信息與動(dòng)態(tài)信息數(shù)據(jù)庫(kù),形成覆蓋跨區(qū)域漫游車(chē)輛的數(shù)據(jù)中心。實(shí)現(xiàn)不同省份車(chē)輛的實(shí)時(shí)跨域分析,對(duì)入境且非歸屬省份的車(chē)輛,進(jìn)行有效的判斷,并將這些車(chē)輛的屬性信息,以及車(chē)輛的GNSS動(dòng)態(tài)信息,交換到目的省或部門(mén),以解決全國(guó)范圍內(nèi)外省入境車(chē)輛存在的安全監(jiān)管盲區(qū)問(wèn)題。
在跨區(qū)域車(chē)輛GNSS動(dòng)態(tài)信息的交換過(guò)程中,由于涉及的監(jiān)控車(chē)輛眾多,車(chē)輛所在位置區(qū)域跨度大,GNSS數(shù)據(jù)存在以下特點(diǎn):
1)不同省域之間的數(shù)據(jù)以復(fù)雜的網(wǎng)狀形式進(jìn)行交互,其數(shù)據(jù)傳輸?shù)母咝院图皶r(shí)性受到影響。
2)全國(guó)擁有30個(gè)省級(jí)平臺(tái)的GNSS數(shù)據(jù),數(shù)據(jù)具有分布、異構(gòu)、高并發(fā)的特點(diǎn)。在海量數(shù)據(jù)并發(fā)情況下,由于數(shù)據(jù)庫(kù)寫(xiě)庫(kù)瓶頸的存在,入庫(kù)效率大大降低。
3)由于來(lái)自全國(guó)各省的GNSS數(shù)據(jù)是海量的,同時(shí)具有浪涌特點(diǎn),因此,必須對(duì)大量的數(shù)據(jù)進(jìn)行分流處理,針對(duì)不同的數(shù)據(jù)進(jìn)行分類(lèi)處理。
因此,如何利用異構(gòu)GNSS數(shù)據(jù)高速緩存路由技術(shù)、異構(gòu)集群海量GNSS數(shù)據(jù)入庫(kù)技術(shù)、異構(gòu)集群海量GNSS數(shù)據(jù)入庫(kù)技術(shù),是解決跨區(qū)域車(chē)輛GNSS動(dòng)態(tài)信息交換的關(guān)鍵點(diǎn)所在。
1 異構(gòu)GNSS數(shù)據(jù)高速緩存路由技術(shù)
在跨區(qū)域車(chē)輛GNSS動(dòng)態(tài)信息監(jiān)控系統(tǒng)中,由于不同省域間的數(shù)據(jù)即是數(shù)據(jù)的發(fā)送起點(diǎn),同時(shí)又是數(shù)據(jù)交互的目的地,數(shù)據(jù)以網(wǎng)狀形式進(jìn)行交互傳輸,如何降低網(wǎng)狀通信帶來(lái)多節(jié)點(diǎn)路由算法的復(fù)雜度,實(shí)現(xiàn)數(shù)據(jù)的高效即時(shí)傳輸,實(shí)現(xiàn)交互模式數(shù)據(jù)通信,是實(shí)現(xiàn)信息有效交換的重點(diǎn)技術(shù)。網(wǎng)狀通信結(jié)構(gòu)如圖1所示。
為解決上述蜘蛛通信網(wǎng)的問(wèn)題,系統(tǒng)結(jié)合組播模式的通信手段,利用一個(gè)網(wǎng)關(guān)節(jié)點(diǎn)與多個(gè)路由節(jié)點(diǎn)構(gòu)建多服務(wù)客戶(hù)端模式,網(wǎng)關(guān)節(jié)點(diǎn)利用均衡策略將GNSS數(shù)據(jù)高效分發(fā)到所述路由節(jié)點(diǎn),進(jìn)行路由分析,如圖2所示。
網(wǎng)關(guān)節(jié)點(diǎn)利用均衡策略將GNSS數(shù)據(jù)分發(fā)到所述路由節(jié)點(diǎn)進(jìn)行路由分析:判斷出當(dāng)前有需要進(jìn)行路由分析的GNSS數(shù)據(jù)包,則查找到在路由分析服務(wù)客戶(hù)端池中已經(jīng)登錄注冊(cè)的路由服務(wù)客戶(hù)端;發(fā)送所述GNSS數(shù)據(jù)包到所述路由服務(wù)客戶(hù)端。其中,網(wǎng)關(guān)節(jié)點(diǎn)與另一網(wǎng)關(guān)節(jié)點(diǎn)間采用組播方式進(jìn)行GNSS數(shù)據(jù)交換。
異構(gòu)GNSS數(shù)據(jù)高速緩存路由技術(shù)充分仿照路由器的原理,對(duì)于來(lái)自不同節(jié)點(diǎn)的GNSS數(shù)據(jù),進(jìn)行包頭的簡(jiǎn)單分析,即確定數(shù)據(jù)路由走向;因此,避免了常見(jiàn)的軟件系統(tǒng)中對(duì)于海量數(shù)據(jù)的深度分析,從而導(dǎo)致效率低下的問(wèn)題。
2 異構(gòu)集群海量GNSS數(shù)據(jù)入庫(kù)技術(shù)
全國(guó)目前擁有30個(gè)省級(jí)平臺(tái)的GNSS數(shù)據(jù),數(shù)據(jù)具有分布、異構(gòu)、高并發(fā)的特點(diǎn)。目前,大多數(shù)常見(jiàn)應(yīng)用系統(tǒng)的并發(fā)數(shù)據(jù)量較少,對(duì)數(shù)據(jù)庫(kù)入庫(kù)性能要求不高,即在小數(shù)據(jù)量并發(fā)的情況下,數(shù)據(jù)庫(kù)以接收一條,分析一條,寫(xiě)入一條的方式入庫(kù),基本可以滿(mǎn)足系統(tǒng)應(yīng)用要求。但在海量數(shù)據(jù)并發(fā)情況下,由于數(shù)據(jù)庫(kù)寫(xiě)庫(kù)瓶頸的存在,入庫(kù)效率大大降低。
異構(gòu)集群海量GNSS數(shù)據(jù)入庫(kù)技術(shù)將應(yīng)用系統(tǒng)中的應(yīng)用數(shù)據(jù)進(jìn)行預(yù)處理和數(shù)據(jù)寫(xiě)入數(shù)據(jù)庫(kù)的過(guò)程并行,即數(shù)據(jù)經(jīng)過(guò)預(yù)處理后存入緩存,當(dāng)緩存中的數(shù)據(jù)達(dá)到預(yù)設(shè)數(shù)據(jù)量時(shí),將該數(shù)據(jù)一次性寫(xiě)入數(shù)據(jù)庫(kù),并將該數(shù)據(jù)從緩存中刪除。此方法的數(shù)據(jù)處理速度和寫(xiě)入速度較快,尤其適用于海量數(shù)據(jù)并發(fā)的應(yīng)用系統(tǒng),這樣的技術(shù)實(shí)現(xiàn),可以通過(guò)對(duì)于預(yù)設(shè)的數(shù)據(jù)量進(jìn)行動(dòng)態(tài)調(diào)整,從而實(shí)現(xiàn)入庫(kù)的高性能,滿(mǎn)足降低數(shù)據(jù)庫(kù)的IO需求,充分利用數(shù)據(jù)庫(kù)的緩存機(jī)制,確保數(shù)據(jù)庫(kù)的高性能運(yùn)作。
異構(gòu)集群海量GNSS數(shù)據(jù)入庫(kù)技術(shù)主要由TCP通訊組件、協(xié)議分析組件、寫(xiě)庫(kù)管理組件、寫(xiě)庫(kù)組件等模塊構(gòu)成。對(duì)外主要通過(guò)入庫(kù)接口的收取應(yīng)用數(shù)據(jù),通過(guò)批量寫(xiě)庫(kù)組件將數(shù)據(jù)實(shí)時(shí)入庫(kù),技術(shù)架構(gòu)如圖3所示。
3 域間信息交互式組播路由接口技術(shù)
由于來(lái)自全國(guó)各省的GNSS數(shù)據(jù)是海量的,同時(shí)具有浪涌特點(diǎn),因此,必須對(duì)大量的數(shù)據(jù)進(jìn)行分流處理,針對(duì)不同的數(shù)據(jù)進(jìn)行分類(lèi)處理。域間信息交互式組播路由接口技術(shù)的核心在于采用基于令牌流控技術(shù)的數(shù)據(jù)分流模式,對(duì)于GNSS數(shù)據(jù)進(jìn)行批量整合,同時(shí)進(jìn)行分布處理,以實(shí)現(xiàn)數(shù)據(jù)的高速有效的交互。域間信息交互式組播路由接口技術(shù)的采用,實(shí)現(xiàn)了海量的全國(guó)GNSS數(shù)據(jù)有效的交互,確保了系統(tǒng)的穩(wěn)定運(yùn)作。
流程描述如下:1)在GNSS數(shù)據(jù)統(tǒng)計(jì)節(jié)點(diǎn)與GNSS數(shù)據(jù)應(yīng)用節(jié)點(diǎn)之間建立令牌流控管理服務(wù)節(jié)點(diǎn);2)GNSS數(shù)據(jù)統(tǒng)計(jì)節(jié)點(diǎn)與所述GNSS數(shù)據(jù)應(yīng)用節(jié)點(diǎn)分別向所述令牌流控管理服務(wù)節(jié)點(diǎn)上報(bào)各自的令牌流量信息;3)令牌流控管理服務(wù)節(jié)點(diǎn)根據(jù)接收的令牌流量信息,查找到空閑流出令牌流量統(tǒng)計(jì)節(jié)點(diǎn)與空閑流入令牌流量應(yīng)用節(jié)點(diǎn);4)令牌流控管理服務(wù)節(jié)點(diǎn)發(fā)出數(shù)據(jù)同步流控指令到所述空閑流出令牌流量統(tǒng)計(jì)節(jié)點(diǎn);5)空閑流出令牌流量統(tǒng)計(jì)節(jié)點(diǎn)收到所述數(shù)據(jù)同步流控指令后,同步數(shù)據(jù)到對(duì)應(yīng)的空閑流入令牌流量應(yīng)用節(jié)點(diǎn)。通過(guò)令牌流控技術(shù)的研究應(yīng)用,能夠解決GNSS數(shù)據(jù)的浪涌沖擊的問(wèn)題。令牌流控序列圖,如圖4所示。
利用該項(xiàng)技術(shù),使得因設(shè)備的數(shù)量或配置的不均衡而導(dǎo)致的浪涌式GNSS數(shù)據(jù)流在有序、合理的控制下獲得了平穩(wěn)的傳輸,從而確保業(yè)務(wù)數(shù)據(jù)展示的可靠性。
參考文獻(xiàn)
[1]劉禎,劉斌,鄭凱.基于軟件的網(wǎng)絡(luò)處理器的路由高速緩存算法研究[J].軟件學(xué)報(bào),2007,18(12):3115-3123.
[2]汪宏宇,賀芳林,等.一種浪涌GNSS數(shù)據(jù)的令牌流控方法及系統(tǒng)[P],2011.