孫玉坤　韓聿彪

關(guān)鍵詞：MapReduce技術(shù)；城市交通；大數(shù)據(jù)聚類

中圖法分類號：TP391 文獻(xiàn)標(biāo)識碼：A

1引言

城市智慧交通建設(shè)的持續(xù)推進(jìn)，一定程度上也加快了社會的發(fā)展，逐步完善了各個城市的交通網(wǎng)，帶動了各項(xiàng)產(chǎn)業(yè)的進(jìn)步，在促進(jìn)產(chǎn)業(yè)化的同時，也拉動經(jīng)濟(jì)增長?，F(xiàn)階段，城市交通智慧系統(tǒng)多為單向的控制系統(tǒng)，雖然可能實(shí)現(xiàn)預(yù)期的控制效果及調(diào)整目標(biāo)，但是較容易受到外部環(huán)境的影響，導(dǎo)致目標(biāo)處理過程中形成誤差，影響日常的交通管控效果。為避免上述問題的擴(kuò)大，部分城市選擇進(jìn)行交通系統(tǒng)的升級，構(gòu)建城市交通大數(shù)據(jù)聚類挖掘系統(tǒng)，其在應(yīng)用前期獲取了較好的效果，但隨著車輛的增多以及路況的復(fù)雜化，系統(tǒng)對基礎(chǔ)數(shù)據(jù)的處理速度下降，整體的控制效率也在不斷降低。

本文提出基于MapReduce的城市交通大數(shù)據(jù)聚類挖掘系統(tǒng)的設(shè)計與驗(yàn)證。所謂MapReduce技術(shù)，主要指的是一種面向大數(shù)據(jù)并行處理的計算模型、框架和平臺，通常與交通控制結(jié)構(gòu)相關(guān)聯(lián)，在外部設(shè)備及控制結(jié)構(gòu)的輔助下，逐漸構(gòu)建一個更為靈活、智慧性更強(qiáng)的城市交通大數(shù)據(jù)聚類挖掘系統(tǒng)，遵循科學(xué)管控的目標(biāo)，從多個方面進(jìn)行系統(tǒng)的設(shè)計及調(diào)整，采用合理的方式對采集的數(shù)據(jù)定向匯總規(guī)劃，根據(jù)交通軌跡移動數(shù)據(jù)、人群密度變化等完成數(shù)據(jù)的駐留分析，從而進(jìn)一步強(qiáng)化該系統(tǒng)的大數(shù)據(jù)聚類挖掘能力，為相關(guān)工作的執(zhí)行與落實(shí)提供參考依據(jù)。

2設(shè)計交通大數(shù)據(jù)MapReduce聚類挖掘系統(tǒng)硬件

2.1傳感信息采集裝置設(shè)計

通常情況下，城市交通聚類挖掘系統(tǒng)日常工作時會形成較多的數(shù)據(jù)和信息，如果不及時做出調(diào)整和匯總，便會形成不可控的問題。因此，為提升整體的聚類挖掘速度及效率，需要在硬件結(jié)構(gòu)中安裝設(shè)計傳感信息采集裝置。所謂傳感信息采集裝置，主要指的是一種多維定向的數(shù)據(jù)信息采集硬件設(shè)備，首先在該系統(tǒng)的控制電路中安裝多個感應(yīng)器，并在內(nèi)部設(shè)定一個小型的控制電路，然后根據(jù)城市交通系統(tǒng)控制覆蓋范圍，設(shè)置標(biāo)定挖掘位置，并測算出小型電路的加載控制單元值，計算式為：

式中，D表示加載控制單元值，k表示定向控制范圍，α表示堆疊范圍，i表示單元控制次數(shù)，t表示加載距離，w表示挖掘移位差。根據(jù)上述測定，完成對加載控制單元值的測算。然后，在小型控制電路中接入PCL6114-6144-PCD4600A控制芯片，營造穩(wěn)定的控制環(huán)境，并測定此時的定向挖掘分峰值，在傳感器后側(cè)方安裝射頻裝置，用來接收對應(yīng)的聚類挖掘信號。但需要注意的是，在安裝射頻裝置的同時，還需增設(shè)轉(zhuǎn)化設(shè)備，將獲取的挖掘信號進(jìn)行等位轉(zhuǎn)換，并傳輸至對應(yīng)的位置，進(jìn)而為大數(shù)據(jù)聚類挖掘處理營造穩(wěn)定的硬件控制環(huán)境。

2.2復(fù)位挖掘控制電路設(shè)計

所謂復(fù)位電路，主要指的是在大數(shù)據(jù)聚類挖掘處理時，對控制方向及位置進(jìn)行調(diào)整的一種硬件控制程序。在小型的控制電路中安裝掉電復(fù)位檢測節(jié)點(diǎn)，并將加載模糊度檢測模塊串聯(lián)接入。然后在小型電路和感應(yīng)器中間接人一個PC機(jī)和路由器，明確實(shí)際的數(shù)據(jù)信息聚類挖掘范圍，由APLC21160邏輯處理器芯片進(jìn)行主控處理，對采集的數(shù)據(jù)信息進(jìn)行集成動態(tài)化處理，以形成循環(huán)性的硬件控制結(jié)構(gòu)。

另外，需在PCL6114-6144-PCD4600A控制芯片中關(guān)聯(lián)一個聚類挖掘引擎，將這個復(fù)位電路劃分為2個控制單元電路。在電路1的位置安裝一個聚類控制電源，電路2位置接人定向的感應(yīng)裝置，具體結(jié)構(gòu)如圖1所示.

根據(jù)圖1，完成對復(fù)位挖掘控制電路結(jié)構(gòu)的設(shè)計。然后，將PCL6114-6144-PCD4600A控制芯片和APLC21160邏輯處理器芯片同時移動至小型控制電路中，形成多層級的控制結(jié)構(gòu)體系，以提升復(fù)位電路的靈敏度，從而有助于提升城市交通聚類挖掘處理的速度及效率，強(qiáng)化整體的硬件應(yīng)用效果。

3設(shè)計交通大數(shù)據(jù)MapReduce聚類挖掘系統(tǒng)軟件

3.1設(shè)計交通MapReduce聚類挖掘協(xié)議棧

城市交通的大數(shù)據(jù)聚類挖掘程序一般是單向的，雖然能夠?qū)崿F(xiàn)定向的數(shù)據(jù)信息處理，但是效率較低，針對性不強(qiáng)，常常出現(xiàn)聚類處理誤差的問題。因此，綜合MapReduce技術(shù)，進(jìn)行交通聚類挖掘協(xié)議棧的設(shè)計。首先，進(jìn)行定向管聚類挖掘控制模塊以及協(xié)議指令的設(shè)計。在控制程序中接人多個動態(tài)化的數(shù)據(jù)信息采集裝置，與主控結(jié)構(gòu)進(jìn)行搭接與關(guān)聯(lián)，增設(shè)信息融合指令和模糊度檢測指令，對節(jié)點(diǎn)采集的數(shù)據(jù)信息進(jìn)行匯總和篩選，標(biāo)定出城市交通的聚類挖掘識別位置，具體如圖2所示。

根據(jù)圖2，完成對聚類挖掘識別位置程序結(jié)構(gòu)的設(shè)定與調(diào)整。然后，根據(jù)城市智慧交通選定的標(biāo)定聚類識別參照物，綜合MapReduce框架，設(shè)計1個動態(tài)化的聚類挖掘協(xié)議棧，相當(dāng)于1個移動指令傳輸程序，可以在排除異常因素的背景下，在預(yù)設(shè)時間范圍內(nèi)，通過MapReduce框架及平臺，將指令輸送到城市交通系統(tǒng)的任意位置中，以提升交通MapReduce聚類挖掘協(xié)議棧的應(yīng)用效率及質(zhì)量。

3.2設(shè)計自適應(yīng)MapReduce聚類挖掘數(shù)據(jù)庫

與傳統(tǒng)城市交通聚類挖掘數(shù)據(jù)庫不同的是，綜合MapReduce技術(shù)所構(gòu)建的自適應(yīng)數(shù)據(jù)庫更加靈活多變，對于數(shù)據(jù)、信息處理的效果更佳，實(shí)際應(yīng)用價值更高?？梢韵韧ㄟ^自適應(yīng)技術(shù)和MapReduce技術(shù)，建立一個聚類挖掘單元模型，利用部署節(jié)點(diǎn)，采集城市交通的數(shù)據(jù)以及信息。需要注意的是，數(shù)據(jù)信息包括音頻、視頻、圖片等信息，采集范圍及形式相對較大。依據(jù)特定的格式將數(shù)據(jù)轉(zhuǎn)換為數(shù)據(jù)包，利用MapReduce框架將其傳輸至初始數(shù)據(jù)庫對應(yīng)的位置上，并進(jìn)行系統(tǒng)聚類挖掘控制指標(biāo)參數(shù)的設(shè)定，如表1所列。

根據(jù)表1，完成對聚類挖掘控制指標(biāo)參數(shù)的設(shè)定?；诖?，將上述設(shè)計的協(xié)議棧設(shè)定在數(shù)據(jù)庫內(nèi)部，與指令集群建立正向的控制關(guān)系，逐步形成自適應(yīng)的系統(tǒng)運(yùn)行環(huán)境，為后續(xù)系統(tǒng)的日常應(yīng)用以及升級奠定基礎(chǔ)環(huán)境。

4系統(tǒng)測試

系統(tǒng)測試主要是對基于MapReduce的城市交通大數(shù)據(jù)聚類挖掘系統(tǒng)的實(shí)際應(yīng)用效果進(jìn)行分析與驗(yàn)證，考慮到最終測試結(jié)果的真實(shí)性與可靠性，采用比照的形式進(jìn)行驗(yàn)證。選定D城市交通系統(tǒng)作為測定的主要目標(biāo)，標(biāo)定出該城市中的4個路段作為比照驗(yàn)證的對象，將4個位置的分系統(tǒng)與主交通系統(tǒng)進(jìn)行關(guān)聯(lián)搭接，設(shè)置總控程序，營造穩(wěn)定、真實(shí)的測定環(huán)境。結(jié)合實(shí)際的測定需求及標(biāo)準(zhǔn)，進(jìn)行測試環(huán)境的搭接。

4.1測試準(zhǔn)備

依據(jù)上述測定需求及標(biāo)準(zhǔn)，綜合MapReduce框架或者平臺，對城市交通大數(shù)據(jù)聚類挖掘系統(tǒng)實(shí)際應(yīng)用效果進(jìn)行分析驗(yàn)證。首先，提取D城市交通系統(tǒng)4個路段的基礎(chǔ)測定數(shù)值以及信息，設(shè)定環(huán)境信息采集的頻譜寬度為30 dB，測定采樣的定向間隔時間為0.33s，利用自適應(yīng)技術(shù)和大數(shù)據(jù)技術(shù)，營造穩(wěn)定的測試及控制環(huán)境。同時，進(jìn)行系統(tǒng)測定數(shù)值的調(diào)整，如表2所列。

根據(jù)表2，完成對系統(tǒng)測定數(shù)值的調(diào)整，結(jié)合MapReduce技術(shù)，營造穩(wěn)定的系統(tǒng)測試環(huán)境，并對系統(tǒng)進(jìn)行具體測試。

4.2測試過程及結(jié)果分析

在上述搭建的測試環(huán)境中，綜合MapReduce框架或者平臺，進(jìn)行具體的測試。首先，在D城市交通選定的4個路段設(shè)定測試監(jiān)測節(jié)點(diǎn)，構(gòu)建基礎(chǔ)的測試環(huán)境。設(shè)定測試時間間隔為0.33 s，設(shè)定測試周期為24小時，每一個周期需要將數(shù)據(jù)及信息匯總整合，共預(yù)設(shè)3個周期進(jìn)行測試。根據(jù)采樣的數(shù)據(jù)，測定出FRFT幅度，計算式為：

式中，G表示FRFT幅度，φ表示挖掘范圍，u表示聚類挖掘次數(shù)，d表示單向處理頻率，π表示定向監(jiān)測區(qū)域，p表示采樣偏差。根據(jù)測試得出的結(jié)果，進(jìn)行分析驗(yàn)證，如圖3所示。

根據(jù)圖3，完成對測試結(jié)果的對比分析。經(jīng)過4次聚類挖掘，最終得出的RFRT幅度較好地被控制在4以下，表明在對城市交通大數(shù)據(jù)聚類挖掘時，其挖掘穩(wěn)定性更高，整體處理效果更佳，具有實(shí)際的應(yīng)用價值。

5結(jié)束語

與傳統(tǒng)的大數(shù)據(jù)聚類挖掘系統(tǒng)相對比，此次融合MapReduce技術(shù)所構(gòu)建的大數(shù)據(jù)聚類挖掘結(jié)構(gòu)更加穩(wěn)定、多變，在復(fù)雜的交通環(huán)境下，能夠精準(zhǔn)定位異常區(qū)域，并采集交通移動軌跡數(shù)據(jù)以及人群分布密度，對各個位置、范圍的路況作出更為詳細(xì)的分析，充分利用智慧化平臺，進(jìn)行交通指令的調(diào)整，形成更為靈活的交通大數(shù)據(jù)聚類挖掘程序，進(jìn)而為該類型系統(tǒng)的進(jìn)一步創(chuàng)新奠定基礎(chǔ)，同時推動交通行業(yè)邁入一個新的發(fā)展臺階。

作者簡介：

孫玉坤（1990—），本科，工程師，研究方向：信息系統(tǒng)集成、電子與建筑智能化工程。