劉晉州

摘要：數(shù)據(jù)報送平臺是數(shù)據(jù)處理和數(shù)據(jù)分析的基本保障，如何確保報送系統(tǒng)的迅速性和精確度是亟待解決的問題，為此設(shè)計基于互聯(lián)網(wǎng)云技術(shù)的數(shù)據(jù)平臺搭建系統(tǒng)。以89C51及89C2051為數(shù)據(jù)運行核心，由數(shù)據(jù)采集系統(tǒng)、數(shù)據(jù)調(diào)試模塊、數(shù)據(jù)模擬信道、數(shù)據(jù)分類系統(tǒng)、數(shù)據(jù)結(jié)果顯示板塊等構(gòu)建成系統(tǒng)硬件；軟件設(shè)計采用模塊化編程方法，傳輸碼元速率為二進制數(shù)據(jù)流，實現(xiàn)數(shù)據(jù)的平穩(wěn)傳輸。

關(guān)鍵詞：互聯(lián)網(wǎng)；云技術(shù)；大數(shù)據(jù)；平臺搭建

中圖分類號：TP393 文獻標識碼：A 文章編號：1009-3044（2018）29-0119-02

科學技術(shù)不斷進步，不斷推進生產(chǎn)力的發(fā)展，利用生產(chǎn)力的進步推動人類社會發(fā)展是我們的重要目的之一。生產(chǎn)力進步的最大動力就在于服務(wù)社會、解放人類。在當今社會，我們無時無刻不處在大數(shù)據(jù)的洪流中。新的數(shù)據(jù)報送平臺搭建旨在依托迅猛發(fā)展的互聯(lián)網(wǎng)技術(shù)、云計算技術(shù)、云儲存平臺、大數(shù)據(jù)庫，建立數(shù)據(jù)分類儲存和智能分析系統(tǒng)，建立智能化的數(shù)據(jù)抓取與分析，實現(xiàn)最快捷的數(shù)據(jù)報送。國家和社會也大力支持數(shù)據(jù)平臺的建設(shè)，如發(fā)改委發(fā)布稱：“在今后的五年內(nèi)，將投入資金一千億元支持數(shù)字經(jīng)濟發(fā)展，支持大數(shù)據(jù)、物聯(lián)網(wǎng)、云計算等領(lǐng)域建設(shè)，優(yōu)先培育一批數(shù)字經(jīng)濟領(lǐng)域重點項目，助力數(shù)字經(jīng)濟和數(shù)字絲綢之路建設(shè)[1]?！?/p>

1利用云技術(shù)構(gòu)建數(shù)據(jù)報送平臺執(zhí)行環(huán)境

在進行數(shù)據(jù)報送之前，需要了解另一端的用戶是誰，他們從哪里來，又在哪里流失，從而找到新的增長點。只有構(gòu)建了扎實的數(shù)據(jù)倉庫，積累了大量的數(shù)據(jù)資產(chǎn)，并準確搭建多維數(shù)據(jù)分析模型，才能實現(xiàn)數(shù)據(jù)驅(qū)動。面對各種來源的數(shù)據(jù)，怎么對這些零散的數(shù)據(jù)進行有效的分析，得到有價值的信息是大數(shù)據(jù)領(lǐng)域研究的熱點問題。大數(shù)據(jù)分析處理平臺就是整合當前主流的各種具有不同側(cè)重點的大數(shù)據(jù)處理分析框架和工具，實現(xiàn)對數(shù)據(jù)的挖掘和分析，一個大數(shù)據(jù)分析平臺涉及的組件眾多，如何將其有機地結(jié)合起來，完成海量數(shù)據(jù)的挖掘是一項復雜的工作[2]。

數(shù)據(jù)平臺搭建的產(chǎn)生原因是為了配合當今信息社會中海量數(shù)據(jù)的井噴式產(chǎn)生。無論是商業(yè)領(lǐng)域還是政府領(lǐng)域都把大數(shù)據(jù)作為十分珍貴的財富。數(shù)據(jù)平臺搭建其實離我們并不遙遠，最基礎(chǔ)的基于互聯(lián)網(wǎng)的數(shù)據(jù)分析就是運用Excel整合數(shù)據(jù)并進行處理。一些軟件工程專業(yè)或者語言學專業(yè)的人，經(jīng)常會在進行Java、Python開發(fā)時，對于數(shù)據(jù)平臺產(chǎn)生興趣，這也從側(cè)面反映出了數(shù)據(jù)平臺搭建在當今社會的必要性和重要性。

例如，在2018年的京東“618購物節(jié)”期間，從18日零點起到19日零點，單日成單金額達到1590余億元，比上年度增加37%，在巨大的成交額面前，顯示出的是龐大的購買用戶。而且，京東購物節(jié)期間，京東連同用戶眾多的微信和QQ平臺，上線了300余種社交互動玩法，參與互動人數(shù)超過3億。如果這些用戶的相關(guān)數(shù)據(jù)（年齡情況、性別情況、購買傾向、地域分布等）通過人工去進行分析，那估計要耗費上幾百年了。所以基于互聯(lián)網(wǎng)云技術(shù)的數(shù)據(jù)報送平臺搭建才顯得愈發(fā)重要。那該如何進行數(shù)據(jù)平臺搭建呢？

數(shù)據(jù)平臺搭建的第一階段是要有數(shù)據(jù)，例如各大購物平臺的購買數(shù)據(jù)，各大網(wǎng)站的用戶點擊數(shù)據(jù)，都可以成為搭建數(shù)據(jù)平臺的基礎(chǔ)。第二個階段是要考慮要用數(shù)據(jù)解決一個怎么樣的問題？拿一個非常具體的例子來說，一位商戶想在大學城開一家麻辣燙店，需要數(shù)據(jù)搭建平臺提供哪些幫助？首先數(shù)據(jù)的類別要包含大學城學生的人數(shù)、學生的屬性、學校的規(guī)模、學校的食堂規(guī)模、學校食堂的管理方式、學生對于麻辣燙的喜愛程度、食堂每個出入口的人流量和現(xiàn)存商戶、食堂商鋪的租金等。

2實現(xiàn)海量數(shù)據(jù)收集傳輸

根據(jù)著名的數(shù)據(jù)使用金字塔定律來說，數(shù)據(jù)的使用方式有以下幾種，Static、Query、OLAP、Adhoc、Data Mining等。由前到后對于數(shù)據(jù)的具體要求是不一致的。對于數(shù)據(jù)的數(shù)量要求越來越大，涉及的廣度越來越堵，交互處理的難度越來越大，需要提供的技術(shù)支持也越來越復雜。而且，從Static到Data Mining用戶的專業(yè)度也愈發(fā)提升，進行處理的門檻兒越來越高，處理的主體也從以人為主到機器為主轉(zhuǎn)變[3]。

所以，數(shù)據(jù)報送平臺的搭建需要借助強有力的軟件平臺。采用Red Hat進行數(shù)據(jù)基本操作，采用Flume NG系統(tǒng)進行大數(shù)據(jù)采集，采用hadoop構(gòu)建PB級大數(shù)據(jù)平臺進行廣泛的數(shù)據(jù)儲存，另外，Hive可用于數(shù)據(jù)清理，Spark R便于數(shù)據(jù)挖掘，模型應(yīng)用的結(jié)果存儲在H Base中[4]。數(shù)據(jù)平臺搭建一般包括兩個階段，數(shù)據(jù)預處理和數(shù)據(jù)建模分析，前者是后者的準備工作。數(shù)據(jù)平臺兩個最重要的工作內(nèi)容是數(shù)據(jù)建模和數(shù)據(jù)分析。前者基于業(yè)務(wù)搭建數(shù)據(jù)平臺，后者基于平臺數(shù)據(jù)監(jiān)控，給予業(yè)務(wù)分析與指導。這都需要專業(yè)技術(shù)崗位人才進行操作，對行業(yè)屬性及商業(yè)邏輯要深入理解。

數(shù)據(jù)平臺圍繞Select展開，增刪改、約束、索引、數(shù)據(jù)庫范式均可以跳過。用戶數(shù)據(jù)都暫時記憶在date-state中，我們用Red Hat把該屬性的值取出來，然后作為JSONEN格式讀取，再把數(shù)據(jù)集中存儲用戶數(shù)據(jù)的部分提取出來即可，代碼為：

數(shù)據(jù)報送平臺搭建成功后，將在各個領(lǐng)域發(fā)揮重要的作用。例如，近期某市紀委監(jiān)委依托監(jiān)察體制改革契機，搭建了“公共基礎(chǔ)信息查詢數(shù)據(jù)平臺”，重點圍繞大數(shù)據(jù)查詢、大數(shù)據(jù)監(jiān)督、電子數(shù)據(jù)調(diào)查開展建設(shè)，助力監(jiān)督執(zhí)紀監(jiān)察[5]。通過不同途徑的數(shù)據(jù)交換實現(xiàn)動態(tài)采集，簡化信息查詢流程，并對部分敏感性數(shù)據(jù)建立起數(shù)據(jù)查詢綠色通道，隨時滿足審查調(diào)查工作需求。此次搭建的數(shù)據(jù)平臺已經(jīng)匯聚20余個部門一百余類八十余億條數(shù)據(jù)，對于政府之間的跨部門協(xié)作、跨層級共享的紀檢監(jiān)察信息資源共享具有至關(guān)重要的意義[6]。

3 基于云技術(shù)數(shù)據(jù)報送平臺操作案例

以某政府部門為云技術(shù)數(shù)據(jù)平臺搭建案例，數(shù)據(jù)報送平臺可實現(xiàn)新建報送表格、報表審核、統(tǒng)計查詢、表格權(quán)限管理和填報表格等功能。搭建完成后，具體操作流程為按住alt+p，就會跳出一個sftp窗口，再加命令：

put d：＼～＼jdk-7u79-linux-x64.gz。執(zhí)行步驟二，解壓jdk。主要命令是：tar -zxvf jdk-7u79-linux-x64.gz -C /app。將java添加到環(huán)境變量中，安裝hadoop-2.5.0，最后再格式化HDFS，Hadoop命令為hadoop namenode -format。我們輸入命令source/etc/profile，數(shù)據(jù)報送平臺就可以正常運行了。

最后，數(shù)據(jù)報送平臺不可以隨意地允許訪問，一定要設(shè)計權(quán)限系統(tǒng)，數(shù)據(jù)報送平臺的權(quán)限設(shè)計包含兩部分，功能訪問權(quán)限和數(shù)據(jù)查看權(quán)限。功能訪問權(quán)限是指不同訪問者可以操作的界面，例如某一個訪問者在自己的計算機客戶端在訂單查詢頁面能看到哪些字段，能操作哪些按鈕。數(shù)據(jù)查看權(quán)限是指不同角色在同一頁面中看到的數(shù)據(jù)范圍，例如總公司管理員和分公司管理員在訂單查詢頁面能看到的公司訂單是不同的，區(qū)域主管只能看到所在區(qū)域的訂單，總公司可以看到所有的訂單信息。

4結(jié)束語

總之，我們結(jié)合多個實際案例，完整地介紹了一套數(shù)據(jù)報送平臺從無到有的設(shè)計?；谠萍夹g(shù)的數(shù)據(jù)報送平臺搭建系統(tǒng)是基于單片機AT99C54來完成的，3路的模擬電壓轉(zhuǎn)換為數(shù)字信號之后，通過單片機進行大數(shù)據(jù)的分析處理，并將整理過的數(shù)據(jù)傳送到儲存系統(tǒng)和顯示系統(tǒng)。大數(shù)據(jù)平臺搭建過程中涵蓋了大量的技術(shù)和產(chǎn)品，隨著技術(shù)的發(fā)展和IT成果的出現(xiàn)，數(shù)據(jù)報送和數(shù)據(jù)管理都更加的便捷，也更具專業(yè)化和個性化。如何在數(shù)據(jù)報送過程中，兼顧效率和精準度，如何解決異構(gòu)數(shù)據(jù)爆炸式增長，也將會很快解決。

參考文獻：

[1] 石桂芳， 劉陳榮. 基于云平臺的數(shù)據(jù)采集與統(tǒng)計匯總系統(tǒng)應(yīng)用研究[C].2013電力行業(yè)信息化年會論文集. 2013：107-112.

[2] 李朝鋒. 大數(shù)據(jù)時代基于云計算技術(shù)構(gòu)建農(nóng)業(yè)信息服務(wù)平臺研究[J]. 河南科技， 2017（5）：19-21.

[3] 牟萍. 基于物聯(lián)網(wǎng)、云技術(shù)和大數(shù)據(jù)的高校智能化教學環(huán)境構(gòu)建[J]. 重慶師范大學學報：自然科學版， 2017（5）：81-86.

[4] 葉鑫， 董路安， 宋禺. 基于大數(shù)據(jù)與知識的“互聯(lián)網(wǎng)+政務(wù)服務(wù)”云平臺的構(gòu)建與服務(wù)策略研究[J]. 情報雜志， 2018（2）.

[5] 劉建鑫. 智能化媒體發(fā)展的引擎——基于大數(shù)據(jù)和云計算技術(shù)的應(yīng)用觀察[J]. 青年記者， 2018（1）：50-51.

[6] 梁春華. 大數(shù)據(jù)環(huán)境情報研究平臺發(fā)展現(xiàn)狀與思考[J]. 情報理論與實踐， 2017， 40（6）：63-66.

【通聯(lián)編輯：光文玲】