劉守霖

（鄭州工業(yè)應(yīng)用技術(shù)學(xué)院 河南省新鄭市 451100）

傳統(tǒng)數(shù)據(jù)處理技術(shù)，主要是輸入輸出數(shù)據(jù)。數(shù)據(jù)量日益龐大，在原有基礎(chǔ)上，采用云計算模式開發(fā)新數(shù)據(jù)處理技術(shù)，以此確保大數(shù)據(jù)處理的準確性與快速性，為數(shù)據(jù)處理提供重要保障。此外，深入分析和研究云計算模式，討論大數(shù)據(jù)處理技術(shù)，必須高度關(guān)注技術(shù)實效性，以此發(fā)揮出數(shù)據(jù)信息處理效果。

1 大數(shù)據(jù)與云計算關(guān)系

云計算技術(shù)為計算服務(wù)性較高的技術(shù)，能夠通過網(wǎng)絡(luò)計算機技術(shù)，統(tǒng)一監(jiān)督和管理存儲資源、計算資源，建設(shè)資源池。按照用戶需求提供優(yōu)質(zhì)服務(wù)，體現(xiàn)出按勞分配服務(wù)模式。在當前數(shù)據(jù)計算領(lǐng)域，云計算屬于計算能力、服務(wù)能力、存儲能力都比較強的技術(shù)，是新型數(shù)據(jù)處理方式。該項技術(shù)具備以下特點：

（1）具備公開性、透明性的資源池；

（2）無限制性，能夠為多行業(yè)領(lǐng)域提供計算服務(wù)，按照實際情況，合理選擇計算模式。

（3）數(shù)據(jù)資源獲取便捷，能夠縮短用戶時間，成本低廉，同時能夠擴大用戶群體。

（4）服務(wù)方式與能力靈活，能夠滿足終端客戶需求，客戶必須按照實際需求，制定相應(yīng)處理方法[1]。

云計算技術(shù)借助計算準確性高、傳輸速度快、存儲空間大、處理能力高等優(yōu)勢，能夠為大數(shù)據(jù)處理提供便捷平臺，有效改善傳統(tǒng)數(shù)據(jù)管理問題，還可以滿足數(shù)據(jù)處理與存儲需求。云計算技術(shù)的價值作用較高，能夠科學(xué)處理和計算數(shù)據(jù)信息。大數(shù)據(jù)技術(shù)需要云計算技術(shù)支持，才可以為社會提供優(yōu)質(zhì)服務(wù)。通過上述分析可知，云計算與大數(shù)據(jù)技術(shù)具備密切關(guān)聯(lián)性[2]。

2 云計算關(guān)鍵技術(shù)概述

隨著分布式計算、并行技術(shù)的發(fā)展，相應(yīng)促進了云計算技術(shù)的發(fā)展，借助數(shù)據(jù)計算、網(wǎng)絡(luò)連接、存儲功能優(yōu)勢，能夠為使用者提供服務(wù)，形成完整的資源池。云計算屬于數(shù)據(jù)面積性計算，能夠?qū)崿F(xiàn)存儲、計算資源的虛擬化。云計算技術(shù)在虛擬化、數(shù)據(jù)存儲與管理中，具備顯著技術(shù)優(yōu)勢。

2.1 數(shù)據(jù)存儲技術(shù)

數(shù)據(jù)讀寫高效性、信息存儲安全性，可以有效維護云計算技術(shù)效果。利用分布式存儲技術(shù)，可以將海量數(shù)據(jù)存儲到服務(wù)器中，備份處理數(shù)據(jù)信息，全面提升數(shù)據(jù)信息的安全性。此外，通過冗余存儲方式、加密技術(shù)，可以防止數(shù)據(jù)泄露丟失。在云計算系統(tǒng)中，GFS 屬于應(yīng)用廣泛的存儲系統(tǒng)。

2.2 數(shù)據(jù)管理技術(shù)

云計算技術(shù)通過分布式處理分析，可以為使用者提供優(yōu)質(zhì)服務(wù)，然而對數(shù)據(jù)管理技術(shù)的要求較高。開源管理模塊、BigTable 技術(shù)為常用數(shù)據(jù)管理技術(shù)。

2.3 虛擬化技術(shù)

在云計算系統(tǒng)中，虛擬化技術(shù)屬于計算存儲的關(guān)鍵，通過科學(xué)方式，將計算機組件、系統(tǒng)放置到虛擬環(huán)境中。按照系統(tǒng)、軟件、硬件，組成虛擬化層結(jié)構(gòu)。多數(shù)虛擬層劃分為3 層，利用中間層與上下兩層連接，為其提供相似功能，確保運行環(huán)境的有效性。虛擬化層，可以改變上下層耦合關(guān)系，避免上層運行依賴下層。通過應(yīng)用虛擬化技術(shù)，可以優(yōu)化整合系統(tǒng)功能，全面提升資源的有效利用率，降低成本費用，優(yōu)化整合服務(wù)。

圖1：大數(shù)據(jù)采集技術(shù)框架

圖2：大數(shù)據(jù)系統(tǒng)框架圖

3 云計算模式下的大數(shù)據(jù)處理技術(shù)

3.1 大數(shù)據(jù)采集技術(shù)

按照不同采集方法，劃分大數(shù)據(jù)采集問題，例如分布式采集、集中式采集等。不同方法都具備優(yōu)勢與不足，通過以下方法優(yōu)勢做好分析。集中式收集，可以掌握控制各類數(shù)據(jù)；分布式采集的靈活性高。在大數(shù)據(jù)采集時，不僅要收集企業(yè)內(nèi)部數(shù)據(jù)信息，還需要采集企業(yè)之間數(shù)據(jù)信息，在企業(yè)內(nèi)部設(shè)置不同服務(wù)器，存儲企業(yè)共享數(shù)據(jù)。通過分布式計算方式，可以同時使用多種采集方法，全面提升數(shù)據(jù)收集水平。對于企業(yè)內(nèi)部，可以應(yīng)用集中式采集方法，企業(yè)之間通過分布式采集方法；針對中心服務(wù)器組織，可以應(yīng)用分布式采集法。聯(lián)合不同結(jié)構(gòu)類型劃分大數(shù)據(jù)類型，包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)。在收集數(shù)據(jù)信息時，應(yīng)當按照系統(tǒng)要求，科學(xué)分析數(shù)據(jù)種類。依照系統(tǒng)種類，全面展現(xiàn)出云計算技術(shù)優(yōu)勢，例如擴展和容錯等，以此提升信息同構(gòu)化，完成數(shù)據(jù)對接。大數(shù)據(jù)采集技術(shù)框架圖如圖1 所示。

3.2 大數(shù)據(jù)存儲技術(shù)

傳統(tǒng)數(shù)據(jù)存儲為單結(jié)點倉庫，容量空間較小，對于新時期數(shù)據(jù)，已經(jīng)不具備承載性能。雖然擁有視圖能力、索引能力，但是會受到空間約束，無法滿足社會發(fā)展需求。在新歷史時期下，傳統(tǒng)數(shù)據(jù)運行速度緩慢，無法滿足現(xiàn)代社會數(shù)據(jù)分析與處理。重點分析云計算技術(shù)，采用列式數(shù)據(jù)存儲方式，準確區(qū)分數(shù)據(jù)屬性，按照不同屬性，分類存儲不同數(shù)據(jù)。通過查找屬性方式，可以及時獲取所需數(shù)據(jù)，明顯提升數(shù)據(jù)處理水平，凸顯出系統(tǒng)功能性。按照不同屬性分類，可以涵蓋其他特征。按照相似程度，確保數(shù)據(jù)屬性排列的科學(xué)性。在查詢不確定屬性時，技術(shù)掌握相似屬性，便于后期查詢數(shù)據(jù)，鞏固基礎(chǔ)。同時可以獲得數(shù)據(jù)壓縮效果，降低錯誤查詢所致不良影響。

3.3 大數(shù)據(jù)聯(lián)機分析技術(shù)

針對大數(shù)據(jù)系統(tǒng)而言，聯(lián)機技術(shù)為核心內(nèi)容，涉及到復(fù)雜數(shù)據(jù)分析環(huán)節(jié)，決策分析屬于重點內(nèi)容，需要將實際結(jié)果提供給用戶。一般情況下，應(yīng)用聯(lián)機分析方式時，應(yīng)當將綜合數(shù)據(jù)作為立足點，建設(shè)多維度模型，以此獲得數(shù)據(jù)分析結(jié)果，幫助技術(shù)人員作出科學(xué)決策。此外，聯(lián)機分析處理特征在于分析復(fù)雜數(shù)據(jù)，科學(xué)應(yīng)用倉庫技術(shù)和聯(lián)機技術(shù)，不僅可以準確計算海量數(shù)據(jù)，還能夠?qū)?shù)據(jù)信息進行分析。

3.4 大數(shù)據(jù)可視化技術(shù)

數(shù)據(jù)可視化管理，將云計算技術(shù)作為技術(shù)創(chuàng)新。在云計算技術(shù)支持下，大數(shù)據(jù)可視化，能夠深入挖掘和收集隱藏數(shù)據(jù)信息，通過直觀圖表表示。

大數(shù)據(jù)可視化技術(shù)，將云計算技術(shù)作為數(shù)據(jù)挖掘技術(shù)，從復(fù)雜數(shù)據(jù)中，識別高價值信息。通過服務(wù)方式，向用戶提供數(shù)據(jù)信息。通過云計算技術(shù)，可以分析復(fù)雜數(shù)據(jù)，高效處理數(shù)據(jù)程序，以此作為切入點，在總體數(shù)據(jù)上放置原始數(shù)據(jù)，深入挖掘價值信息。云計算技術(shù)保障力度強，能夠顯著提升數(shù)據(jù)挖掘水平。在大量數(shù)據(jù)中，通過大數(shù)據(jù)技術(shù)可以挖掘重要信息，云計算技術(shù)可以匯總碎片信息，掌握內(nèi)在規(guī)律，確保市場經(jīng)濟發(fā)展趨勢分析的準確性。針對可視化處理技術(shù)，通過趨勢圖繪制方式，可以展示出可視化處理基礎(chǔ)，確保數(shù)據(jù)結(jié)果具備直觀性和生動性，防止企業(yè)出現(xiàn)決策失誤。當前，多數(shù)企業(yè)為自身業(yè)務(wù)內(nèi)容與領(lǐng)域，制定云計算模式的大數(shù)據(jù)挖掘測量，確保企業(yè)數(shù)據(jù)采集的高效性。與傳統(tǒng)數(shù)據(jù)挖掘技術(shù)相比，大數(shù)據(jù)挖掘技術(shù)可以處理分布并行數(shù)據(jù)，結(jié)合計算移動數(shù)據(jù)類型、計算模式，在處理數(shù)據(jù)立方體時，數(shù)據(jù)群的維度屬性比較復(fù)雜，數(shù)據(jù)管理系統(tǒng)可以發(fā)揮出延遲查詢功能。從總體角度看，云計算模式下的大數(shù)據(jù)挖掘技術(shù)，可以有效處理不同結(jié)構(gòu)的數(shù)據(jù)信息問題。

3.5 大數(shù)據(jù)挖掘技術(shù)

通過聯(lián)機分析技術(shù)，只可以獲得淺層數(shù)據(jù)信息，無法掌握內(nèi)在規(guī)律與關(guān)聯(lián)性。在云計算模式下，應(yīng)用大數(shù)據(jù)挖掘技術(shù)，可以掌握數(shù)據(jù)本質(zhì)，展示出不同數(shù)據(jù)的關(guān)聯(lián)性。通過模式和概念方式體現(xiàn)出來。現(xiàn)階段，大數(shù)據(jù)挖掘方法為并行方式，在處理海量數(shù)據(jù)時，應(yīng)用優(yōu)勢顯著。串行數(shù)據(jù)處理的區(qū)域小，花費時間和精力大，工作效率比較低。然而應(yīng)用分布式挖掘技術(shù)，通過分布式系統(tǒng)與多樣化方法，可以縮短數(shù)據(jù)計算時間，全面提升數(shù)據(jù)計算結(jié)果的準確性。在云計算模式下，大數(shù)據(jù)挖掘技術(shù)可以發(fā)揮出并行優(yōu)勢，與其他串行方式相比，并行挖掘可以通過計算機系統(tǒng)，集群拆分分布式供給系統(tǒng)。完成拆分處理后，必須做好相關(guān)處理，通過多臺計算機開展工作，既可以提升數(shù)據(jù)信息處理水平，還可以降低數(shù)據(jù)處理成本與費用。

3.6 大數(shù)據(jù)處理系統(tǒng)

3.6.1 系統(tǒng)架構(gòu)

計算機技術(shù)環(huán)境下，大數(shù)據(jù)處理平臺節(jié)點包括以下幾點：節(jié)點分散性、數(shù)據(jù)來源混構(gòu)性、數(shù)據(jù)處理動態(tài)性。該處理平臺架構(gòu)應(yīng)用融合式調(diào)度執(zhí)行層、任務(wù)融合調(diào)度管理，按照處理規(guī)則與參數(shù)，對引擎數(shù)據(jù)、算法組合、計算資源進行調(diào)整。高效融合大數(shù)據(jù)資源數(shù)據(jù)交互、任務(wù)分區(qū)工作。在管理層中，分布式存儲業(yè)務(wù)數(shù)據(jù)，全面加強容錯處理能力。圖2 為大數(shù)據(jù)處理系統(tǒng)的框架圖。

3.6.2 系統(tǒng)處理流程

系統(tǒng)處理流程，可以高效處理分散狀態(tài)數(shù)據(jù)，提取分散數(shù)據(jù)。所以為其他應(yīng)用提供數(shù)據(jù)接口。數(shù)據(jù)管理部門，高度融合數(shù)據(jù)資源。在標準容忍度下，比較分析不同數(shù)據(jù)處理機制，注重優(yōu)勢融合。數(shù)據(jù)處理中心應(yīng)當集中處理數(shù)據(jù)，注重數(shù)據(jù)資源統(tǒng)一化分配，在數(shù)據(jù)中心融合數(shù)據(jù)處理。

3.6.3 理系統(tǒng)部署

某企業(yè)大數(shù)據(jù)處理系統(tǒng)部署，按照新型企業(yè)集群需求，深度挖掘現(xiàn)有分散數(shù)據(jù)資源。例如企業(yè)資源計劃系統(tǒng)、供應(yīng)鏈管理系統(tǒng)相關(guān)數(shù)據(jù)。通過深度挖掘上述數(shù)據(jù)，可以為企業(yè)提供戰(zhàn)略發(fā)展資源。通過分析部署結(jié)構(gòu)可知，企業(yè)將資源計劃系統(tǒng)、供應(yīng)鏈管理系統(tǒng)、客戶關(guān)系管理系統(tǒng)的數(shù)據(jù)作為數(shù)據(jù)源，利用服務(wù)器處理之后，可以分布到不同數(shù)據(jù)庫中，之后合并到大數(shù)據(jù)管理模塊，以此實現(xiàn)數(shù)據(jù)查詢與數(shù)據(jù)決策服務(wù)。

在具體應(yīng)用大數(shù)據(jù)處理系統(tǒng)時，涉及到以下方面：首先，融合式架構(gòu)應(yīng)用。從本質(zhì)上看，其屬于客戶機/服務(wù)器架構(gòu)模式。服務(wù)器負責管理和控制應(yīng)用系統(tǒng)，同時實現(xiàn)邏輯處理與數(shù)據(jù)調(diào)度?？蛻舳藶楠毩⑷藱C交互，用戶為了執(zhí)行數(shù)據(jù)處理分析，必須借助客戶機向服務(wù)器發(fā)送請求，之后由服務(wù)器完成，返回至客戶端。融合式架構(gòu)簡單，便于維護。然而服務(wù)器功能的依賴性強，將會影響數(shù)據(jù)處理系統(tǒng)的應(yīng)用。其次，分散式架構(gòu)的應(yīng)用。此種架構(gòu)的特點在于協(xié)調(diào)控制節(jié)點具備平等性，與處理系統(tǒng)的控制模塊、管理模塊相關(guān)，分散于不同客戶端上[3]。客戶端具備自治屬性，可擴展性、靈活性、通用性強。因數(shù)據(jù)應(yīng)用分布儲存和操作方式，會加劇系統(tǒng)維護難度，且節(jié)點之間的實時同步、用戶動態(tài)注冊應(yīng)用的實現(xiàn)難度大。最后，混合式結(jié)構(gòu)的應(yīng)用。此種結(jié)構(gòu)具備融合式、分散式結(jié)構(gòu)的應(yīng)用特點，借助服務(wù)器高度統(tǒng)一數(shù)據(jù)信息。客戶端可以實現(xiàn)信息傳輸，與用戶實現(xiàn)應(yīng)用交互，以此緩解服務(wù)端壓力，同時消除服務(wù)器端瓶頸，全面提升系統(tǒng)靈活性與魯棒性。

4 結(jié)束語

綜上所述，注重傳統(tǒng)管理系統(tǒng)改革，能夠有效采集和分析大數(shù)據(jù)。云計算模式可以滿足大數(shù)據(jù)處理與存儲需求，所以必須基于云計算模式，深入研究和分析大數(shù)據(jù)處理技術(shù)，以此維護數(shù)據(jù)安全與質(zhì)量。