樊紅珍
摘 要 充分利用云計算完成對海量數(shù)據(jù)的信息挖掘,屬于當前階段研究的熱點。云計算因為具有良好優(yōu)越性可以對數(shù)據(jù)挖掘提供重要習性平臺。本研究中,充分介紹了云計算以及數(shù)據(jù)挖掘方面的功能。最終,對平臺建構之中所應用的關鍵技術采取了深刻剖析。基于云計算數(shù)據(jù)挖掘平臺屬于當前研究重點,希望通過本研究可以對形成平臺架構,促進關鍵技術水平提升提供借鑒和幫助。
【關鍵詞】云計算 數(shù)據(jù)平臺 架構 關鍵技術
我國計算機技術不斷向前發(fā)展,對應對海量信息提供了重要幫助。結合相關數(shù)據(jù)提供及,全球數(shù)據(jù)在三年時間內翻了一番。數(shù)據(jù)總量則已經(jīng)進入到ZB級。所有屬于產(chǎn)生于各行各業(yè),其中包括了大量可使用信息。如何能夠在各個領域之中,都提取有效信息,屬于當前我國數(shù)據(jù)技術發(fā)展中的關鍵。希望通過本研究可以促進未來技術發(fā)展。
1 云計算及數(shù)據(jù)挖掘技術
1.1 云計算
云計算屬于互聯(lián)網(wǎng)基礎上,通過借助計算機服務器資源實現(xiàn)虛擬化商業(yè)化發(fā)展的計算模式。韻腳思安之中一般包括三個服務層次:基礎設施、平臺以及軟件服務?;A設施層次之中,用戶能夠直接獲取包括硬件與存儲等服務形式在內的全部服務。平臺服務層則能夠為用戶提供設計與測試功能。軟件服務層之中,則用戶可以利用云平臺獲取基于網(wǎng)絡的軟件使用權。云計算擁有資源共享、數(shù)據(jù)安全以及成本優(yōu)勢。為此,數(shù)據(jù)挖掘平臺技術研究表現(xiàn)出良好前瞻性。
1.2 數(shù)據(jù)挖掘
數(shù)據(jù)碗蕨可以利用不斷算法對海量數(shù)據(jù)開展有效處理,并通過這種方式提取隱藏在其中的信息進行處理,同時,對統(tǒng)計學、模式識別等思想進行進一步的融合。傳統(tǒng)數(shù)據(jù)挖掘屬于借助對數(shù)據(jù)倉庫完成的計算,并通過這種該模式找到數(shù)據(jù)模型以及相關數(shù)據(jù)關系。同時對大規(guī)模數(shù)據(jù)采取數(shù)據(jù)統(tǒng)計,這個過程中需要消耗掉大量的資源,除了效率低下,軟硬件成本相對較高,還具有通用性水平較低的情況。大數(shù)據(jù)在先進一部無法充分滿足所有領域的應用需求。為了可以發(fā)揮云計算優(yōu)勢,就需要充分了解數(shù)據(jù)挖掘以及信息技術的主要方向。
2 基于云計算消防數(shù)據(jù)挖掘平臺架構
2.1 系統(tǒng)構成分析
平臺系統(tǒng)的構成包括了用戶交互子系統(tǒng)、應用程序子系統(tǒng)、數(shù)據(jù)挖掘子系統(tǒng)以及硬件服務系統(tǒng)。用戶運用不同類型的終端設備連接進入到互聯(lián)網(wǎng)之中,并連接到數(shù)據(jù)挖掘平臺,通過用戶信息登陸平臺后則能夠完成數(shù)據(jù)操作。
2.2 用戶交互系統(tǒng)
用戶交互子系統(tǒng)屬于是平臺與用戶之間關聯(lián)的重要系統(tǒng)形式,通過借助圖形,用戶能夠完成相關操作。包括用戶身份注銷與注冊、身份驗證、授權等所有操作。這個子系統(tǒng)屬于用戶進入到系統(tǒng)平臺之中的入口,屬于下層所有服務通行的主要方式,屬于平臺信息安全的保障方式。
2.3 應用程序系統(tǒng)
屬于數(shù)據(jù)挖掘系統(tǒng)以及用戶管理系統(tǒng)之間所具有的重要環(huán)節(jié)。數(shù)據(jù)挖掘系統(tǒng)之中可以調用的相關數(shù)據(jù)與算法以及相關對應關系可以描述為任務,同時開放調用以及相關服務。素有應用程序系統(tǒng)更加包括了注冊以及注銷功能。
2.4 數(shù)據(jù)挖掘系統(tǒng)
數(shù)據(jù)挖掘系統(tǒng)利用不同算法能夠對數(shù)據(jù)采取有效計算,并實現(xiàn)數(shù)據(jù)挖掘,以此可以達到信息處理效果,此部分同樣也能夠分為數(shù)據(jù)獲取、預處理以及計算、評估等功能。數(shù)據(jù)獲取模塊需要對數(shù)據(jù)讀入以及轉換提供幫助,通過數(shù)據(jù)清洗的方式去噪,最終可達到用戶需要。個性化服務功能則能夠充分滿足客戶需要,實現(xiàn)個性化制定,同時也可以將該用戶的自定義挖掘算法作為系統(tǒng)資源,再次提供到平臺進行使用。系統(tǒng)同時能夠記錄用戶使用請款個,big提交到用戶交互系統(tǒng)之中。
2.5 硬件服務系統(tǒng)
硬件服務系統(tǒng)之中包括了服務器以及數(shù)據(jù)庫等內容,一方面能夠對平臺建設提供數(shù)據(jù)存儲與訪問的功能,另一方面則能夠獨立面向用戶提供平臺訪問與租賃等能力,促使實現(xiàn)資源的高效配置。
3 關鍵技術分析
分布式并行技術方式:最早有Google的GFS系統(tǒng),后來的HDFS以及KFS等理論基礎上實現(xiàn)了開源并成為在商業(yè)以及學術研究領域之中廣泛應用的分布式文件系統(tǒng)。云計算的關鍵與核心是能夠提供分布式文件存儲與并行計算,存儲能夠有效確保數(shù)據(jù)具有高吞吐率,以此可以滿足計算需要。因為這個方式并不十分適合計計算具有相互關聯(lián)的數(shù)據(jù),同時開發(fā)工具并不完善,其未來將會決定數(shù)據(jù)挖掘平臺開發(fā)。
數(shù)據(jù)挖掘算法:數(shù)據(jù)挖掘算法屬于整個數(shù)據(jù)挖掘平臺之中的核心,并在這個過程中綜合了所有學科,當前階段,比較常用的計算方法包括統(tǒng)計分析、決策樹、建模以及神經(jīng)網(wǎng)絡等。其中,統(tǒng)計分析屬于當前比較簡單的方法,可以通過數(shù)據(jù)最值、均值以及方差等方法探究統(tǒng)計規(guī)律。決策樹則屬于通過數(shù)據(jù)完成分類,描述方法更加簡單。關聯(lián)規(guī)則通過對數(shù)據(jù)倉庫之中搜索數(shù)據(jù),并查找彼此關聯(lián)性,聚類分析則屬于結合實體特征完成對數(shù)據(jù)的有效聚類分析。所有算法都擁有十分具體且有效的實現(xiàn)算法方式,每一種算法更加具有自己的優(yōu)勢,可以適用在所有領域之中個,具體應用則能夠結合用戶需要完成調用與組合。
4 結束語
綜上所述,大數(shù)據(jù)時代已經(jīng)到來,云計算數(shù)據(jù)發(fā)掘則已經(jīng)徹底顛覆傳統(tǒng),并通過海量存儲能力與強大的計算能力,完成擴展。有效解決海量數(shù)據(jù)分析,并處理存儲難題。我國在此方面的技術研究仍然處在探索階段,平臺架構與應用需要提供必要的數(shù)據(jù)服務能力,因此,也可以說具有十分豐富的開發(fā)前景與巨大意義。
參考文獻
[1]張立眾.探討基于云計算的數(shù)據(jù)挖掘平臺架構及其關鍵技術[J].通訊世界,2015(16):193.
[2]張瑤,劉輝.基于云計算的數(shù)據(jù)挖掘平臺架構及其關鍵技術探討[J].電子技術與軟件工程,2015(05):218.
[3]鄭妙師.基于云計算的數(shù)據(jù)挖掘平臺架構及其關鍵技術研究[J].信息通信,2014(08):71.
[4]郭敏杰.基于云計算的海量網(wǎng)絡流量數(shù)據(jù)分析處理及關鍵算法研究[D].北京郵電大學,2014.
[5]丁巖,楊慶平,錢煜明.基于云計算的數(shù)據(jù)挖掘平臺架構及其關鍵技術研究[J].中興通訊技術,2013(01):53-56+60.