許曉燕

摘要：隨著信息技術(shù)的不斷發(fā)展，互聯(lián)網(wǎng)、云計(jì)算、物聯(lián)網(wǎng)等技術(shù)被廣泛地應(yīng)用到人們?nèi)粘Ｉ詈凸ぷ髦?，推動了社會?jīng)濟(jì)的進(jìn)一步發(fā)展。而在大數(shù)據(jù)的背景下，如何提升數(shù)據(jù)挖掘和分析的能力，在大數(shù)據(jù)中獲取高價值的信息數(shù)據(jù)資源，也就成為社會進(jìn)一步發(fā)展面臨的主要問題。因此，本文主要闡述了大數(shù)據(jù)與云服務(wù)的基本概念，并分析了云計(jì)算背景下數(shù)據(jù)挖掘云服務(wù)現(xiàn)狀，針對性地提出了改進(jìn)措施，對推動數(shù)據(jù)挖掘云服務(wù)水平起到了借鑒和參考作用。

關(guān)鍵詞：云計(jì)算；數(shù)據(jù)挖掘；云服務(wù)

中圖分類號：TP393 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3044（2018）19-0016-02

現(xiàn)如今，互聯(lián)網(wǎng)已經(jīng)成為人們工作和生活中不可或缺的重要工具，有效地提升了人類社會信息流通水平，但在同時也使得互聯(lián)網(wǎng)中信息數(shù)據(jù)呈現(xiàn)出爆炸式的發(fā)展態(tài)勢。而為了更好地發(fā)揮出大數(shù)據(jù)的作用，專家學(xué)者們從不同的角度對其進(jìn)行了深入的研究，不斷完善和優(yōu)化數(shù)據(jù)挖掘技術(shù)，使得人們對于大數(shù)據(jù)的挖掘和分析能力有了跨越式提升。但在大數(shù)據(jù)以驚人速度發(fā)展的過程中，傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)已經(jīng)呈現(xiàn)出落后趨勢，主要體現(xiàn)在其功能性相對落后，難以滿足人們對于大數(shù)據(jù)的多元化需求，并且其中的算法難以進(jìn)行擴(kuò)展，數(shù)據(jù)挖掘的數(shù)據(jù)量具有一定的限制，難以處理海量信息數(shù)據(jù)。而云計(jì)算具有可擴(kuò)展性強(qiáng)的特點(diǎn)，能夠有效解決傳統(tǒng)數(shù)據(jù)挖掘技術(shù)存在的種種問題，基于云計(jì)算的數(shù)據(jù)挖掘云服務(wù)將會成為解決大數(shù)據(jù)高速發(fā)展問題的關(guān)鍵手段之一。

1 大數(shù)據(jù)及云服務(wù)的概述

1.1 大數(shù)據(jù)

大數(shù)據(jù)是指不能在一定時間范圍內(nèi)被傳統(tǒng)軟件工具捕獲、管理和處理的數(shù)據(jù)集合。它是一個巨大的、高增長率和多樣化的信息資產(chǎn)，要求新的處理模式具有更強(qiáng)的決策能力、洞察力和發(fā)現(xiàn)過程和流程優(yōu)化能力。大數(shù)據(jù)主要有以下幾方面特點(diǎn)：

首先，大數(shù)據(jù)所涵蓋的數(shù)據(jù)量極其豐富，并且涉及多個領(lǐng)域內(nèi)。在互聯(lián)網(wǎng)高度發(fā)展的過程中，大數(shù)據(jù)的單位早已從過去的TB轉(zhuǎn)變?yōu)榱薖B。

其次，大數(shù)據(jù)的來源渠道豐富，并且類型多樣，主要有文本信息、網(wǎng)絡(luò)頁面、調(diào)查數(shù)據(jù)等。

再次，大數(shù)據(jù)中充斥著大量重復(fù)、錯誤的冗雜信息，而有價值的信息數(shù)據(jù)相對較少。例如在一段監(jiān)控錄像中，真正有價值的大多只有短短的幾秒鐘。

最后，大數(shù)據(jù)對于信息數(shù)據(jù)處理效率的要求更高，而想要提升數(shù)據(jù)挖掘與分析的能力，必然需要具有高性能的計(jì)算機(jī)支持。

1.2 云計(jì)算

云計(jì)算是一種基于Internet的增加、使用和交付相關(guān)服務(wù)的模式。它通常涉及動態(tài)擴(kuò)展的資源，并且經(jīng)常通過因特網(wǎng)進(jìn)行虛擬化。目前對于云計(jì)算概念仍然沒有統(tǒng)一的標(biāo)準(zhǔn)，最常規(guī)的一種說法認(rèn)為，云計(jì)算是按照用戶所享受云計(jì)算平臺服務(wù)量來收費(fèi)的模式，在云計(jì)算中，用戶可以通過互聯(lián)網(wǎng)訪問設(shè)備，利用云計(jì)算強(qiáng)大的數(shù)據(jù)分析和處理能力，并且所需要投入的工作較少，僅需要與云計(jì)算服務(wù)的供應(yīng)商進(jìn)行交互即可。目前，云計(jì)算可以提供每秒10萬億次的計(jì)算服務(wù)，這種服務(wù)能力可以模擬未來一段時間的氣象變化、復(fù)雜市場的發(fā)展趨勢甚至是核爆炸等。

2 基于云計(jì)算的數(shù)據(jù)挖掘云服務(wù)研究

2.1 數(shù)據(jù)挖掘云服務(wù)的優(yōu)越性

對于海量數(shù)據(jù)的挖掘與分析，采用的最主要方法是將計(jì)算移向數(shù)據(jù)。針對這一問題，基于云計(jì)算的數(shù)據(jù)挖掘云服務(wù)主要采取的方法，是利用云計(jì)算分布式的計(jì)算機(jī)系統(tǒng)，組成多個數(shù)據(jù)存儲和分析模塊。而海量數(shù)據(jù)則被分別存儲在不同模塊之中，各個模塊僅需要對相對少量的數(shù)據(jù)進(jìn)行分析即可，若干個數(shù)據(jù)存儲模塊同時進(jìn)行數(shù)據(jù)分析，能夠有效提升海量數(shù)據(jù)挖掘與分析的效率，體現(xiàn)出云計(jì)算的動態(tài)性和高度伸縮性的特點(diǎn)。此外，利用云計(jì)算技術(shù)開展數(shù)據(jù)挖掘，所消耗的成本相對較低，只需要有能夠接入互聯(lián)網(wǎng)的手機(jī)或計(jì)算機(jī)，并支付一定的服務(wù)費(fèi)用即可，能夠有效地降低數(shù)據(jù)挖掘的成本。而從性能的角度來說，基于云計(jì)算的數(shù)據(jù)挖掘云服務(wù)具有以下幾種優(yōu)點(diǎn)：

首先，在大數(shù)據(jù)環(huán)境下，信息的爆炸式增長速度遠(yuǎn)高于數(shù)據(jù)挖掘和處理的速度，想要充分的利用大數(shù)據(jù)資源進(jìn)行挖掘和分析，必然需要良好的開發(fā)環(huán)境。而基于云計(jì)算的數(shù)據(jù)挖掘云服務(wù)可以構(gòu)造若干個并聯(lián)的數(shù)據(jù)處理模塊，從而形成數(shù)據(jù)存儲、挖掘和分析環(huán)境，有效解決上述問題。

其次，使用云計(jì)算的成本低于數(shù)據(jù)挖掘技術(shù)的成本，并且其效率和挖掘能力更強(qiáng)，不需要投入大量資金建設(shè)先進(jìn)的計(jì)算機(jī)，對于企業(yè)和個人而言都是更好的選擇。

最后，基于云計(jì)算的數(shù)據(jù)挖掘云服務(wù)沒有采用底層數(shù)據(jù)，有效過濾掉了大量低價值的冗雜信息數(shù)據(jù)，同時相比傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)，基于云計(jì)算的數(shù)據(jù)挖掘云服務(wù)的數(shù)據(jù)處理效率更高，并且具有高容錯的特點(diǎn)，能夠更好地進(jìn)行數(shù)據(jù)挖掘與分析。

2.2 數(shù)據(jù)挖掘云服務(wù)建設(shè)的難點(diǎn)

數(shù)據(jù)挖掘云服務(wù)建設(shè)的難點(diǎn)主要體現(xiàn)在以下幾個方面：

第一，可擴(kuò)展性問題。在大數(shù)據(jù)的存儲與分析中，為了保證數(shù)據(jù)分析結(jié)果的可靠性，需要數(shù)據(jù)挖掘云服務(wù)具有可拓展性。同時，在大數(shù)據(jù)環(huán)境下，信息數(shù)據(jù)的安全性受到了一定的威脅，需要建立信息數(shù)據(jù)安全保障機(jī)制，避免數(shù)據(jù)的泄露。除此之外，為了滿足用戶的多元化需求，數(shù)據(jù)挖掘云服務(wù)需要利用其可拓展性進(jìn)行相應(yīng)的調(diào)整，這也就使得數(shù)據(jù)挖掘云服務(wù)建設(shè)中，可擴(kuò)展性成為最主要的問題之一。

第二，數(shù)據(jù)處理能力問題。大數(shù)據(jù)中數(shù)據(jù)的規(guī)模龐大，并且具有高度的復(fù)雜性，有一定的概率會出現(xiàn)云計(jì)算所無法解決的復(fù)雜現(xiàn)象。為了保證數(shù)據(jù)處理云服務(wù)的數(shù)據(jù)處理能力，云計(jì)算的軟硬件標(biāo)準(zhǔn)都需要進(jìn)一步提升，同時不斷的優(yōu)化數(shù)據(jù)處理的算法，保證數(shù)據(jù)處理能力的進(jìn)一步提升。

第三，數(shù)據(jù)挖掘能力問題。大數(shù)據(jù)中存在大量冗雜和低價值信息數(shù)據(jù)，而真正有價值的信息數(shù)據(jù)較少，為數(shù)據(jù)挖掘云服務(wù)的數(shù)據(jù)挖掘工作帶來了極大的困擾。如何解決大數(shù)據(jù)冗雜信息問題，提升數(shù)據(jù)挖掘云服務(wù)的數(shù)據(jù)挖掘能力，優(yōu)化數(shù)據(jù)挖掘算法，是數(shù)據(jù)挖掘云服務(wù)面臨的重要問題。

2.3 數(shù)據(jù)挖掘云服務(wù)建設(shè)存在的問題

基于云計(jì)算的數(shù)據(jù)挖掘云服務(wù)，具有傳統(tǒng)數(shù)據(jù)挖掘技術(shù)所無法媲美的強(qiáng)大能力。但在數(shù)據(jù)挖掘云服務(wù)建設(shè)中，依然存在著多種問題。首先，基于云計(jì)算的數(shù)據(jù)挖掘云服務(wù)核心目標(biāo)在于通過海量的信息資源，選擇用戶所需求的部分，為用戶提供決策參考和滿意的信息。這也就導(dǎo)致了用戶對于數(shù)據(jù)挖掘技術(shù)的需求方向產(chǎn)生了重要的轉(zhuǎn)變，更具有個性化和多樣化的特點(diǎn)。其次，數(shù)據(jù)挖掘云服務(wù)需要處理大量復(fù)雜、高維、動態(tài)的信息數(shù)據(jù)，對數(shù)據(jù)挖掘云服務(wù)能力提出了新的要求。

從本質(zhì)上而言，數(shù)據(jù)挖掘技術(shù)就是從海量不確定的數(shù)據(jù)中，針對個人的需求挑選出確定的信息，其最主要的任務(wù)，也是工作的難點(diǎn)，就是如何通過數(shù)據(jù)挖掘技術(shù)解決大數(shù)據(jù)所產(chǎn)生的不確定問題。而數(shù)據(jù)挖掘云服務(wù)對于不確定問題的應(yīng)對能力相對較差，主要體現(xiàn)在數(shù)據(jù)挖掘任務(wù)不清晰和挖掘方法不確定上。此外，對于數(shù)據(jù)挖掘結(jié)果也缺乏系統(tǒng)的評價，不利于數(shù)據(jù)挖掘水平的進(jìn)一步提升。

3 基于云計(jì)算的數(shù)據(jù)挖掘云服務(wù)模式

3.1 數(shù)據(jù)挖掘云服務(wù)的基本框架

一般而言，數(shù)據(jù)挖掘云服務(wù)的基本框架可以分為兩個部分。第一部分為云計(jì)算基礎(chǔ)平臺，云計(jì)算服務(wù)的供應(yīng)商建設(shè)硬件資源、網(wǎng)絡(luò)資源和計(jì)算資源，通過虛擬化技術(shù)實(shí)現(xiàn)計(jì)算資源的自主分配調(diào)度，并提供給服務(wù)對象和服務(wù)提供者自身的服務(wù)。雙方建立合作關(guān)系后，通過云基礎(chǔ)環(huán)境，進(jìn)入第二部分。在第二部分中，主要體現(xiàn)出了數(shù)據(jù)挖掘云服務(wù)用戶的基本需求，基本需求主要分為兩個主體。從云用戶數(shù)據(jù)挖掘需求的角度而言，主要通過聚類分析、關(guān)聯(lián)分析、分類、時序模式、偏差分析、估計(jì)與預(yù)測等方式，得到用戶數(shù)據(jù)挖掘結(jié)果的要求，再利用服務(wù)結(jié)果可視化技術(shù)，將所得的范本進(jìn)行展示并實(shí)現(xiàn)、從Web數(shù)據(jù)挖掘云服務(wù)提供商的角度而言，主要是通過數(shù)據(jù)挖掘算法的基本步驟，單獨(dú)地進(jìn)行數(shù)據(jù)挖掘服務(wù)，再通過分布式數(shù)據(jù)挖掘技術(shù)，完成數(shù)據(jù)挖掘的應(yīng)用服務(wù)。一般而言，需要經(jīng)過任務(wù)描述、數(shù)據(jù)采集、對象分析、數(shù)據(jù)預(yù)處理、數(shù)據(jù)挖掘和數(shù)據(jù)挖掘結(jié)果評價等幾個步驟。

3.2 數(shù)據(jù)挖掘云服務(wù)的用戶需求

在數(shù)據(jù)挖掘云服務(wù)中，用戶根據(jù)自身的需求，與云計(jì)算服務(wù)的供應(yīng)商進(jìn)行交流，而供應(yīng)商則根據(jù)用戶的需求提供數(shù)據(jù)挖掘云服務(wù)，并收取一定的服務(wù)費(fèi)用，是數(shù)據(jù)挖掘云服務(wù)運(yùn)行的一般流程。在這一過程中，云計(jì)算服務(wù)的供應(yīng)商首先需要優(yōu)化數(shù)據(jù)挖掘和分析算法，并針對用戶的特殊需求，對所提供的數(shù)據(jù)進(jìn)行儲存和分析。一般而言，數(shù)據(jù)挖掘云服務(wù)的算法共有四層。其中，最底層為基本步驟層，其主要運(yùn)用數(shù)據(jù)挖掘算法對大數(shù)據(jù)進(jìn)行初步的過濾和篩選工作，能夠剔除大部分無關(guān)的冗雜數(shù)據(jù)。第二層為數(shù)據(jù)挖掘?qū)樱饕峭ㄟ^聚類分析算法、關(guān)聯(lián)規(guī)則算法、分類算法等對數(shù)據(jù)進(jìn)行過濾、分類和處理。第三層為分布分析層，主要是通過分布式計(jì)算節(jié)點(diǎn)，對上一層所提供的信息數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘，最后一層為知識發(fā)現(xiàn)層，用于整合各個分布式節(jié)點(diǎn)所得出的信息數(shù)據(jù)，并整理提供給用戶，完成數(shù)據(jù)挖掘云服務(wù)工作。在這一過程中，供應(yīng)商需要不斷優(yōu)化數(shù)據(jù)處理算法，從而更適應(yīng)動態(tài)發(fā)展的大數(shù)據(jù)技術(shù)。

4 結(jié)語

在大數(shù)據(jù)高速發(fā)展的背景下，傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)已經(jīng)呈現(xiàn)出落后的態(tài)勢，存在的問題愈發(fā)突出，對數(shù)據(jù)挖掘技術(shù)的進(jìn)一步發(fā)展產(chǎn)生了消極影響。而基于云計(jì)算技術(shù)的數(shù)據(jù)挖掘云服務(wù)，能夠有效解決傳統(tǒng)數(shù)據(jù)挖掘技術(shù)存在的問題，因此成為數(shù)據(jù)挖掘技術(shù)發(fā)展的主要方向。在大數(shù)據(jù)挖掘分析中應(yīng)用云計(jì)算技術(shù)，其信息處理能力有了顯著提升，并且成本相對較低，能夠處理大量信息數(shù)據(jù)，但由于用戶具有多元化的需求，開展數(shù)據(jù)挖掘云服務(wù)的建設(shè)還有較大的困難?；谠朴?jì)算的數(shù)據(jù)挖掘云服務(wù)框架主要分為兩個部分，分別是云計(jì)算基礎(chǔ)平臺和數(shù)據(jù)挖掘云服務(wù)用戶基本需求，需要構(gòu)造完整的數(shù)據(jù)挖掘云服務(wù)體系結(jié)構(gòu)，再根據(jù)用戶的個性化和多元化需求，靈活地對自身算法進(jìn)行調(diào)整，從而達(dá)到提升數(shù)據(jù)挖掘云服務(wù)水平的目的。

參考文獻(xiàn)：

[1] 沈永梅，王暉.一種基于Hadoop的大數(shù)據(jù)挖掘云服務(wù)及應(yīng)用研究[J].數(shù)字技術(shù)與應(yīng)用，2016（06）：81.

[2] 何清，敖翔，莊福振，等.一種基于Hadoop的大數(shù)據(jù)挖掘云服務(wù)及應(yīng)用[J].信息通信技術(shù)，2015，9（6）：42-49.

[3] 張瑤，劉輝.基于云計(jì)算的數(shù)據(jù)挖掘平臺架構(gòu)及其關(guān)鍵技術(shù)探討[J].電子技術(shù)與軟件工程，2015（5）：218.