陳赟赟

(溫州商學院，浙江溫州325000)

大數據時代的數據挖掘技術研究

陳赟赟

(溫州商學院，浙江溫州325000)

隨著大數據時代的到來，互聯網絡、社交平臺等都在拓展其覆蓋范圍，各種各樣的數據信息不斷擴張。雖然大數據中蘊含著很多有價值的信息，但怎樣從海量的信息中獲取到用戶最需要的，是我們必須應對的挑戰(zhàn)。該文就大數據時代的數據挖掘技術展開分析。

大數據時代；數據挖掘；研究

大數據(Big Data)，也可以稱之為海量數據，是近年來隨著信息網絡技術的飛速發(fā)展而出現的一個新的概念。我們的工作、生活中有意無意地產生了大量的數據信息，比如網絡瀏覽，微信聊天，文字圖片，網絡購物等等。而怎樣有效地整理、分析這些數據，使其能夠為我們所用，是當前人們所關注的熱點課題。而應用好數據挖掘技術，從海量的數據信息中挖掘最有價值的那一部分，變得尤為關鍵。

1 數據挖掘的重要意義

隨著信息網絡技術的飛速發(fā)展，以及網絡瀏覽，微信聊天，網絡購物等的普及應用，全球數據呈現出爆發(fā)式的擴張，僅在2011年，就超過了1.8萬億GB。IDC(Internet Data Center，互聯網絡數據中心)預估，到2020年這一數值會擴大五十倍。無可置疑的是，我們已然邁入大數據時代。一方面，通過云計算技術為這些龐大的數據提供了可靠地存儲平臺，另一方面，通過數據挖掘技術從中挖掘、整理、分析，以為相關用戶提供所需要的信息。

數據挖掘正在發(fā)展成為一種通過IT技術對企業(yè)運營產生重大影響的管理策略。從其概念上來說，數據挖掘指的是這樣的一個過程：從海量、模糊、隨機的數據信息中挖掘得到有價值的、可用的數據，進而加以利用，為企業(yè)決策提供參考。應用科學、合理的方式方法，在各個領域慢慢累積而來的龐大數據中，是能夠尋找到最有價值信息的。特別是在部分信息化發(fā)展及應用比較多的領域，更是如此。例如：隨著銀行業(yè)的現代化發(fā)展，信息化建設逐漸趨于完善，每一天都會獲取到大量的數據，包括用戶的存取款信息、交易信息等等，數據挖掘在其中的應用意義重大。

2 數據挖掘的分析方法

數據的挖掘離不開可靠地分析方法，利用各種算法才能進行有效的數據挖掘，尋找到海量數據中蘊藏的規(guī)律。通過對各種分析手段的運用，能夠解決好各種類型的問題，而在實際應用中我們更要根據目標需要，使用最合適的方法。當前，最為常用的分析手段主要有以下幾種。

1)聚類分析。指的是對某些事物的集合實現分組，并構成由類似的事物所集合的各種分類的相應過程，其最終目標就是借助類似的方法來獲取數據分類。這是一種無預期，無監(jiān)督的過程，從所給數據中尋找到有價值的部分，并將其設置于一個相應的類。這與分類是不一樣的，由于其并不能知道其相應的屬性。我們可以利用聚類來獲知對象之間類聚的某些規(guī)律。當前，該種方法已被大量的使用在心理學、醫(yī)學、智能設備等行業(yè)。其按照隸屬度的不同一般分為以下兩類：硬聚類、模糊聚類。前者指的是將事物劃撥到相距最近聚類的類，不是這一個，就是那一個，也就是只能屬于某一類。后者指的是按照隸屬度的相應范圍的不同差別來劃撥，給出的某一樣本很有可能是屬于多個類型的類。兩者是不同的。

2)分類和預測。這屬于問題預測的兩個重要類型。分類，是預估分類(離散、無序的)標號，而預測則是構建連續(xù)值函數模型。分類，可以說是數據挖掘的基礎性步驟，它是對可預計的訓練數據集呈現出的相應特性，獲取各個類別的描述或特征來構建有關的分類。它是一種存在監(jiān)督的學習過程，是按照訓練數據集獲悉確定性描述來區(qū)分類別。分類方法有許多種，較為常用的包括：決策樹、貝葉斯、神經網路等等。預測，則是按照分類以及回歸來預估以后的規(guī)律。較為常用的預測方法包括：局勢外推法、回歸分析法等。

3)關聯分析。我們在日常生活中常常會發(fā)現，事物之間是具有盤根錯節(jié)的關聯的，當一個意外出現時，就會引發(fā)更多意外的出現。關聯分析這一方法，就是應用事物之間密切的關聯性來獲知它們之間的某些規(guī)律，接著利用發(fā)現的規(guī)律進行預估。比如：典型的案例購物籃分析，就是利用對消費者購物籃中商品的排列規(guī)律來進行分析，以獲得消費者的消費心理及特點，接著再依靠這些規(guī)律來為商場營銷對策的制定提供參考。

3 大數據時代數據挖掘技術的應用

1)科研領域。在目前的科研領域，常常要進行各種各樣的實驗數據的整理、分析，并努力尋找其中蘊含的規(guī)律，而這就要用到數據挖掘技術，以及相應的算法，有效的運用數據挖掘算法能夠迅速地找到數據中蘊含的規(guī)律，以及某些前所未見的理論、知識。比如，對未知領域的探求、對人體DNA的分析等等.

2)制造領域。在該領域，我們可以借助于對生產過程中的數據分析，來有效地提升生產效率以及產品質量，比如找出導致產品誤差的原因，找到限制生產率提升的原因，發(fā)現制造、生產過程中的各類變化因素等，進而對相應的步驟及技術加以改進，從而進一步提升企業(yè)的經濟效益。

3)通信領域。隨著通信行業(yè)的迅速發(fā)展，其技術、服務都已發(fā)展為一個極為復雜的數據載體，不但與當前的市場有關，更與未來的發(fā)展有關。在將現有的各種信息加以整合，并想要實現互動溝通的過程中，形成了龐大的數據，怎樣從其中找到相應的規(guī)律，已是通信行業(yè)想要發(fā)展必須解決的一個問題。而數據挖掘的應用，恰能對這一問題加以解決，以促進行業(yè)的可持續(xù)發(fā)展，比如：對系統(tǒng)載荷、通訊速率、數據容量、用戶反應等情況的分析；應用聚類分析，找到盜用模式或者異常狀況；應用關聯及序列分析，找到困擾通信行業(yè)發(fā)展的某些因素，從而更好地促進通信業(yè)務的改善。

4 結束語

隨著時代的發(fā)展，各種各樣的數據信息不斷擴張、變化，擁有了更為復雜多變的形式。這就需要我們應用數據挖掘技術，努力從中找到相應的規(guī)律及知識，同時，很多行業(yè)也正在對空間、時序等數據進行挖掘與分析。而大數據也推動著云計算的發(fā)展壯大，基于云計算的數據挖掘得以迅速發(fā)展。

[1]李濤,曾春秋,周武柏,等.大數據時代的數據挖掘——從應用的角度看大數據挖掘[J].大數據,2015,1(4)：57-80.

[2]李祥歌,王奇奇,郭軼博.基于大數據時代的數據挖掘及分析[J].電子制作,2015(3).

[3]史夢楚.數據挖掘在大數據時代下的應用[J].中國新通信,2017(8)：88-88.

TP311

A

1009-3044(2017)24-0023-02

2017-05-26

陳赟赟(1985—)，男，浙江溫州人，本科學歷，研究方向為信息系統(tǒng)。