李星星 段超

摘 要： 數(shù)據(jù)挖掘就是從海量數(shù)據(jù)中提取潛在有趣模式的過(guò)程。數(shù)據(jù)挖掘技術(shù)現(xiàn)已廣泛應(yīng)用于零售業(yè)、金融業(yè)、電信、網(wǎng)絡(luò)安全分析、農(nóng)業(yè)、醫(yī)療衛(wèi)生等領(lǐng)域，研究十分廣泛。

關(guān)鍵詞： 海量數(shù)據(jù)；數(shù)據(jù)挖掘；應(yīng)用研究

【中圖分類號(hào)】 TP311.1 【文獻(xiàn)標(biāo)識(shí)碼】 A【文章編號(hào)】 2236-1879（2018）14-0178-01

一、數(shù)據(jù)挖掘概念

數(shù)據(jù)挖掘比較公認(rèn)的定義是由U.M.Fayyad等人提出的：數(shù)據(jù)挖掘就是從海量數(shù)據(jù)中提取潛在有趣模式的過(guò)程[1]。還有一些術(shù)語(yǔ)，具有和數(shù)據(jù)挖掘類似但稍有不同的含義，如數(shù)據(jù)庫(kù)中知識(shí)挖掘、知識(shí)提取、數(shù)據(jù)/模式分析、數(shù)據(jù)考古等。數(shù)據(jù)挖掘技術(shù)最初是面向應(yīng)用層面的，不光可以實(shí)現(xiàn)檢索和統(tǒng)計(jì)專門數(shù)據(jù)庫(kù)的操作，還能夠在大量的數(shù)據(jù)集中實(shí)現(xiàn)小型、中型乃至大型系統(tǒng)的分析、歸納、推理等工作。

二、數(shù)據(jù)挖掘的基本任務(wù)

數(shù)據(jù)挖掘的目的就是發(fā)現(xiàn)有用的知識(shí)（即概念、規(guī)則和模式）。數(shù)據(jù)挖掘的基本任務(wù)主要有以下幾個(gè)方面：

（1）分類與預(yù)測(cè)。

分類屬于有監(jiān)督的學(xué)習(xí)，在構(gòu)建分類模型之前，在數(shù)據(jù)源中選取訓(xùn)練集數(shù)據(jù)并作分類標(biāo)記，然后運(yùn)用分類模型對(duì)訓(xùn)練集數(shù)據(jù)進(jìn)行分類，實(shí)在是按照樣本屬性相近的劃入一類，最后將完成訓(xùn)練的分類模型應(yīng)用到在未知類別的數(shù)據(jù)集中，獲得相應(yīng)的分類。預(yù)測(cè)是依據(jù)歷史數(shù)據(jù)和現(xiàn)有的數(shù)據(jù)建立兩種或兩種以上變量間相互依賴的函數(shù)模型，然后進(jìn)行預(yù)測(cè)或控制。

（2）聚類分析。

聚類分析是在識(shí)別數(shù)據(jù)的內(nèi)在規(guī)則后，將數(shù)據(jù)分成相似數(shù)據(jù)對(duì)象組，從而獲得數(shù)據(jù)的分布規(guī)律，劃分的原則是不同組間距離盡可能大，組內(nèi)距離盡可能小。聚類分析進(jìn)一步是打算從一組雜亂的數(shù)據(jù)中發(fā)掘隱藏其中的分類規(guī)則。聚類分析與分類模式模型不同，分類模式是使用有標(biāo)記樣本構(gòu)成的訓(xùn)練集的一種有監(jiān)督學(xué)習(xí)方法，則聚類模型是使用在無(wú)標(biāo)記的數(shù)據(jù)上的一種無(wú)監(jiān)督學(xué)習(xí)方法。近年來(lái)，聚類分析在圖像處理、商業(yè)分析、模式識(shí)別等有廣泛應(yīng)用。

（3）關(guān)聯(lián)規(guī)則。

關(guān)聯(lián)分析是通過(guò)對(duì)數(shù)據(jù)集中數(shù)據(jù)之間隱藏的相互關(guān)系的分析，揭露了具有相同類別的數(shù)據(jù)之間未知的關(guān)系。關(guān)聯(lián)分析就是將給定一組項(xiàng)集和一個(gè)記錄集合，通過(guò)對(duì)記錄集合的分析，推導(dǎo)項(xiàng)集間的相關(guān)性，側(cè)重確定數(shù)據(jù)中在不同領(lǐng)域之間的聯(lián)系，并找出符合用戶給定的最小支持度和最小置信度的依賴關(guān)系。著名的Apriori算法就屬于目前關(guān)聯(lián)規(guī)則中最常用的算法模型之一。

（4）時(shí)序模式。

時(shí)間序列預(yù)測(cè)是一種依據(jù)事物過(guò)去的歷史資料記錄延伸到未來(lái)的預(yù)測(cè)，是以時(shí)間序列所能反映現(xiàn)象的發(fā)展過(guò)程和規(guī)律性，建立比較精確地反應(yīng)動(dòng)態(tài)依存關(guān)系的數(shù)學(xué)模型，然后進(jìn)行引伸外推，預(yù)測(cè)其發(fā)展趨勢(shì)的方法。

（5）偏差檢測(cè)。

偏差檢測(cè)，也稱異常檢測(cè)，主要是從數(shù)據(jù)中提取其中的偏差和異常。偏差檢測(cè)的方法主要有：（1）基于鄰近度的技術(shù)；（2）基于模型的方法；（3）基于密度的技術(shù)。

三、數(shù)據(jù)挖掘的應(yīng)用領(lǐng)域

數(shù)據(jù)挖掘技術(shù)現(xiàn)已廣泛應(yīng)用于零售業(yè)、金融業(yè)、電信、網(wǎng)絡(luò)安全分析、農(nóng)業(yè)、醫(yī)療衛(wèi)生等領(lǐng)域。

（1）零售業(yè)方面：該方面的應(yīng)用最早是在美國(guó)，超市運(yùn)用數(shù)據(jù)挖掘分析售貨記錄從中發(fā)掘有關(guān)購(gòu)買商品的一些特征，來(lái)調(diào)整擺放商品的位置，提高了銷售額。

（2）電子商務(wù)方面：利用數(shù)據(jù)挖掘技術(shù)來(lái)分析系統(tǒng)中客戶購(gòu)買記錄，得到如學(xué)生、白領(lǐng)、教師等不同客戶群體，然后按照客戶群體的劃分來(lái)提供個(gè)性化的促銷活動(dòng)。

（3）金融業(yè)方面：美國(guó)花旗銀行運(yùn)用數(shù)據(jù)挖掘來(lái)智能分析銀行信用卡業(yè)務(wù)數(shù)據(jù)來(lái)區(qū)別客戶信用等級(jí)，其惡性透支減少了，且每年避免的損失達(dá)十幾億美元。結(jié)合分析客戶的刷卡記錄之后的結(jié)果實(shí)現(xiàn)對(duì)客戶的流失風(fēng)險(xiǎn)的預(yù)測(cè)；運(yùn)用數(shù)據(jù)挖掘來(lái)識(shí)別和判斷非正常的交易，有效地減少客戶和企業(yè)的意外損失；通過(guò)分析客戶消費(fèi)特點(diǎn)來(lái)推薦合適的理財(cái)產(chǎn)品。

（4）通信方面：為了發(fā)掘客戶潛在需求，通過(guò)對(duì)以往客戶行為特征數(shù)據(jù)挖掘分析，應(yīng)用挖掘結(jié)果在風(fēng)險(xiǎn)可控范圍內(nèi)來(lái)制定針對(duì)性的套餐設(shè)計(jì)與定價(jià)，提高了套餐的接受度，避免了老客戶的流失和增加了新入網(wǎng)數(shù)，實(shí)現(xiàn)了業(yè)務(wù)量的提升。

（6）網(wǎng)絡(luò)安全方面：計(jì)算機(jī)網(wǎng)絡(luò)安全管理部門在信息系統(tǒng)的安全管理中，運(yùn)用基于規(guī)則集的訪問(wèn)控制技術(shù)和系統(tǒng)網(wǎng)絡(luò)日志文件，通過(guò)數(shù)據(jù)挖掘技術(shù)檢測(cè)出系統(tǒng)未授權(quán)用戶非法訪問(wèn)受保護(hù)數(shù)據(jù)，來(lái)檢測(cè)黑客程序的入侵。

（7）在農(nóng)業(yè)方面，通過(guò)衛(wèi)星圖片作為信息源預(yù)測(cè)森林火災(zāi)的路徑和趨勢(shì)。Umama-heshwaran et al.[22]利用衛(wèi)星拍攝的圖片來(lái)研究森林火災(zāi)的產(chǎn)生以及發(fā)展時(shí)的動(dòng)態(tài)變化過(guò)程，開發(fā)了一個(gè)實(shí)時(shí)監(jiān)測(cè)系統(tǒng)，能夠?qū)崿F(xiàn)對(duì)森林火災(zāi)變化的檢測(cè)和跟蹤。

（8）在醫(yī)療方面，Maria-Luiza Antonie[2]通過(guò)對(duì)比數(shù)據(jù)挖掘技術(shù)中的關(guān)聯(lián)規(guī)則和神經(jīng)網(wǎng)絡(luò)來(lái)乳腺癌圖片的實(shí)驗(yàn)結(jié)果，分類精確率都能達(dá)到70%，而關(guān)聯(lián)規(guī)則效果更好。通過(guò)有效的乳腺癌圖片的分類可以減少醫(yī)生準(zhǔn)確獲取有效信息的工作量。

（9）在Web數(shù)據(jù)挖掘中，將數(shù)據(jù)挖掘應(yīng)用到搜索引擎，產(chǎn)生智能搜索引擎，給用戶提供一個(gè)高效、準(zhǔn)確的Web檢索工具。還將數(shù)據(jù)挖掘用到站點(diǎn)訪問(wèn)模式分析、網(wǎng)頁(yè)內(nèi)容自動(dòng)分類、聚類等[3]。

參考文獻(xiàn)

[1] 王國(guó)勛.基于多目標(biāo)決策的數(shù)據(jù)挖掘模型選擇研究：[博士學(xué)位論文].成都：電子科技大學(xué)，2013.

[2] 丁沖，范鈞，欒添.圖像數(shù)據(jù)挖掘相關(guān)研究綜述—概念和應(yīng)用[J].統(tǒng)計(jì)教育，2008（12）：8-12+7

[3] 楊占華，楊燕.數(shù)據(jù)挖掘在智能搜索引擎中的應(yīng)用[J].微計(jì)算機(jī)信息，2006（12）：244-246.