王　曉　陳文捷

【摘 要】數(shù)據(jù)挖掘技術(shù)為應(yīng)對信息爆炸,海量信息的處理提供了科學(xué)和有效的手段。本文介紹了數(shù)據(jù)挖掘的概念、對象、任務(wù)、過程、方法和應(yīng)用領(lǐng)域。

【關(guān)鍵詞】數(shù)據(jù)挖掘 信息分析 提取 知識

社會的發(fā)展進(jìn)入了網(wǎng)絡(luò)信息時代,各種形式的數(shù)據(jù)海量產(chǎn)生,在這些數(shù)據(jù)的背后隱藏著許多重要的信息,如何從這些數(shù)據(jù)中找出某種規(guī)律,發(fā)現(xiàn)有用信息,越來越受到關(guān)注。為了適應(yīng)信息處理新需求和社會發(fā)展各方面的迫切需要而發(fā)展起來一種新的信息分析技術(shù),這種技術(shù)稱為數(shù)據(jù)挖掘。數(shù)據(jù)挖掘就是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的實際應(yīng)用數(shù)據(jù)中,提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。

一、數(shù)據(jù)挖掘的對象

數(shù)據(jù)挖掘可以在任何類型的數(shù)據(jù)上進(jìn)行,即可以來自社會科學(xué),又可以來自自然科學(xué)產(chǎn)生的數(shù)據(jù),還可以是衛(wèi)星觀測得到的數(shù)據(jù)。數(shù)據(jù)形式和結(jié)構(gòu)也各不相同,可以是傳統(tǒng)的關(guān)系數(shù)據(jù)庫,可以是面向?qū)ο蟮母呒墧?shù)據(jù)庫系統(tǒng),也可以是面向特殊應(yīng)用的數(shù)據(jù)庫,如空間數(shù)據(jù)庫、時序數(shù)據(jù)庫、文本數(shù)據(jù)庫和多媒體數(shù)據(jù)庫等,還可以是Web數(shù)據(jù)信息。

二、數(shù)據(jù)挖掘的任務(wù)

數(shù)據(jù)挖掘的目標(biāo)是從海量數(shù)據(jù)中發(fā)現(xiàn)隱含的、有意義的知識。它的任務(wù)主要是分類、預(yù)測、時間序列模式、聚類分析、關(guān)聯(lián)分析預(yù)測和偏差分析等。

1.分類。分類就是按照一定的標(biāo)準(zhǔn)把數(shù)據(jù)對象劃歸成不同類別的過程。

2.預(yù)測。預(yù)測就是通過對歷史數(shù)據(jù)的分析找出規(guī)律,并建立模型,通過模型對未來數(shù)據(jù)的種類和特征進(jìn)行分析。

3.時間序列模式。時間序列模式就是根據(jù)數(shù)據(jù)對象隨時間變化的規(guī)律或趨勢來預(yù)測將來的值。

4.聚類分析。聚類分析是在沒有給定劃分類的情況下,根據(jù)數(shù)據(jù)信息的相似度進(jìn)行數(shù)據(jù)聚集的一種方法。

5.關(guān)聯(lián)分析預(yù)測。關(guān)聯(lián)分析就是對大量的數(shù)據(jù)進(jìn)行分析,從中發(fā)現(xiàn)滿足一定支持度和可信度的數(shù)據(jù)項之間的聯(lián)系規(guī)則。

6.偏差分析。偏差分析就是通過對數(shù)據(jù)庫中的孤立點數(shù)據(jù)進(jìn)行分析,尋找有價值和意義的信息。

三、數(shù)據(jù)挖掘的過程

數(shù)據(jù)挖掘使用一定的算法從實際應(yīng)用數(shù)據(jù)中挖掘出未知、有價值的模式或規(guī)律等知識,整個過程由數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)挖掘、模式評估、鞏固知識和運用知識等步驟組成。

1.數(shù)據(jù)準(zhǔn)備。數(shù)據(jù)挖掘的處理對象是數(shù)據(jù),這些數(shù)據(jù)一般存儲在數(shù)據(jù)庫系統(tǒng)中,是長期積累的結(jié)果。但往往不適合直接在這些數(shù)據(jù)上進(jìn)行知識挖掘,首先要清除數(shù)據(jù)噪聲和與挖掘主題明顯無關(guān)的數(shù)據(jù);其次將來自多數(shù)據(jù)源中的相關(guān)數(shù)據(jù)組合并;然后將數(shù)據(jù)轉(zhuǎn)換為易于進(jìn)行數(shù)據(jù)挖掘的數(shù)據(jù)存儲形式,這就是數(shù)據(jù)準(zhǔn)備。

2.數(shù)據(jù)挖掘。數(shù)據(jù)挖掘就是根據(jù)數(shù)據(jù)挖掘的目標(biāo),選取相應(yīng)算法及參數(shù),分析準(zhǔn)備好的數(shù)據(jù),產(chǎn)生一個特定的模式或數(shù)據(jù)集,從而得到可能形成知識的模式模型。

3.模式評估。由挖掘算法產(chǎn)生的模式規(guī)律,存在無實際意義或無實用價值的情況,也存在不能準(zhǔn)確反映數(shù)據(jù)的真實意義的情況,甚至在某些情況下與事實相反,因此需要對其進(jìn)行評估,從挖掘結(jié)果中篩選出有意義的模式規(guī)律。在此過程中,為了取得更為有效的知識,可能會返回前面的某一處理步驟中以反復(fù)提取,從而提取出更有效的知識。

四、數(shù)據(jù)挖掘的常用方法

1.決策樹方法。決策樹是一種常用于預(yù)測模型的算法,它通過一系列規(guī)則將大量數(shù)據(jù)有目的分類,從中找到一些有價值的、潛在的信息。它的主要優(yōu)點是描述簡單,分類速度快,易于理解、精度較高,特別適合大規(guī)模的數(shù)據(jù)處理,在知識發(fā)現(xiàn)系統(tǒng)中應(yīng)用較廣。它的主要缺點是很難基于多個變量組合發(fā)現(xiàn)規(guī)則。在數(shù)據(jù)挖掘中,決策樹方法主要用于分類。

2.神經(jīng)網(wǎng)絡(luò)方法。神經(jīng)網(wǎng)絡(luò)是模擬人類的形象直覺思維,在生物神經(jīng)網(wǎng)絡(luò)研究的基礎(chǔ)上,根據(jù)生物神經(jīng)元和神經(jīng)網(wǎng)絡(luò)的特點,通過簡化、歸納、提煉總結(jié)出來的一類并行處理網(wǎng)絡(luò),利用其非線性映射的思想和并行處理的方法,用神經(jīng)網(wǎng)絡(luò)本身結(jié)構(gòu)來表達(dá)輸入和輸出的關(guān)聯(lián)知識。

3.粗糙集方法。粗糙集理論是一種研究不精確、不確定知識的數(shù)學(xué)工具。粗糙集處理的對象是類似二維關(guān)系表的信息表。目前成熟的關(guān)系數(shù)據(jù)庫管理系統(tǒng)和新發(fā)展起來的數(shù)據(jù)倉庫管理系統(tǒng),為粗糙集的數(shù)據(jù)挖掘奠定了堅實的基礎(chǔ)。粗糙集理論能夠在缺少先驗知識的情況下,對數(shù)據(jù)進(jìn)行分類處理。在該方法中知識是以信息系統(tǒng)的形式表示的,先對信息系統(tǒng)進(jìn)行歸約,再從經(jīng)過歸約后的知識庫抽取得到更有價值、更準(zhǔn)確的一系列規(guī)則。因此,基于粗糙集的數(shù)據(jù)挖掘算法實際上就是對大量數(shù)據(jù)構(gòu)成的信息系統(tǒng)進(jìn)行約簡,得到一種屬性歸約集的過程,最后抽取規(guī)則。

4.遺傳算法。遺傳算法是一種基于生物自然選擇與遺傳機(jī)理的隨機(jī)搜索算法。數(shù)據(jù)挖掘是從大量數(shù)據(jù)中提取人們感興趣的知識,這些知識是隱含的、事先未知的、潛在有用的信息。因此,許多數(shù)據(jù)挖掘問題可以看成是搜索問題,數(shù)據(jù)庫或者數(shù)據(jù)倉庫為搜索空間,挖掘算法是搜索策略。應(yīng)用遺傳算法在數(shù)據(jù)庫中進(jìn)行搜索,對隨機(jī)產(chǎn)生的一組規(guī)則進(jìn)行進(jìn)化,直到數(shù)據(jù)庫能被該組規(guī)則覆蓋,就可以挖掘出隱含在數(shù)據(jù)庫中的規(guī)則。

五、數(shù)據(jù)挖掘的應(yīng)用

數(shù)據(jù)挖掘技術(shù)在各個需要進(jìn)行信息分析的領(lǐng)域得到十分廣泛的應(yīng)用。它可以帶來顯著的經(jīng)濟(jì)效益,不僅可以控制成本,也可以給企業(yè)帶來更多效益。在金融業(yè),可以通過信用卡歷史數(shù)據(jù)的分析,判斷哪些人有風(fēng)險,哪些人沒有;在超市,可以通過對超市交易信息的分析,安排貨價貨物擺設(shè),以提高銷售收入;在保險業(yè),可以通過對保險公司客戶記錄的分析,來判定哪些客戶是花費昂貴的對象;在學(xué)校,可以通過分析學(xué)校學(xué)生課程及成績等信息,來判斷課程之間的關(guān)系。此外,在醫(yī)學(xué)中,可以利用數(shù)據(jù)挖掘技術(shù)對疾病發(fā)作前后癥狀的分析,來對病癥進(jìn)行診斷;在體育運動中,利用數(shù)據(jù)挖掘技術(shù)對對抗性強(qiáng)的積極運動進(jìn)行分析,發(fā)現(xiàn)對方弱點,制定有效的戰(zhàn)術(shù)。

六、結(jié)束語

數(shù)據(jù)挖掘技術(shù)作為一個多學(xué)科交叉的新興學(xué)科,在研究領(lǐng)域和商業(yè)領(lǐng)域得到了越來越多的應(yīng)用,尤其是在市場營銷中取得了成功。企業(yè)每天都有海量數(shù)據(jù)產(chǎn)生,利用數(shù)據(jù)挖掘技術(shù)可以從這些數(shù)據(jù)信息中發(fā)現(xiàn)對企業(yè)有益的知識,給企業(yè)帶來經(jīng)濟(jì)效益,這也將促使數(shù)據(jù)挖掘技術(shù)不停的發(fā)展進(jìn)步。

參考文獻(xiàn):

[1]蘇新寧,楊建林,江念南,栗湘.數(shù)據(jù)倉庫和數(shù)據(jù)挖掘[M].北京:清華大學(xué)出版社,2006.

[2]Jiawei Han,Micheline Kamber著,范明,孟小峰等譯.數(shù)據(jù)挖掘:概念與技術(shù)[M].北京:機(jī)械工業(yè)出版社,2001.

[3]鄭緯民,黃剛.數(shù)據(jù)挖掘縱覽[EB/OL].http://www2.ccw.com.cn/99/9920/9920c01.asp,1999.