杜曉春，劉 林

（西安歐亞學(xué)院，710065）

目前，針對(duì)數(shù)據(jù)挖掘的應(yīng)用非常的多，幾乎覆蓋了各個(gè)不同的領(lǐng)域。在地質(zhì)領(lǐng)域，我們一般采用空間數(shù)據(jù)挖掘技術(shù)來(lái)進(jìn)行地質(zhì)數(shù)據(jù)的集中處理。這樣，也就找到了傳統(tǒng)地質(zhì)數(shù)據(jù)處理方法與空間數(shù)據(jù)挖掘技術(shù)對(duì)接的方法，建立了一種適合地質(zhì)行業(yè)的地質(zhì)數(shù)據(jù)預(yù)處理模型，從而使各單位的地質(zhì)數(shù)據(jù)具有統(tǒng)一的標(biāo)準(zhǔn)，方便地質(zhì)人員進(jìn)行數(shù)據(jù)分析。

本次研究的數(shù)據(jù)主要從陜西省氣象局和陜西省水利廳獲得。眾所周知，地下水系統(tǒng)、氣象系統(tǒng)都是非常復(fù)雜的、持續(xù)變化的系統(tǒng)，它們都只存在相對(duì)的穩(wěn)定。變化是一個(gè)復(fù)雜的非線性過(guò)程，它受諸多自然和人為因素的影響。因此，在進(jìn)行數(shù)據(jù)挖掘前需要在實(shí)際生活中搜集相關(guān)的數(shù)據(jù)，而這些搜集而來(lái)的原始數(shù)據(jù)往往有很多問(wèn)題不便于研究人員進(jìn)行直接的分析和統(tǒng)計(jì)，如圖1所示。它們的主要問(wèn)題有：數(shù)據(jù)雜亂無(wú)章，因?yàn)榇蟛糠衷紨?shù)據(jù)都是從生活中搜集來(lái)的，這些數(shù)據(jù)在產(chǎn)生前并沒(méi)有經(jīng)過(guò)統(tǒng)一的定義，也就是說(shuō)，并沒(méi)有統(tǒng)一的標(biāo)準(zhǔn)，數(shù)據(jù)的格式、結(jié)構(gòu)都有很大的不同，因此，將這些在不同情況下搜集來(lái)的數(shù)據(jù)根本無(wú)法直接放在一起比較。

本次數(shù)據(jù)選取了有代表性的連續(xù)性數(shù)據(jù)，其中，主要選擇了五段相對(duì)完整的數(shù)據(jù)分別是寶雞地下水?dāng)?shù)據(jù)（1956-1971年段）、寶雞的氣象數(shù)據(jù)（1956—1971年段）；西安地下水?dāng)?shù)據(jù)（1966—1974年段）、西安的氣象數(shù)據(jù)（1966—1974年段）；西安五縣的氣象數(shù)據(jù)（1956—1971年段）、山西某地的地下水分析數(shù)據(jù)（1956—1971年段）等。對(duì)于這些數(shù)據(jù)，我們需要進(jìn)行預(yù)處理。數(shù)據(jù)預(yù)處理的主要過(guò)程包括：數(shù)據(jù)集成、數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)裝載等。

數(shù)據(jù)的預(yù)處理結(jié)束后，可以通過(guò)數(shù)據(jù)變化找到數(shù)據(jù)的特征表示，包括規(guī)格化、歸納、切換、旋轉(zhuǎn)和投影等操作。其目的是將數(shù)據(jù)轉(zhuǎn)換成適于挖掘的形式。這里，我們應(yīng)用云理論來(lái)進(jìn)行數(shù)據(jù)的變換。

云是用自然語(yǔ)言值表示的某個(gè)定性概念與其定量表示之間的不確定性轉(zhuǎn)換模型。云由許多云滴組成，每一個(gè)云滴就是這個(gè)定性概念在數(shù)域空間中的一次具體實(shí)現(xiàn)。如果給定符合某一正態(tài)云分布規(guī)律的一組云滴（xi，μi），即可利用逆向云發(fā)生器計(jì)算出它們所代表的正態(tài)云的三個(gè)數(shù)字特征（Ex，、En、He），即從實(shí)現(xiàn)定量到定性的轉(zhuǎn)換，將一定數(shù)量的精確數(shù)據(jù)有效轉(zhuǎn)換為以恰當(dāng)?shù)亩ㄐ哉Z(yǔ)言值{Ex，En，He}表示的概念，從而實(shí)現(xiàn)定性評(píng)價(jià)。

圖1 ：地下水?dāng)?shù)據(jù)資料

1 計(jì)算正態(tài)云的三個(gè)數(shù)字特征（Ex，、En、He）

這里我們將消除噪音以后的隨機(jī)函數(shù)作為云滴，采用劉常昱于2004年提出的一維逆向云發(fā)生器新算法來(lái)處理地下水的升降概念，具體算法如下：

輸出：這N個(gè)云滴表示的定性概念的期望Ex、En、He

算法：

2 劃分概念區(qū)間

概念區(qū)間的劃分采用五區(qū)間方案和三區(qū)間方案兩種。

(1)五區(qū)間方案

利用某一次定量值對(duì)定性概念的貢獻(xiàn)定義。把En一3He和En + 3He作為熵的上界和下界，將地下水的升降概念劃分為 [Ex-3En ，Ex-2En]，[Ex-2En ，Ex-En]，[Ex-En，Ex+En]，[Ex+En， Ex+2En]，[Ex+2En， Ex+3En]五個(gè)區(qū)間。[Ex-3En，Ex-2En]表示異常下降，[Ex-2En ，Ex-En]，表示異常下降，[Ex-En，Ex+En]表示穩(wěn)定，[Ex+En， Ex+2En]表示上升，[Ex+2En，Ex+3En]表示異常上升。

(2)三區(qū)間方案

利用某一次定量值對(duì)定性概念的貢獻(xiàn)定義。把En一3He和En + 3He作為熵的上界和下界，將地下水的升降概念劃分為[Ex-3En ，Ex-En]， [Ex-En，Ex+En]， [Ex+En， Ex+3En]三個(gè)區(qū)間。[Ex-3En ，Ex-En]，表示異常下降，[Ex-En，Ex+En]表示穩(wěn)定，[Ex+En， Ex+3En]表示上升。

3 建立空間數(shù)據(jù)庫(kù)

根據(jù)上述兩種區(qū)間劃分方案分別生成新的空間數(shù)據(jù)庫(kù)。各方案的轉(zhuǎn)換依據(jù)見(jiàn)表1和表2。

表1 基于五區(qū)間的概念劃分及轉(zhuǎn)換結(jié)果數(shù)據(jù)表

表2 基于三區(qū)間的概念劃分及轉(zhuǎn)換結(jié)果數(shù)據(jù)表

依據(jù)表1和表2系統(tǒng)生成三元表示的空間定性概念數(shù)據(jù)庫(kù)。由上表可見(jiàn)新生成的空間數(shù)據(jù)庫(kù)中對(duì)某一個(gè)因素的表達(dá)有下降、穩(wěn)定、上升三種狀態(tài)的，實(shí)現(xiàn)了不確定概念與定性概念的量化轉(zhuǎn)化，注意它不同于數(shù)據(jù)挖掘中常規(guī)的布爾型關(guān)系數(shù)據(jù)庫(kù)，故不能直接用常規(guī)數(shù)據(jù)挖掘中的關(guān)聯(lián)規(guī)則，需要開(kāi)發(fā)新的空間關(guān)聯(lián)規(guī)則算法。但不確定概念與定性概念的量化轉(zhuǎn)化模型已經(jīng)成立。

從上述分析可以看出，云理論的五區(qū)間方案和三區(qū)間方案最大限度的劃分出了主體對(duì)象云的主體，而五區(qū)間方案中剔除的非主體就是我們所要獲取的異常。顯然，剔除[Ex-2En ，Ex-En]、[Ex-En，Ex+En]、[Ex+En， Ex+2En]，而 保 留 [Ex-3En ，Ex-2En]、[Ex+2En， Ex+3En]，即是我們需要的異常（如，表3）。由此也得到了地質(zhì)數(shù)據(jù)的異常提取模型。

表3 基于五區(qū)間的概念劃分及轉(zhuǎn)換結(jié)果數(shù)據(jù)表

最終，我們可以通過(guò)處理后的數(shù)據(jù)建立地質(zhì)數(shù)據(jù)殘缺數(shù)據(jù)的補(bǔ)充模型，還可以建立地質(zhì)學(xué)中不確定概念與定性概念的量化轉(zhuǎn)化模型以及建立地質(zhì)數(shù)據(jù)的異常提取模型。

[1]張志兵著，《空間數(shù)據(jù)挖掘及其相關(guān)問(wèn)題研究》[M]，華中科技大學(xué)出版社，2011年10月。

[2]李德仁，王樹(shù)良，李德毅著，《空間數(shù)據(jù)挖掘理論與應(yīng)用》[M]，科學(xué)出版社，2006年10月。