張喬微，李艷婷

(上海交通大學(xué) 機械與動力工程學(xué)院，上海 200240)

多元統(tǒng)計過程控制是制造業(yè)中必不可少的環(huán)節(jié)，針對多維正態(tài)數(shù)值型數(shù)據(jù)的控制圖發(fā)展已十分成熟，最受歡迎的是HotellingT2控制圖[1]、多元累積和(MCUSUM)控制圖[2]和多元指數(shù)加權(quán)移動平均(MEWMA)控制圖[3]。然而，這三類控制圖都存在一定的應(yīng)用局限性，它們都無法處理非正態(tài)型的數(shù)據(jù)。非參數(shù)控制圖的出現(xiàn)為這一問題提供了解決方案。Bakir[4]通過設(shè)計秩統(tǒng)計量，打破了原有控制圖在變量分布上的限制。Graham等[5]建立了一種非參數(shù)的EWMA控制圖，并且證明了其在受控過程中的魯棒性。除此之外，Zou等[6]通過一種自啟動算法也實現(xiàn)了對非正態(tài)變量的有效監(jiān)測。

然而，在實際應(yīng)用中，需要考察的數(shù)據(jù)可能不僅僅只有數(shù)值型變量，往往還包括名義型和順序型變量。例如在信用卡業(yè)務(wù)中，銀行需要根據(jù)顧客的個人信息評估其申請資格。當(dāng)待評估的顧客數(shù)量很多時，該過程可以被視為一個統(tǒng)計過程監(jiān)測問題。其中，有資格的顧客可以被視為受控狀態(tài)，無資格的顧客被視為失控狀態(tài)。顧客的信息通常包括很多變量，其中有數(shù)值型變量，如顧客的年齡和銀行卡余額。還有名義型變量，例如信用卡申請歷史和申請目的。還有一些帶有明顯等級特征的順序型變量，如學(xué)歷等。在這種多維混合型數(shù)據(jù)的情況下，傳統(tǒng)的數(shù)值型控制圖已不再適用。如何有效地利用名義型和順序型變量，是混合型數(shù)據(jù)控制圖中的重點和難點。

Ning等[7]提出了一種可以有效處理混合型數(shù)據(jù)的Density-based控制圖，該控制圖將類別型變量轉(zhuǎn)化成數(shù)值型變量，然后結(jié)合LOF (local outlier factor)算法[8]來考量數(shù)據(jù)的異常程度。該控制圖使用自定義的數(shù)值來代替順序性變量，將混合型數(shù)據(jù)轉(zhuǎn)化為純數(shù)值型數(shù)據(jù)，最后利用純數(shù)值型控制圖進行監(jiān)測。然而隨著數(shù)據(jù)復(fù)雜性和維度的提高，這類自定義數(shù)值轉(zhuǎn)化的方法明顯存在設(shè)計上的主觀性和不合理性。Tuerhong等[9]使用高氏距離來衡量混合數(shù)據(jù)之間的距離，基于與其他數(shù)據(jù)的距離來衡量數(shù)據(jù)的異常程度，提出了基于高氏距離的混合型數(shù)據(jù)控制圖。但是僅僅使用數(shù)據(jù)間的距離來衡量數(shù)據(jù)的集中程度是不準(zhǔn)確的。Ding等[10]采用等級排名數(shù)來代替順序型數(shù)據(jù)，并結(jié)合MEWMA控制圖進行數(shù)據(jù)監(jiān)測。其控制圖的關(guān)鍵思想是順序型變量的屬性級別可以通過潛在的連續(xù)變量確定，混合型數(shù)據(jù)可以轉(zhuǎn)換為一系列標(biāo)準(zhǔn)化的等級數(shù)。但是，這種控制圖在實際場景中應(yīng)用時有許多限制。首先，它無法處理沒有任何數(shù)值特征的名義型變量。其次，用標(biāo)準(zhǔn)化的等級來替換數(shù)值變量會損失原數(shù)據(jù)信息，影響控制圖的準(zhǔn)確度。

現(xiàn)有的多維混合型數(shù)據(jù)控制圖存在一定的設(shè)計缺陷和應(yīng)用局限性，本文將介紹一種新的基于LOF算法的混合型數(shù)據(jù)控制圖，簡稱MLOF (mixed-type data local outlier outlier factor control chart)控制圖。該控制圖的創(chuàng)新主要在2個方面。首先是采用了一種新的混合型數(shù)據(jù)距離量度方案。該距離量度方案針對數(shù)值型、名義型和順序型這三類不同的變量分別制定了對應(yīng)的量度規(guī)則，使用信息熵這一新思路來衡量名義型變量間的距離，合理解決了名義型變量的量化問題。另一創(chuàng)新在于利用LOF算法來衡量數(shù)據(jù)的異常程度，并且通過與新距離量度的結(jié)合，將LOF算法的應(yīng)用范圍從一維延伸到多維，從只能處理數(shù)值型數(shù)據(jù)拓展到可以處理任意類型的數(shù)據(jù)。本文通過仿真案例和實例，比較了MLOF控制圖和現(xiàn)有多維混合型數(shù)據(jù)控制圖的表現(xiàn)，證明了該控制圖在混合型數(shù)據(jù)監(jiān)測過程中的優(yōu)勢。

1 混合型數(shù)據(jù)距離量度方案

1.1 混合型數(shù)據(jù)距離量度綜述

混合型數(shù)據(jù)距離度量的概念首先由Huang[11]在k-prototypes算法中提出。他將混合型數(shù)據(jù)間的距離轉(zhuǎn)化為數(shù)值部分和類別部分之和。其中，數(shù)值部分是所有數(shù)值變量的算術(shù)平方和，類別部分是所有類別型變量統(tǒng)計量為0或1的總和。0代表2個類別型變量屬性值相同，1代表2個類別型變量屬性值不相同。除此之外，為了提高信息的利用率和計算的準(zhǔn)確性，類別型變量還被賦予了一定的權(quán)重，權(quán)重值的大小取決于數(shù)值屬性的分布。但是，該算法并沒有提供具體的權(quán)重值確定規(guī)則。Ahmad等[12]認為越重要的屬性越獨立，與其他屬性的共現(xiàn)性越小。他們基于屬性之間的共現(xiàn)型定義不同屬性值之間的距離。這種方法具有一定的邏輯合理性，但是隨著屬性和屬性值數(shù)量的增加，由于屬性配對引起的計算復(fù)雜度是不言而喻的。Cheung等[13]從信息熵的角度來定義屬性的權(quán)重值。他們將不均勻度越大的屬性賦予越高的權(quán)重值。但是，該方法僅適用于類別型變量，難以確定數(shù)值型變量的權(quán)重值。而且該方法將所有類別型變量合并為一個大類，削弱了類別型變量的重要度，這在類別變量多時顯然是不合理的。統(tǒng)計過程控制中混合型數(shù)據(jù)的距離測量成為亟待解決的問題。本文介紹一個新的混合型數(shù)據(jù)距離度量方案，將混合型數(shù)據(jù)的變量分為數(shù)值型、名義型和順序型3種類型，然后分別介紹每一種變量對應(yīng)的距離度量規(guī)則。

1.2 數(shù)值型變量距離量度規(guī)則

數(shù)值型數(shù)據(jù)的距離可以直接由歸一化后的歐氏距離來表示。一般地，數(shù)據(jù)Xi和Xj包含r個數(shù)值型變量，那么Xi和Xj數(shù)值型部分的距離可以表示為

特別地，如果數(shù)值型變量之間存在協(xié)相關(guān)矩陣S，那么使用馬氏距離代替歐氏距離，數(shù)值型的部分的距離表示為

1.3 名義型變量距離量度規(guī)則

名義型變量往往只用來描述對象的某些特征，量化其不同屬性值之間的距離并不容易。例如，顏色這一變量通常用來描述產(chǎn)品的外觀，它的屬性值包含紅色、藍色、綠色等等。這些屬性值之間沒有順序性和數(shù)值性，無法用傳統(tǒng)的數(shù)值方法來評估不同顏色之間的差異。如果簡單地將不同屬性值之間的距離設(shè)置為1，相同屬性值之間的距離設(shè)置為0，無疑會造成信息量的丟失，影響結(jié)果的準(zhǔn)確性。

本文在Cheung等[13]的研究基礎(chǔ)上，使用信息熵的概念來定義名義型變量的距離量度，并使用不均勻性來表征信息熵的大小。新距離量度的創(chuàng)新點在于將信息熵最高的名義型變量的不同屬性值距離定義為1，而其他名義型變量的不同屬性值距離量度為其信息熵與最高信息熵的比率。通過這種處理方式，把每個名義型變量的距離量度值都限制在了區(qū)間 (0,1]中，同時可以在計算總距離時突出較高信息熵名義型變量的貢獻值。例如在信用卡申請資格評估這一過程中，用戶名這一變量的屬性值很多，其不均勻性很低，其在新方案下得到的距離量度會很低。從邏輯上來說，這一項變量對評估結(jié)果的影響確實不大，不應(yīng)該作為數(shù)據(jù)差異性衡量的重點考慮因素，這也驗證了新方案的合理性。

具體的名義型變量距離計算方法可以歸納如下。首先，將名義型變量的信息熵SA用不均勻度表示，具體計算方法為

其中，mA表示名義型變量A中所有屬性值的個數(shù)；F(Ai)表 示屬性值A(chǔ)i所 占的比例，i∈(1,2,···mA,)；max(S)表示所有變量不均勻度中最大的值。變量A不同屬性值之間的距離dA可以表示為其信息熵與最大不信息熵的比例。

一般地，數(shù)據(jù)Xi和Xj包含m個名義型變量，那么Xi和Xj名義型部分的距離可以表示為

其中，當(dāng)Xi和Xj在變量p上的屬性值相同時，為零；屬性值不相同時，由變量p的距離量度dp來表示。

1.4 順序型變量距離量度規(guī)則

除了名義型變量之外，還有另一種類別型變量，即順序型變量。這類變量的屬性值雖然沒有數(shù)值性，但是有著明顯的程度上的差異，例如習(xí)慣使用大、中、小來描述一個產(chǎn)品的大小。從直觀上看，屬性值大和小的差異明顯要大于屬性值大和中之間的差異。為了利用順序型數(shù)據(jù)的等級特點，和Ding等[10]處理順序型變量的方法相似，同樣利用等級數(shù)來代替順序型變量的屬性值，以量化不同屬性值之間的距離。

對于一個順序型變量，假設(shè)其一共有N個數(shù)據(jù)，在等級k上有nk個數(shù)據(jù)，那么這nk個數(shù)據(jù)對應(yīng)的等級數(shù)為那么等級k對應(yīng)的等級數(shù)可以表示為

一般地，數(shù)據(jù)Xi和Xj包含q個順序型變量，那么Xi和Xj順序型部分的距離可以表示為兩者在該類變量上不同屬性值對應(yīng)的等級數(shù)差的絕對值總和

1.5 混合型數(shù)據(jù)距離量度方案

通過上述規(guī)則，將數(shù)值型、名義型和順序型這3種變量的距離量度值都統(tǒng)一在[0, 1]區(qū)間內(nèi)，那么2個混合型數(shù)據(jù)之間的距離可以被表示為其對應(yīng)每一個變量的距離和。一般地，對于1個數(shù)值集D=每個對象都包括r個數(shù)值型變量、m個名義型變量和q個順序型變量，那么數(shù)據(jù)Xi和Xj之間的距離D(Xi,Xj)等于這3類變量的距離之和，即

2 MLOF控制圖設(shè)計

確定了混合型數(shù)據(jù)的距離量度方案后，采用LOF算法來衡量數(shù)據(jù)的異常程度，進一步完成MLOF控制圖的設(shè)計。本節(jié)將詳細介紹該算法的基本概念以及MLOF控制圖的具體構(gòu)建過程。

2.1 LOF算法

LOF算法是一種無監(jiān)督的離群檢測方法，是一種經(jīng)典的基于密度的異常點監(jiān)測算法，被廣泛應(yīng)用于故障檢驗[14]和多階段過程監(jiān)測[15]中。該算法基于數(shù)據(jù)的鄰域信息和密度來確定數(shù)據(jù)的異常程度。它會給數(shù)據(jù)集中的每一個點計算對應(yīng)的離群因子LOF值，若該值接近1，則其異常程度小。若該值越大，則該點的異常程度越高。LOF算法中的4個基本定義為k距離(kdistance)、可達距離(reachability distance)、局部可達密度(local reachability density)和局部異常因子(local outlier factor)。假設(shè)數(shù)據(jù)集D中有2個點a和b，上述4個概念的具體計算方法如下。

點a的k距離(k為整數(shù))表示從點a到其第k個最近鄰域點的距離，a的k個鄰域點被記為Nk?distance(a)。b到點a的可達距離定義為

這表示如果b∈Nk?distance(a)，那么點b到點a的可達距離等于a的k距離；如果b?Nk?distance(a)，那么點b到點a的可達距離等于點a、b之間的真實距離。

點a的局部可達密度定義為

lrdk(a)表 示點a相對于其Nk?distance(a)中所有點的平均可達距離，反映了點a的局部可達密度。

點a的局部異常因子定義為

LOF算法根據(jù)點的局部異常因子值判斷點的異常程度。如果該值越接近1，說明a與其鄰域點密度差不多，a可能和鄰域同屬一簇；如果這個值小于1，說明a的密度高于其鄰域點密度，a為密集點；如果這個比值越大于1，說明a的密度小于其鄰域點密度，a越可能是異常點。

2.2 控制界限的確定

確定了監(jiān)測過程統(tǒng)計量LOF，下一步就是確定控制圖的控制界限。由于LOF的分布未知且難以構(gòu)建，且實際檢測過程中的數(shù)據(jù)量難以保證，采用Bootstrap[16]的方法來確定控制界限。重采樣的過程如下。

1) 分別計算N個受控數(shù)據(jù)的LOF值：LOF1,LOF2,···,LOFN。

2) 通過Bootstrap方法從N個統(tǒng)計量中構(gòu)建500～1 000個樣本。

3) 根據(jù)設(shè)置的第一類錯誤值α 得到樣本的100(1?α)th分位數(shù)。

4) 重復(fù)上述步驟，MLOF控制圖的控制界限即為100(1?α)th分位數(shù)的平均值。

2.3 MLOF控制圖

確定了控制圖的監(jiān)測統(tǒng)計量和控制界限，就可以通過計算新觀測點的統(tǒng)計量來判斷系統(tǒng)是否發(fā)生異常。一般地，對于一個已知的受控混合型數(shù)據(jù)集D={X1,X2,···,Xi,···,Xn}，將其劃分為訓(xùn)練集和測試集2個部分。對于一個新的觀測點Xn+1，MLOF控制圖的構(gòu)建和監(jiān)測過程如下。

1) 根據(jù)新的混合型數(shù)據(jù)距離量度方案，計算測試集數(shù)據(jù)與訓(xùn)練集數(shù)據(jù)之間的距離，計算測試集所有數(shù)據(jù)的LOF值。

2) 使用Bootstrap重采樣的方法確定MLOF控制圖的控制界限H。

3) 計算Xn+1相 對于訓(xùn)練集的LOF值L OFXn+1。

4) 如果 LOFXn+1≥H，那么代表監(jiān)測系統(tǒng)失控，發(fā)出報警信號；如果 LOFXn+1＜H，代表沒有監(jiān)測到異常點，繼續(xù)步驟3)。

3 案例分析

基于高氏距離的混合型數(shù)據(jù)控制圖[9]是目前監(jiān)測效果較好的混合型數(shù)據(jù)控制圖。為了驗證MLOF控制圖的有效性，本文使用文獻[9]中所采用的代表性數(shù)據(jù)集以及所提及的模型的監(jiān)測結(jié)果來進行實驗對比。

3.1 仿真案例

信用卡申請數(shù)據(jù)集[17]中包含653個有效對象和9個名義型屬性。其中，357個對象屬于類別1，296個對象屬于類別2。本文將類別1看作受控狀態(tài)，將類別2視為失控狀態(tài)。在構(gòu)建控制圖的過程中，選取類別1中200個數(shù)據(jù)作為控制圖的訓(xùn)練集，剩余的157個數(shù)據(jù)作為測試集。在原數(shù)據(jù)的9個名義型屬性的基礎(chǔ)上，增加了10個服從正態(tài)分布(均值為0，方差為1)的數(shù)值型變量，將案例擴充成了一個19維的混合型數(shù)據(jù)。研究在名義型變量數(shù)量發(fā)生變化或數(shù)值型變量發(fā)生不同程度均值漂移時，MLOF控制圖和其他混合型數(shù)據(jù)控制圖的監(jiān)測效果。表1表示在不同仿真條件下，基于歐氏距離的局部K2控制圖(Euclidean-basedK2)[18]、基于歐氏距離的全局控制圖(Euclidean-based global)[19]、基于高氏距離的局部控制圖(local gower)、基于高氏距離的全局控制圖(global Gower)、基于高氏距離的控制圖(Gowerbased和MLOF控制圖(鄰域個數(shù)k=20)在10次實驗下的異常點檢測率和標(biāo)準(zhǔn)差(第一類錯誤設(shè)置為0.05)。其中，a、b、c分別表示均值偏移量為0.5 δ、1 δ、2 δ。S1—S10、M1—M10、L1—L10表示名義型變量個數(shù)為0～9。對于一個控制圖而言，檢測率越高，標(biāo)準(zhǔn)差越低，其監(jiān)測效果越好。加粗部分代表在該次仿真條件下表現(xiàn)最好的控制圖檢測率。

從表1可以看出，在大多數(shù)情況下，MLOF控制圖的表現(xiàn)都是最好的。當(dāng)名義型變量數(shù)量較多時，它優(yōu)于基于歐氏距離的控制圖。同時，在數(shù)值型變量均值偏移程度較大時，MLOF控制圖比基于高氏距離的控制圖監(jiān)測精度更高，標(biāo)準(zhǔn)差更低。這些結(jié)果表明，相比起現(xiàn)有混合型數(shù)據(jù)控制圖，MLOF控制圖的檢測率在類別型變量多、數(shù)值型變量均值偏移較大時具有更好的準(zhǔn)確性和穩(wěn)定性。

3.2 實例

德國信用卡數(shù)據(jù)集中[17]包含1 000個數(shù)據(jù)和20維屬性，其中700個數(shù)據(jù)屬于高信用度顧客數(shù)據(jù)，可以被視為受控數(shù)據(jù)。其余300個數(shù)據(jù)屬于低信用度顧客數(shù)據(jù)，即失控數(shù)據(jù)。相比于信用卡申請數(shù)據(jù)集，德國信用卡數(shù)據(jù)中的變量描述更為具體?？梢赃M一步將20維屬性分為7個數(shù)值型屬性、9個名義型屬性和4個順序型屬性。每一類屬性的具體信息如下。

數(shù)值型屬性包括：持卡時間，儲蓄賬戶余額，分期付款率，可支配收入百分比，居住年數(shù)，年齡，本銀行現(xiàn)有信用卡數(shù)量，擔(dān)保人數(shù)。

名義型屬性包括：信用還款歷史，申請目的，婚姻狀態(tài)和性別，擔(dān)保情況，財產(chǎn)情況，其他分期計劃，住房情況，是否有手機，是否是外國工作者。其中，每一個變量的具體屬性值及分布如圖1所示。

根據(jù)本文的名義型變量距離度量規(guī)則，每個屬性不同值之間的距離量度值計算結(jié)果如圖2所示。從圖2可以發(fā)現(xiàn)，屬性值類型少或分布均勻的屬性(例如變量“財產(chǎn)情況”，“是否有手機”)，具有更高的距離度量值，將對監(jiān)測結(jié)果的影響也較大。這些規(guī)律與上文的邏輯一致，即不均勻度較高的屬性應(yīng)具有較大的信息熵，在統(tǒng)計監(jiān)測過程中應(yīng)予以更多權(quán)重。MLOF控制圖距離量度的合理性被進一步驗證。

順序型屬性包括：賬戶狀態(tài)、儲蓄狀態(tài)、工作年限和工作類型。根據(jù)順序型變量距離量度規(guī)則，可以把順序型變量的屬性值轉(zhuǎn)化為相應(yīng)的等級數(shù)。具體的轉(zhuǎn)化結(jié)果如表2所示。

確定各類屬性的距離量度規(guī)則后，將前500個高信用度顧客數(shù)據(jù)作為訓(xùn)練集，其余200個高信用度顧客數(shù)據(jù)集作為測試集，結(jié)合LOF算法和Bootstrap方法完成MLOF控制圖的構(gòu)建。通過計算ROC曲線[20]下的面積，即AUC值，與基于高氏距離的控制圖進行監(jiān)測效果比較。AUC值越大，表示控制圖的監(jiān)測效果越好。圖3展示了在設(shè)置不同鄰域個數(shù)k(2～50)的的情況下，MLOF控制圖的AUC值。從圖中可以看出MLOF控制圖的監(jiān)測效果并沒有隨著k的變化有明顯規(guī)律性的變化，在德國信用卡數(shù)據(jù)集下，當(dāng)算法的鄰域個數(shù)為4時，MLOF控制圖的監(jiān)測效果最佳。

表1 信用卡申請數(shù)據(jù)集下不同控制圖的檢測率1)Table 1 Detection rates (%) of different control charts on credit approval dataset %

表3列出了MLOF控制圖和其他控制圖的最佳AUC值。從表中可以看出，MLOF控制圖與局部高氏距離控制圖表現(xiàn)相似，都比全局高氏距離控制圖和高氏距離TG2控制圖要好。為了進一步比較這2個控制圖，表4列出了在不同鄰域個數(shù)k下MLOF控制圖與局部高氏距離控制圖的AUC值。從表4可以看出，當(dāng)鄰域個數(shù)k大于10時，MLOF控制圖優(yōu)于局部高氏距離控制圖；而當(dāng)k較小時，則相反。這個現(xiàn)象可以從2種控制圖的原理來解釋。MLOF是一種基于密度的方法，相比于局部高氏距離控制圖，當(dāng)鄰域個數(shù)較多時可以較準(zhǔn)確地反映出更多的聚類特征。然而，局部高氏距離控制圖是一種基于距離的方法，較大的k會影響監(jiān)測的準(zhǔn)確性。這表明MLOF控制圖可能更適用于數(shù)據(jù)量大，聚類情況復(fù)雜的監(jiān)測場景中。

圖1 德國信用卡數(shù)據(jù)集名義型變量屬性值分布結(jié)構(gòu)圖Figure 1 The structure of ordinal categorical variables for German credit dataset

圖2 德國信用卡數(shù)據(jù)集名義型變量距離量度值Figure 2 The distance measures of ordinal categorical variables for German credit dataset

4 結(jié)論

混合型數(shù)據(jù)監(jiān)測問題是多維數(shù)據(jù)過程控制中的重點和難點。本文打破了傳統(tǒng)距離量度方案對變量類型的限制，充分利用名義型數(shù)據(jù)的信息熵和順序型數(shù)據(jù)的等級特性，建立了新的混合型數(shù)據(jù)屬性距離量度方案。通過將LOF算法與新的距離度量結(jié)合，打破了傳統(tǒng)的LOF算法的應(yīng)用局限性，完成了新MLOF控制圖的設(shè)計。仿真和實際的案例都證明了新控制圖的良好表現(xiàn)，這意味著它將在基于多維混合型數(shù)據(jù)的統(tǒng)計過程控制和聚類分析中都具有很好的應(yīng)用前景。在未來，還有以下2個方面值得研究：1) 是考慮結(jié)合降維方法對數(shù)據(jù)進行預(yù)處理，增加距離量度的準(zhǔn)確性：2) 合理制定時間、空間這類屬性標(biāo)簽的量化規(guī)則，使MLOF控制圖的應(yīng)用范圍可以拓展到含時空性的更復(fù)雜的場景中。

表2 德國信用卡集數(shù)據(jù)順序型變量轉(zhuǎn)化結(jié)果Table 2 The converted results of ordinal categorical variables for German credit dataset

圖3 MLOF控制圖在不同k下的AUC值Figure 3 The AUC values of MLOF control chart with various k

表3 不同控制圖的最佳AUC值Table 3 The best AUC values (%) of different control charts %

表4 MLOF控制圖和局部高氏距離控制圖在不同k下的AUC值比較Table 4 The AUC values (%) comparisons between MLOF and local Gower control chart with various k %