王 星，霍緯綱

(中國民航大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，天津 300300)

0 引 言

異常檢測技術(shù)廣泛應(yīng)用于現(xiàn)實(shí)生產(chǎn)領(lǐng)域，并與實(shí)際應(yīng)用場景密切相關(guān)[1]。例如從傳感器產(chǎn)生的時間序列數(shù)據(jù)中發(fā)現(xiàn)異常運(yùn)行狀態(tài)，網(wǎng)絡(luò)安全領(lǐng)域中網(wǎng)絡(luò)攻擊、異常流量的檢測，金融業(yè)中用戶信用卡交易數(shù)據(jù)的欺詐檢測。由于現(xiàn)實(shí)的異常檢測任務(wù)中異常十分稀少并且標(biāo)注十分的困難，使用以分類、預(yù)測為基礎(chǔ)的監(jiān)督模型通過學(xué)習(xí)訓(xùn)練數(shù)據(jù)的固定模式進(jìn)行異常檢測不僅應(yīng)用場景有限,而且待檢測數(shù)據(jù)含有噪聲且分布十分復(fù)雜時，異常檢測效果不佳[2]。

文獻(xiàn)[3-6]將變分自編碼器(variational autoencoder,VAE)[7]、生成對抗網(wǎng)絡(luò)(gererative adversarial net,GAN)[8,9]為代表的深度生成模型應(yīng)用于半監(jiān)督的異常檢測任務(wù)中。首先使用只由正常數(shù)據(jù)組成的訓(xùn)練集訓(xùn)練異常檢測模型收斂，模型能夠?qū)W習(xí)正常數(shù)據(jù)的高維復(fù)雜分布，再根據(jù)驗(yàn)證集得到異常判定閾值，最后將待檢測數(shù)據(jù)輸入到訓(xùn)練好的模型計(jì)算異常得分并與閾值比較進(jìn)行異常檢測[9-11]。基于深度生成模型的半監(jiān)督異常檢測模型根據(jù)數(shù)據(jù)的重建概率進(jìn)行異常檢測，減少了隨機(jī)噪聲對模型異常檢測效果的影響，因此具有更高的魯棒性和可解釋性[15]。

在異常檢測任務(wù)中，當(dāng)模型擬合分布與數(shù)據(jù)真實(shí)分布的支撐集沒有重疊或重疊很少時，VAE中用于度量兩個分布之間距離的KL散度(Kullback-Leibler divergence)沒有意義，而GAN中的JS(Jensen-Shannon divergence)散度為常數(shù)，都無法為模型學(xué)習(xí)輸入數(shù)據(jù)的真實(shí)分布提供有用的梯度信息[12]。同時，VAE模型使用變分推斷方法學(xué)習(xí)數(shù)據(jù)真實(shí)分布，該方法鼓勵神經(jīng)網(wǎng)絡(luò)模型將輸入樣本的潛變量分布編碼為高斯分布，限制了模型學(xué)習(xí)高維復(fù)雜分布的能力[13]。GAN模型從隨機(jī)噪聲向量中學(xué)習(xí)數(shù)據(jù)的真實(shí)分布，但是缺少自編碼器的網(wǎng)絡(luò)結(jié)構(gòu)使得模型在訓(xùn)練中存在訓(xùn)練模型崩潰(mode collapse)的問題[14]。

Wasserstein自編碼器[15](Wasserstein autoencoder,WAE)深度生成模型采用更易穩(wěn)定訓(xùn)練的自編碼器網(wǎng)絡(luò)結(jié)構(gòu)，并且使用最優(yōu)運(yùn)輸理論中的Wasserstein距離度量數(shù)據(jù)真實(shí)分布與模型擬合分布之間的距離，對樣本數(shù)據(jù)分布支撐集的拓?fù)湎拗聘伲蚨軐W(xué)習(xí)更加復(fù)雜的數(shù)據(jù)分布[16,17]。本文在原始WAE深度生成模型的基礎(chǔ)上結(jié)合收縮自編碼器(contractive autoencoder)理論[18]，通過引入F范數(shù)作為模型隱藏層單元的懲罰項(xiàng)來進(jìn)一步提高模型在異常檢測任務(wù)中的魯棒性，進(jìn)而提出WAE-AD異常檢測模型。該模型使用正常數(shù)據(jù)訓(xùn)練，再根據(jù)待檢測數(shù)據(jù)的重建概率計(jì)算異常得分，并與異常閾值比較進(jìn)行異常檢測。在多種異常檢測數(shù)據(jù)集上的結(jié)果表明WAE-AD異常檢測模型能夠明顯提高異常檢測性能指標(biāo)。

1 WAE深度生成模型及其改進(jìn)

1.1 WAE深度生成模型

生成模型假設(shè)訓(xùn)練數(shù)據(jù)集X={x1,x2,…,xn}中的樣本都由潛空間中的潛變量Z生成。其中，訓(xùn)練數(shù)據(jù)集的真實(shí)分布記為PX，模型對該訓(xùn)練數(shù)據(jù)集的擬合分布記為PG。最優(yōu)運(yùn)輸理論(optimal transport,OT)中的Wasserstein距離可以用來度量這兩個概率分布之間的距離。Wasserstein距離的原始定義為

(1)

基于Wasserstein距離定義構(gòu)造的WAE深度生成模型通過限制模型中潛變量Z的條件后驗(yàn)分布q(z) 與先驗(yàn)分布p(z) 相等：q(z)?∑xq(z|x)p(x)=p(z) 來學(xué)習(xí)數(shù)據(jù)的真實(shí)分布PX。模型訓(xùn)練時使用編碼器網(wǎng)絡(luò)對樣本數(shù)據(jù)x進(jìn)行采樣計(jì)算得到潛變量Z的邊緣分布，再將Z輸入到生成器網(wǎng)絡(luò)進(jìn)行分布變換，得到訓(xùn)練數(shù)據(jù)的模型擬合分布。為了便于深度神經(jīng)網(wǎng)絡(luò)計(jì)算，WAE模型構(gòu)造p(z) 和q(z) 之間距離的懲罰項(xiàng)來放松模型中潛變量Z的約束。

本文選擇使用最大平均差異(maximum mean discre-pancy)作為懲罰項(xiàng)度量關(guān)于潛變量Z的兩個分布的距離。MMD距離使用核函數(shù)將兩個分布映射到高維空間并采樣計(jì)算得到分布的期望值，將產(chǎn)生的所有期望值的差值的上界定義為MMD距離。給定一個再生正定核函數(shù)k∶Z×Z→R,MMD距離的定義由式(2)表示

(2)

式中：Hk表示由正定核函數(shù)k構(gòu)成的再生希爾伯特空間(reproducing kernel Hilbert space,RKHS)。

WAE模型假設(shè)潛變量Z的先驗(yàn)分布為多元高斯分布N(Z;0,σ2·I)，并選擇使用高斯徑向基核函數(shù)(radial basis function kernel,RBF)計(jì)算MMD距離。由于MMD距離理論上是一個無偏估計(jì)量，模型訓(xùn)練時可以直接對q(z) 和p(z) 這兩個分布進(jìn)行采樣，并將得到的樣本數(shù)據(jù)輸入到深度神經(jīng)網(wǎng)絡(luò)，計(jì)算得到兩個分布的MMD距離。輸入一批樣本數(shù)據(jù)，其MMD距離可以通過式(3)進(jìn)行計(jì)算

(3)

JWAE(PX,PG)=EPXEQ(Z|X)[c(X,G(Z))]+λ·MMD

(4)

算法1：基于MMD距離的WAE深度生成模型

輸入：正則化系數(shù)λ>0，正常數(shù)據(jù)組成的訓(xùn)練數(shù)據(jù)集X={x1,x2,…,xn},正定核函數(shù)k，潛變量Z的先驗(yàn)分布p(z)，編碼器網(wǎng)絡(luò)Qφ,生成器網(wǎng)絡(luò)Gθ的初始化參數(shù)。

輸出：WAE模型

while(φ,θ)未收斂do:

從訓(xùn)練數(shù)據(jù)集X中采樣得到 {x1,x2,…,xn}

從先驗(yàn)分布中采樣得到 {z1,z2,…,zn}

fori=1 to n:

endfor

使用下面的公式更新Qφ和Gθ的參數(shù)

endwhile

1.2 改進(jìn)的WAE深度生成模型

當(dāng)輸入的訓(xùn)練數(shù)據(jù)集含有隨機(jī)擾動帶來的噪聲時，為了進(jìn)一步提高基于WAE模型的異常檢測性能，本文在WAE模型中引入收縮自編碼器理論。收縮自編碼器通過在傳統(tǒng)自編碼器模型的訓(xùn)練目標(biāo)函數(shù)中引入一個關(guān)于隱藏層單元的懲罰項(xiàng)來達(dá)到局部空間收縮的效果。該懲罰項(xiàng)是關(guān)于輸入數(shù)據(jù)的隱藏層單元表示的雅克比矩陣的F范數(shù)(Frobenius norm)，其目的是使特征空間在訓(xùn)練數(shù)據(jù)附近的映射達(dá)到收縮效果，具體表示為

(5)

式(5)作為自編碼器模型的懲罰項(xiàng)具有如下特性：當(dāng)該懲罰項(xiàng)具有較小的一階導(dǎo)數(shù)時，表明該輸入數(shù)據(jù)對應(yīng)的隱藏層表達(dá)比較平滑，那么當(dāng)輸入出現(xiàn)一定的噪聲時，隱藏層單元的表達(dá)不會發(fā)生較大的改變。WAE模型將式(5)作為懲罰項(xiàng)加入到損失函數(shù)中，減少了模型中隱藏層對輸入數(shù)據(jù)微小變化的敏感程度，進(jìn)一步提高了模型的魯棒性。改進(jìn)后的WAE模型的損失函數(shù)為

(6)

2 WAE-AD異常檢測模型

2.1 異常得分計(jì)算

如圖1所示，我們使用只包含正常樣本數(shù)據(jù)組成的訓(xùn)練集訓(xùn)練WAE模型收斂后，將待檢測數(shù)據(jù)x輸入到訓(xùn)練好的模型中，并利用式(7)中蒙特卡洛估計(jì)方法(Monte Carlo estimation)計(jì)算該樣本數(shù)據(jù)的重建概率(reconstruct probability)，L設(shè)定為固定采樣次數(shù)10次

圖1 異常得分計(jì)算

(7)

2.2 WAE-AD異常檢測模型

本文提出的基于WAE的異常檢測模型WAE-AD的總體框架如圖2所示。該模型由數(shù)據(jù)預(yù)處理模塊和異常檢測模塊兩部分組成。

圖2 WAE-AD異常檢測模型總體框架

(1)數(shù)據(jù)預(yù)處理模塊首先需要對數(shù)據(jù)集中的數(shù)據(jù)依次使用缺失值填充，連續(xù)型數(shù)據(jù)離散化，特征數(shù)據(jù)歸一化方法。該過程首先將待檢測數(shù)據(jù)處理為適合異常檢測任務(wù)要求的形式，然后將數(shù)據(jù)集劃分為3部分：只含有正常數(shù)據(jù)的訓(xùn)練集traindata，由正常數(shù)據(jù)和異常數(shù)據(jù)組成的驗(yàn)證集validationdata、測試集testdata。

(2)異常檢測模塊將validationdata中的數(shù)據(jù)輸入到訓(xùn)練好的WAE模型，并使用超參數(shù)搜索方法找到使得測試集中異常檢測性能指標(biāo)F1值(F1 score)最大的檢測閾值τ。然后在測試集testdata中記錄WAE-AD異常檢測性能指標(biāo)。該過程如算法2所示。

算法2：WAE-AD異常檢測算法

輸入:訓(xùn)練好的WAE模型，驗(yàn)證集validationdata，測試集testdata

輸出:檢測閾值τ

步驟1 確定異常檢測閾值τ的范圍和搜索步長;

步驟2 以F1值作為模型評價(jià)指標(biāo)，在validationdata數(shù)據(jù)集中找到F1使得值最大的τ值;

步驟3 將測試集testdata中的數(shù)據(jù)輸入到WAE模型中，根據(jù)式(6)計(jì)算異常得分，異常大于τ則為異常數(shù)據(jù);

步驟4 計(jì)算WAE-AD異常檢測的性能指標(biāo)。

3 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)準(zhǔn)備

實(shí)驗(yàn)中使用HTRU2脈沖星檢測和ULB信用卡欺詐檢測作為異常檢測數(shù)據(jù)集。兩種數(shù)據(jù)集都使用CSV文件存儲，數(shù)據(jù)樣本中類別0和1分別代表正常數(shù)據(jù)和異常數(shù)據(jù)。HTRU2脈沖星檢測數(shù)據(jù)集包含17 898條數(shù)據(jù)樣本，將1939條標(biāo)簽為1的脈沖星數(shù)據(jù)樣本視為異常數(shù)據(jù)，剩余 16 259 條標(biāo)簽為0的非脈沖星數(shù)據(jù)樣本作為正常數(shù)據(jù)，異常比例為9.157%。ULB信用卡欺詐檢測數(shù)據(jù)集中共有 284 807 條數(shù)據(jù)樣本，其中492條標(biāo)簽為1的欺詐數(shù)據(jù)樣本，異常數(shù)據(jù)比例為0.172%。兩個數(shù)據(jù)集都存在嚴(yán)重的數(shù)據(jù)傾斜，異常數(shù)據(jù)十分稀少，符合異常檢測任務(wù)要求。兩種數(shù)據(jù)集的詳細(xì)信息見表1。

表1 實(shí)驗(yàn)數(shù)據(jù)集統(tǒng)計(jì)信息

實(shí)驗(yàn)中使用Python數(shù)據(jù)分析工具包pandas讀取異常檢測數(shù)據(jù)集，ULB欺詐檢測數(shù)據(jù)集中每條樣本數(shù)據(jù)由經(jīng)過PCA主成分分析處理后的30個數(shù)值型特征屬性組成，HTRU2 數(shù)據(jù)集中每條樣本數(shù)據(jù)由表示待分類數(shù)據(jù)樣本的簡單統(tǒng)計(jì)信息的8個數(shù)值型特征屬性組成。對兩個實(shí)驗(yàn)數(shù)據(jù)集中的原始數(shù)據(jù)使用最小-最大歸一化方法進(jìn)行歸一化預(yù)處理，使用公式x′=(x-xmin)/(xmax-xmin) 將原始數(shù)據(jù)映射到[0,1]范圍內(nèi)，其中x為該數(shù)據(jù)的原始值，xmin為該屬性的最小值，xmax為該屬性最大值。

實(shí)驗(yàn)所用計(jì)算機(jī)的硬件配置為Inter i7-6700 CPU、Nvidia GTX1080GPU、16G內(nèi)存。編程環(huán)境采用Ubuntu16.04LTS操作系統(tǒng)，Python3.6及TensorFlow 1.10GPU深度神經(jīng)網(wǎng)絡(luò)開發(fā)工具。

3.2 模型設(shè)置及評價(jià)指標(biāo)

WAE-AD異常檢測模型中的編碼器網(wǎng)絡(luò)Encoder和解碼器網(wǎng)絡(luò)Decoder均采用全連接層(fully connected layers)實(shí)現(xiàn)的多層感知器MLP結(jié)構(gòu)模型。在WAE-AD異常檢測模型中，編碼器輸入層和解碼器輸出層神經(jīng)網(wǎng)絡(luò)的神經(jīng)元個數(shù)均為與待檢測數(shù)據(jù)集特征屬性個數(shù)相同，信用卡欺詐檢測中設(shè)置為30維，脈沖星檢測中設(shè)置為8維。隱藏層神經(jīng)網(wǎng)絡(luò)單元個數(shù)設(shè)置中，信用卡欺詐檢測任務(wù)設(shè)置為輸入層神經(jīng)元個數(shù)的一半，脈沖星檢測任務(wù)設(shè)置為與輸入層神經(jīng)元個數(shù)相同。

隨機(jī)抽取標(biāo)簽為0的正常數(shù)據(jù)的80%組成訓(xùn)練集traindata訓(xùn)練WAE-AD模型，批大小(batch size)設(shè)置為128，epoch設(shè)置為200，使用Adam算法優(yōu)化神經(jīng)網(wǎng)絡(luò)中的參數(shù)，學(xué)習(xí)率設(shè)為0.0001。隨機(jī)抽取剩余10%的正常數(shù)據(jù)和50%的異常數(shù)據(jù)組成驗(yàn)證集validationdata，并使用網(wǎng)絡(luò)搜索算法確定兩個超參數(shù)：潛變量Z的維度nZ和異常檢測閾值τ。由其余正常數(shù)據(jù)和異常數(shù)據(jù)組成測試集testdata，并選取合適評價(jià)指標(biāo)驗(yàn)證模型在異常檢測任務(wù)中的性能。

為驗(yàn)證WAE-AD模型在異常檢測任務(wù)中的有效性，選取了以下異常檢測模型作為對比：

OC-SVM(one class support vector machines)，它是使用核函數(shù)學(xué)習(xí)正常數(shù)據(jù)的決策邊界來進(jìn)行異常檢測的監(jiān)督模型。實(shí)驗(yàn)中選擇使用徑向基核函數(shù)(RBF kernel)，設(shè)置參數(shù)ν為待檢測數(shù)據(jù)集中的異常比例，參數(shù)γ為1/m，其中m為數(shù)據(jù)集的特征數(shù)，異常檢測中數(shù)據(jù)集劃分與WAE-AD模型相同。

AE-AD，使用與WAE-AD相同的模型結(jié)構(gòu)及參數(shù)，根據(jù)待檢測數(shù)據(jù)的重建誤差進(jìn)行異常檢測。

VAE-AD，使用WAE-AD模型相同的多層感知機(jī)MLP網(wǎng)絡(luò)結(jié)構(gòu)及參數(shù)，選擇各向同性的高斯分布作為潛變量Z的先驗(yàn)分布,最終根據(jù)待檢測數(shù)據(jù)的重建概率進(jìn)行異常檢測。

GAN-AD，該模型中生成器網(wǎng)絡(luò)結(jié)構(gòu)及參數(shù)與WAE-AD模型的生成器部分相同，鑒別器網(wǎng)絡(luò)采用兩層全連接網(wǎng)絡(luò)構(gòu)成的二分類神經(jīng)網(wǎng)絡(luò)。異常檢測中結(jié)合生成器網(wǎng)絡(luò)的重建概率和鑒別器網(wǎng)絡(luò)的分類輸出進(jìn)行異常檢測。

DAGMM[19](deep autoencoding Gaussian mixture model)，深度自編碼器部分使用和WAE-AD相同的結(jié)構(gòu)及參數(shù)，使用具有兩個分量的高斯混合模型(Gaussian mixture model，GMM)作為樣本似然概率估計(jì)部分。該模型使用待檢測數(shù)據(jù)的重建概率進(jìn)行異常檢測。

使用機(jī)器學(xué)習(xí)包scikit-learn及TensorFlow實(shí)現(xiàn)上述異常檢測模型，重復(fù)訓(xùn)練10次并計(jì)算以下性能指標(biāo)的平均值：

精確率(precision)：它表示所有被檢測為異常的樣本數(shù)據(jù)中，實(shí)際標(biāo)簽為異常的比例。P=TP/TP+FP，TP表示異常樣本被模型正確檢測到的數(shù)量，F(xiàn)P表示正常樣本被模型錯誤的檢測為異常數(shù)據(jù)樣本的數(shù)量。

召回率(recall)：它表示被正確檢測為異常的數(shù)據(jù)樣本占所有異常數(shù)據(jù)樣本的比例。R=TP/TP+FN，F(xiàn)N表示異常樣本數(shù)據(jù)被模型錯誤檢測為正常樣本數(shù)據(jù)的數(shù)量。

F1值是精確率和召回率的調(diào)和均值，能夠綜合衡量異常檢測模型的性能。它可以由F1=2TP/2TP+FP+FN計(jì)算得到。

3.3 實(shí)驗(yàn)結(jié)果及分析

(1)WAE-AD異常檢測模型中潛變量Z的維度nZ表征了模型對數(shù)據(jù)真實(shí)分布的擬合能力，當(dāng)潛變量Z的維度較低時，模型的表征能力不足，潛變量Z不能通過學(xué)習(xí)真實(shí)數(shù)據(jù)的低維流形來完全重建輸入的正常數(shù)據(jù)。當(dāng)潛變量Z的維度較高時，模型在潛空間中的低維流形存在過擬合，通過此過擬合的低維流形表示待檢測數(shù)據(jù)，解碼器網(wǎng)絡(luò)Decoder將無法對正常數(shù)據(jù)和異常數(shù)據(jù)進(jìn)行差異化重建。

為確定潛變量維度對異常檢測模型性能的影響，實(shí)驗(yàn)在兩個異常檢測任務(wù)的測試集traindata中設(shè)置其它參數(shù)相同，設(shè)定不同的潛變量維度，比較模型在測試集中的F1值來確定最優(yōu)的潛變量維度nZ。如圖3所示，HTRU2脈沖星檢測中，設(shè)置潛變量Z的維度nZ為2時，模型的F1值達(dá)到最大，為0.902，ULB信用卡欺詐檢測中，當(dāng)潛變量Z的維度nZ為4時，模型的F1值最大，達(dá)到0.773。

圖3 測試集中潛變量維度不同時模型的檢測性能比較

(2)表2、表3展示了各個異常檢測模型在HTRU2脈沖星檢測數(shù)據(jù)集和ULB信用卡欺詐檢測數(shù)據(jù)集中的性能表現(xiàn)，其中黑體表示最優(yōu)檢測指標(biāo)。從表中反映異常檢測模型性能的數(shù)值指標(biāo)可以看出，傳統(tǒng)的基于分類方法的異常檢測模型在面對異常檢測任務(wù)中嚴(yán)重的數(shù)據(jù)傾斜時，模型傾向于將全部待檢測樣本數(shù)據(jù)分類為正常數(shù)據(jù)，因此召回率指標(biāo)最差，體現(xiàn)了傳統(tǒng)機(jī)器學(xué)習(xí)模型的局限性。AE-AD模型使用數(shù)據(jù)的重建誤差進(jìn)行異常檢測,相比于OC-SVM的分類模型提高了異常檢測任務(wù)中的召回率指標(biāo)，因此改進(jìn)了模型的異常檢測性能。基于VAE、GAN的異常檢測模型使用輸入數(shù)據(jù)的重建概率進(jìn)行異常檢測，3種性能指標(biāo)均高于自編碼器異常檢測模型，顯示出了深度生成模型在異常檢測任務(wù)中的明顯優(yōu)勢。WAE-AD異常檢測模型在兩種數(shù)據(jù)集的異常檢測中性能指標(biāo)均為最高，超過了目前異常檢測中的最佳模型。并且和基于VAE、GAN的異常檢測模型相比，3種異常檢測性能指標(biāo)均有較大提高，驗(yàn)證了WAE-AD模型在異常檢測任務(wù)中的優(yōu)異性能。

表2 各異常檢測模型在HTRU2數(shù)據(jù)集中的性能比較

表3 各異常檢測模型在ULB數(shù)據(jù)集中的性能比較

(3)實(shí)驗(yàn)分別在HTRU2脈沖星檢測和ULB信用卡欺詐檢測的驗(yàn)證集traindata和測試集testdata中抽取3000例標(biāo)簽為0的正常數(shù)據(jù)和300例標(biāo)簽為1的異常數(shù)據(jù)輸入到訓(xùn)練好的WAE-AD模型中，通過TSNE算法可視化展示 WAE-AD 模型對異常數(shù)據(jù)和正常樣本的重構(gòu)輸出。圖4為 HTRU2 脈沖星檢測數(shù)據(jù)集重構(gòu)輸出的可視化展示，圖5為ULB脈沖星數(shù)據(jù)集重構(gòu)輸出的可視化展示。可以看出將待檢測數(shù)據(jù)輸入訓(xùn)練好的WAE-AD模型，模型的重構(gòu)輸出中正常數(shù)據(jù)和異常數(shù)據(jù)有較好的區(qū)分。

圖4 可視化HTRU2數(shù)據(jù)集的重構(gòu)輸出

圖5 可視化ULB數(shù)據(jù)集的重構(gòu)輸出

4 結(jié)束語

本文基于WAE深度生成模型提出改進(jìn)的半監(jiān)督異常檢測模型WAE-AD。該模型使用Wasserstein距離度量數(shù)據(jù)真實(shí)分布與模型擬合分布之間的距離，與基于VAE、GAN的異常檢測模型相比易于訓(xùn)練并且能夠?qū)W習(xí)更加復(fù)雜的數(shù)據(jù)真實(shí)分布。在多個公共數(shù)據(jù)集中的實(shí)驗(yàn)結(jié)果表明了WAE-AD模型在異常檢測任務(wù)中的優(yōu)異性能。下一步的研究工作中，可以從以下兩個方面進(jìn)行進(jìn)一步研究：一方面如何進(jìn)一步提高WAE-AD模型的分布學(xué)習(xí)能力，使得模型能夠?qū)W習(xí)更加復(fù)雜的數(shù)據(jù)真實(shí)分布，另一方面如何將該深度生成模型和無監(jiān)督學(xué)習(xí)方法相結(jié)合，擴(kuò)展WAE-AD異常檢測模型在實(shí)際應(yīng)用場景。