陳華華，陳哲，郭春生，應(yīng)娜，葉學(xué)義

杭州電子科技大學(xué)通信工程學(xué)院，杭州 310018

0 引 言

隨著科學(xué)技術(shù)的發(fā)展，數(shù)據(jù)的規(guī)模呈指數(shù)型增長，這些海量數(shù)據(jù)往往蘊(yùn)含著許多極具價(jià)值的潛在信息，如何捕獲并挖掘這些隱藏的潛在信息是一個(gè)亟需解決的問題，具有重要的現(xiàn)實(shí)意義。

聚類分析是數(shù)據(jù)挖掘領(lǐng)域的一種研究方法，也是目前用于發(fā)現(xiàn)數(shù)據(jù)間潛在信息的主要方法之一。聚類分析旨在發(fā)現(xiàn)數(shù)據(jù)間潛在的關(guān)系，并根據(jù)數(shù)據(jù)的特征等將數(shù)據(jù)聚為不同的類別，也稱為簇，使得簇內(nèi)的數(shù)據(jù)具有較小的差異性，簇間的數(shù)據(jù)具有較大的差異性。聚類分析已廣泛應(yīng)用于用戶畫像(張海濤 等，2018)、協(xié)同過濾推薦系統(tǒng)(吳湖 等，2010)、基因分析(岳峰 等，2008)、異常檢測(cè)(成寶芝 等，2017)和文本聚類(路榮 等，2012)等領(lǐng)域，吸引了越來越多的學(xué)者加入到聚類分析的研究隊(duì)伍中。

1 相關(guān)工作

MacQueen(1967)提出的K-means聚類算法和Ester等人(1996)提出的DBSCAN(density-based spatial clustering of applications with noise)聚類算法是兩個(gè)經(jīng)典的聚類方法。K-means算法的基本思想是將數(shù)據(jù)分為不同的類別，每一個(gè)類別具有一個(gè)聚類中心，根據(jù)數(shù)據(jù)到各聚類中心的距離更新優(yōu)化聚類劃分，反復(fù)迭代得到一個(gè)最佳的聚類結(jié)果。DBSCAN是一種基于密度的聚類算法，根據(jù)鄰域內(nèi)的點(diǎn)數(shù)判斷該區(qū)域是否屬于密集區(qū)域并形成臨時(shí)聚簇，將相連的臨時(shí)聚簇進(jìn)行合并得到更合理的聚簇分配。

然而，隨著數(shù)據(jù)維度的提高，經(jīng)典的聚類算法在應(yīng)對(duì)高維數(shù)據(jù)時(shí)往往存在維數(shù)災(zāi)難等問題，使得計(jì)算成本大幅增加并且效果不佳。近年來，深度神經(jīng)網(wǎng)絡(luò)得到了飛速的發(fā)展。因此，越來越多的研究人員將目光轉(zhuǎn)向利用深度學(xué)習(xí)進(jìn)行聚類分析。相比于傳統(tǒng)方法，深度學(xué)習(xí)能夠更好地得到數(shù)據(jù)特征的低維表示，提高聚類效果。Yang等人(2017)提出了DCN(deep clustering network)模型，該模型訓(xùn)練一個(gè)自編碼器AE(autoencoder),得到數(shù)據(jù)特征的低維表示，然后結(jié)合K-means聚類算法，將重構(gòu)損失和K-means聚類損失進(jìn)行聯(lián)合優(yōu)化，該模型聚類效果高于同時(shí)期的傳統(tǒng)算法。Xie等人(2016)提出了DEC(deep embedded clustering)模型，模型訓(xùn)練一個(gè)堆疊的自編碼器得到數(shù)據(jù)特征的低維表示，然后在此基礎(chǔ)上構(gòu)建聚類網(wǎng)絡(luò)。Opochinsky等人(2020)和Chazan等人(2019)用多個(gè)自編碼器建立深度聚類網(wǎng)絡(luò)，每個(gè)自編碼器表示一個(gè)簇，取得了更好的聚類效果。Duan等人(2019)采用自編碼生成一個(gè)深度嵌入網(wǎng)用于數(shù)據(jù)降維，學(xué)習(xí)一個(gè)softmax自編碼器用于估計(jì)簇的數(shù)目，獲得了較好的實(shí)驗(yàn)結(jié)果。但是自編碼器的目的主要是為了降維，網(wǎng)絡(luò)訓(xùn)練目標(biāo)是使解碼器輸出和輸入盡可能逼近，當(dāng)訓(xùn)練樣本與預(yù)測(cè)樣本不符合相同分布時(shí)，提取的特征往往比較差。與自編碼器相關(guān)的另一種編碼器是變分自編碼器(variational autoencoder，VAE)，Jiang等人(2017)和Lim等人(2020)提出了變分自編碼器用于聚類，先用VAE生成隱層特征，然后用混合高斯分布擬合隱層特征，聚類效果優(yōu)于經(jīng)典的聚類方法和一些生成式聚類方法。變分自編碼器采用標(biāo)準(zhǔn)正態(tài)分布作為先驗(yàn)，容易導(dǎo)致后驗(yàn)塌陷(Guo等，2020)，對(duì)不同類別數(shù)據(jù)的分布不能較好地逼近，影響編碼和解碼結(jié)果。為此，本文引入混合高斯分布作為先驗(yàn)，構(gòu)建混合高斯自編碼器生成隱層特征，學(xué)習(xí)數(shù)據(jù)的特征分布，并以此編碼器與聚類層結(jié)合形成聚類網(wǎng)絡(luò)，通過優(yōu)化編碼器隱層特征的軟分配分布與軟分配概率輔助目標(biāo)分布之間的KL散度(Kullback-Leibler divergence)對(duì)聚類網(wǎng)絡(luò)進(jìn)行訓(xùn)練。在基準(zhǔn)數(shù)據(jù)集MNIST(Modified National Institute of Standards and Technology Database)和Fashion-MNIST上的實(shí)驗(yàn)結(jié)果表明，本文網(wǎng)絡(luò)取得了較好的聚類效果，且優(yōu)于當(dāng)前多種流行的聚類方法。

2 聚類模型

2.1 混合高斯變分自編碼器

變分自編碼器(Kingma和Welling，2014)是深度學(xué)習(xí)領(lǐng)域一種近似推理的有向模型，它利用變分推斷與深度學(xué)習(xí)相結(jié)合，能夠?qū)W習(xí)到數(shù)據(jù)結(jié)構(gòu)化的特征表示或分布，是生成式建模中的一種重要方法。標(biāo)準(zhǔn)變分自編碼器的目標(biāo)函數(shù)可表示為

L(θ,φ;x)=-DKL[qφ(z|x)‖pθ(z)]+
Eqφ(z|x)[logpθ(x|z)]

(1)

式中，當(dāng)近似后驗(yàn)分布與假設(shè)先驗(yàn)分布之間的KL散度DKL[qφ(z|x)‖pθ(z)]最小時(shí)，目標(biāo)函數(shù)L(θ,φ;x)下限最大，從而使模型達(dá)到最優(yōu)。其中，E表示求期望，θ和φ分別是先驗(yàn)分布p和后驗(yàn)分布q的參數(shù)，x和z分別是變分自編碼器的輸入和隱層特征。但是，標(biāo)準(zhǔn)變分自編碼器中采用標(biāo)準(zhǔn)正態(tài)分布作為先驗(yàn)，可能引起后驗(yàn)塌陷(Guo等，2020)，并且容易忽略一些潛在的變量約束，導(dǎo)致對(duì)不同類別數(shù)據(jù)的分布不能較好地逼近，影響自編碼網(wǎng)絡(luò)的編碼和解碼結(jié)果。在這里，本文引入混合高斯分布作為先驗(yàn)，構(gòu)建變分自編碼器?；旌细咚瓜闰?yàn)可表示為

(2)

(3)

(4)

(5)

式中，ωi是第i個(gè)單高斯分布的系數(shù)，μ(i)和σ(i)2代表第i個(gè)單高斯分布的均值和方差。式(1)中等號(hào)右側(cè)的第1項(xiàng)是混合高斯分布近似后驗(yàn)與先驗(yàn)之間的KL散度，目前尚無高效的算法可以獲得它的解析解。為此，Hershey和Olsen(2007)提出了一種近似解法，采用變分推斷獲得KL 散度的上界。于是最小化KL 散度轉(zhuǎn)換為最小化其近似上界，該算法簡述如下：

設(shè)數(shù)據(jù)x的混合高斯分布f(x)和g(x)分別可表示為

(6)

(7)

(8)

式中，fi(x)和gi(x)分別代表f(x)和g(x)中等號(hào)右側(cè)第i個(gè)單高斯分布。

因此，式(1)中等號(hào)右側(cè)第1項(xiàng)可以表示為

(9)

式(1)中等號(hào)右側(cè)的第2項(xiàng)是重構(gòu)項(xiàng)，它的計(jì)算方式與標(biāo)準(zhǔn)變分自編碼器類似，具體為

(10)

式中，L是采樣的數(shù)量，zl的下標(biāo)l表示第l次采樣。由式(9)和式(10)可得到混合高斯分布后驗(yàn)與先驗(yàn)的變分下界，即

(11)

式(11)即為混合高斯分布自編碼器的目標(biāo)函數(shù)。

2.2 聚類網(wǎng)絡(luò)

本文在混合高斯變分自編碼器的基礎(chǔ)上，使用編碼器部分作為數(shù)據(jù)空間和特征空間之間的初始映射，將編碼器和聚類層組合成聚類網(wǎng)絡(luò)，如圖1所示。圖1中，以學(xué)習(xí)獲得的混合高斯分布自編碼器部分作為聚類網(wǎng)絡(luò)的編碼器部分，結(jié)合聚類層通過最小化輔助目標(biāo)分布和軟分配分布之間的KL散度學(xué)習(xí)聚類網(wǎng)絡(luò)。具體過程如下：

圖1 聚類網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 Structure of the clustering network

假設(shè)存在數(shù)據(jù)集{x(1),x(2),…,x(N)}，N為數(shù)據(jù)樣本的數(shù)量，輸入數(shù)據(jù)x(i)到混合高斯變分自編碼器中得到隱層特征z(i)，使用歐氏距離計(jì)算隱層特征z(i)到聚類中心c(t)的距離，c(t)表示第t個(gè)聚類中心，并使用t分布(van der Maaten和Hinton，2008)衡量隱層特征z(i)到聚類中心c(t)之間的相似度sit，也即特征z(i)分配到聚類類別t的軟分配概率(Dempster等，1977)，sit計(jì)算為

(12)

式中，χ代表t分布的自由度，由于聚類屬于無監(jiān)督學(xué)習(xí)，無法交叉驗(yàn)證χ的取值，因此本文取χ=1。將數(shù)據(jù)輸入到訓(xùn)練獲得的混合高斯變分自編碼器得到隱層特征，然后在特征空間采用混合高斯模型進(jìn)行聚類，得到T個(gè)聚類中心{c(1),c(2),…,c(T)}作為初始化的聚類中心。

本文采用最小化輔助目標(biāo)分布和軟分配之間的KL散度實(shí)現(xiàn)對(duì)模型的優(yōu)化，因此輔助目標(biāo)分布的選擇對(duì)聚類效果至關(guān)重要。Xie等人(2016)提出輔助目標(biāo)分布應(yīng)該更加注重高置信度的數(shù)據(jù)點(diǎn)，以提高聚類的準(zhǔn)確性。同時(shí)，需要?dú)w一化代價(jià)函數(shù)對(duì)每個(gè)聚類中心的貢獻(xiàn)，防止出現(xiàn)過大的聚簇導(dǎo)致隱層的特征空間扭曲。因此，將軟分配概率的輔助目標(biāo)分布pit定義為

(13)

由此，得到聚類層的損失Lcluster，定義為軟分配分布s與輔助目標(biāo)分布p之間的KL散度，采用隨機(jī)梯度下降法優(yōu)化損失函數(shù)。具體為

(14)

2.3 網(wǎng)絡(luò)結(jié)構(gòu)

本文中的變分自編碼器采用卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)，實(shí)現(xiàn)的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。網(wǎng)絡(luò)的編碼器部分，首先是核大小為3×3、步長為2、通道數(shù)為64的卷積層，激活函數(shù)采用ReLU(rectified linear unit)函數(shù)。考慮到池化層在實(shí)現(xiàn)下采樣時(shí)存在丟失有用信息的不足(Sabour等，2017)，本文采用核大小為3×3、步長為2的卷積層實(shí)現(xiàn)下采樣以保留重要信息。然后級(jí)聯(lián)大小為3 × 3、步長為2、通道數(shù)為128的卷積層，再級(jí)聯(lián)大小為3 × 3、步長為2、通道數(shù)為256的卷積層，然后連接兩個(gè)全連接層，維數(shù)分別是2 304和10。

解碼器部分在結(jié)構(gòu)上與編碼器部分是對(duì)稱的，首先是兩個(gè)級(jí)聯(lián)的全連接層，它們的維數(shù)分別是10和2 304，然后級(jí)聯(lián)一個(gè)維數(shù)變形層(reshape層)，將數(shù)據(jù)維度從2 304轉(zhuǎn)換為3 × 3 × 256，然后級(jí)聯(lián)3個(gè)卷積核大小為3 × 3的反卷積層，它們分別具有128通道、64通道、1通道。與編碼器類似，解碼器采用步長為2的反卷積層實(shí)現(xiàn)上采樣。解碼器在最后一層的反卷積層使用sigmoid函數(shù)作為激活函數(shù)，其余卷積層、反卷積層的激活函數(shù)都采用ReLU函數(shù)。

聚類網(wǎng)絡(luò)中，自編碼器的結(jié)構(gòu)直接采用混合高斯分布自編碼器的編碼部分，并以學(xué)習(xí)獲得的編碼器參數(shù)作為初始值，進(jìn)一步按式(14)所示目標(biāo)函數(shù)優(yōu)化學(xué)習(xí)聚類網(wǎng)絡(luò)。

3 實(shí)驗(yàn)結(jié)果分析

3.1 實(shí)驗(yàn)配置

實(shí)驗(yàn)采用的計(jì)算機(jī)配置如下：Intel(R)Core(TM)i5-7300HQ@2.50 GHz CPU，Windows 10，編譯器Python3.6，內(nèi)存為8 GB，編程環(huán)境為TensorFlow和Keras，編程語言為Python。網(wǎng)絡(luò)訓(xùn)練參數(shù)值采用正態(tài)分布隨機(jī)初始化，batch size為100，優(yōu)化方法為Adam優(yōu)化器，學(xué)習(xí)率為0.000 1。

為評(píng)估本文方法的有效性，采用了聚類分析中常用的MNIST(LeCun等，1998)數(shù)據(jù)集和Fashion-MNIST(Xiao等，2017)數(shù)據(jù)集分別進(jìn)行實(shí)驗(yàn)評(píng)測(cè)。MNIST數(shù)據(jù)集是LeCun等人(1998)在美國國家標(biāo)準(zhǔn)與技術(shù)研究院提供的手寫數(shù)據(jù)集的基礎(chǔ)上篩選，并進(jìn)行了尺寸標(biāo)準(zhǔn)化及數(shù)字中心化等處理的標(biāo)準(zhǔn)數(shù)據(jù)集，由60 000個(gè)訓(xùn)練樣本和10 000個(gè)測(cè)試樣本組成，每個(gè)樣本都是28 × 28像素的灰度圖像；Fashion-MNIST是一個(gè)替代MNIST手寫數(shù)字集的圖像數(shù)據(jù)集，由德國科技公司Zalando旗下的研究部門提供，涵蓋了10種類別共70 000個(gè)不同時(shí)尚商品的正面灰度圖像，圖像大小為28 × 28像素，包括T恤、褲子、套衫、裙子、外套、涼鞋、襯衫、運(yùn)動(dòng)鞋、包和靴子等10類商品。為簡化問題求解，實(shí)驗(yàn)中使用的混合高斯中高斯分量的個(gè)數(shù)M= 10，各分量的混合系數(shù)取經(jīng)驗(yàn)值為1/10，初始化聚類中心的個(gè)數(shù)T= 10。

3.2 評(píng)價(jià)指標(biāo)

采用聚類精度(accuracy，ACC)和標(biāo)準(zhǔn)互信息(normalized mutual information，NMI)作為評(píng)估指標(biāo)。

聚類精度ACC用于衡量算法得到的聚類標(biāo)簽準(zhǔn)確性，計(jì)算為

(15)

標(biāo)準(zhǔn)化互信息NMI是衡量兩個(gè)隨機(jī)事件之間相關(guān)性的重要指標(biāo)，也是常用的聚類評(píng)估指標(biāo)之一，這里用做衡量聚類標(biāo)簽與真實(shí)數(shù)據(jù)類別標(biāo)簽的契合程度。標(biāo)準(zhǔn)化互信息計(jì)算為

(16)

3.3 實(shí)驗(yàn)結(jié)果

本文模型分別在MNIST和Fashion-MNIST數(shù)據(jù)集上進(jìn)行了聚類實(shí)驗(yàn)。為了進(jìn)一步驗(yàn)證本文方法的有效性，與高斯混合模型(Gaussian mixture model，GMM)(Fraley和Raftery，1998)、VAE+K-means(Kingma和Welling，2014)、DEC(deep embedded clustering)(Xie等，2016)、IDEC(improved DEC)(Guo等，2017)、GMVAE(Dilokthanakul等，2017)、KADC (K-autoencoders deep clustering)(Opochinsky等，2020)、VaDE(variational deep embedding)(Jiang等，2017)、DCVA(deep clustering with VAE)(Lim等，2020)和ClusterGAN(clustering in generative adversarial networks)(Mukherjee等，2019)等算法進(jìn)行對(duì)比，對(duì)比結(jié)果如表1和表2所示。

從表1和表2可以看出，本文模型與GMM、VAE + K-means、DEC、IDEC、GMVAE、VaDE和DCVA相比，在MNIST和Fashion-MNIST數(shù)據(jù)集上的聚類精度ACC和標(biāo)準(zhǔn)互信息NMI均有較大提升。與KADC相比，本文方法在Fashion-MNIST數(shù)據(jù)集上的標(biāo)準(zhǔn)互信息NMI低于KADC。與ClusterGAN算法相比，本文算法在MNST數(shù)據(jù)集上的聚類ACC和標(biāo)準(zhǔn)互信息NMI優(yōu)于ClusterGAN，但在Fashion-MNIST數(shù)據(jù)集上略遜于ClusterGAN算法。除了GMM和ClusterGAN方法，其他方法都是從AE或VAE基礎(chǔ)上發(fā)展起來的，其中性能最好的VaDE方法對(duì)聚簇采用單個(gè)質(zhì)心表示嵌入空間中的向量，而本文方法采用一個(gè)混合高斯自動(dòng)編碼器網(wǎng)絡(luò)表示嵌入空間中的向量，這樣對(duì)每個(gè)聚簇可以實(shí)現(xiàn)更豐富的表示，同時(shí)輔助目標(biāo)分布的引入提高了聚類的準(zhǔn)確性，防止了隱層的特征空間扭曲，使得算法具有良好的聚類表現(xiàn)；ClusterGAN和本文方法雖然都屬于生成式聚類方法，但是兩者無論是從網(wǎng)絡(luò)結(jié)構(gòu)還是實(shí)現(xiàn)思路上屬于兩個(gè)不同的方法類別，ClusterGAN是目前聚類性能最好的生成對(duì)抗網(wǎng)絡(luò)，本文方法與該方法的性能相當(dāng)?？傮w而言，本文算法具有較好的聚類結(jié)果。

表1 不同算法在MNIST和Fashion-MNIST數(shù)據(jù)集上的ACC比較Table 1 Comparison of ACC among different algorithms on MNIST and Fashion-MNIST datasets /%

表2 不同算法在MNIST和Fashion-MNIST數(shù)據(jù)集上的NMI比較Table 2 Comparison of NMI among different algorithms on MNIST and Fashion-MNIST datasets /%

此外，由表1和表2還可知，盡管MNIST和Fashion-MNIST都是28 × 28像素的高維圖像數(shù)據(jù)，具有相同的數(shù)據(jù)維度，但是無論是ACC指標(biāo)還是NMI指標(biāo)，各方法除了GMM方法在改變數(shù)據(jù)集時(shí)指標(biāo)下降比較小，其他方法都出現(xiàn)了大幅度下降，這是因?yàn)镸NIST數(shù)據(jù)集由灰度變化范圍小的圖像組成，紋理特征信息比較單一，主要是字符的邊界信息，在描述數(shù)據(jù)特征時(shí)對(duì)各模型的特征表述能力要求相對(duì)較低，而Fashion-MNIST數(shù)據(jù)集由灰度變化范圍大的圖像組成，紋理特征信息比較豐富，如衣服、鞋子和包等豐富的內(nèi)部紋理和邊緣，在描述數(shù)據(jù)特征時(shí)對(duì)各模型的特征表述能力要求較高，而目前的方法對(duì)Fashion-MNIST數(shù)據(jù)集的特征信息表達(dá)均不是很強(qiáng)，導(dǎo)致聚類性能明顯劣于MNIST數(shù)據(jù)集。

圖2列出了本文模型在MNIST和Fashion-MNIST數(shù)據(jù)集中每個(gè)類的10幅圖像，其中每一行對(duì)應(yīng)一個(gè)聚簇。由圖2(a)可知，本文模型對(duì)MNIST數(shù)據(jù)集的聚類結(jié)果較為準(zhǔn)確，但出現(xiàn)了若干“4”和“9”混淆的情況，這一結(jié)果與“4”和“9”的外觀特征相似有關(guān)。由圖2(b)可知，F(xiàn)ashion-MNIST數(shù)據(jù)集下的每個(gè)聚類依次為涼鞋、外套、靴子、套衫、褲子、運(yùn)動(dòng)鞋、T恤、襯衫、包和裙子。聚類結(jié)果中的涼鞋、靴子、褲子、運(yùn)動(dòng)鞋、T恤衫、包和裙子等類別的聚類較為準(zhǔn)確，在外套、套衫和襯衫這3類中出現(xiàn)了若干次混淆的情況，這一結(jié)果的產(chǎn)生與這3類物體的外觀較為相似有關(guān)，區(qū)分這3類物品更依賴于內(nèi)部紋理特征的差異。

圖2 MNIST和Fashion-MNIST數(shù)據(jù)集的聚類結(jié)果Fig.2 Clustering results on MNIST and Fashion-MNIST datasets ((a) MNIST；(b) Fashion-MNIST)

圖3列出了本文模型與ClusterGAN算法在Fashion-MNIST數(shù)據(jù)集下的重建結(jié)果。由圖3可知，ClusterGAN算法重建得到圖像的紋理特征較本文模型清晰，其在紋理特征的提取與重建上優(yōu)于本文方法。因此，ClusterGAN的聚類效果在Fashion-MNIST數(shù)據(jù)集上略優(yōu)于本文算法。

圖3 本文模型與ClusterGAN算法的重建結(jié)果Fig.3 Reconstruction of the proposed network and ClusterGAN((a) ours；(b) ClusterGAN)

3.4 結(jié)構(gòu)復(fù)雜度分析

本文模型在Fashion-MNIST數(shù)據(jù)集上的聚類指標(biāo)略低于ClusterGAN算法。本文模型和ClusterGAN算法都屬于生成式聚類方法，不同的是ClusterGAN采用生成對(duì)抗網(wǎng)絡(luò)用于聚類，而本文采用混合高斯分布的變分自編碼器。對(duì)這兩種算法的模型參數(shù)量進(jìn)行了比較分析，如表3所示。

表3 本文模型與ClusterGAN算法的模型參數(shù)量比較Table 3 Comparison of the number of parameters in the proposed network and ClusterGAN

由表3可知，本文模型參數(shù)量不及ClusterGAN算法的1/10，遠(yuǎn)小于ClusterGAN算法，是一個(gè)更輕量級(jí)的網(wǎng)絡(luò)模型，這使得本文模型占用更小的存儲(chǔ)空間，降低了對(duì)內(nèi)存的需求，同時(shí)能夠?qū)崿F(xiàn)更快的運(yùn)行速度，在Fashion-MNIST數(shù)據(jù)集上的性能差異小于2%。

4 結(jié) 論

本文提出了一種基于混合高斯變分自編碼器的聚類網(wǎng)絡(luò)模型，以混合高斯分布為先驗(yàn)建立變分自編碼器，學(xué)習(xí)數(shù)據(jù)的特征分布，然后將編碼器與聚類層結(jié)合構(gòu)建聚類網(wǎng)絡(luò)，采用編碼器隱層特征的軟分配分布與軟分配概率輔助目標(biāo)分布之間的KL散度作為目標(biāo)函數(shù)，對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練和優(yōu)化。在基準(zhǔn)數(shù)據(jù)集MNIST和Fashion-MNIST上進(jìn)行了評(píng)價(jià)和比較，對(duì)比實(shí)驗(yàn)結(jié)果表明，采用混合高斯自動(dòng)編碼器網(wǎng)絡(luò)對(duì)每個(gè)聚簇可以實(shí)現(xiàn)更豐富的表示，輔助目標(biāo)分布的引入使得算法具有良好的聚類表現(xiàn)，使得本文方法在聚類ACC和標(biāo)準(zhǔn)互信息NMI指標(biāo)都優(yōu)于當(dāng)前的一些聚類算法，取得了較好的聚類效果。

但是本文算法也存在兩個(gè)不足：1)在模型建立上，先驗(yàn)和后驗(yàn)中的高斯分量個(gè)數(shù)設(shè)為相同，雖然實(shí)驗(yàn)結(jié)果優(yōu)于當(dāng)前的一些聚類算法，但是處理方法只是對(duì)實(shí)際情況的簡化處理，與實(shí)際情況存在一些差別，實(shí)際更一般的情況中，先驗(yàn)和后驗(yàn)中的高斯分量個(gè)數(shù)并不相同，如何優(yōu)化求解這個(gè)問題是個(gè)難題；同時(shí)，本文中各高斯分量的混合系數(shù)不是通過數(shù)學(xué)優(yōu)化求得的最佳混合系數(shù)，而是根據(jù)經(jīng)驗(yàn)設(shè)定為等概率混合的，缺乏完善的理論支持。2)在模型對(duì)信息的表達(dá)能力上，當(dāng)處理復(fù)雜紋理特征時(shí)，紋理特征的重建效果有待提高。上述問題將是下一步研究的重點(diǎn)。