鄧 祥，俞 璐

（陸軍工程大學(xué)，江蘇 南京 210007）

0 引言

聚類目標(biāo)是把相似的數(shù)據(jù)點(diǎn)劃分到同一個簇中，根據(jù)不同的聚類方式導(dǎo)出不同的聚類算法。根據(jù)聚類方式的不同，經(jīng)典聚類方法[1-9]將典型聚類算法分為原型聚類、密度聚類、圖聚類以及層次聚類等。原型聚類用一組原型刻畫聚類簇結(jié)構(gòu)，通過度量樣本與原型之間的距離確定樣本歸屬。密度聚類的主要目標(biāo)是尋找被低密度區(qū)域分割的高密度區(qū)域。圖聚類算法通過構(gòu)建一個基于相似度的無向加權(quán)圖把聚類問題轉(zhuǎn)化為圖的最優(yōu)劃分問題。層次聚類通過度量數(shù)據(jù)節(jié)點(diǎn)之間的相似性或者距離構(gòu)建一個樹形結(jié)構(gòu)，在不同層面上對數(shù)據(jù)集進(jìn)行劃分。研究這些經(jīng)典的傳統(tǒng)聚類算法[10]可以發(fā)現(xiàn)，進(jìn)行特征提取的聚類算法效果要明顯優(yōu)于沒有進(jìn)行特征提取的聚類算法。因此，研究人員開發(fā)了大量特征處理算法，包括線性的主成分分析（Principal Component Analysis，PCA）[11]和非線性的核方法[12]等。最近的研究表明，聯(lián)合優(yōu)化特征處理與聚類目標(biāo)可以獲得更好的結(jié)果。這方面深度學(xué)習(xí)強(qiáng)大的非線性擬合能力和特征表示能力可以很好地連接特征處理與聚類目標(biāo)。本文將深度學(xué)習(xí)引入無監(jiān)督聚類領(lǐng)域形成的模型統(tǒng)稱為深度聚類模型。

近些年，隨著深度嵌入聚類（Deep Embedding Clustering，DEC）[13]模型的提出，深度聚類研究領(lǐng)域變得越來越引人關(guān)注，于是大量深度聚類模型被提出，對現(xiàn)有的深度聚類模型進(jìn)行了一個全面綜合的整理。文獻(xiàn)[14-15]提出從神經(jīng)網(wǎng)絡(luò)的角度出發(fā)建立一個分類系統(tǒng)，對現(xiàn)有的深度聚類模型進(jìn)行分類。然而，這兩篇文章是對早期的深度聚類模型進(jìn)行整理，缺少最前沿的深度聚類算法。本文綜合整理了現(xiàn)有的深度聚類模型，補(bǔ)全了文獻(xiàn)[14-15]中缺少的圖神經(jīng)網(wǎng)絡(luò)。

深度聚類的本質(zhì)是用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)一個聚類導(dǎo)向的特征表示，并用神經(jīng)網(wǎng)絡(luò)擬合數(shù)據(jù)內(nèi)蘊(yùn)的聚類規(guī)律。深度聚類模型的兩個關(guān)鍵因素是神經(jīng)網(wǎng)絡(luò)和聚類規(guī)律。神經(jīng)網(wǎng)絡(luò)相比于聚類規(guī)律能更清晰地劃分深度聚類模型。因此，本文沿用以前的分類標(biāo)準(zhǔn)，使用神經(jīng)網(wǎng)絡(luò)作為深度聚類的區(qū)分標(biāo)準(zhǔn)。回顧現(xiàn)有的深度聚類模型，將深度聚類模型分為基于前饋神經(jīng)網(wǎng)絡(luò)的深度聚類模型、基于自編碼器[16]的深度聚類模型、基于生成模型的深度聚類模型和基于圖卷積神經(jīng)網(wǎng)絡(luò)的深度聚類模型。

1 深度聚類的神經(jīng)網(wǎng)絡(luò)

深度聚類模型選用不同的神經(jīng)網(wǎng)絡(luò)可以借用不同神經(jīng)網(wǎng)絡(luò)的能力提升聚類效果，如自編碼器能產(chǎn)生表征數(shù)據(jù)本質(zhì)的特征，生成模型能夠捕獲數(shù)據(jù)分布等。深度聚類模型借助神經(jīng)網(wǎng)絡(luò)提高了聚類效果，但深度聚類模型也存在神經(jīng)網(wǎng)絡(luò)的一些缺點(diǎn)，如生成模型的模式崩塌、難以收斂等。

1.1 前饋神經(jīng)網(wǎng)絡(luò)

前饋神經(jīng)網(wǎng)絡(luò)是一種最簡單的神經(jīng)網(wǎng)絡(luò)，一般采用單向多層的結(jié)構(gòu)。整個網(wǎng)絡(luò)中無反饋，信號從輸入層向輸出層單向傳播。其中，網(wǎng)絡(luò)層選用基礎(chǔ)的神經(jīng)元，最出名的模型是多層感知機(jī)（Multilayer Perceptron，MLP）。如果網(wǎng)絡(luò)層使用卷積操作，則是卷積神經(jīng)網(wǎng)絡(luò)模型。

1.2 自編碼器

自編碼器[17]是無監(jiān)督特征學(xué)習(xí)領(lǐng)域中最出名的算法，由編碼器和解碼器兩部分組成。編碼器h=fθ(x)將輸入樣本x映射為一個隱特征h。解碼器r=gθ(h)從隱特征h中重構(gòu)出原始樣本，要求重構(gòu)樣本r逼近原始樣本x。

當(dāng)使用均方誤差時，自編碼器的優(yōu)化目標(biāo)為：

自編碼器的中間特征維度小于輸入樣本維度時，可以學(xué)得一個能表示樣本本質(zhì)的低維隱特征，此時把這種自編碼器稱為欠完備自編碼器。

1.3 生成模型

生成模型能夠捕獲數(shù)據(jù)分布并產(chǎn)生未見樣本，基于生成模型的深度聚類模型，期望借助生成模型的能力捕獲數(shù)據(jù)樣本屬于各簇的后驗(yàn)概率分布。生成對抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）[18]和變分自編碼器（Variational Auto-Encoder，VAE）[19]是最成功的生成模型，在這兩個模型上都有成功的深度聚類模型。下面將分別介紹這兩個神經(jīng)網(wǎng)絡(luò)。

1.3.1 GAN

生成對抗模型通過讓識別器D和生成器G進(jìn)行最大化、最小化的對抗性訓(xùn)練來捕獲數(shù)據(jù)分布。生成器G把來自先驗(yàn)分布p(z)的特征Z生成為一個樣本。識別器D通過訓(xùn)練能夠識別出輸入樣本是真實(shí)樣本還是來自生成器的假樣本。

GAN 的對抗性訓(xùn)練可以描述為：

生成對抗模型可以使數(shù)據(jù)的特征表示所服從的分布逼近任意給定的先驗(yàn)分布，并可以從這個先驗(yàn)分布中生成真實(shí)未見的樣本。GAN 模型雖然能捕獲數(shù)據(jù)分布，但存在難以收斂、模式坍塌等問題，會延續(xù)到基于生成對抗模型的深度聚類模型上。

1.3.2 VAE

變分自編碼器是自編碼器在生成模型上的變體。VAE 要求自編碼器的中間特征服從給定的高斯分布。通過變分推斷法推斷出樣本概率p(x)的最大下界。最大化證據(jù)下界的過程會使樣本的中間特征逼近給定的先驗(yàn)分布。

VAE 的優(yōu)化目標(biāo)如下：

式中：qφ(z|xi)表示經(jīng)驗(yàn)后驗(yàn)概率，近似表示未知的真實(shí)后驗(yàn)概率；qφ(z|xi)代表編碼器；pθ(xi|z)代表解碼器。

1.4 圖卷積神經(jīng)網(wǎng)絡(luò)

圖卷積神經(jīng)網(wǎng)絡(luò)是卷積操作的一種擴(kuò)展。圖卷積操作能夠處理圖結(jié)構(gòu)數(shù)據(jù)，提取帶有結(jié)構(gòu)信息的特征，而卷積操作做不到。

圖卷積操作可以描述如下：

式中：S表示圖結(jié)構(gòu)（鄰接矩陣）；X表示N個節(jié)點(diǎn)的特征矩陣；W表示圖卷積核；D表示圖的度矩陣（對角矩陣）；Z表示圖卷積結(jié)果；g(·)表示圖卷積操作；ξ(·)表示非線性激活函數(shù)。其中，鄰接矩陣S和特征矩陣X是圖卷積神經(jīng)網(wǎng)絡(luò)的輸入。

2 深度聚類的評估指標(biāo)

深度聚類模型有3 種常用的評估指標(biāo)，分別為無監(jiān)督聚類準(zhǔn)確度（Unsupervised Clustering Accuracy，ACC）、標(biāo)準(zhǔn)化互信息（Normalized Mutual Information，NMI）和同質(zhì)性（Homegeneity）。

2.1 ACC

ACC[20]用來評估聚類準(zhǔn)確性，一般要求簇的個數(shù)等于真實(shí)類別數(shù)，是在所有映射關(guān)系中找出準(zhǔn)確率最大的一種映射。

式中：yi表示樣本的真實(shí)標(biāo)簽；ci表示算法的預(yù)測標(biāo)簽；m(·)表示預(yù)測標(biāo)簽與真實(shí)標(biāo)簽的一種映射關(guān)系。

2.2 NMI

NMI[21]用來評估預(yù)測標(biāo)簽分布與真實(shí)標(biāo)簽分布之間的差異。

式中：Y表示真實(shí)標(biāo)簽；C表示預(yù)測標(biāo)簽；H(·)表示信息熵。

2.3 Homegeneity

Homegeneity[22]用來評估聚類簇的同質(zhì)性，即劃分到一個聚類簇中的樣本屬于同一個類別的可能性。

Homegeneity 計算公式如下：

3 深度聚類的分類

深度聚類的本質(zhì)是用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)一個聚類導(dǎo)向的特征表示，并用神經(jīng)網(wǎng)絡(luò)擬合數(shù)據(jù)內(nèi)蘊(yùn)的聚類規(guī)律。深度聚類模型的兩個關(guān)鍵因素是神經(jīng)網(wǎng)絡(luò)和聚類規(guī)律。以這兩個關(guān)鍵因素考察現(xiàn)有深度聚類模型的損失函數(shù)，可以將損失函數(shù)統(tǒng)一為如下形式：

整個損失函數(shù)由網(wǎng)絡(luò)損失Ln和聚類損失Lc兩部分組成。網(wǎng)絡(luò)損失Ln用來學(xué)習(xí)一個利于聚類的特征表示，聚類損失Lc用來擬合設(shè)定的聚類規(guī)律。從神經(jīng)網(wǎng)絡(luò)的角度出發(fā)，將深度聚類模型劃分為基于前饋神經(jīng)網(wǎng)絡(luò)的深度聚類模型、基于自編碼器的深度聚類模型、基于生成模型的深度聚類模型以及基于圖卷積神經(jīng)網(wǎng)絡(luò)的深度聚類模型。

3.1 基于前饋神經(jīng)網(wǎng)絡(luò)的深度聚類模型

前饋神經(jīng)網(wǎng)絡(luò)中最出名的模型是卷積神經(jīng)網(wǎng)絡(luò)。前饋神經(jīng)網(wǎng)絡(luò)一般都需要樣本的標(biāo)簽信息作為網(wǎng)絡(luò)的監(jiān)督信號，限制了前饋神經(jīng)網(wǎng)絡(luò)在無監(jiān)督聚類領(lǐng)域中的應(yīng)用，是基于前饋神經(jīng)網(wǎng)絡(luò)的深度聚類模型需要克服的難點(diǎn)之一。

循環(huán)框架的凝聚深度聚類（Recurrent Framework Agglomerative Deep Clustering，RFADC）模型[23]是在卷積神經(jīng)網(wǎng)絡(luò)上建立的深度聚類模型。前饋神經(jīng)網(wǎng)絡(luò)一般需要樣本的標(biāo)簽信息作為監(jiān)督信號。RFADC 模型在Agglomerative 聚類的基礎(chǔ)上構(gòu)建了一個循環(huán)框架。在t次循環(huán)時，根據(jù)聚類簇的相似性合并t-1 次循環(huán)的聚類簇，同時使用t-1 次循環(huán)的聚類簇標(biāo)簽更新用于提取特征的前饋卷積神經(jīng)網(wǎng)絡(luò)。RFADC 循環(huán)框架背后的思想是好的聚類結(jié)果能夠提取利于聚類的特征表示，而聚類導(dǎo)向的特征表示能夠提升聚類效果，以此形成一個相互促進(jìn)的循環(huán)結(jié)構(gòu)。

3.2 基于自編碼器的深度聚類模型

自編碼器在重構(gòu)原始樣本時能產(chǎn)生表征樣本本質(zhì)的特征，而深度聚類的一個關(guān)鍵因素是學(xué)習(xí)一個利于聚類的特征表示，因此自編碼器可以作為深度聚類的優(yōu)先選擇。自編碼器的重構(gòu)損失一般可以視為深度聚類模型的網(wǎng)絡(luò)損失Ln，從不同角度出發(fā)設(shè)計的聚類規(guī)律可以視為深度聚類模型的聚類損失Lc。下面介紹一些典型的基于自編碼器的深度聚類模型。

3.2.1 深度聚類網(wǎng)絡(luò)

深度聚類網(wǎng)路（Deep Clustering Network，DCN）模型[24]是自編碼器聚類算法中最經(jīng)典的模型，結(jié)合了自編碼器與k-means 算法。

目標(biāo)函數(shù)如下：

式中：f(·)代表編碼器；g(·)代表解碼器；l(·)代表重構(gòu)誤差函數(shù)；M是由各簇的中心向量組成的中心矩陣；Si為樣本i所屬簇的one-hot 向量。該模型的目標(biāo)函數(shù)包含中心矩陣和分配向量，整個目標(biāo)函數(shù)的優(yōu)化需要使用自定義的交替優(yōu)化算法。

3.2.2 深度嵌入網(wǎng)絡(luò)

深度嵌入網(wǎng)絡(luò)（Deep Embedding Network，DEN）[25]是另一個自編碼器聚類模型，在自編碼器的基礎(chǔ)上，通過添加兩個約束項(xiàng)來學(xué)得一個利于聚類的特征表示，最后在這個利于聚類的特征上進(jìn)行k-means 算法，以提供聚類效果。

整個目標(biāo)函數(shù)如下：

式中：Eg代表局部保持約束項(xiàng)。它通過把相似的樣本聚在一起降維，從而在低維子空間中保持原始數(shù)據(jù)的局部結(jié)構(gòu)，公式描述如下：

3.2.3 DEC

DEC 是深度聚類領(lǐng)域最具代表性的方法之一。它的提出引起了人們對深度領(lǐng)域的廣泛關(guān)注。DEC模型事先預(yù)訓(xùn)練一個自編碼器，選取編碼器部分用于特征提取，在提取的特征上用一個軟分布對樣本簇標(biāo)簽進(jìn)行預(yù)測，用硬分布選擇樣本的高置信度簇標(biāo)簽。最小化軟分布與硬分布之間的KL 散度將引導(dǎo)聚類結(jié)果逐漸向高置信度分布靠近。

軟分布公式如下：

軟分布把樣本與聚類中心的相似度轉(zhuǎn)換為概率分布。硬分布是對軟分布進(jìn)行加強(qiáng)，即聚類分配置信度高的得到加強(qiáng)，置信度低的得到減弱。這種加強(qiáng)操作通過對軟分布進(jìn)行平方后的標(biāo)準(zhǔn)化來實(shí)現(xiàn)，公式如下：

DEC 模型的最終目標(biāo)為最小化軟分布與硬分布之間的KL 散度：

3.2.4 深度子空間聚類網(wǎng)絡(luò)

深度子空間聚類網(wǎng)絡(luò)（Deep Subspace Clustering Networks，DSC-Nets）模型[26]在自編碼器的框架上引入子空間聚類的自表示性質(zhì)。自表示性質(zhì)的描述如下：給定來自多個線性子空間{Si}i=1,…,K的數(shù)據(jù)樣本{Xi}i=1,…,N，則樣本Xi可以由同一個子空間中其他樣本線性組合而成：

式中：矩陣C為自表示系數(shù)矩陣。

DSC-Nets 模型在編碼器和解碼器的中間引入一個自表示層網(wǎng)絡(luò)用來模擬上述的自表示性質(zhì)。這個自表示層采用全連接網(wǎng)絡(luò)，沒有閾值，沒有非線性激活函數(shù)，輸入來自編碼器，輸出為解碼器輸入。

DSC-Nets 完整損失函數(shù)如下：

DSC-Nets 模型空間消耗和時間消耗過大，不適用于大規(guī)模數(shù)據(jù)集。

3.3 基于生成模型的深度聚類模型

將生成模型引入聚類領(lǐng)域的目的是希望借助生成模型捕獲數(shù)據(jù)分布的能力去捕獲數(shù)據(jù)樣本屬于各簇的后驗(yàn)概率分布。生成模型中最廣為人知的模型是變分自編碼器（Variational Autoencoder，VAE）和生成對抗模型（Generative Adversarial Networks，GAN）。將這兩種生成模型分別引入聚類領(lǐng)域，形成了基于VAE的深度聚類模型和基于GAN 的深度聚類模型。

3.3.1 基于VAE 的深度聚類模型

變分自編碼器要求自編碼器的中間特征服從給定的高斯分布。在將變分自編碼器引入聚類領(lǐng)域時，將原有假設(shè)服從一個標(biāo)準(zhǔn)高斯分布變?yōu)榉挠蒏個多元高斯分布組成的高斯混合分布?，F(xiàn)有的兩個深度聚類模型都是基于這個新的假設(shè)，不僅可以輸出樣本屬于各簇的概率，還可以生成指定類別的樣本，但是計算復(fù)雜度過高。

（1）變分自編碼器（Variational Deep Embedding，VaDE）[27]是在變分自編碼器上開發(fā)的一個優(yōu)秀深度聚類模型，強(qiáng)制編碼器的中間特征服從高斯混合分布。VaDE 是一個生成模型的同時，也是一個聚類模型，所以其生成的樣本需要指定所屬的簇。生成模型由簇類c、簇的中間特征z、樣本x這3 個部分共同決定。所以，假設(shè)生成模型為：

觀測樣本x的生成過程如下：

式中：cat(·)表示類別的離散分布；K為預(yù)先定義的聚類簇個數(shù)；μc、σc為簇c對應(yīng)的均值和方差；μx、σx是樣本x對應(yīng)的均值和方差。

VaDE 的總體目標(biāo)與VAE 相似，都是最大化生成模型的對數(shù)似然函數(shù)，即：

這里最大化生成模型的對數(shù)似然函數(shù)就是最大化證據(jù)下界LELBO(x)。下界中的第一項(xiàng)重構(gòu)損失可以視為網(wǎng)絡(luò)損失Ln；第二項(xiàng)最小化后驗(yàn)概率分布與先驗(yàn)分布的KL 散度可以視為聚類損失Lc，將用來完成聚類分配。

（2）GMVAE（Gaussian Mixture VAE）[28]與VaDE 相似，對生成過程的假設(shè)更復(fù)雜。

GMVAE 對生成模型做如下假設(shè)：

即生成過程由類別c和標(biāo)準(zhǔn)正態(tài)分布n共同生成中間特征z，再由中間特征z生成觀測樣本x。整個生成過程的數(shù)學(xué)描述如下：

GMVAE 同樣是把最大化生成模型的對數(shù)似然函數(shù)轉(zhuǎn)化為最大化證據(jù)下界LELBO(x)，得到一個能進(jìn)行聚類分配的后驗(yàn)概率分布。需要注意，GMVAE 要比VaDE 更復(fù)雜。但是，從聚類效果上來看，GMVAE 要比VaDE 更差。

3.3.2 基于GAN 的深度聚類模型

基于GAN 的深度聚類模型希望借助GAN 捕獲數(shù)據(jù)分布的能力，捕獲數(shù)據(jù)樣本屬于各簇的后驗(yàn)概率分布?；贕AN 的深度聚類模型中，有的模型是專門針對聚類任務(wù)開發(fā)的，有的模型只是把聚類任務(wù)當(dāng)作模型的一個應(yīng)用場景。

（1）對抗自編碼器（Adversarial Auto-Eencoder，AAE）[29]和變分自編器相似。VAE 使用KL 散度強(qiáng)制中間特征服從標(biāo)準(zhǔn)正態(tài)分布，而AAE 使用對抗性訓(xùn)練強(qiáng)制中間特征服從標(biāo)準(zhǔn)正態(tài)分布。AAE 的聚類使用方式是把自編碼器中間特征拆分為兩部分——softmax 輸出代表簇標(biāo)簽的one-hot 向量z和代表樣本樣式的隱特征y。隱特征y與標(biāo)準(zhǔn)正態(tài)分布進(jìn)行對抗性訓(xùn)練的同時，保證z與y組成的中間特征能夠重構(gòu)原始樣本x，從而保證類別向量z與樣式y(tǒng)在語義上相互分離。

（2）深度對抗聚類（Deep Adversarial Clustering，DAC）模型[30]是在AAE 模型的基礎(chǔ)上設(shè)計的一個深度聚類模型。它把AAE 對抗訓(xùn)練使用的聚合后驗(yàn)概率分布從標(biāo)準(zhǔn)正態(tài)分布變?yōu)楦咚够旌戏植迹ㄆ湎禂?shù)、均值、協(xié)方差矩陣參數(shù)化）。參數(shù)化混合分布的方式類似于VaDE 的編碼器過程。DAC 的損失函數(shù)由：自編碼器重構(gòu)損失、高斯混合模型的似然函數(shù)、最大化最小化的對抗目標(biāo)3 部分組成。

它的數(shù)學(xué)描述如下：

式中：第1 項(xiàng)可以視為網(wǎng)絡(luò)損失；后2 項(xiàng)可以視為聚類損失。

（3）分類生成對抗網(wǎng)絡(luò)（Categorial Generative Adversarial Network，CatGAN）模型[31]是在GAN 模型基礎(chǔ)上進(jìn)行的一種擴(kuò)展。它在數(shù)據(jù)集上進(jìn)行無監(jiān)督學(xué)習(xí)，將GAN 模型的二分類識別器擴(kuò)展為多分類識別器。在無監(jiān)督條件下，CatGAN 模型從信息論的角度出發(fā)完成簇標(biāo)簽與樣本之間的對應(yīng)關(guān)系。

它的具體設(shè)計過程如下：保持生成器G不變，從給定的先驗(yàn)分布p(z)中抽樣噪聲z，生成器G把噪聲z生成一個假樣本：

識別器D將GAN 模型的二值識別器D改成輸出為樣本屬于各簇概率的K值識別器D，p(y=k|X,D)。由于對抗性訓(xùn)練的需要，CatGAN 模型對識別器D做如下要求：①確定真實(shí)樣本的分配類別；②不確定生成樣本的類別；③平等的使用所有類別的樣本。對于要求①，由于沒有真實(shí)標(biāo)簽信息，因此從信息論的角度出發(fā)，最大化真實(shí)樣本分配類別的確定性，數(shù)學(xué)公式即為最小化預(yù)測分布的信息熵Hx[p(y|X,D)]。對于要求②，數(shù)學(xué)公式則為最大化生成樣本預(yù)測分布的信息熵Hz[p(y|G(z),D)]。對于要求③，選擇均勻分布來達(dá)到平等的使用所有類別樣本。從信息論上來說，即最大化所有樣本邊緣分布的信息熵HX,G[p(y|D)]。

整個對抗性訓(xùn)練過程的損失函數(shù)如下：

（4）信息最大化生成對抗網(wǎng)絡(luò)（Information maximizing Generative Adversarial Network，InfoGAN）模型[32]與CatGAN 模型類似，都是從信息論的角度出發(fā)，把GAN 模型擴(kuò)展到無監(jiān)督領(lǐng)域。InfoGAN 的主要目的是分離生成器輸入變量的語義信息，即使得輸入的每個變量都代表不同含義的語義信息。InfoGAN 的具體操作過程如下：識別器D擁有兩個輸出層，一個輸出層D輸出樣本是否是真樣本，另一個輸出層Q輸出樣本的各個語義變量。生成器G的輸入噪聲為（C，Z），其中C代表不同語義變量的離散值，Z代表不可壓縮的連續(xù)特征值。InfoGAN 模型的對抗性游戲做如下改動：識別器D最大化識別真樣本的概率，生成器G最小化識別生成樣本的概率，同時最小化輸出變量c～與生成樣本G(z,c)之間的互信息。

它的數(shù)學(xué)描述如下：

式中：L1(G,Q)為輸入變量與生成樣本之間互信息I[,G(z,c)]的證據(jù)下界。

3.4 基于圖神經(jīng)網(wǎng)絡(luò)的深度聚類模型

圖卷積操作能夠處理非對齊型數(shù)據(jù)，如圖結(jié)構(gòu)數(shù)據(jù)，提取的特征信息含有數(shù)據(jù)節(jié)點(diǎn)的結(jié)構(gòu)信息。因此，將圖卷積神經(jīng)網(wǎng)絡(luò)引入無監(jiān)督聚類領(lǐng)域的優(yōu)勢是可以提取利于聚類的特征表示。

圖卷積操作需要數(shù)據(jù)集具有圖結(jié)構(gòu)信息，而需要聚類的數(shù)據(jù)集一般沒有圖結(jié)構(gòu)。針對這個問題，AGAE（Adversarial Graph Auto-Encoders）模 型[33]通過集成聚類構(gòu)建一個一致性圖來將圖卷積操作引入聚類領(lǐng)域。

具體構(gòu)建方法如下：使用M個傳統(tǒng)聚類方法對數(shù)據(jù)集進(jìn)行聚類，獲得數(shù)據(jù)集的M種聚類分配方案，并在M種聚類分配方案中使用如下函數(shù)獲得聯(lián)合矩陣作為數(shù)據(jù)集的圖結(jié)構(gòu)。

在一種聚類分配中，如果樣本a與樣本b的預(yù)測標(biāo)簽相等，則δ(a,b)=1；否則，δ(a,b)=0。獲得圖卷積特征后，AGAE 模型在這個特征上設(shè)計了一個特征先驗(yàn)分布：

從這個特征先驗(yàn)分布抽樣一個特征，把它與圖神經(jīng)網(wǎng)絡(luò)得到的特征進(jìn)行對抗性訓(xùn)練，得到一個能進(jìn)行聚類的特征先驗(yàn)分布。

其目標(biāo)函數(shù)為：

4 深度聚類的未來方向

基于上述深度聚類模型的分析與深度聚類結(jié)構(gòu)的研究，認(rèn)為深度聚類未來的關(guān)注點(diǎn)如下。

4.1 聚類理論研究

雖然聯(lián)合優(yōu)化神經(jīng)網(wǎng)絡(luò)與聚類目標(biāo)可以提高聚類性能，但可解釋性不強(qiáng)，因此需要探索深度聚類的理論依據(jù)，為深度聚類的進(jìn)一步研究作出理論指導(dǎo)。

4.2 聚類場景與神經(jīng)網(wǎng)絡(luò)

深度聚類模型借用不同神經(jīng)網(wǎng)絡(luò)的能力，幫助提升聚類效果。而不同的神經(jīng)網(wǎng)絡(luò)適用的場景不同，如卷積神經(jīng)網(wǎng)絡(luò)適用于圖像數(shù)據(jù)集，循環(huán)神經(jīng)網(wǎng)絡(luò)適用于序列數(shù)據(jù)集[34-36]?，F(xiàn)有的深度聚類模型大多都是針對圖像數(shù)據(jù)集開發(fā)的，所以針對文本序列數(shù)據(jù)集，嘗試將循環(huán)神經(jīng)網(wǎng)絡(luò)引入無監(jiān)督聚類領(lǐng)域是后續(xù)的任務(wù)之一。

4.3 平衡聚類約束項(xiàng)

深度聚類模型的聚類效果是由多個約束項(xiàng)共同作用得到的結(jié)果，而每個約束項(xiàng)起到的重要性程度不同。因此，如何平衡各約束項(xiàng)是一個重要工作。

5 結(jié)語

在大數(shù)據(jù)時代，隨著數(shù)據(jù)的獲取越來越便利，數(shù)據(jù)分析、計算機(jī)視覺等應(yīng)用需要處理的數(shù)據(jù)量越來越大、數(shù)據(jù)結(jié)構(gòu)的復(fù)雜度越來越高。面對這些新挑戰(zhàn)，傳統(tǒng)聚類算法越來越無法滿足需求。而深度學(xué)習(xí)可以處理復(fù)雜數(shù)據(jù)結(jié)構(gòu)、冗余信息以及大數(shù)據(jù)等難點(diǎn)，因此將深度學(xué)習(xí)引入無監(jiān)督聚類領(lǐng)域是應(yīng)對大數(shù)據(jù)時代的一種必然。本文從深度神經(jīng)網(wǎng)絡(luò)的角度出發(fā)，對深度聚類算法做了一個全面綜合的回顧。基于前饋神經(jīng)網(wǎng)絡(luò)的深度聚類模型是深度模型中最基礎(chǔ)的模型?；谧跃幋a器的深度聚類模型，借助自編碼器無監(jiān)督特征學(xué)習(xí)能力，聯(lián)合聚類目標(biāo)完成子空間聚類?；谏赡Ｐ偷纳疃染垲惸Ｐ蛣t借助生成模型捕獲數(shù)據(jù)分布的能力，捕獲數(shù)據(jù)樣本屬于各簇的后驗(yàn)概率分布。基于圖卷積神經(jīng)網(wǎng)絡(luò)的深度聚類模型則是希望使用圖卷積操作，提取帶有節(jié)點(diǎn)結(jié)構(gòu)信息的特征輔助聚類。