姬 強(qiáng)，孫艷豐，胡永利，尹寶才

(北京工業(yè)大學(xué)信息學(xué)部多媒體與智能軟件技術(shù)北京市重點實驗室，北京 100124)

當(dāng)今社會是一個信息爆炸的時代，隨著5G技術(shù)的日趨成熟，數(shù)據(jù)的采集量和傳輸量呈指數(shù)增長.各個領(lǐng)域每時每刻都在產(chǎn)生海量的圖像、文本、視頻、音頻等數(shù)據(jù).這些數(shù)據(jù)往往具有規(guī)模大、實時性強(qiáng)、維度高、結(jié)構(gòu)復(fù)雜等特點.這無疑給人工標(biāo)注帶來嚴(yán)峻的挑戰(zhàn).因此，如何能以無監(jiān)督的方式從海量復(fù)雜數(shù)據(jù)中挖掘出有效信息是業(yè)界亟待解決的難點.

聚類作為無監(jiān)督學(xué)習(xí)領(lǐng)域中一項關(guān)鍵技術(shù)，其通過發(fā)現(xiàn)數(shù)據(jù)間內(nèi)在結(jié)構(gòu)的相關(guān)性，將數(shù)據(jù)進(jìn)行自動的分組.傳統(tǒng)的聚類方法大致分為5類，分別是以K-means[1]等為代表的劃分聚類、以DBSCAN[2]為代表的密度聚類、以Chameleon[3]為代表的層次聚類、以譜聚類[4]為代表的圖聚類和以高斯混合聚類(Gaussian mixture model,GMM)[5]為代表的模型聚類.雖然上述的傳統(tǒng)方法有其各自擅長的聚類情形，但是當(dāng)面對大規(guī)模高維復(fù)雜的數(shù)據(jù)時，直接應(yīng)用傳統(tǒng)方法往往會失效.其原因在于：1)傳統(tǒng)歐式距離度量難以準(zhǔn)確評估樣本之間的相似性.2)高維空間數(shù)據(jù)分布稀疏，簇類結(jié)構(gòu)不清晰.3)規(guī)模大、維度高所帶來的高時間和空間復(fù)雜度難題，限制了算法的應(yīng)用.針對上述問題，一種結(jié)合降維技術(shù)和聚類算法的解決方案被廣泛認(rèn)可，即先采用降維技術(shù)，如主成分分析[6]、局部線性嵌入[7]或核方法[8]等對數(shù)據(jù)進(jìn)行降維，再對降維后的特征進(jìn)行聚類.該方案雖然在一定程度上降低了高維空間的聚類難度，但由于數(shù)據(jù)降維是獨立于聚類任務(wù)的，這意味著提取的特征往往并不具備簇類結(jié)構(gòu).

子空間方法則提供另一種很好的思路.該方法假設(shè)高維數(shù)據(jù)分布于多個低維子空間的組合，通過將高維數(shù)據(jù)分割到各自所屬的本征低維子空間，從而完成聚類.子空間聚類方法大致分為5類，即基于矩陣分解的方法[9-10]、基于代數(shù)的方法[11-13]、基于迭代的方法[14-15]、基于統(tǒng)計的方法[16-18]和基于譜聚類的方法[19-21].其中以稀疏子空間聚類(sparse subspaces clustering,SSC)[20]和低秩子空間聚類(low-rank subspaces clustering,LRSC)[21]為代表的譜聚類方法，憑借其完備的理論與突出的性能在同類方法中脫穎而出，成為近年來的研究熱點.然而上述2種方案均采用的是淺層模型，由于淺層結(jié)構(gòu)的表達(dá)能力有限，導(dǎo)致其在處理結(jié)構(gòu)復(fù)雜的數(shù)據(jù)時無法有效地提取更深層次的內(nèi)在特征.

近年來，得益于深度學(xué)習(xí)的蓬勃發(fā)展，深度神經(jīng)網(wǎng)絡(luò)憑借其層次化結(jié)構(gòu)和非線性映射能力使得大規(guī)模深層次特征提取成為了可能.因此，如何利用深度學(xué)習(xí)來提高聚類性能迅速成為無監(jiān)督學(xué)習(xí)領(lǐng)域的研究熱點.本文通過對現(xiàn)有的深度聚類工作進(jìn)行歸納和梳理，總結(jié)出深度聚類的3個重要組成部分：神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)、聚類損失和網(wǎng)絡(luò)輔助損失，并全面地闡述和分析深度聚類的研究進(jìn)展、面臨的挑戰(zhàn)以及未來可能的研究方向.

1 相關(guān)概念介紹

本章的主要內(nèi)容是對深度聚類的3個重要組成部分：神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)、聚類損失和網(wǎng)絡(luò)輔助損失所涉及的相關(guān)概念進(jìn)行介紹.

1.1 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

神經(jīng)網(wǎng)絡(luò)主干可以看作深度聚類的骨骼，其主要作用為將原始輸入經(jīng)過層次化的非線性映射，得到新的特征表示.不同的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)其特征學(xué)習(xí)的方式以及所學(xué)特征的特點也不盡相同.主要采用的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)有以下幾種.

1)多層全連接網(wǎng)絡(luò)

多層全連接網(wǎng)絡(luò)(多層感知機(jī))是一種基礎(chǔ)的前饋結(jié)構(gòu)網(wǎng)絡(luò)，其中第一層為輸入層，最后一層為輸出層，中間的多層為隱藏層，并且每一層的神經(jīng)元均與下一層神經(jīng)元全連接.除了輸入層，每層的神經(jīng)元均可由非線性激活函數(shù)映射，網(wǎng)絡(luò)的訓(xùn)練由反向傳播算法完成.

2)卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)[22]可以概括為一類具有卷積計算操作的前饋神經(jīng)網(wǎng)絡(luò).不同于全連接網(wǎng)絡(luò)，卷積神經(jīng)網(wǎng)絡(luò)能夠利用輸入數(shù)據(jù)的二維結(jié)構(gòu)，避免輸入向量化丟失空間信息.典型的卷積神經(jīng)網(wǎng)絡(luò)主要由3個部分組成：卷積層、池化層和全連接層.卷積層負(fù)責(zé)提取原始輸入的局部特征；池化層用來大幅降低網(wǎng)絡(luò)參數(shù)量級(降維)；全連接層類似傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的部分，用來輸出最終的特征.目前卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)成為深度學(xué)習(xí)主流的網(wǎng)絡(luò)結(jié)構(gòu).

3)深度信念網(wǎng)絡(luò)

深度信念網(wǎng)絡(luò)(deep belief networks,DBN)[23]是一種由多個堆疊受限玻爾茲曼機(jī)(restricted Boltzmann machines,RBM)[24]構(gòu)成的概率有向圖模型，其圖結(jié)構(gòu)由多層的節(jié)點構(gòu)成.每層節(jié)點的內(nèi)部沒有連接，相鄰兩層的節(jié)點之間為全連接.網(wǎng)絡(luò)的最底層為可觀測的變量，其他層節(jié)點均為隱變量.最頂部的兩層間的連接是無向的，其他層之間的連接是有向的.深度信念網(wǎng)絡(luò)的訓(xùn)練分為2個階段,首先是對RBM層自底向上逐層進(jìn)行預(yù)訓(xùn)練，最小化每層的重構(gòu)誤差，隨后再根據(jù)相應(yīng)的目標(biāo)函數(shù)對網(wǎng)絡(luò)整體進(jìn)行微調(diào).

4)自編碼器

自編碼器(autoencoder,AE)是一種用于無監(jiān)督特征學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，其結(jié)構(gòu)包含2大模塊：編碼器fθ和解碼器gφ.通過編碼器將原始輸入x映射到特征空間z，即編碼過程；然后再通過解碼器將嵌入特征z映射回原始輸入空間得到重構(gòu)樣本x′，即解碼過程.其優(yōu)化目標(biāo)則是通過最小化原始輸入樣本與重構(gòu)樣本之間的誤差損失來同時訓(xùn)練編碼器和解碼器，從而學(xué)習(xí)得到樣本輸入的特征表示.其目標(biāo)函數(shù)為

(1)

式中θ和φ分別表示編碼器和解碼器的參數(shù).自編碼器可以大致分為標(biāo)準(zhǔn)自編碼器(standard autoencoder,SAE)[25]和變分自編碼器(variational autoencoder,VAE)[26].區(qū)分的依據(jù)在于是否對特征空間施加特定分布的約束.

5)生成對抗網(wǎng)絡(luò)

生成對抗網(wǎng)絡(luò)(generating adversarial networks,GAN)[27]是一種深度生成模型.該模型框架包含兩個相互競爭的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)：判別器D和生成器G.其中，生成器可以理解為一個偽造者，試圖通過構(gòu)造假樣本騙過判別器的甄別；判別器則是盡可能甄別樣本是來自于真實樣本還是生成器構(gòu)造的假樣本.二者通過對抗學(xué)習(xí)提升各自的能力，即生成模型生成更逼真的假樣本騙過判別模型，而判別模型能更準(zhǔn)確地識別真假樣本.整個的優(yōu)化目標(biāo)函數(shù)為

(2)

1.2 損失函數(shù)

目前深度聚類模型的損失函數(shù)普遍采用聚類損失與網(wǎng)絡(luò)輔助損失組合的方式，即

L=λLR+(1-λ)LC

(3)

式中：LC和LR分別為聚類損失和網(wǎng)絡(luò)輔助損失；λ∈[0,1]為調(diào)節(jié)二者權(quán)重比例的超參數(shù).

1.2.1 聚類損失

聚類損失是幫助深度聚類模型發(fā)現(xiàn)數(shù)據(jù)內(nèi)在簇類結(jié)構(gòu)并提取聚類友好型特征的關(guān)鍵部分.聚類損失對于模型的聚類性能起決定性作用.針對聚類損失函數(shù)的設(shè)計，目前較為普遍的思路是將傳統(tǒng)聚類算法的損失函數(shù)遷移到神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中，通過交替優(yōu)化或聯(lián)合優(yōu)化的方式實現(xiàn)聚類.Yang等[28]將K-means的損失函數(shù)定義在自編碼器的特征空間，通過網(wǎng)絡(luò)參數(shù)和聚類中心的交替優(yōu)化實現(xiàn)特征學(xué)習(xí)和聚類.JULE[29]將層次聚類算法與卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合，通過簇類合并與特征學(xué)習(xí)的交替優(yōu)化，從而實現(xiàn)特征聚類.SpectralNet[30]將譜聚類的思想引入到深度學(xué)習(xí)中，首先通過孿生網(wǎng)絡(luò)學(xué)習(xí)特征間的相似度矩陣，然后根據(jù)譜聚類目標(biāo)函數(shù)進(jìn)行特征學(xué)習(xí)，最后在特征空間執(zhí)行K-means來獲得聚類分配.變分深度嵌入(variational deep embedding,VaDE)[31]將高斯混合模型聚類的思想引入變分自編碼器中，通過對特征空間的分布約束，實現(xiàn)特征學(xué)習(xí)和聚類分配的聯(lián)合優(yōu)化.

另一種思路則是根據(jù)所期望的聚類假設(shè)，直接設(shè)計特定的聚類損失函數(shù).深度嵌入聚類(unsupervised deep embedding for clustering analysis,DEC)[32]定義了2種概率分布：軟聚類分配概率分布和輔助聚類分配概率分布，通過最小化2種分布的KL散度來實現(xiàn)聚類.深度自適應(yīng)聚類(deep adaptive image clustering,DAC)[33]則是將多分類問題轉(zhuǎn)化為二分類問題，基于自步學(xué)習(xí)的思想不斷產(chǎn)生高置信度的正負(fù)樣本對，并將其作為監(jiān)督信息指導(dǎo)模型的訓(xùn)練，最終輸出聚類結(jié)果.自增強(qiáng)信息聚類(information maximizing self-augmented training,IMSAT)[34]和不變信息聚類(invariant information dustering,IIC)[35]都是基于同樣的假設(shè)，即對數(shù)據(jù)的簡單變換不會改變其內(nèi)在的語義信息，通過最大化原始樣本與其增強(qiáng)樣本的信息熵來實現(xiàn)聚類.

1.2.2 網(wǎng)絡(luò)輔助損失

由于聚類問題沒有監(jiān)督信息作為指導(dǎo)，單獨使用聚類損失作為目標(biāo)函數(shù)很容易導(dǎo)致模型退化.網(wǎng)絡(luò)輔助損失則可以理解為模型的正則項，雖然優(yōu)化該損失函數(shù)不能直接獲得聚類結(jié)果，但是通過對模型參數(shù)進(jìn)行相應(yīng)的約束，可以幫助模型穩(wěn)定地訓(xùn)練，提升特征學(xué)習(xí)的有效性，避免出現(xiàn)退化解.網(wǎng)絡(luò)輔助損失中一類是由于網(wǎng)絡(luò)模型的結(jié)構(gòu)特點自帶的損失項，例如自編碼器中的重構(gòu)誤差損失項、生成對抗網(wǎng)絡(luò)中生成器和判別器的對抗損失項.另一類則是基于對網(wǎng)絡(luò)模型的約束期望而精心設(shè)計的.例如局部保持損失[36]其目的是期望神經(jīng)網(wǎng)絡(luò)提取的特征能夠滿足設(shè)定的近鄰關(guān)系.組稀疏損失[36]將網(wǎng)絡(luò)隱藏層的神經(jīng)元分組，其目的是希望同類樣本只激活相同組的神經(jīng)元，不同類樣本激活不同組的神經(jīng)元，從而實現(xiàn)神經(jīng)元結(jié)構(gòu)化激活，獲取更具判別性的特征表示.

2 深度聚類算法分類

近年來，深度學(xué)習(xí)在聚類分析領(lǐng)域取得長足的發(fā)展，越來越多優(yōu)秀的深度聚類算法應(yīng)運而生.深度聚類能夠?qū)崿F(xiàn)特征學(xué)習(xí)和聚類的聯(lián)合優(yōu)化，逐漸成為處理大規(guī)模復(fù)雜數(shù)據(jù)聚類問題的首選方案.為了更清晰地了解深度聚類算法之間的區(qū)別和聯(lián)系，本文根據(jù)網(wǎng)絡(luò)結(jié)構(gòu)的特點，將已有的深度聚類模型大致分為3個類別.第1類是以自編碼器為模型框架的聚類算法，該類方法在訓(xùn)練過程中，通常會希望學(xué)習(xí)低維的中間層特征，并同時基于中間層特征構(gòu)建相應(yīng)的聚類損失.第2類是以深度前饋神經(jīng)網(wǎng)絡(luò)(全連接或卷積)為模型框架的聚類算法，該類方法通常會基于網(wǎng)絡(luò)的輸出層特征構(gòu)建聚類損失，形成一種端到端的聚類模式.第3類是以生成對抗網(wǎng)絡(luò)為模型框架的聚類算法，該類方法的關(guān)鍵在于讓輸入的噪聲分布滿足分類性質(zhì)，使得模型不僅能夠生成逼真的樣本，還能夠生成指定類別的樣本.基于上述的分類模式，本文將具有代表性的深度聚類算法進(jìn)行梳理和總結(jié).

2.1 基于自編碼器的聚類算法

自編碼器作為一種經(jīng)典的無監(jiān)督學(xué)習(xí)方法，得益于自身良好的特征學(xué)習(xí)能力，使其成為深度聚類最普遍采用的網(wǎng)絡(luò)結(jié)構(gòu).該類方法的核心在于如何基于中間層特征構(gòu)建好的聚類損失和輔助聚類損失，幫助模型發(fā)現(xiàn)數(shù)據(jù)內(nèi)在的簇類結(jié)構(gòu).基于標(biāo)準(zhǔn)自編碼器的聚類算法總體模型框架如圖1所示.基于不同的聚類損失衍生出不同的算法.

圖1 基于標(biāo)準(zhǔn)自編碼器的聚類算法框架Fig.1 Clustering algorithm framework based on standard autoencoder

Yang等[28]將自編碼器與K-means聚類相結(jié)合，首先預(yù)訓(xùn)練自編碼器來提高網(wǎng)絡(luò)參數(shù)的初始化質(zhì)量，然后將基于中間層特征構(gòu)建的K-means聚類損失引入到模型中，通過網(wǎng)絡(luò)參數(shù)與聚類中心之間的交替優(yōu)化，完成特征學(xué)習(xí)與聚類任務(wù).由于K-means聚類操作是不可導(dǎo)的，因此DCN采取的是交替優(yōu)化的方式.Fard等[37]基于軟最大化函數(shù)(softmax)構(gòu)建光滑可導(dǎo)的K-means聚類損失，從而實現(xiàn)聚類中心和網(wǎng)絡(luò)參數(shù)的同步優(yōu)化.

Ren等[38]通過將密度聚類與自編碼器相結(jié)合，提出一種深度密度聚類框架.該算法完成聚類需要2個階段：第1階段通過訓(xùn)練深度卷積自編碼器學(xué)習(xí)低維的特征表示，并使用隨機(jī)近鄰嵌入算法(t-distributed stochastic neighbor embedding,t-SNE)[39]將提取的特征進(jìn)一步降維到二維空間；第2階段使用密度峰值算法[40]對二維空間的特征進(jìn)行聚類.該算法繼承了密度峰值聚類的優(yōu)點，無須人為指定聚類數(shù)目并能有效處理任意形狀的聚類情形.

Chen等[41]基于同類樣本來自相同流形結(jié)構(gòu)的假設(shè)，提出一種深度流形聚類算法.該算法針對自編碼器的中間層特征設(shè)計2種損失函數(shù)，其中局部保持損失用來挖掘數(shù)據(jù)內(nèi)在的流形結(jié)構(gòu)，聚類導(dǎo)向損失則會讓在流形上距離相近的特征更加緊湊，并形成簇類.Huang等[36]不僅考慮到特征的局部特性，還將組稀疏的思想引入到模型中，實現(xiàn)特征層神經(jīng)元的結(jié)構(gòu)化激活，從而獲得更具可分性的特征表示.

目前很多深度聚類模型通過聚類偽標(biāo)簽與特征表示的交替或聯(lián)合優(yōu)化的方式完成訓(xùn)練.但在訓(xùn)練的初始階段，由于特征的隨機(jī)性，聚類標(biāo)簽會極為不可靠，二者的相互作用很可能導(dǎo)致模型的惡性循環(huán).針對此問題，Mrabah等[42]提出一種模型訓(xùn)練方式.在預(yù)訓(xùn)練階段，通過引入數(shù)據(jù)增強(qiáng)和對抗插值技術(shù)[43]，以自監(jiān)督的方式學(xué)習(xí)可靠的特征表示.在聚類學(xué)習(xí)階段，不僅引入聚類損失，而且基于原始輸入與重構(gòu)輸出構(gòu)建判別器網(wǎng)絡(luò)，最終使得模型在完成聚類的同時，學(xué)到更平滑的特征空間.

針對傳統(tǒng)子空間聚類模型特征學(xué)習(xí)能力的不足，諸多基于自編碼器的深度子空間聚類算法應(yīng)運而生.Peng等[44]首先將基于原始數(shù)據(jù)構(gòu)建的稀疏自表達(dá)系數(shù)作為先驗信息，然后約束中間層特征滿足先驗信息的自表達(dá)性質(zhì)，從而學(xué)到更具判別性的特征.然而該算法的自表達(dá)系數(shù)在特征學(xué)習(xí)過程中是固定不變的，這會制約特征的表達(dá)能力.針對此問題，Ji等[45]直接將自表達(dá)系數(shù)定義為網(wǎng)絡(luò)的可學(xué)習(xí)參數(shù)，并基于自編碼器的中間層特征構(gòu)建自表達(dá)層，實現(xiàn)自表達(dá)系數(shù)與特征的聯(lián)合優(yōu)化，提出深度子空間聚類模型(deep subspace clustering networks,DSC-Nets).Zhou等[46]認(rèn)為DSC-Nets模型在訓(xùn)練時缺少有效信息的監(jiān)督，導(dǎo)致其聚類性能不穩(wěn)定，提出深度對抗子空間聚類算法(deep adversarial subspace clustering,DASC).該算法將生成對抗網(wǎng)絡(luò)的思想引入到DSC-Nets模型中，并基于如下假設(shè)，即相同子空間數(shù)據(jù)的線性組合仍處于該子空間；反之不同子空間數(shù)據(jù)的線性組合處于不同子空間，生成新的正負(fù)樣本，并通過對抗訓(xùn)練的方式獲得高質(zhì)量的自表達(dá)系數(shù)和特征表示.Zhang等[47]針對子空間聚類無法處理大規(guī)模數(shù)據(jù)的弊端，提出神經(jīng)協(xié)同子空間聚類算法，該算法擴(kuò)展了DSC-Nets的模型框架，構(gòu)建分類表示與自表達(dá)系數(shù)雙模塊，通過二者的協(xié)同學(xué)習(xí)解決大規(guī)模數(shù)據(jù)的子空間聚類問題.

以單一自編碼器為網(wǎng)絡(luò)框架構(gòu)建聚類模型，雖然較傳統(tǒng)聚類方法已有顯著優(yōu)勢，但是網(wǎng)絡(luò)結(jié)構(gòu)自身仍有很大的探索空間.Dizaji等[48]提出共享的雙編碼器結(jié)構(gòu)：噪聲編碼器和干凈編碼器，基于雙編碼器構(gòu)建相對熵聚類損失，實現(xiàn)聚類與特征學(xué)習(xí)的聯(lián)合優(yōu)化.Yang等[49]針對低維特征的重構(gòu)模糊化問題，提出雙自編碼器網(wǎng)絡(luò)結(jié)構(gòu)，通過引入相對重構(gòu)損失和互信息估計來學(xué)習(xí)更具判別性的特征表示，并聯(lián)合優(yōu)化雙自編碼器和深度譜聚類獲得最佳聚類結(jié)果.

不同于標(biāo)準(zhǔn)自編碼器，變分自編碼器作為生成模型，不僅能夠完成輸入的壓縮和重構(gòu)，還可以生成新的有意義的輸出.其關(guān)鍵在于對特征空間施加特定分布的約束.基于變分自編碼器的聚類算法模型框架如圖2所示.

圖2 基于變分自編碼器的聚類算法框架Fig.2 Clustering algorithm framework based on variational autoencoder

VaDE是基于變分自編碼器的生成式聚類模型.該算法通過引入高斯混合模型來建模數(shù)據(jù)生成的過程.具體建模過程分為3步：1)由高斯混合模型選擇一個簇類；2)根據(jù)選擇的簇類生成潛在的嵌入特征；3)用解碼器將嵌入特征重構(gòu)輸入.VaDE的優(yōu)化遵循變分自編碼器的優(yōu)化方式，即使用隨機(jī)梯度變分貝葉斯(stochastic gradient variational Bayes,SGVB)和重參數(shù)技術(shù)優(yōu)化證據(jù)下界(evidence lower bound,ELBO).GMVAE[50]采用了與VaDE相似的策略，對特征空間施加高斯混合分布的約束.同時針對VAE存在的過度規(guī)范化(over-regularization)的問題，GMVAE[50]通過最小化信息約束使得模型在訓(xùn)練初期避免陷入局部解.Yang等[51]認(rèn)為捕獲數(shù)據(jù)的局部結(jié)構(gòu)是對VaDE模型的必要補充，因此將圖嵌入技術(shù)引入到模型中，使得嵌入特征的分布不再是獨立學(xué)習(xí)，而是基于圖信息關(guān)聯(lián)特征所屬的分布距離，從而幫助模型處理復(fù)雜數(shù)據(jù)的聚類問題.

2.2 基于深度前饋神經(jīng)網(wǎng)絡(luò)的聚類算法

深度前饋神經(jīng)網(wǎng)絡(luò)包含眾多目前主流的模型結(jié)構(gòu)，比如LeNet[22]、AlexNet[52]、VGGNet[53]、GoogleNet[54]、ResNet[55]等.這些模型憑借其強(qiáng)大的特征學(xué)習(xí)能力被廣泛應(yīng)用于諸多領(lǐng)域.但不同于自編碼器等無監(jiān)督學(xué)習(xí)模型，深度前饋神經(jīng)網(wǎng)絡(luò)通常需要監(jiān)督信息的指導(dǎo)來完成有效的特征學(xué)習(xí).這無疑提高了該類網(wǎng)絡(luò)模型在聚類學(xué)習(xí)領(lǐng)域的使用門檻.鑒于此，如何設(shè)計可靠的聚類損失函數(shù)來指導(dǎo)模型完成聚類任務(wù)迅速成為學(xué)者們的研究熱點.相較于基于自編碼器的聚類算法，該類算法對聚類損失的魯棒性要求更高，其關(guān)鍵在于如何產(chǎn)生可靠的確定性信息來輔助模型訓(xùn)練.其算法框架如圖3所示.根據(jù)產(chǎn)生確定性信息的方式，本文將該類聚類算法分為2個子類：基于聚類進(jìn)化的方法和基于自監(jiān)督學(xué)習(xí)的方法.

圖3 基于深度前饋神經(jīng)網(wǎng)絡(luò)的聚類算法框架Fig.3 Clustering algorithm framework based on deep feedforward neural network

2.2.1 基于聚類進(jìn)化的方法

該類方法的主要特點在于通過優(yōu)化聚類損失不斷地產(chǎn)生或強(qiáng)化高置信度信息，并以此作為監(jiān)督信息來指導(dǎo)模型訓(xùn)練.

DEC[32]是具有代表性的深度聚類算法，該算法定義了2種概率分布：軟聚類分配分布Q和輔助聚類分配分布P.模型具體定義為

(4)

Yang等[29]將模型的訓(xùn)練分為2個過程：特征空間的聚類過程和有監(jiān)督的特征學(xué)習(xí)過程.首先模型采用自底向上的層次聚類算法對特征進(jìn)行簇類合并，并選擇高置信度的聚類結(jié)果作為監(jiān)督信息，然后根據(jù)得到的監(jiān)督信息進(jìn)行特征學(xué)習(xí).2個過程用同一個優(yōu)化問題表示，使二者目標(biāo)函數(shù)一致，避免了分部帶來的誤差積累.聚類過程與特征學(xué)習(xí)過程交替優(yōu)化，最終完成整個模型的訓(xùn)練.

Chang等[33]提出的深度自適應(yīng)聚類算法將聚類問題轉(zhuǎn)化為二元判別問題，即判斷兩個樣本是否屬于同一類.首先模型將深度卷積網(wǎng)絡(luò)的輸出層特征定義為標(biāo)簽特征.然后計算標(biāo)簽特征之間的余弦相似度，并根據(jù)設(shè)置的閾值選取高置信度的正負(fù)樣本對作為標(biāo)記樣本，DAC以監(jiān)督的方式利用標(biāo)記樣本訓(xùn)練模型.基于自步學(xué)習(xí)[58]的思想，通過降低閾值要求不斷增加監(jiān)督信息，直到全部樣本都參與訓(xùn)練.

Shaham等[30]針對譜聚類算法可擴(kuò)展性差、無法樣本外測試等不足，提出一種深度譜聚類網(wǎng)絡(luò).該算法首先根據(jù)設(shè)置的閾值通過孿生網(wǎng)絡(luò)[59]學(xué)習(xí)特征之間的相似度矩陣，并以此作為監(jiān)督信息.然后在強(qiáng)制約束特征正交性同時優(yōu)化譜聚類損失函數(shù)，從而學(xué)習(xí)深度譜嵌入特征.最終通過對特征執(zhí)行K-means聚類來獲得聚類分配.

Peng等[60]從距離度量的角度提出一個聚類假設(shè)，即屬于同一簇類的樣本具有距離度量的不變性.該算法首先采用預(yù)訓(xùn)練的方式初始化網(wǎng)絡(luò)參數(shù)，然后基于2種不同距離度量方式來設(shè)計聚類分配分布，最終通過最小化不同聚類分配分布的KL散度來實現(xiàn)聚類.

2.2.2 基于自監(jiān)督學(xué)習(xí)的方法

自監(jiān)督學(xué)習(xí)主要是利用輔助任務(wù)(pretext)從大規(guī)模的無監(jiān)督數(shù)據(jù)中挖掘自身的監(jiān)督信息，通過這種構(gòu)造的監(jiān)督信息對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，從而可以學(xué)習(xí)到對下游任務(wù)有價值的表征.該類方法的主要特點是通過數(shù)據(jù)增強(qiáng)等技術(shù)為模型變向增加監(jiān)督信息，以自監(jiān)督學(xué)習(xí)的方式來提升模型的魯棒性和有效性.

IMSAT[34]是一種無監(jiān)督的離散表示學(xué)習(xí)算法，其任務(wù)是通過訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)將輸入數(shù)據(jù)映射為離散的特征表示.該算法借鑒正則化信息最大化(regularized information maximization,RIM)模型的聚類思想，首先利用分類器網(wǎng)絡(luò)輸出聚類分配概率，然后通過最大化輸入和離散聚類分配之間的互信息來實現(xiàn)聚類輸出.同時，IMSAT提出自我增強(qiáng)訓(xùn)練，通過最大化輸入樣本與其增強(qiáng)樣本之間的互信息，顯著增強(qiáng)模型的聚類性能.

Ji等[35]認(rèn)為缺乏語義過濾，將傳統(tǒng)聚類算法與深度學(xué)習(xí)強(qiáng)行結(jié)合并不能保證模型學(xué)到有聚類意義的特征，進(jìn)而提出不變信息聚類算法.該算法回歸網(wǎng)絡(luò)結(jié)構(gòu)本身，構(gòu)建網(wǎng)絡(luò)雙輸入，即原始樣本輸入和增強(qiáng)樣本輸入，根據(jù)信息瓶頸理論[61]，通過直接最大化原始樣本與增強(qiáng)樣本分類概率輸出之間的互信息，能夠有效地過濾冗余信息，捕捉到樣本之間的不變信息.Nina等[62]同樣從網(wǎng)絡(luò)結(jié)構(gòu)入手，構(gòu)建網(wǎng)絡(luò)的三元輸入結(jié)構(gòu)：原始樣本、增強(qiáng)正樣本和隨機(jī)負(fù)樣本，并根據(jù)三者的語義類別設(shè)計三元聚類損失，提出一種基于三元關(guān)系挖掘的深度聚類模型.

Wu等[63]認(rèn)為基于單一數(shù)據(jù)關(guān)聯(lián)關(guān)系學(xué)到的特征表示缺乏識別能力，提出深度綜合關(guān)聯(lián)挖掘聚類算法(deep comprehensive correlation mining,DCCM).該算法全面總結(jié)了原始樣本與特征之間的關(guān)系，包括：不同樣本的相關(guān)性、不同特征的相關(guān)性、對于數(shù)據(jù)變換的局部魯棒性以及同一樣本在不同網(wǎng)絡(luò)層之間的關(guān)系.首先，針對不同樣本之間的相關(guān)性，采用深度卷積網(wǎng)絡(luò)生成輸入的預(yù)測特征.在適當(dāng)?shù)募s束條件下，預(yù)測特征將趨向于one-hot向量；然后計算余弦相似度，構(gòu)造相似度圖.基于相似度圖和預(yù)測特征，通過設(shè)置閾值來獲得高置信度的偽圖和偽標(biāo)簽來指導(dǎo)特征學(xué)習(xí).其次，通過引入數(shù)據(jù)增強(qiáng)技術(shù)，提升模型的局部魯棒性.最后，通過最大化輸入與其特征的互信息來提升特征的識別能力，結(jié)合這3個不同方面的損失函數(shù)，以端到端的方式完成關(guān)聯(lián)挖掘和聚類輸出.

Huang等[64]認(rèn)為將屬于相同語義類別的樣本劃分到不同類別會同時降低類內(nèi)的緊密性和類間的多樣性，提出深度語義聚類算法.該算法將最大化間隔聚類[65]的思想引入到深度學(xué)習(xí)中，不對特征之間的相關(guān)性做任何假設(shè)，通過優(yōu)化全局劃分置信度損失獲得最終的聚類分配.

Li等[66]認(rèn)為特征矩陣的行和列可分別視為樣本的軟標(biāo)簽特征和類表達(dá)特征，基于上述的發(fā)現(xiàn)，作者通過同時優(yōu)化軟標(biāo)簽特征和類表達(dá)特征的對比損失，即最大化正樣本對的相似度，最小化負(fù)樣本對的相似度，從而以端到端的方式實現(xiàn)特征學(xué)習(xí)和聚類分配的聯(lián)合優(yōu)化.

2.3 基于生成對抗網(wǎng)絡(luò)的聚類算法

隨著生成對抗網(wǎng)絡(luò)在諸多領(lǐng)域的成功應(yīng)用，越來越多的學(xué)者將研究工作聚焦在如何利用對抗訓(xùn)練的思想來解決聚類任務(wù)中的問題.

對抗自編碼器[67]包含3個模塊——編碼器、解碼器、判別器，前兩者構(gòu)成一個普通的自編碼器，判別器輸入編碼向量，判定它是來自一個真實的先驗分布，還是來自編碼器的輸出.判別器試圖區(qū)分編碼向量的真假，而編碼器則扮演生成器的角色試圖混淆判別器，二者通過對抗訓(xùn)練完成特征學(xué)習(xí).對抗自編碼器是一個通用框架，能夠?qū)崿F(xiàn)監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)，針對聚類任務(wù)，通過對輸入編碼為連續(xù)特征和分類特征，并以重構(gòu)損失和對抗損失雙重目標(biāo)訓(xùn)練網(wǎng)絡(luò)，分類特征即為聚類分配輸出.深度對抗聚類[68]是一種生成式聚類模型，該算法沿用了對抗自編碼器網(wǎng)絡(luò)框架，其差異在于約束編碼特征服從高斯混合分布，從而使得最終學(xué)到的特征具有聚類結(jié)構(gòu).

CatGAN[69]是一種從未標(biāo)記或部分標(biāo)記的數(shù)據(jù)中學(xué)習(xí)判別分類器的算法，該算法將生成對抗網(wǎng)絡(luò)中判別器的二分類問題擴(kuò)展為多分類問題，并通過多分類目標(biāo)函數(shù)權(quán)衡觀察到的示例及其預(yù)測的分類類別分布之間的相互信息以及分類器自身的魯棒性.

GAN通過生成器與判別器的對抗學(xué)習(xí)來生成逼真的輸出，但是由于生成器的輸入是隨機(jī)的噪聲信號，沒有任何約束，導(dǎo)致輸入信號維度的可解釋性很差.為了實現(xiàn)輸入信號的解耦表示，InfoGAN[70]將輸入向量分為兩部分：連續(xù)的噪聲向量和潛在語義向量，其中Info代表生成數(shù)據(jù)與潛在語義向量之間的互信息.InfoGAN在對抗訓(xùn)練的同時最大化二者的互信息，從而得到可分解的特征表示.而語義向量則可以控制模型生成指定類別的樣本，實現(xiàn)無監(jiān)督聚類生成.其具體模型框架如圖4所示.

圖4 InfoGAN模型框架Fig.4 Framework of InfoGAN

由于生成對抗網(wǎng)絡(luò)的潛變量分布通常是平滑的，不存在可觀測簇類結(jié)構(gòu)，不利于聚類任務(wù).針對該問題，Mukherjee等[71]提出聚類生成對抗網(wǎng)絡(luò).該算法利用混合的離散和連續(xù)潛變量(one-hot編碼和高斯隨機(jī)變量)，以創(chuàng)建一個非光滑幾何潛空間，其目的是既保證良好的類間插值(高斯隨機(jī)變量)，又能實現(xiàn)更好的聚類效果(one-hot編碼).通過設(shè)計一種能適應(yīng)離散-連續(xù)混合情形的反向傳播算法，并給出顯式的逆映射網(wǎng)絡(luò)來獲取給定數(shù)據(jù)的潛在變量.將生成對抗網(wǎng)絡(luò)與反映射網(wǎng)絡(luò)聯(lián)合訓(xùn)練，并以特定聚類損失來訓(xùn)練模型，從而實現(xiàn)聚類輸出.

3 深度聚類算法的應(yīng)用

得益于深度學(xué)習(xí)的快速發(fā)展，深度聚類算法憑借其層次化結(jié)構(gòu)和強(qiáng)大的非線性映射能力使得大規(guī)模深度特征提取成為了可能，是目前機(jī)器學(xué)習(xí)、計算機(jī)視覺、圖像處理、模式識別等領(lǐng)域的研究熱點.深度聚類算法相較于傳統(tǒng)聚類算法更擅長處理大規(guī)模高維非結(jié)構(gòu)化數(shù)據(jù)，在圖像聚類、人臉識別、圖像分割等領(lǐng)域取得了成功的應(yīng)用.

3.1 圖像聚類

自然圖像聚類是一項極具挑戰(zhàn)性的任務(wù)，傳統(tǒng)的聚類算法往往無法有效處理高維非結(jié)構(gòu)化的圖像數(shù)據(jù)，深度聚類算法憑借其強(qiáng)大的特征學(xué)習(xí)能力成功地突破了自然圖像聚類的瓶頸.Chang等[74-75]提出的深度自進(jìn)化圖像聚類算法(deep self-evolution clustering,DSEC)將聚類問題轉(zhuǎn)化為二元判別問題，即判斷2個樣本是否屬于同一類.首先模型將深度卷積網(wǎng)絡(luò)的輸出層特征定義為標(biāo)簽特征.然后計算標(biāo)簽特征之間的余弦相似度，并根據(jù)設(shè)置的閾值選取高置信度的正負(fù)樣本對作為標(biāo)記樣本，DSEC以監(jiān)督的方式利用標(biāo)記樣本訓(xùn)練模型.基于自步學(xué)習(xí)[58]的思想，通過降低閾值要求不斷增加監(jiān)督信息，直到全部樣本都參與訓(xùn)練.Zhao等[76]提出了一種深度圖像聚類框架，該算法旨在學(xué)習(xí)一種類別式的潛在表示，以實現(xiàn)類別信息與圖像風(fēng)格是解耦關(guān)系.為了實現(xiàn)這一目標(biāo)，應(yīng)用互信息最大化的方法將相關(guān)信息嵌入到潛在表示中.此外，還采用了增強(qiáng)不變量損失來將表征分解為類別部分和風(fēng)格部分.最后對潛在表示法施加了一個先驗分布，以確保類別向量的元素可以作為聚類的概率.

3.2 人臉識別

人臉識別是基于人的臉部特征信息進(jìn)行身份識別的一種生物識別技術(shù)，是計算機(jī)視覺與模式識別領(lǐng)域的一個重要研究問題.Tapaswi等[77]提出一種球簇學(xué)習(xí) (ball cluster learning,BCL)，通過將嵌入空間刻畫成大小相等的球簇，在模型訓(xùn)練過程中將學(xué)習(xí)到的球半徑轉(zhuǎn)化為迭代合并算法的停止標(biāo)準(zhǔn)，從而實現(xiàn)人臉聚類.由于圖像在不同的照明和姿態(tài)條件下圖像質(zhì)量的差異化，導(dǎo)致訓(xùn)練(源域)和測試(目標(biāo)域)數(shù)據(jù)之間的域差異，Wang等[78]提出了一種基于聚類的域適應(yīng)方法，該方法是針對源域和目標(biāo)域不共享的人臉識別任務(wù)而設(shè)計的.通過在全局范圍內(nèi)對齊特征域，有效地學(xué)習(xí)鑒別性的目標(biāo)特征，同時在局部區(qū)分目標(biāo)簇.通過最小化全局域的差異性來學(xué)習(xí)更可靠的聚類表示，以減少域的差距，最后應(yīng)用簡化的譜聚類方法在域不變的特征空間中生成聚類結(jié)果.Lin等[79]提出一種深度密度聚類算法(deep density clustering，DDC)，該算法基于測量特征空間中局部鄰域之間的密度親和力，通過學(xué)習(xí)每個鄰域的最小覆蓋球，封裝底層結(jié)構(gòu)的信息.該封裝還能夠定位鄰域的高密度區(qū)域，有助于測量鄰域的相似性.并且從理論上證明，封裝漸進(jìn)地收斂到Parzen窗口密度估計器.

3.3 圖像分割

圖像分割是指將圖像分成若干具有相似性質(zhì)的區(qū)域的過程，是計算機(jī)視覺領(lǐng)域的一個重要的研究方向，是圖像語義理解的重要一環(huán).Khan等[80]提出了一種基于深度學(xué)習(xí)的無監(jiān)督圖像分割方法，該方法包括基于全卷積密集網(wǎng)絡(luò)的無監(jiān)督深度表示為導(dǎo)向進(jìn)行聚類，然后通過將淺層特征的高維區(qū)域合并，以產(chǎn)生最終的分割圖像.Zhou等[81]提出了一種基于新型深度圖像聚類(deep image clustering,DIC)模型的無監(jiān)督分割框架.DIC由一個特征變換子網(wǎng)絡(luò)(feature transformation subnetwork,FTS)和一個可訓(xùn)練的深度聚類子網(wǎng)絡(luò)(deep clustering subnetwork,DCS)組成，用于無監(jiān)督的圖像聚類.FTS建立在一個簡潔高效的網(wǎng)絡(luò)架構(gòu)上.DCS可以通過迭代更新聚類關(guān)聯(lián)和聚類中心來分配不同聚類號的像素.Saha等[82]提出了一種基于語義引導(dǎo)的無監(jiān)督卷積神經(jīng)網(wǎng)絡(luò)的圖像分割方法，該方法不需要任何標(biāo)記的訓(xùn)練數(shù)據(jù)，并且可以在單個圖像輸入上操作.該算法通過使用預(yù)先訓(xùn)練的網(wǎng)絡(luò)來提取中層的深層特征，以捕獲輸入圖像的語義，提取的深層特征被進(jìn)一步反饋到可訓(xùn)練的卷積層.最后通過softmax分類層的進(jìn)一步空間細(xì)化獲得分割標(biāo)簽.獲得的分割標(biāo)簽和可訓(xùn)練的卷積層權(quán)重在迭代中聯(lián)合優(yōu)化，從而實現(xiàn)將空間相鄰的像素和相似特征的像素分配到同一個標(biāo)簽上.

4 深度聚類算法總結(jié)與分析

縱觀上述3類深度聚類方法，都從不同的角度提升了聚類算法的性能，但同時也各自帶來新的難題與挑戰(zhàn).本節(jié)將從這3類深度聚類方法切入，分別總結(jié)其各自的優(yōu)勢與不足.

憑借其獨有的編碼器與解碼器結(jié)構(gòu)，通過對輸入樣本進(jìn)行重構(gòu)，自編碼器同主成分分析算法思想一樣，能夠有效地提取包含原始輸入重要信息的特征表示，這一特點決定了基于自編碼器的聚類方法普遍具有較好的魯棒性.原因在于神經(jīng)網(wǎng)絡(luò)其龐大的參數(shù)量，使得整個網(wǎng)絡(luò)模型的自由度非常高，而聚類問題又缺少確定性的先驗信息，如果對網(wǎng)絡(luò)參數(shù)缺乏合理的約束，極易導(dǎo)致模型訓(xùn)練無效而得到退化的特征.自編碼器的重構(gòu)誤差損失作為正則項會使得模型在兼顧聚類損失目標(biāo)的情況下，約束特征空間在一個合理的范圍以確保其能夠保留輸入樣本的重要信息，使提取的特征表示不會過于受到聚類損失的影響而導(dǎo)致特征空間的合理性被破壞，即聚類損失目標(biāo)雖然被充分優(yōu)化，但學(xué)到的特征卻無實際應(yīng)用價值.但也正是由于這種編碼器與解碼器對稱的網(wǎng)絡(luò)結(jié)構(gòu)，使得模型需要計算資源和時間來訓(xùn)練解碼器實現(xiàn)重構(gòu)，這會導(dǎo)致在計算資源有限的情況下，編碼器的深度被嚴(yán)重限制，從而使特征的表達(dá)能力也會顯著降低.并且當(dāng)模型訓(xùn)練完畢后，解碼器也不會參與新樣本的聚類預(yù)測，這更是一種對計算資源的浪費.因此如何權(quán)衡模型的魯棒性和擴(kuò)展性是該類方法亟待解決的難題.

重構(gòu)誤差雖然在一定程度上能夠提升模型的魯棒性，但并沒有理論能夠證明重構(gòu)誤差有助于幫助模型提取具有簇類結(jié)構(gòu)的特征.不同于自編碼器，深度前饋神經(jīng)網(wǎng)絡(luò)無須構(gòu)建解碼器對輸入樣本進(jìn)行重構(gòu)，使得編碼器的可擴(kuò)展性得到顯著的提升，而且由于深度前饋神經(jīng)網(wǎng)絡(luò)發(fā)展速度飛快，擁有眾多成熟并且前沿的網(wǎng)絡(luò)結(jié)構(gòu)，這無疑更加保障了其強(qiáng)大的特征表達(dá)能力.但另一方面，由于多數(shù)的深度前饋神經(jīng)網(wǎng)絡(luò)設(shè)計本身都是為有監(jiān)督任務(wù)服務(wù)的，其結(jié)構(gòu)并沒有自帶無監(jiān)督網(wǎng)絡(luò)損失來有效地約束模型參數(shù)，因此模型的訓(xùn)練需要依賴給定的監(jiān)督信息或目標(biāo)函數(shù).這意味著相較于基于自編碼器的聚類算法，基于深度前饋神經(jīng)網(wǎng)絡(luò)的聚類方法對聚類損失的魯棒性有更高的要求，傳統(tǒng)聚類算法的目標(biāo)函數(shù)往往無法遷移到網(wǎng)絡(luò)結(jié)構(gòu)中直接使用，因為很容易出現(xiàn)聚類目標(biāo)損失被充分優(yōu)化但所學(xué)特征無實際意義的情況.因此如何設(shè)計魯棒性好的聚類損失是突破該類方法瓶頸的關(guān)鍵.

上述2種方法都是基于判別式模型設(shè)計的.而基于變分自編碼器的聚類算法和基于生成對抗網(wǎng)絡(luò)的聚類算法則是生成式深度聚類模型.生成式聚類模型不僅能夠?qū)崿F(xiàn)聚類，而且還能產(chǎn)生新的樣本，拓寬了方法的應(yīng)用領(lǐng)域.基于變分自編碼器的聚類算法相較于基于傳統(tǒng)自編碼器的聚類算法的優(yōu)勢在于，前者通過對特征空間施加特定的分布約束(高斯混合分布等)，使得特征空間更加的規(guī)整和平滑，擁有較為完備的理論保證，提升模型的魯棒性.但是其同樣繼承了傳統(tǒng)自編碼器的網(wǎng)絡(luò)結(jié)構(gòu)所帶來的的弊端.相較于變分自編碼器，生成對抗模型在先驗分布的選擇上有著更強(qiáng)的靈活性，其對抗訓(xùn)練的方式能夠讓模型生成更逼真、更豐富的樣本.但是目前基于生成對抗網(wǎng)絡(luò)的聚類方法無論在數(shù)量還是性能方面都遜色于前2類方法，本文認(rèn)為其主要原因在于2個方面，其一是對抗訓(xùn)練方式收斂慢，容易出現(xiàn)模型坍塌，導(dǎo)致訓(xùn)練失?。黄涠巧蓪咕W(wǎng)絡(luò)需要生成新樣本，計算成本高，難以形成以聚類目標(biāo)為核心導(dǎo)向的生成模型.

5 未來的研究方向

基于對上述3類方法的總結(jié)與分析，本文認(rèn)為一個好的深度聚類模型應(yīng)該同時滿足3個要素：模型的可擴(kuò)展性、損失函數(shù)的魯棒性和特征空間的平滑性.

1)模型的可擴(kuò)展性

模型的可擴(kuò)展性對于大規(guī)模復(fù)雜數(shù)據(jù)學(xué)習(xí)是必不可少的.自編碼器作為主流的無監(jiān)督學(xué)習(xí)模型，其對稱的結(jié)構(gòu)特點使得編碼器深度受限，雖然已經(jīng)有理論證明最大化輸入與其特征的互信息近似等價于最小化重構(gòu)誤差[72]，為模型不失魯棒性的基礎(chǔ)上摒棄解碼器提供了理論支持，但目前的理論建立在嚴(yán)格的假設(shè)基礎(chǔ)上，且連續(xù)互信息的估計方法仍然是不成熟的[73].因此，對于自編碼器可擴(kuò)展性的理論探索是值得研究的方向.

2)損失函數(shù)的魯棒性

事實上，深度聚類所面臨的多數(shù)挑戰(zhàn)都可以歸咎于確定性信息的缺失.因此如何從數(shù)據(jù)中產(chǎn)生盡可能多的、可靠的確定性信息，是提升模型魯棒性和有效性的關(guān)鍵.目前主流的方式是通過數(shù)據(jù)增強(qiáng)技術(shù)，例如對圖像進(jìn)行剪切、旋轉(zhuǎn)、平移、縮放等操作，生成多個增強(qiáng)圖像.數(shù)據(jù)增強(qiáng)技術(shù)擅長產(chǎn)生可靠的正樣本，但是對于負(fù)樣本的生成目前并沒有較好的方法，因此如何生成可靠的負(fù)樣本是非常具有研究價值的.

3)特征空間的平滑性

特征空間的平滑性主要體現(xiàn)在特征插值和分布約束.變分自編碼器就是通過對特征空間施加特定的先驗分布，使得學(xué)到的特征更加規(guī)整，并通過特征插值生成新樣本.平滑性約束對于特征學(xué)習(xí)非常必要，但目前的深度聚類模型缺少對特征平滑性約束的新探索，因此如何設(shè)計新穎的特征分布約束是深度聚類研究的重要挑戰(zhàn)之一.

4)新穎的聚類假設(shè)

目前深度聚類模型仍然是沿用傳統(tǒng)算法的聚類假設(shè)，例如基于距離關(guān)系、基于類中心、基于高密度區(qū)域、基于信息熵等.這導(dǎo)致深度聚類模型同樣繼承了這些聚類假設(shè)的缺陷，甚至缺陷被放大.因此，如何拋開傳統(tǒng)聚類的思路，以深度學(xué)習(xí)的視角建立新穎的聚類假設(shè)是突破聚類算法瓶頸的關(guān)鍵.