国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

深度卷積自編碼圖像聚類算法*

2019-05-07 06:02:00謝娟英曹嘉文
計算機與生活 2019年4期
關(guān)鍵詞:網(wǎng)絡(luò)結(jié)構(gòu)損失卷積

謝娟英,侯 琦,曹嘉文

陜西師范大學(xué) 計算機科學(xué)學(xué)院,西安 710119

1 引言

計算機軟、硬件技術(shù)和智能手機等電子設(shè)備的飛速發(fā)展,使大數(shù)據(jù)成為當(dāng)今社會的必然產(chǎn)物。如何從大數(shù)據(jù)中發(fā)現(xiàn)隱藏的知識和規(guī)律,是亟待解決的問題和任務(wù)。深度學(xué)習(xí)概念由Hinton等人[1]于2006年提出,是大數(shù)據(jù)分析的有力工具,廣泛用于圖像處理、語音識別、自然語言理解等領(lǐng)域。

聚類根據(jù)樣本的相似程度,將數(shù)據(jù)集樣本劃分為若干類簇,使相似度高的樣本位于同一類簇,相似度低的樣本處在不同類簇[2]。深度聚類是深度學(xué)習(xí)在無監(jiān)督學(xué)習(xí)領(lǐng)域的應(yīng)用,在圖像識別領(lǐng)域表現(xiàn)出明顯優(yōu)勢。自編碼器的發(fā)展,更是推動了深度學(xué)習(xí)在無監(jiān)督學(xué)習(xí)領(lǐng)域的發(fā)展。

深度聚類算法分為兩種:一種是先學(xué)習(xí)數(shù)據(jù)表示,然后進(jìn)行聚類;另一種是特征學(xué)習(xí)和聚類同時進(jìn)行。深度子空間聚類網(wǎng)絡(luò)(deep subspace clustering networks,DSC-Nets)[3]提出了一種新穎的深度卷積自編碼網(wǎng)絡(luò)來學(xué)習(xí)樣本點之間的相似矩陣,即在編碼層和解碼層之間加入自表達(dá)層,以得到樣本之間的相似性,然后在子空間根據(jù)學(xué)習(xí)得到的相似矩陣對樣本進(jìn)行譜聚類分析。深度嵌入聚類算法(deep embedded clustering,DEC)[4],通過降噪自編碼,逐層貪婪訓(xùn)練后組合成棧式自編碼,然后撤去解碼層,僅使用編碼層,對提取出來的特征使用相對熵作為損失函數(shù)對網(wǎng)絡(luò)進(jìn)行微調(diào),該結(jié)構(gòu)可以同時對數(shù)據(jù)進(jìn)行特征學(xué)習(xí)和聚類。但是DEC算法沒有考慮微調(diào)會扭曲嵌入式空間,削弱嵌入式特征的代表性,從而影響聚類效果。DEC算法對復(fù)雜圖像數(shù)據(jù)STL-10[5],使用傳統(tǒng)的梯度方向直方圖(histograms of oriented gradient,HOG)[6]人工特征,沒有使用深度學(xué)習(xí)進(jìn)行特征提取,所得特征不能很好表達(dá)圖像。IDEC(improved deep embedded clustering)算法[7]是對DEC算法的改進(jìn),通過保存局部結(jié)構(gòu)防止微調(diào)對嵌入式空間的扭曲,即在預(yù)訓(xùn)練時,使用欠完備自編碼,微調(diào)時的損失函數(shù)采用相對熵和重建損失之和,以此來保障嵌入式空間特征的代表性。

卷積神經(jīng)網(wǎng)絡(luò)已被證明對圖像特征提取具有極好性能,因此產(chǎn)生了卷積自編碼[8]。鑒于此,Guo等人[9]提出了深度卷積嵌入聚類算法(deep convolutional embedded clustering,DCEC),在DEC原有網(wǎng)絡(luò)基礎(chǔ)上,加入了卷積自編碼操作,并在特征空間保留數(shù)據(jù)局部結(jié)構(gòu),從而取得了更好聚類效果。

然而研究發(fā)現(xiàn)DCEC的網(wǎng)絡(luò)結(jié)構(gòu)損失了太多特征信息,從而限制了DCEC算法的聚類效果。因此,在卷積自編碼基礎(chǔ)上,提出一種新的網(wǎng)絡(luò)結(jié)構(gòu),并優(yōu)化特征提取方式,以得到更好聚類結(jié)果。三個經(jīng)典圖像數(shù)據(jù)集的實驗結(jié)果表明,本文的改進(jìn)使得聚類效果大幅提升。

2 相關(guān)研究

2.1 深度嵌入聚類DEC

DEC算法[4]先使用棧式降噪自編碼[10]對數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練,然后移除解碼層,對整個網(wǎng)絡(luò)使用相對熵作為損失函數(shù)進(jìn)行微調(diào),得到調(diào)整網(wǎng)絡(luò)參數(shù)的同時進(jìn)行聚類,完成模型優(yōu)化的同時實現(xiàn)聚類。其相對熵定義如式(1)所示,描述兩個概率分布P和Q的差異,其中P表示真實(目標(biāo))分布,Q表示P的擬合分布。

式(1)中,qij表示原始空間經(jīng)過非線性映射到潛在特征空間的嵌入點zi和聚類中心μj的相似性,也即擬合分布Q的表示,其計算公式如式(2)所示。式(2)中α是t分布的自由度,通常取為1。qij表達(dá)了樣本xi屬于類簇j的概率。

目標(biāo)分布P如式(3)定義,可以看出目標(biāo)分布P是由擬合分布Q來定義的,這是DEC算法的核心,可見DEC算法最小化KL散度是一種自訓(xùn)練[11]。

DEC算法的整個聚類過程如圖1所示。先使用整個網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練,得到原始數(shù)據(jù)經(jīng)過非線性映射到潛在特征空間的數(shù)據(jù)表示,即特征。然后對得到的特征用K-means算法進(jìn)行網(wǎng)絡(luò)初始化,得到初始聚類中心。再使用相對熵迭代,微調(diào)網(wǎng)絡(luò),直至滿足收斂性判定準(zhǔn)則停止。最終樣本xi所屬類簇就是使得qij最大的類簇中心點μj。

2.2 基于局部結(jié)構(gòu)保留的深度嵌入聚類IDEC

基于局部結(jié)構(gòu)保留的深度嵌入聚類IDEC[7]是對DEC算法的改進(jìn),通過保存局部結(jié)構(gòu)方式避免微調(diào)時對嵌入空間的扭曲。IDEC的損失函數(shù)如式(4)所示。其中Lr和Lc分別為重建損失和聚類損失。γ?0為控制嵌入空間扭曲程度系數(shù)。

假設(shè)數(shù)據(jù)集X有n個樣本,每個樣本是一個d維向量,定義非線性映射fw:xi→zi和gw':zi→xi',其中zi是xi在低維特征空間的嵌入點,xi'是xi的重建樣本。fw、gw'分別表示編碼過程中從原始數(shù)據(jù)到特征空間的特征映射和從特征空間特征到重建數(shù)據(jù)的映射。

聚類損失Lc的定義見式(1)的L定義,重建損失Lr就是均方誤差(mean squared error,MSE),定義為式(5),其中zi如式(6)所示,fw、gw'分別為編碼函數(shù)和解碼函數(shù)。

IDEC算法的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示,在預(yù)訓(xùn)練結(jié)束后,對重建損失和聚類損失的加權(quán)和進(jìn)行微調(diào),在最大限度保證不扭曲嵌入空間的前提下,得到最優(yōu)聚類結(jié)果。

Fig.2 IDEC network structure圖2 IDEC的網(wǎng)絡(luò)結(jié)構(gòu)圖

2.3 深度卷積嵌入聚類算法DCEC

深度卷積嵌入聚類算法DCEC[9]是在IDEC算法基礎(chǔ)上進(jìn)行的改進(jìn),將編碼層和解碼層中的全連接換成卷積操作,這樣可以更好地提取層級特征,其網(wǎng)絡(luò)結(jié)構(gòu)圖如圖3所示。圖中編碼層和解碼層各有3層卷積,卷積層后加了一個flatten操作拉平特征向量,以獲得10維特征。DCEC只是將IDEC的所有全連接操作換成卷積操作,其損失函數(shù)依舊是重建損失和聚類損失之和。但DCEC只保留10維特征,會引起特征損失。

3 本文算法

3.1 網(wǎng)絡(luò)結(jié)構(gòu)

針對DCEC算法的特征損失缺陷,對其網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn),在得到特征前后各加了兩個全連接層作為過渡,以避免DCEC算法在卷積后直接保留10維特征可能損失部分信息的問題。另外,不同于DCEC算法,本文的編碼層由卷積層和下采樣層組成,采用下采樣的目的是減少參數(shù),防止過擬合;在解碼層通過上采樣層和卷積層來實現(xiàn)反卷積效果,加入上采樣層是為了還原下采樣造成的細(xì)節(jié)損失。改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

3.2 損失函數(shù)

Fig.3 DCEC network structure圖3 DCEC網(wǎng)絡(luò)結(jié)構(gòu)圖

Fig.4 Network structure framework proposed in this paper圖4 本文提出的網(wǎng)絡(luò)結(jié)構(gòu)框架

為了驗證改進(jìn)結(jié)構(gòu)的優(yōu)越性,分別采用DEC算法的損失函數(shù)和IDEC算法的損失函數(shù)作為代價損失函數(shù),采用圖4提出的網(wǎng)絡(luò)結(jié)構(gòu),得到兩種深度卷積圖像聚類算法,分別命名為DEC_DCNN(deep embedded clustering based on deep convolutional neural network)和 IDEC_DCNN(improved deep embedded clustering based on deep convolutional neural network),即DEC_DCNN的損失函數(shù)同DEC算法,如式(1)所示,IDEC_DCNN的損失函數(shù)為式(4)所示的IDEC算法的損失函數(shù):聚類損失和重建損失之和。實驗部分將通過與現(xiàn)有研究結(jié)果的比較,驗證提出的改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)的有效性。

3.3 特征提取

實驗數(shù)據(jù)集 MNIST[12]、USPS[7]和 STL-10[5]的前兩個為手寫字體識別數(shù)據(jù)集,是灰度圖像,數(shù)據(jù)像素稀疏,最后1個數(shù)據(jù)集是RGB三通道的復(fù)雜圖像,圖像紋理、色彩、形狀復(fù)雜。為此,采用兩類不同方式提取特征,設(shè)計兩種策略進(jìn)行聚類。

棧式自編碼可以學(xué)習(xí)到代表原始數(shù)據(jù)分布的有效特征[10]。因此,對MNIST和USPS數(shù)據(jù)集,直接使用圖4提出的網(wǎng)絡(luò)結(jié)構(gòu),采用和棧式自編碼相同的逐層貪婪預(yù)訓(xùn)練方式,得到原始數(shù)據(jù)的潛在特征空間表示,然后使用K-means得到初始聚類中心,去掉網(wǎng)絡(luò)解碼層,只保留編碼層和特征層進(jìn)行網(wǎng)絡(luò)微調(diào)。對復(fù)雜圖像數(shù)據(jù)集STL-10,首先使用Inception-v3[13]模型提取特征,用最后一個池化層(pool_3)的輸出作為圖像特征,也就是每個圖像用一個2 048維向量表示。然后用提取的特征代替原始圖像數(shù)據(jù),使用圖4提出的網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練和微調(diào)。

不同數(shù)據(jù)集采用不同預(yù)訓(xùn)練方式是因為預(yù)訓(xùn)練結(jié)果很大程度決定了后期微調(diào)聚類的效果。對簡單圖像,使用棧式自編碼預(yù)訓(xùn)練完全可以學(xué)到原灰度圖像的很好特征表示。但對圖像內(nèi)容色彩豐富的復(fù)雜圖像,棧式自編碼提取的特征不足以表示原始圖像。由于卷積神經(jīng)網(wǎng)絡(luò)具有對圖像特征魯棒性的特點,因此對復(fù)雜圖像,使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取,然后對提取到的特征進(jìn)行預(yù)訓(xùn)練和微調(diào),以取得更好實驗效果。DEC_DCNN和IDEC_DCNN算法分別依據(jù)其損失函數(shù)微調(diào)網(wǎng)絡(luò),完成微調(diào)的同時實現(xiàn)聚類。

3.4 優(yōu)化方法

設(shè)數(shù)據(jù)集X={x1,x2,…,xn}∈Rn×d,定義非線性映射fw:xi→zi和gw':zi→xi',其中zi是xi在低維特征空間的嵌入點,xi'是xi的重建樣本。fw、gw'分別表示編碼過程中從原始數(shù)據(jù)到特征空間的特征映射和從特征空間特征到重建數(shù)據(jù)的映射。類簇數(shù)為K,第j類簇的類簇中心μj∈Rd。si∈{1,2,…,K}表示樣本xi的分配標(biāo)簽。

采用自適應(yīng)矩估計Adam(adaptive moment estimation)[14]和小批量隨機梯度下降Mini-Batch SGD(mini-batch stochastic gradient descent)兩種優(yōu)化方法對損失函數(shù)進(jìn)行迭代優(yōu)化。IDEC_DCNN算法需要優(yōu)化和IDEC算法同樣的參數(shù):編碼器編碼層和解碼層的權(quán)重、類簇中心、目標(biāo)分布。DEC_DCNN算法的待優(yōu)化參數(shù)同DEC算法,包括類簇中心和DNN(deep neural networks)網(wǎng)絡(luò)參數(shù)。

Mini-Batch SGD在網(wǎng)絡(luò)傳播過程中更新聚類中心{μi}和神經(jīng)網(wǎng)絡(luò)參數(shù)。損失函數(shù)Lc關(guān)于特征空間嵌入點{zi}、聚類中心{μi}的梯度分別如式(7)和式(8)所示,其中qij和pij如式(2)和式(3)所示,α取1。

假設(shè)待更新的小批量樣本數(shù)為m,學(xué)習(xí)率為λ,則第j類簇中心μj的更新方式如式(9)所示。

IDEC_DCNN算法編碼層權(quán)重的更新公式如式(10)所示,解碼層的權(quán)重更新方式如式(11)所示。由式(10)可見編碼層權(quán)重根據(jù)重建損失和聚類損失的梯度和進(jìn)行更新,解碼層權(quán)重只根據(jù)重建損失梯度實現(xiàn)更新。

目標(biāo)分布P采用DEC思想更新,用擬合分布Q表示,如式(3)所示。為避免不穩(wěn)定,間隔T次迭代更新P。通過式(12)實現(xiàn)樣本xi的聚類,將樣本xi分配給使概率qij最大的類簇j。

Mini-Batch SGD優(yōu)化對預(yù)訓(xùn)練后數(shù)據(jù)進(jìn)行聚類的詳細(xì)步驟描述如下。

輸入:數(shù)據(jù)集X,類簇數(shù)K,目標(biāo)分布更新間隔T,停止閾值δ,最大迭代次數(shù)M。

輸出:自編碼器編碼層權(quán)重W,解碼層權(quán)重W',聚類中心μ,類別標(biāo)簽集合s。

4 實驗結(jié)果與分析

4.1 數(shù)據(jù)集描述

使用 MNIST[12]、USPS[7]和 STL-10[5]三個經(jīng)典圖像數(shù)據(jù)集來測試本文算法的性能,前兩個為手寫字體數(shù)據(jù)集,最后一個為復(fù)雜圖像數(shù)據(jù)集。圖5(a)、圖5(b)分別給出了MNIST和STL-10數(shù)據(jù)集的部分樣本示例。

MNIST數(shù)據(jù)集是LeCun等人[12]提出的一個經(jīng)典手寫字體識別庫,包含70 000張手寫數(shù)字圖像,每張均為28×28像素。每張圖像中的數(shù)字都是居中且都已標(biāo)準(zhǔn)化。USPS數(shù)據(jù)集含有9 298張手寫數(shù)字灰度圖像,每張圖像大小為16×16像素。STL-10是圖像分類和聚類常用數(shù)據(jù)集,其中圖像分別是飛機、輪船、大貨車、汽車、貓、狗、鳥、馬、猴子和鹿,共10類。每類圖像均有1 300個樣本,數(shù)據(jù)集共有13 000張帶標(biāo)簽樣本,每張圖像的尺寸為96×96的RGB三通道彩色圖像。該數(shù)據(jù)集還含有100 000張無標(biāo)簽樣本,可用于自編碼預(yù)訓(xùn)練。

4.2 評價指標(biāo)

使用聚類準(zhǔn)確率(accuracy,ACC)、調(diào)整互信息(adjusted mutual information,AMI)和調(diào)整Rand指數(shù)(adjusted rand index,ARI)三種經(jīng)典的聚類有效性評價指標(biāo)[15-16]評價實驗結(jié)果。三種指標(biāo)的取值上界均為1,取值越大聚類結(jié)果越好。

Fig.5 Samples of MNIST and STL-10 datasets圖5 MNIST和STL-10數(shù)據(jù)集部分樣本

4.3 實驗設(shè)置

為驗證本文算法的優(yōu)越性,將本文算法實驗結(jié)果與DEC、IDEC和DCEC算法的實驗結(jié)果進(jìn)行比較。另外,還與使用自編碼(autoencoder,AE)進(jìn)行預(yù)訓(xùn)練,然后再聚類的算法AE+K-means,以及K-means、譜嵌入聚類算法(spectral embedded clustering,SEC)[17]的實驗結(jié)果進(jìn)行比較。

K-means的實驗結(jié)果為隨機初始化20次的最好聚類結(jié)果。SEC算法因添加了線性正則化,其性能在大多數(shù)據(jù)集上都優(yōu)于傳統(tǒng)譜聚類算法。DEC算法使用棧式自編碼進(jìn)行預(yù)訓(xùn)練,對所有數(shù)據(jù)集,自編碼網(wǎng)絡(luò)結(jié)構(gòu)均是全連接多層感知器(multilayer perceptron,MLP),每層的神經(jīng)元數(shù),即維度,均采用d-500-500-2 000-10,其中d代表原始數(shù)據(jù)集數(shù)據(jù)的特征維數(shù)。除輸入層、輸出層和特征映射層外,其余所有層都使用修正線性單元(rectified linear units,ReLU)[18]作為激活函數(shù)。IDEC算法沿用DEC的上述配置,詳細(xì)參數(shù)配置見文獻(xiàn)[7]。DCEC算法的參數(shù)設(shè)置同文獻(xiàn)[9]。

本文提出的兩種算法,對于MNIST和STL-10數(shù)據(jù)集使用Adam優(yōu)化方法調(diào)整網(wǎng)絡(luò)參數(shù),端到端預(yù)訓(xùn)練120次;對于USPS數(shù)據(jù)集使用Mini-Batch SGD優(yōu)化方法優(yōu)化參數(shù),預(yù)訓(xùn)練2 000次。收斂閾值δ設(shè)置為0.1%,更新間隔T設(shè)置為總樣本數(shù)||X||和訓(xùn)練批次大小BatchSize(即||S||=256)之比。除了輸入層、輸出層、特征映射層,其余層使用ReLU作為激活函數(shù),輸出層使用Sigmoid激活函數(shù)。

4.4 實驗結(jié)果

本文DEC_DCNN和IDEC_DCNN算法與各對比算法的聚類準(zhǔn)確率如表1所示,加粗和下劃線表示最好結(jié)果,N/A表示沒有相應(yīng)結(jié)果。本文DEC_DCNN和IDEC_DCNN算法對各數(shù)據(jù)集的聚類結(jié)果評價指標(biāo)AMI和ARI比較如圖6所示。圖7、圖8分別展示了本文DEC_DCNN和IDEC_DCNN算法在3個經(jīng)典圖像數(shù)據(jù)集的聚類結(jié)果,分別展示了各數(shù)據(jù)集的每個類中前10個聚類概率較大的圖像。每行對應(yīng)于一個類簇,圖像依據(jù)到相應(yīng)類簇中心的距離從左到右排序。

Table 1 Clustering accuracy comparison of different algorithms表1 各算法的聚類準(zhǔn)確率比較 %

表1實驗結(jié)果顯示:在MNIST、USPS、STL-10數(shù)據(jù)集上,提出的DEC_DCNN和IDEC_DCNN算法均取得了遠(yuǎn)優(yōu)于以往算法的聚類準(zhǔn)確率,尤其是IDEC_DCNN算法在兩個手寫字體數(shù)據(jù)集取得了極好的聚類效果,聚類準(zhǔn)確率遠(yuǎn)遠(yuǎn)高于DCEC算法,在MNIST數(shù)據(jù)集達(dá)到了98.19%的聚類準(zhǔn)確率。對于STL-10數(shù)據(jù)集,DEC算法提取HOG特征,IDEC、DEC_DCNN和IDEC_DCNN均采用本文提出的特征提取方法,從表1展示的DEC和IDEC算法的聚類準(zhǔn)確率來看,后者的聚類準(zhǔn)確率提高了近40%,說明本文提出的圖像特征提取方法非常好。對相同的特征提取方式,本文提出的DEC_DCNN和IDEC_DCNN算法的聚類準(zhǔn)確率均優(yōu)于IDEC算法,表明本文提出的DEC_DCNN和IDEC_DCNN算法的網(wǎng)絡(luò)結(jié)構(gòu)更合理。

Fig.6 Comparison of proposed algorithms on 3 datasets in terms of benchmark metricsAMI andARI圖6 本文算法在3個數(shù)據(jù)集的基準(zhǔn)指標(biāo)AMI和ARI比較

圖6實驗結(jié)果顯示:本文IDEC_DCNN算法在各數(shù)據(jù)集的聚類結(jié)果指標(biāo)AMI和ARI的取值均優(yōu)于DEC_DCNN算法的相應(yīng)指標(biāo),說明IDEC_DCNN算法使用的本文提出的17層深度網(wǎng)絡(luò)結(jié)構(gòu)更優(yōu),也說明IDEC_DCNN算法的損失函數(shù)更合理。

圖7的實驗結(jié)果揭示:對MNIST和USPS數(shù)據(jù)集,DEC_DCNN算法的結(jié)果均正確;對MNIST數(shù)據(jù)集,以往研究經(jīng)常難以區(qū)分的9和4,6和4錯誤在DEC_DCNN算法的top10聚類結(jié)果中均沒有出現(xiàn)。對STL-10數(shù)據(jù)集,本文DEC_DCNN算法對貓和狗的識別上有部分錯誤,但對汽車、輪船、猴子和鳥等類別的識別都正確,表明提出的17層深度聚類網(wǎng)絡(luò)結(jié)構(gòu)非常好。

圖8關(guān)于IDEC_DCNN算法在3個圖像數(shù)據(jù)集的實驗結(jié)果顯示:本文IDEC_DCNN算法在MNIST和USPS數(shù)字圖像數(shù)據(jù)集的結(jié)果均正確;對STL-10圖像數(shù)據(jù)集,只有在狗的類別中有一個被識別為貓,其余圖像的類別識別均正確。由此可見:提出的IDEC_DCNN算法的優(yōu)越性非常強。這不僅說明了本文提出的17層深度網(wǎng)絡(luò)結(jié)構(gòu)更優(yōu),也印證了IDEC_DCNN采用的損失函數(shù)更好。

5 結(jié)束語

Fig.8 Some clustering results of 3 datasets by proposed IDEC_DCNN圖8 本文IDEC_DCNN算法對3個數(shù)據(jù)集的部分聚類結(jié)果

針對現(xiàn)有深度學(xué)習(xí)聚類算法存在的問題,提出了具有17層網(wǎng)絡(luò)結(jié)構(gòu)的深度聚類網(wǎng)絡(luò)結(jié)構(gòu)框架,以及基于該框架的兩種深度圖像聚類算法DEC_DCNN和IDEC_DCNN。3個經(jīng)典圖像數(shù)據(jù)集的實驗結(jié)果表明,提出的17層深度網(wǎng)絡(luò)結(jié)構(gòu)框架避免了現(xiàn)有深度聚類網(wǎng)絡(luò)的問題;提出的基于該深度網(wǎng)絡(luò)結(jié)構(gòu)框架的深度聚類算法DEC_DCNN和IDEC_DCNN的聚類性能優(yōu)于現(xiàn)有深度聚類算法DEC、IDEC和DCEC,也優(yōu)于K-means等其他經(jīng)典聚類算法。

然而,實驗過程中發(fā)現(xiàn),本文算法的實驗結(jié)果存在不穩(wěn)定情況,分析原因可能是網(wǎng)絡(luò)參數(shù)的優(yōu)化方法選擇不合適或者深度學(xué)習(xí)網(wǎng)絡(luò)本身參數(shù)眾多導(dǎo)致聚類結(jié)果波動。如何提高深度圖像聚類算法的聚類結(jié)果穩(wěn)定性是需要進(jìn)一步研究的問題。

猜你喜歡
網(wǎng)絡(luò)結(jié)構(gòu)損失卷積
少問一句,損失千金
基于3D-Winograd的快速卷積算法設(shè)計及FPGA實現(xiàn)
胖胖損失了多少元
從濾波器理解卷積
電子制作(2019年11期)2019-07-04 00:34:38
玉米抽穗前倒伏怎么辦?怎么減少損失?
基于傅里葉域卷積表示的目標(biāo)跟蹤算法
基于互信息的貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)
知識網(wǎng)絡(luò)結(jié)構(gòu)維對于創(chuàng)新績效的作用機制——遠(yuǎn)程創(chuàng)新搜尋的中介作用
滬港通下A+ H股票網(wǎng)絡(luò)結(jié)構(gòu)演化的實證分析
復(fù)雜網(wǎng)絡(luò)結(jié)構(gòu)比對算法研究進(jìn)展
梅河口市| 高雄县| 铜鼓县| 吉安县| 阳高县| 类乌齐县| 衡阳市| 二连浩特市| 织金县| 张家界市| 上杭县| 临沧市| 石家庄市| 兴化市| 伊川县| 南召县| 玉环县| 平乐县| 峨边| 恭城| 崇信县| 阿瓦提县| 浪卡子县| 神木县| 乐至县| 古浪县| 自贡市| 平果县| 邵武市| 乌拉特中旗| 东乡| 浏阳市| 庐江县| 云林县| 来安县| 吐鲁番市| 武城县| 长武县| 涿鹿县| 三门县| 鞍山市|