馮 文,陳志國(guó),傅 毅,王凱宇

(江南大學(xué) 物聯(lián)網(wǎng)工程學(xué)院,江蘇 無(wú)錫 214122)

1 引 言

近些年來(lái),人工神經(jīng)網(wǎng)絡(luò)成為了機(jī)器學(xué)習(xí)的研究熱點(diǎn),隨著近些年不斷的發(fā)展各種神經(jīng)網(wǎng)絡(luò)被提出,卷積神經(jīng)網(wǎng)絡(luò)、深度信念網(wǎng)絡(luò)、自編碼網(wǎng)絡(luò)等都是常見(jiàn)的網(wǎng)絡(luò).自編碼神經(jīng)網(wǎng)絡(luò)作為一種簡(jiǎn)單高效的網(wǎng)絡(luò),能有效的從數(shù)據(jù)中提取有效的信息用于分類,自編碼利用編解碼過(guò)程來(lái)求得最能表示原數(shù)據(jù)特征的參數(shù),為提高其特征提取的能力,有很多的學(xué)者對(duì)其進(jìn)行了改良和應(yīng)用.Vincent 等人提出了去噪自編碼[3],Chen M等人對(duì)去噪自編碼進(jìn)行改進(jìn)提出了邊緣化去噪自編碼[8],南京大學(xué)周志華等人提出了基于樹(shù)的自編碼[10],劍橋大學(xué)O.Chen等人也提出了卷積自編碼[4],在特征提取上也取得了良好的效果.自編碼作為一種非監(jiān)督學(xué)習(xí),廣泛的用在了計(jì)算機(jī)科學(xué)及其相關(guān)領(lǐng)域[9,12,13].

與此同時(shí)優(yōu)化算法也發(fā)展迅速,并且被廣泛的用于各種問(wèn)題,優(yōu)化算法可以被分類為兩大類,第一類數(shù)學(xué)方法類,例如:擬牛頓法、動(dòng)態(tài)規(guī)劃等.另外一類就是元啟發(fā)算法例如:粒子群算法、遺傳算法、蟻群算法等.智能算法在求參數(shù)的最優(yōu)解中有著良好的應(yīng)用.而神經(jīng)網(wǎng)絡(luò)訓(xùn)練的過(guò)程也是利用一系列求參過(guò)程取得最優(yōu)的參數(shù),所以有很多工作將智能算法和神經(jīng)網(wǎng)絡(luò)相結(jié)合.Yin H等人將自編碼和粒子群相結(jié)合用于預(yù)測(cè)股票的走勢(shì)[11],吳志攀等人將粒子群算法和BP網(wǎng)絡(luò)相結(jié)合用于車牌識(shí)別[5],董晴等人將自編碼和粒子群算法結(jié)合提出了PDNN[1],將Extreme Learning Machine(EML)和自編碼網(wǎng)絡(luò)結(jié)合提出了EML優(yōu)化的深度自編碼[2].

董晴等人在將粒子群算法和自編碼網(wǎng)絡(luò)相融合用于郵件分類時(shí),垃圾郵件的召回率較低.在該實(shí)驗(yàn)中將粒子群融入自編碼網(wǎng)絡(luò)的時(shí)候,先將自編碼網(wǎng)絡(luò)的參數(shù)求出后,再用softmax對(duì)所得到的數(shù)據(jù)分類.本文在針對(duì)垃圾郵件召回率較低的情況下利用碰撞算法來(lái)對(duì)自編碼和softmax的參數(shù)進(jìn)行尋參.碰撞算法相對(duì)于粒子群算法有著較大不同,粒子群算法在尋參過(guò)程中每個(gè)粒子是相互獨(dú)立的互不影響,但是碰撞體算法在尋參過(guò)程中每個(gè)碰撞體是相互影響的.本文在融入方法上也采取了較為不同的方法,在融入過(guò)程中每對(duì)自編碼的網(wǎng)絡(luò)參數(shù)進(jìn)行一次尋參后,都將對(duì)softmax進(jìn)行尋參.通過(guò)在垃圾郵件分類數(shù)據(jù)庫(kù)上與PDNN相對(duì)比本文的方法有著較好的性能.

2 相關(guān)工作

2.1 自編碼神經(jīng)網(wǎng)絡(luò)

自編碼神經(jīng)網(wǎng)絡(luò)是一個(gè)非監(jiān)督模型的網(wǎng)絡(luò),可以從無(wú)標(biāo)注的數(shù)據(jù)中學(xué)習(xí)特征,是一種以重構(gòu)輸入信號(hào)為目標(biāo)的神經(jīng)網(wǎng)絡(luò),他可以給出比原始數(shù)據(jù)更好的特征描述,具有較好的特征學(xué)習(xí)能力,在實(shí)際應(yīng)用中經(jīng)常用自編碼神經(jīng)網(wǎng)絡(luò)生成的特征來(lái)取代原始數(shù)據(jù),以得到更好的效果.一個(gè)自編碼神經(jīng)網(wǎng)絡(luò)模塊是一個(gè)三層神經(jīng)網(wǎng)絡(luò),其中包含了L1輸入層,L2隱藏層(也叫編碼層),L3輸出層(也叫解碼層).輸出層和輸入層的維度相同,自編碼網(wǎng)絡(luò)的作用就是盡可能更好的去表征原始數(shù)據(jù),為了較好的表征,一般情況下L2層的維度不等于L1層的維度.假設(shè)樣本有m個(gè)屬性(x1,x2,…,xm),編碼層有n個(gè)神經(jīng)元,解碼層的輸入為(y1,y2,…,yn).該自編碼網(wǎng)絡(luò)的結(jié)構(gòu)圖如圖1所示.

圖1 自編碼神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)圖Fig.1 Structure Autoencoder neural network

自編碼網(wǎng)絡(luò)的編碼層的輸入:

h=f(w1*x+b1)

(1)

其中參數(shù)w1是輸入層到解碼層的權(quán)值(是一個(gè)矩陣),b1是輸入層到編碼層的偏置(是一個(gè)向量),函數(shù)f為激活函數(shù)f(x)=1/(1+exp(-x))

解碼層的輸入:

y=f(w2*x+b2)

(2)

其中參數(shù)w2是編碼層到解碼層的權(quán)值,b2是編碼層到解碼層的偏置,函數(shù)f為激活函數(shù)f(x)=1/(1+exp(-x)).由于解碼層是收到編碼層的信號(hào)后去解碼,盡量的還原原始信號(hào),所以w2和w1互為轉(zhuǎn)置.在編解碼的過(guò)程中每個(gè)樣本的代價(jià)函數(shù)為:

(3)

總的代價(jià)函數(shù)為:

(4)

其中參數(shù)t是樣本的個(gè)數(shù).在實(shí)際中很多時(shí)候是通過(guò)使總的代價(jià)函數(shù)最小來(lái)優(yōu)化參數(shù).

2.2 增強(qiáng)碰撞體算法(Enhanced Colliding Bodies Optimization,ECBO)

2.2.1 碰撞體算法(Colliding Bodies Optimization,CBO)

增強(qiáng)碰撞體算法是對(duì)碰撞體算法(Colliding Bodies Optimization)改進(jìn),碰撞體算法是Kaveh[6]等人2014年提出的一種簡(jiǎn)單高效的啟發(fā)式算法.該算法是根據(jù)物理學(xué)中物體之間碰撞所產(chǎn)生的動(dòng)能變化所得到的.該算法中每個(gè)候選解都是一個(gè)碰撞體,并且會(huì)對(duì)碰撞體賦予一個(gè)質(zhì)量,碰撞體分為移動(dòng)和靜止的兩組,移動(dòng)的碰撞體將會(huì)去碰撞靜止的碰撞體,這使得移動(dòng)和靜止的碰撞體就會(huì)移動(dòng)到更好的位置.

碰撞體將會(huì)以下列公式初始:

xi=xmin+rand(xmax-xmin)i=1,2,3,…,n

(5)

其中xi是第i個(gè)碰撞體,xmax和xmin是變量的最大值和最小值,rand是取0到1的隨機(jī)數(shù),n是碰撞體的總數(shù).

粒子的質(zhì)量公式為:

(6)

其中fit(k)代表第k個(gè)碰撞體解的對(duì)于目標(biāo)函數(shù)的誤差,n是碰撞體的數(shù)量,從上述式子可以看出,當(dāng)解的誤差越小的時(shí)候,碰撞體的質(zhì)量也會(huì)越大

將碰撞體按照解的誤差升序排列,將排列后的碰撞體平均分成靜止和移動(dòng)的兩部分,如圖2(a)所示.其中移動(dòng)的碰撞體都有一個(gè)與之相對(duì)應(yīng)的靜止碰撞體與之形成“碰撞對(duì)”(如圖2(b)所示).誤差小的部分被分為靜止的部分,這些碰撞體在碰撞前的速度為0.

(7)

圖2 (a)升序排列后的碰撞體,(b)碰撞對(duì)Fig.2 (a)CBs sorted in increasing order and(b)colliding object pairs

剩下部分的碰撞體就被劃分體為移動(dòng)部分,該部分的誤差較大,移動(dòng)的碰撞體會(huì)以一定的速度向靜止的部分移動(dòng)并碰撞靜止的碰撞體,使得靜止部分的碰撞體的位置發(fā)生改變.移動(dòng)的碰撞體在與靜止碰撞體之間發(fā)生碰撞之前速度為:

(8)

(9)

(10)

(11)

其中iter是當(dāng)前循環(huán)次數(shù),itermax是最大循環(huán)次數(shù).從上式可以知道,隨著循環(huán)次數(shù)的增加,碰撞體也會(huì)也越來(lái)越接近,這對(duì)于局部搜索和全局搜索都是一個(gè)很好的平衡.

當(dāng)上訴碰撞發(fā)生后,各個(gè)碰撞體的位置也會(huì)發(fā)生改變,移動(dòng)碰撞體在碰撞后的位置:

(12)

在碰撞之后靜止碰撞體的位置如下:

(13)

圖3 增強(qiáng)碰撞體算法的流程圖Fig.3 Flow diagram of ECBO

2.2.2 增強(qiáng)碰撞體算法(Enhanced Colliding Bodies Optimization,ECBO):

增強(qiáng)碰撞體算法[7],是在碰撞體算法的基礎(chǔ)上進(jìn)行了升級(jí),使得碰撞體算法收斂更快同時(shí)也能一定程度上解決局部最優(yōu)問(wèn)題.

加速收斂:在碰撞體每次碰撞前將歷史最優(yōu)的部分解的相關(guān)信息存儲(chǔ)起來(lái),用這些解來(lái)代替當(dāng)前最差的解.

逃離局部最優(yōu):每次碰撞后隨機(jī)生成一個(gè)隨機(jī)數(shù)rnd,如果這個(gè)隨機(jī)數(shù)小于一個(gè)特定參數(shù)pro(手動(dòng)設(shè)定),那么碰撞體的某一維度就會(huì)根據(jù)下列公式發(fā)生改變:

Xij=Xj,min+rand*(Xj,max-Xj,min)

(14)

Xij是第i個(gè)碰撞體的第j個(gè)變量,Xj,max和Xj,min分別是該變量所能取值的上下限.為了保護(hù)碰撞體的結(jié)構(gòu)只改變碰撞體的一個(gè)維度,這樣的機(jī)制使得碰撞體可以向著更多的空間搜索,這就提供了更好的多樣性.增強(qiáng)碰撞體的流程圖如圖3所示.

3 ECBO優(yōu)化的自編碼網(wǎng)絡(luò)

在自編碼網(wǎng)絡(luò)中使用ECBO來(lái)尋找適合自編碼網(wǎng)絡(luò)表征輸入特征的權(quán)值,在網(wǎng)絡(luò)的后面加上一個(gè)softmax作為分類器.同時(shí)將自編碼網(wǎng)絡(luò)的代價(jià)函數(shù)和softmax的誤差函數(shù)加權(quán)求和來(lái)作為碰撞體尋參時(shí)的一個(gè)指標(biāo).在[1]中,先將分類器的參數(shù)固定,利用指標(biāo)函數(shù)將指導(dǎo)算法尋找一個(gè)適合自編碼的權(quán)值矩陣,然后再用BP算法來(lái)求得softmax的參數(shù).

Softmax是一種常見(jiàn)的分類器,是對(duì)sigmoid的一個(gè)擴(kuò)展,在神經(jīng)網(wǎng)絡(luò)中是一種很常見(jiàn)的分類器,多用于多分類問(wèn)題中.Softmax的輸入是一系列的特征,softmax會(huì)根據(jù)訓(xùn)練所學(xué)到的參數(shù)對(duì)是輸入的特征進(jìn)行判斷,假設(shè)是一個(gè)k分類問(wèn)題,那么softmax就會(huì)對(duì)特征進(jìn)行判斷,給出屬于每個(gè)類別的概率.若有樣本[(X(1),Y(1)),(X(2),Y(2)),…,(X(n),Y(k))],n是訓(xùn)練樣本的個(gè)數(shù),k表示樣本一共有k類.P=(Y=j|X;θ)表示在softmax的參數(shù)為θ時(shí)輸入為X時(shí),softmax將樣本判斷為類別j的概率為p,所以softmax的輸出為:

(15)

θ為softmax的參數(shù)矩陣,是一個(gè)k行m列的矩陣,k是類別數(shù),m是樣本特征的維度,由(15)最終可以得到一個(gè)和為1的概率向量,該向量的每一行的值表示屬于每個(gè)對(duì)應(yīng)列的概率.在實(shí)際中為了以防θ的值過(guò)大導(dǎo)致過(guò)擬合,常常會(huì)對(duì)softmax的誤差函數(shù)加入一個(gè)正則項(xiàng),softmax的誤差函數(shù)在加入正則項(xiàng)后為:

(16)

在本文中,我們將使用ECBO來(lái)優(yōu)化自編碼網(wǎng)絡(luò)的權(quán)值矩陣,同時(shí)由于在softmax中使用BP算法求解參數(shù)時(shí)往往會(huì)因?yàn)閷W(xué)習(xí)率的問(wèn)題存在調(diào)參問(wèn)題可能會(huì)錯(cuò)過(guò)最優(yōu)解,所以本文中同時(shí)也利用ECBO來(lái)求得softmax的參數(shù).本文中采取和[1]中一樣的指示函數(shù)(將自編碼網(wǎng)絡(luò)的代價(jià)函數(shù)和softmax的誤差函數(shù)加權(quán)求和):

C=ηSUM(X,Y)+μJ(θ)

(17)

同時(shí)因?yàn)橹笜?biāo)函數(shù)中是受自編碼代價(jià)函數(shù)softmax的參數(shù)共同影響的,所以在本文中采取了和[1]中不一樣的做法.本文中將自編碼和softmax置于一個(gè)大的循環(huán)中,每次自編碼尋參過(guò)后都接著去尋找出softmax的當(dāng)前最優(yōu)參數(shù),最后利用貪心的做法選出最優(yōu)的參數(shù)組合.由于SUM(X,Y)的值較大,所以在實(shí)驗(yàn)中η的值會(huì)比較小,μ的值會(huì)比較大.

2)初始化n組碰撞體,其中每個(gè)碰撞體都是softmax的候選參數(shù)

3)由(17)來(lái)計(jì)算m組碰撞體中每個(gè)碰撞體的評(píng)價(jià)函數(shù),對(duì)其升序排列,把碰撞體分成移動(dòng)和靜止的兩個(gè)組,按照(6),(7),(8)對(duì)碰撞體進(jìn)行質(zhì)量和速度的計(jì)算,并記錄下最優(yōu)的幾個(gè)碰撞體.

4)while iter<=itermax:

本文算法的描述如下:

1)初始化m組碰撞體,其中每個(gè)碰撞體都是自編碼中的候選權(quán)值

① 發(fā)生碰撞根據(jù)(9),(10),(12),(13)來(lái)計(jì)算碰撞后的速度和位置

② 再次執(zhí)行㈢并且利用最優(yōu)的碰撞體來(lái)代替最差的碰撞體

③ 進(jìn)入計(jì)算softmax參數(shù)部分:用公式(17)來(lái)計(jì)算n組碰撞體中每個(gè)碰撞體的評(píng)價(jià)函數(shù),對(duì)其升序排列,把碰撞提分成移動(dòng)和靜止的兩個(gè)組,按照(6),(7),(8)對(duì)碰撞體進(jìn)行質(zhì)量和速度的計(jì)算.

④ 發(fā)生碰撞根據(jù)(9),(10),(12),(13)來(lái)計(jì)算碰撞后的速度和位置

⑤ 再次執(zhí)行③并且利用最優(yōu)的碰撞體來(lái)代替最差的碰撞體.

End

5)分別得到碰撞體的最優(yōu)解,作為自編碼的權(quán)值和softmax的參數(shù),最終得到一個(gè)基于ECBO的自編碼網(wǎng)絡(luò).

算法的流程圖如圖4所示.

4 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)數(shù)據(jù)庫(kù)

為了驗(yàn)證本文中所訴方法的有效性,本文的方法在幾個(gè)公共數(shù)據(jù)庫(kù)上進(jìn)行了多次實(shí)驗(yàn).本文所用的數(shù)據(jù)庫(kù)有郵件分類問(wèn)題中常用到的Ling-Spam數(shù)據(jù),UCI的公共數(shù)據(jù)庫(kù)iris和glass,表1對(duì)各個(gè)數(shù)據(jù)庫(kù)進(jìn)行基本的介紹.

本文中實(shí)驗(yàn),iris和glass數(shù)據(jù)隨機(jī)抽選2/3作為訓(xùn)練,剩下1/3作為測(cè)試.Ling-Spam數(shù)據(jù)庫(kù)中正常郵件有2412封,垃圾郵件有481封,在實(shí)驗(yàn)中隨機(jī)抽取其中320封作為訓(xùn)練(其中正常郵件160,垃圾郵件160),240封作為測(cè)試(正常郵件200,垃圾郵件40).

首先實(shí)驗(yàn)中,為了證明每次對(duì)自編碼尋參后就去對(duì)softmax尋參比[1]中所用先確定自編碼參數(shù)然后再去對(duì)softmax求參的效果好,在實(shí)驗(yàn)開(kāi)始對(duì)iris和Ling-Spam進(jìn)行測(cè)試.ECBONN*代表[1]中類似的做法,ECBONN代表本文的方法,在兩個(gè)數(shù)據(jù)庫(kù)中的結(jié)果如表2所示:數(shù)據(jù)是在Ling-Spam數(shù)據(jù)庫(kù)中各自運(yùn)行100次然后取平均值,參數(shù)pro都是取值0.35,η取值10-11,隱藏層神經(jīng)元個(gè)數(shù)取10,碰撞體個(gè)數(shù)取10.μ取值為1迭代次數(shù)為200次,碰撞體對(duì)自編碼權(quán)值求參時(shí)碰撞體的初始位置范圍時(shí)[45,-45],碰撞體對(duì)softmax求參時(shí)碰撞體的初始位置范圍是[4,-4],λ取值2*10-4.實(shí)驗(yàn)結(jié)果中發(fā)現(xiàn)本文中所采取方法能取得更好的效果,并且更穩(wěn)定.而ECBONN*在運(yùn)行100次中還存在不穩(wěn)定的情況有時(shí)候會(huì)求參較差(出現(xiàn)效果差或者不學(xué)習(xí)的情況).

表1 實(shí)驗(yàn)中所用到的數(shù)據(jù)庫(kù)的介紹
Table 1 Introduce of database

數(shù)據(jù)集名稱樣本數(shù)屬性數(shù)分類數(shù)Iris15043glass214106Ling-Spam289352

表2 Ling-Spam數(shù)據(jù)庫(kù)下ECBONN*和ECBONN的對(duì)比
Table 2 Results of ECBONN* and ECBONN in Ling-Spam

算法指標(biāo)Ling-Spam正常郵件垃圾郵件ECBONN?查準(zhǔn)率98.02%83.01%召回率91.1%89.9%F192.9%85.4%ECBONN查準(zhǔn)率98.71%91.92%召回率98.33%93.55%F198.52%92.70%

因?yàn)閕ris數(shù)據(jù)庫(kù)的屬性數(shù)量比較少,所以在iris上也進(jìn)行了測(cè)試,比較二者的穩(wěn)定性和學(xué)習(xí)能力,對(duì)iris數(shù)據(jù)各自運(yùn)行100次后,取accuracy的均值,結(jié)果如表3所示.結(jié)果為在iris數(shù)據(jù)庫(kù)中各自運(yùn)行100次然后取平均值,參數(shù)pro都是取值0.1,η取值10-8,隱藏層神經(jīng)元個(gè)數(shù)取20,碰撞體個(gè)數(shù)取10.μ取值為1迭代次數(shù)為400次,碰撞體對(duì)自編碼權(quán)值求參時(shí)碰撞體的初始位置范圍是[4,-4],碰撞體softmax求參時(shí)碰撞體的初始位置范圍時(shí)[9,-9],λ取值10-4.實(shí)驗(yàn)結(jié)果中發(fā)現(xiàn)本文中所采取方法在屬性數(shù)量較少時(shí)能取得更好的效果,并且更穩(wěn)定.實(shí)驗(yàn)中還發(fā)現(xiàn)η的取值較大時(shí),100次中的結(jié)果波動(dòng)較大,當(dāng)η取值較小時(shí)波動(dòng)會(huì)更小.

表3 iris數(shù)據(jù)庫(kù)下ECBONN*和ECBONN的對(duì)比
Table 3 Results of ECBONN* and ECBONN in iris

算法accuracyECBONN?85%ECBONN96.04%

將本次實(shí)驗(yàn)在Ling-Spam的結(jié)果與[1]在Ling-Spam中的實(shí)驗(yàn)數(shù)據(jù)相比較如表4所示,發(fā)現(xiàn)本文的方法擁有更好的結(jié)果,特別是在垃圾郵件的召回率上有了很大的提升,除了垃圾郵件的查準(zhǔn)率略比PDNN低一點(diǎn),其他指標(biāo)都有一定的提升.實(shí)驗(yàn)中指標(biāo)函數(shù)(17)的值隨著循環(huán)次數(shù)的變化如圖5所示.Ling-Spam數(shù)據(jù)庫(kù)實(shí)驗(yàn)中參數(shù)所取參數(shù)和表2做對(duì)比實(shí)驗(yàn)時(shí)所取的參數(shù)一樣.

表4 本次實(shí)驗(yàn)在Ling-Spam上的結(jié)果與[1]中的相對(duì)比
Table 4 Results in Ling-Spam compare with the results of [1]

算法指標(biāo)Ling-Spam正常郵件垃圾郵件PDNN查準(zhǔn)率94.98%92.01%召回率97.85%74.25%F196.39%82.18%RBFNN查準(zhǔn)率93.75%84.38%召回率97.50%67.50%F195.59%75.00%BPNN查準(zhǔn)率94.54%70.64%召回率91.20%69.00%F195.59%69.81%ECBONN查準(zhǔn)率98.71%91.92%召回率98.33%93.55%F198.52%92.72%

將本次實(shí)驗(yàn)數(shù)據(jù)在iris和glass數(shù)據(jù)庫(kù)上的結(jié)果和[2]中的實(shí)驗(yàn)數(shù)據(jù)相比較如表5所示,iris和glass在實(shí)驗(yàn)時(shí)指標(biāo)函數(shù)的值隨著循環(huán)次數(shù)的變化如圖5所示.

表5 iris和glass數(shù)據(jù)庫(kù)的實(shí)驗(yàn)結(jié)果
Table 5 Results in iris and glass

數(shù)據(jù)庫(kù)DELMEDBNRBFELMECBONNiris95.78%94%97.46%95.68%96.0.4%glass80.87%81.27%74.51%68.00%83.52%

圖5 實(shí)驗(yàn)時(shí),指標(biāo)函數(shù)值隨著循環(huán)次數(shù)的變化Fig.5 Change of indicator function while the iteration growing

iris在實(shí)驗(yàn)中和表3做對(duì)比實(shí)驗(yàn)時(shí)參數(shù)相同.glass實(shí)驗(yàn)結(jié)果是在glass數(shù)據(jù)庫(kù)中各自運(yùn)行100次后取平均值,參數(shù)pro都是取值0.1,η取值10-9,隱藏層神經(jīng)元個(gè)數(shù)取30,碰撞體個(gè)數(shù)取10.μ取值為1迭代次數(shù)為400次,碰撞體對(duì)自編碼權(quán)值求參時(shí)碰撞體的初始位置范圍時(shí)[6,-6],碰撞體對(duì)softmax求參時(shí)碰撞體的初始位置范圍時(shí)[6,-6],λ取值2*10-4.

5 結(jié)束語(yǔ)

本文結(jié)合增強(qiáng)碰撞算法提出了ECBONN,利用碰撞算法來(lái)優(yōu)化自編碼機(jī)的權(quán)值和softmax的權(quán)值,利用碰撞算法中各個(gè)粒子的相關(guān)性來(lái)求得適合自編碼機(jī)和softmax的權(quán)值,通過(guò)在一些公共數(shù)據(jù)庫(kù)上進(jìn)行實(shí)驗(yàn),驗(yàn)證了算法的可行性,與其他方法相對(duì)比有著較好的性能.