黃 靜，張 江

（浙江理工大學(xué)信息學(xué)院，杭州310018）

基于OCA客觀聚類(lèi)的RBF神經(jīng)網(wǎng)絡(luò)的研究

黃 靜，張 江

（浙江理工大學(xué)信息學(xué)院，杭州310018）

影響RBF神經(jīng)網(wǎng)絡(luò)性能的關(guān)鍵因素是基函數(shù)中心的選取，而目前尚沒(méi)有可靠的方法選取RBF神經(jīng)網(wǎng)絡(luò)的中心?；贕MDH理論的OCA客觀聚類(lèi)具有能夠自動(dòng)確定最優(yōu)聚類(lèi)個(gè)數(shù)的優(yōu)點(diǎn)。將OCA聚類(lèi)應(yīng)用于RBF神經(jīng)網(wǎng)絡(luò)中，用以自適應(yīng)確定隱節(jié)點(diǎn)數(shù)目和各徑向基函數(shù)中心，克服了傳統(tǒng)RBF網(wǎng)絡(luò)不能客觀確定隱節(jié)點(diǎn)數(shù)目的缺點(diǎn)。實(shí)驗(yàn)仿真結(jié)果表明，基于OCA客觀聚類(lèi)的RBF神經(jīng)網(wǎng)絡(luò)具有自適應(yīng)性、正確率高和訓(xùn)練速度快的優(yōu)點(diǎn)。

RBF神經(jīng)網(wǎng)絡(luò)；OCA客觀聚類(lèi)；隱節(jié)點(diǎn)數(shù)目；基函數(shù)中心

0 引 言

RBF神經(jīng)網(wǎng)絡(luò)首先由Broomhead和Lowe提出。由于其具有結(jié)構(gòu)簡(jiǎn)單、學(xué)習(xí)速度快、能夠逼近任意非線性函數(shù)的優(yōu)點(diǎn)，因此廣泛應(yīng)用于模式識(shí)別、非線性函數(shù)逼近等有實(shí)時(shí)性要求的領(lǐng)域［1］。已有研究表明，影響RBF網(wǎng)絡(luò)性能的關(guān)鍵因素是基函數(shù)中心的選取，而一般RBF網(wǎng)絡(luò)所利用的非線性激活函數(shù)形式對(duì)網(wǎng)絡(luò)性能的影響并非至關(guān)重要。目前，確定RBF網(wǎng)絡(luò)中心的方法主要有：隨機(jī)選擇法、自組織學(xué)習(xí)法和正交最小二乘法（OLS）等［1-2］。隨機(jī)選擇法選擇中心，可能會(huì)出現(xiàn)兩個(gè)中心非常接近的情況，解線性方程組時(shí)出現(xiàn)奇異矩陣，導(dǎo)致解的結(jié)果不可靠。因此，隨機(jī)選擇法只適用于給定樣本數(shù)據(jù)具有代表性的問(wèn)題。通過(guò)自組織學(xué)習(xí)進(jìn)行聚類(lèi)，選取聚類(lèi)中心作為RBF中心，常用的方法有K-均值聚類(lèi)、最近鄰聚類(lèi)和模糊聚類(lèi)等，但都必須先給出聚類(lèi)個(gè)數(shù)。正交最小二乘（OLS）方法源于線性回歸模型，是一種應(yīng)用較多的方法，但是不能進(jìn)行迭代訓(xùn)練。

烏克蘭科學(xué)院Ivakhnenko A G提出了基于自組織數(shù)據(jù)挖掘思想GMDH（數(shù)據(jù)分組處理方法）的OCA客觀聚類(lèi)［3］。OCA客觀聚類(lèi)能夠自適應(yīng)地確定聚類(lèi)個(gè)數(shù)，RBF通過(guò)取各類(lèi)樣本的平均值作為相應(yīng)隱節(jié)點(diǎn)的數(shù)據(jù)中心。因此，基于GMDH的RBF神經(jīng)網(wǎng)絡(luò)不需要給出聚類(lèi)個(gè)數(shù)，并且能夠進(jìn)行迭代訓(xùn)練。本文通過(guò)對(duì)膨脹土分類(lèi)實(shí)驗(yàn)的仿真，驗(yàn)證了基于OCA客觀聚類(lèi)的RBF神經(jīng)網(wǎng)絡(luò)性能。

1 RBF神經(jīng)網(wǎng)絡(luò)

RBF神經(jīng)網(wǎng)絡(luò)是一種常用的前饋網(wǎng)絡(luò)，擁有很強(qiáng)的非線性擬合能力，可以映射任意復(fù)雜的非線性關(guān)系，而且學(xué)習(xí)速度快，結(jié)構(gòu)簡(jiǎn)單。Poggio和Girosi已經(jīng)證明，RBF網(wǎng)絡(luò)是連續(xù)函數(shù)的最佳逼近。RBF網(wǎng)絡(luò)采用局部激勵(lì)函數(shù)，很大程度上克服了BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程很長(zhǎng)、容易陷入局部極小值的缺點(diǎn)［4］。RBF神經(jīng)網(wǎng)絡(luò)包括三層：輸入層、隱層和輸出層［5］。輸入層由一些感知單元組成，它們將網(wǎng)絡(luò)與外部環(huán)境連接起來(lái)。RBF網(wǎng)絡(luò)僅有一個(gè)隱層，它執(zhí)行從輸入空間到隱藏空間之間進(jìn)行非線性變換。輸出層是線性的，為作用于輸入層的激活信號(hào)提供響應(yīng)。

如圖1所示，輸入層有N個(gè)節(jié)點(diǎn)，輸入層節(jié)點(diǎn)個(gè)數(shù)等于樣本維數(shù)。隱層有P個(gè)節(jié)點(diǎn)，各隱節(jié)點(diǎn)的基函數(shù)的形式為：

圖1 RBF神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

基函數(shù)φ為非線性函數(shù)，訓(xùn)練數(shù)據(jù)點(diǎn)Xp是φ的中心?；瘮?shù)以輸入空間的點(diǎn)X與中心Xp的距離作為函數(shù)的自變量，一般選用Gauss函數(shù)：

Y=（y1，y2，…，yl）T為網(wǎng)絡(luò)輸出，采用線性激活函數(shù)。當(dāng)輸入訓(xùn)練集中地某個(gè)樣本Xp時(shí)，對(duì)應(yīng)的期望dp就是教師信號(hào)。將訓(xùn)練集樣本逐一輸入，從而確定網(wǎng)絡(luò)隱層到輸出層之間的P個(gè)權(quán)值。

2 OCA客觀聚類(lèi)

基于GMDH理論的OCA客觀聚類(lèi)具有能夠自動(dòng)確定聚類(lèi)個(gè)數(shù)的優(yōu)點(diǎn)。已有研究表明，OCA能對(duì)模糊對(duì)象給出更精確地近似或隨機(jī)過(guò)程的預(yù)測(cè)給出更好的結(jié)果［6］。OCA算法首先計(jì)算樣本兩兩之間的距離，構(gòu)成偶極子。將偶極子分成包含相同樣本數(shù)的兩個(gè)子集A和B。同樣的方式在剩余樣本中，得到子集C和D，作為檢測(cè)集。然后，對(duì)子集A和B進(jìn)行聚類(lèi)，利用一致性準(zhǔn)則得到最優(yōu)方案。如果最優(yōu)方案多于一個(gè)，利用檢測(cè)集C和D確定唯一的最優(yōu)方案［7-10］。假設(shè)有n個(gè)樣本｛x1，x2，…，xn｝，樣本維數(shù)為m，OCA聚類(lèi)具體步驟如下：

a）構(gòu)造子集A、B、C和D。

b）對(duì)子集A和B進(jìn)行聚類(lèi)。

首先，按先后順序?qū)ψ蛹疉和B中樣本點(diǎn)進(jìn)行編號(hào)，如表1所示，每對(duì)偶極子所對(duì)應(yīng)的子集A和B中兩個(gè)樣本點(diǎn)編號(hào)相同，即編號(hào)都為（1，2，…，p）。把子集A和B中對(duì)應(yīng)的每列稱(chēng)為一類(lèi)，此時(shí)子集A和B中有k=p類(lèi)。

表1 子集A和B樣本點(diǎn)編號(hào)

然后，把子集A和B聚成k-1類(lèi)。具體方法如下：計(jì)算子集A中任意兩個(gè)編號(hào)樣本之間的距離，將距離最小的兩個(gè)編號(hào)歸為一類(lèi)（這兩列將擁有兩個(gè)相同的編號(hào)），假設(shè)編號(hào)1和編號(hào)2距離最小，如表2所示。

表2 編號(hào)1，2歸為一類(lèi)

同樣的方法，將子集B聚成k-1類(lèi)。將子集A和B中對(duì)應(yīng)每列進(jìn)行比較，相同列的數(shù)目記為Δp。使用一致性準(zhǔn)則：ε1=（p-Δp）/p，求出ε1的值。特別指出，若類(lèi)中不止一個(gè)樣本點(diǎn)，其它類(lèi)中任意一個(gè)樣本點(diǎn)只要和該類(lèi)中其中一個(gè)樣本點(diǎn)的距離最小，便認(rèn)為這兩個(gè)類(lèi)距離最小。重復(fù)上述步驟，把子集A和B聚成k-2類(lèi)，k-3類(lèi)，……，2類(lèi)，計(jì)算相應(yīng)的εi值。

統(tǒng)計(jì)k-1，k-2，…，2類(lèi)中ε=0的類(lèi)數(shù)目，記為count，它們成為最優(yōu)聚類(lèi)方案的候選方案。顯然當(dāng)count=1時(shí)，唯一的候選方案即為最優(yōu)聚類(lèi)方案。當(dāng)count＞1時(shí)，就要用到檢測(cè)集C和D了。

c）對(duì)子檢測(cè)集C和D進(jìn)行聚類(lèi)。

聚類(lèi)過(guò)程同步驟b）一樣?？疾觳襟Eb）的幾種候選方案，看哪種方案的ε在檢測(cè)集C和D上最小。這個(gè)唯一的聚類(lèi)方案，便是要找的最優(yōu)聚類(lèi)方案。

從上述過(guò)程可以看出，OCA客觀聚類(lèi)能夠客觀地確定聚類(lèi)個(gè)數(shù)，得出最優(yōu)方案，而不需要有先驗(yàn)知識(shí)。

3 基于OCA客觀聚類(lèi)的RBF神經(jīng)網(wǎng)絡(luò)

由于OCA聚類(lèi)能夠客觀正確地對(duì)樣本進(jìn)行聚類(lèi)，從而獲取最佳基函數(shù)數(shù)據(jù)中心。采用OCA聚類(lèi)的RBF神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)步驟如下：

a）確定RBF神經(jīng)網(wǎng)絡(luò)的訓(xùn)練樣本、測(cè)試樣本、輸出層節(jié)點(diǎn)數(shù)目。樣本的維數(shù)作為輸入層節(jié)點(diǎn)數(shù)目；

b）用OCA聚類(lèi)方法對(duì)訓(xùn)練樣本進(jìn)行聚類(lèi)，得出分類(lèi)個(gè)數(shù)，作為隱節(jié)點(diǎn)數(shù)目；

c）分別計(jì)算每類(lèi)的數(shù)據(jù)中心，即平均值，作為相應(yīng)隱節(jié)點(diǎn)的基函數(shù)數(shù)據(jù)中心；

d）利用訓(xùn)練樣本訓(xùn)練隱層到輸出層的權(quán)值；

e）利用測(cè)試樣本對(duì)網(wǎng)絡(luò)進(jìn)行測(cè)試。

進(jìn)行工程建設(shè)，首先必須正確區(qū)分膨脹土的脹縮等級(jí)。膨脹土的脹縮等級(jí)分為強(qiáng)、中、弱。影響因素有五項(xiàng)：黏粒含量、粉粒含量、液限、塑限和縮性指數(shù)。BP網(wǎng)絡(luò)可以解決該問(wèn)題，然而它存在內(nèi)部結(jié)構(gòu)黑箱化、收斂速度慢等缺點(diǎn)。下面使用基于OCA客觀聚類(lèi)的RBF神經(jīng)網(wǎng)絡(luò)解決該問(wèn)題。

采集了23個(gè)安康脹土樣本［11］，其中訓(xùn)練樣本14個(gè)（如表3所示），測(cè)試樣本9個(gè)（如表4所示）。

表3 訓(xùn)練樣本

表4 測(cè)試樣本

第一步：確定樣本輸入層節(jié)點(diǎn)數(shù)目為樣本維數(shù)5。輸出層節(jié)點(diǎn)數(shù)目為1，有3個(gè)取值：‘0’‘0.5’‘1’，分別代表弱、中、強(qiáng)。其中0.3以下表示‘弱’，0.3～0.7表示‘中’，0.7以上表示‘強(qiáng)’。

第二步：對(duì)所有樣本進(jìn)行歸一化處理。令

其中，Qi表示樣本第i維分量，Qmin和Qmax分別表示樣本第i維分量的最小值和最大值。取a=0.9，b=（1-a）/2=0.05。歸一化后，保留兩位小數(shù)。

第三步：對(duì)歸一化后的訓(xùn)練樣本用OCA算法進(jìn)行聚類(lèi)。構(gòu)造偶極子如表5所示。

表5 初始偶極子

由表5可以看出，序號(hào)為6的偶極子兩樣本之間的距離明顯大于其它偶極子之間的距離，將其舍去，使其不參與下一步的聚類(lèi)。

子集A和B聚類(lèi)后的準(zhǔn)則值為：

5類(lèi)時(shí)：ε=0.667；

4類(lèi)時(shí)：ε=0；

3類(lèi)時(shí)：ε=1；

2類(lèi)時(shí)：ε=0。

檢測(cè)集C和D聚類(lèi)后準(zhǔn)則值為：

5類(lèi)時(shí)：ε=0.667；

4類(lèi)時(shí)：ε=0.833；

3類(lèi)時(shí)：ε=1；

2類(lèi)時(shí)：ε=1。

在聚成4類(lèi)和2類(lèi)時(shí)，比較子集C和D上的準(zhǔn)則值，取較小的準(zhǔn)則值所對(duì)應(yīng)的類(lèi)數(shù)。故最優(yōu)方案為：分成4類(lèi)，聚類(lèi)結(jié)果，如下：

第一類(lèi)：1 6 7 13；

第二類(lèi)：0 5 8 9；

第三類(lèi)：4 11；

第四類(lèi)：2 12。

故RBF的隱節(jié)點(diǎn)數(shù)目自動(dòng)確定為4?？梢钥闯觯顑?yōu)分類(lèi)方案結(jié)果中沒(méi)有錯(cuò)誤的分類(lèi)，即每一類(lèi)都代表一個(gè)等級(jí)。計(jì)算最優(yōu)聚類(lèi)方案中各類(lèi)的平均值，將各類(lèi)的平均值作為RBF基函數(shù)的數(shù)據(jù)中心。然后利用Gauss函數(shù)計(jì)算隱層各節(jié)點(diǎn)輸出。

第四步：使用遞推最小二乘訓(xùn)練隱層到輸出層的權(quán)值。誤差限設(shè)為0.2，即當(dāng)誤差小于0.2時(shí)，訓(xùn)練結(jié)束。訓(xùn)練20次，平均訓(xùn)練次數(shù)為27，而使用BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練，訓(xùn)練次數(shù)要幾百甚至上千次。

使用訓(xùn)練好的網(wǎng)絡(luò)對(duì)測(cè)試樣本分類(lèi)的結(jié)果如表6所示。

表6 測(cè)試樣本分類(lèi)結(jié)果

從上述可以看出，預(yù)測(cè)結(jié)果完全正確?；贠CA客觀聚類(lèi)的RBF神經(jīng)網(wǎng)絡(luò)不僅能夠自適應(yīng)客觀地獲取最佳基函數(shù)中心，并且訓(xùn)練速度快，正確率高。

4 結(jié) 論

本文針對(duì)影響RBF神經(jīng)網(wǎng)絡(luò)性能的關(guān)鍵因素是基函數(shù)中心的選取的研究，分析了當(dāng)前基函數(shù)中心選取的各種方法的優(yōu)缺點(diǎn)。由于OCA客觀聚類(lèi)具有自適應(yīng)確定最優(yōu)聚類(lèi)個(gè)數(shù)的優(yōu)點(diǎn)，通過(guò)分析RBF神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，將OCA聚類(lèi)應(yīng)用于RBF神經(jīng)網(wǎng)絡(luò)中，用于自適應(yīng)確定隱節(jié)點(diǎn)數(shù)目和基函數(shù)數(shù)據(jù)中心，克服了傳統(tǒng)RBF神經(jīng)網(wǎng)絡(luò)不能客觀確定隱節(jié)點(diǎn)中心的缺點(diǎn)。最后，本文通過(guò)膨脹土分類(lèi)問(wèn)題驗(yàn)證了該算法的性能，仿真結(jié)果表明了基于OCA客觀聚類(lèi)的RBF神經(jīng)網(wǎng)絡(luò)不僅具有自適應(yīng)性，而且擁有訓(xùn)練速度快和正確高的優(yōu)點(diǎn)。鑒于這些優(yōu)點(diǎn)，基于OCA聚類(lèi)的RBF神經(jīng)網(wǎng)絡(luò)在模式識(shí)別、數(shù)據(jù)挖掘和自動(dòng)控制等領(lǐng)域必將有廣闊的應(yīng)用前景。

［1］施 彥，韓立群，廉小親.神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)方法與實(shí)例分析［M］.北京：北京郵電大學(xué)出版社，2009：83-85.

［2］趙清林，郭艷兵，梅 強(qiáng)，等.確定RBF神經(jīng)網(wǎng)絡(luò)中心點(diǎn)的方法綜述［J］.廣東自動(dòng)化信息工程，2002（2）：13-15，27.

［3］Ivakhnenko A G，Mueller J A.Parametric and nonparametric selection procedures in experimental systems analysis［J］.Systems Analysis Modelling Simulation，1992，9（5）：157-175.

［4］劉 永，張立毅.BP和RBF神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)及其性能比較［J］.電子測(cè)量技術(shù)，2007，30（4）：77-80.

［5］Haykin.神經(jīng)網(wǎng)絡(luò)原理［M］.葉世偉等，譯.北京：機(jī)械工業(yè)出版社，2004：256.

［6］He CZ，Xu X Z.Combination of forecasts using self-organizing algorithms［J］.Journal of Forecasting，2005，24（4）：269-278.

［7］Ivakhnenko A G，Petukhova S A，Yudin V M.Objective selection of optimal clusterization of a data sample during compensation of non-robust random interference［J］.Journal of Automation and Information Sciences，1993，26（3）：45-56.

［8］趙珩君.基于OCA的客戶細(xì)分研究［J］.情報(bào)雜志，2009（1）：8-10.

［9］賀昌政.自組織數(shù)據(jù)挖掘與經(jīng)濟(jì)預(yù)警［M］.北京：科學(xué)出版社，2005：52-79.

［10］賀昌政，張九龍，林 嬪.基于數(shù)據(jù)分組處理方法的聚類(lèi)分析模型［J］.系統(tǒng)工程學(xué)報(bào)，2008，23（2）：222-237.

［11］呂海波，寧世朝，趙艷林，等.SOFM神經(jīng)網(wǎng)絡(luò)在膨脹土分類(lèi)中的應(yīng)用［J］.土工基礎(chǔ)，2006，20（4）：90-93.

Research on RBF Neural Network Based on OCA Objective Clustering

HUANG Jing，ZHANGJiang
（The School of Information Science and Technology，Zhejiang Sci-Tech University，Hangzhou 310018，China）

The key factor influencing RBF neural network performance is the selection of basis function center.Currently，there is no reliable method for selecting the center of RBF neural network.OCA objective clustering based on GMDH theory has the advantage of automatically determining the optimal clustering number.This research overcomes the disadvantage of traditional RBF network that it cannot objectively determine the number of hidden nodes by using OCA clustering in RBF neural network to determine the number of hidden nodes and the center of each radial basis function.The result of experimental simulation shows that RBF neural network based on OCA objective clustering has such advantages as adaptivity，high accuracy and fast training speed.

RBF neural network；OCA objective clustering；number of hidden nodes；basis function center

TP183

A

（責(zé)任編輯：陳和榜）

1673-3851（2014）01-0071-04

2013-09-12

浙江省自然科學(xué)基金資助項(xiàng)目（LY12F03012）

黃 靜（1965-），女，杭州人，教授，博士，主要從事圖像處理方面的研究。

張 江，E-mail：462098626@qq.com