唐鳳仙，湯鵬杰

(河池學(xué)院 計(jì)算機(jī)與信息科學(xué)系，廣西 宜州 546300)

基于BP網(wǎng)絡(luò)的有教師分類算法及應(yīng)用

唐鳳仙，湯鵬杰

(河池學(xué)院 計(jì)算機(jī)與信息科學(xué)系，廣西 宜州 546300)

介紹BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)及相關(guān)算法，并通過(guò)實(shí)驗(yàn)比較不同情況下對(duì)BP神經(jīng)網(wǎng)絡(luò)的收斂速度與分類精度的影響。實(shí)驗(yàn)表明，合適的參數(shù)設(shè)置能提高BP神經(jīng)網(wǎng)絡(luò)算法的分類精度。

BP網(wǎng)絡(luò);激活函數(shù);訓(xùn)練;分類精度

0 引言

近些年來(lái)，神經(jīng)網(wǎng)絡(luò)一直是人工智能中研究的一個(gè)熱點(diǎn)問(wèn)題。一個(gè)神經(jīng)網(wǎng)絡(luò)是一個(gè)由簡(jiǎn)單處理單元構(gòu)成的規(guī)模宏大的并行分布式處理器。人工神經(jīng)網(wǎng)絡(luò)依靠系統(tǒng)的復(fù)雜程度，通過(guò)調(diào)整內(nèi)部大量節(jié)點(diǎn)之間相互連接的關(guān)系，從而達(dá)到處理信息的目的。人工神經(jīng)網(wǎng)絡(luò)具有自學(xué)習(xí)和自適應(yīng)的能力，可以通過(guò)預(yù)先提供的一批相互對(duì)應(yīng)的輸入—輸出數(shù)據(jù)，分析掌握兩者之間潛在的規(guī)律，最終根據(jù)這些規(guī)律，用新的輸入數(shù)據(jù)來(lái)推算輸出結(jié)果。在人工神經(jīng)網(wǎng)絡(luò)發(fā)展歷史中，很長(zhǎng)一段時(shí)間里沒有找到隱層的連接權(quán)值調(diào)整問(wèn)題的有效算法，直到誤差反向傳播算法(BP算法)的提出，成功地解決了求解非線性連續(xù)函數(shù)的多層前饋神經(jīng)網(wǎng)絡(luò)權(quán)重調(diào)整問(wèn)題［1，2］。BP神經(jīng)網(wǎng)絡(luò)是人工神經(jīng)網(wǎng)絡(luò)精華，廣泛應(yīng)用于模式識(shí)別、人工、智能、控制工程、信號(hào)處理等領(lǐng)域［3］。

1 BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

BP神經(jīng)網(wǎng)絡(luò)是一種神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法，其全稱為基于誤差反向傳播算法的人工神經(jīng)網(wǎng)絡(luò)。如圖1所示結(jié)構(gòu)的單隱層前饋網(wǎng)絡(luò)，一般稱為三層前饋網(wǎng)或三層感知器，即:輸入層、中間層(也稱隱層)和輸出層。它的特點(diǎn)是:各層神經(jīng)元僅與相鄰層神經(jīng)元之間相互全連接，同層內(nèi)神經(jīng)元之間無(wú)連接，各層神經(jīng)元之間無(wú)反饋連接，構(gòu)成具有層次結(jié)構(gòu)的前饋型神經(jīng)網(wǎng)絡(luò)系統(tǒng)。單計(jì)算層前饋神經(jīng)網(wǎng)絡(luò)只能求解線性可分問(wèn)題，能夠求解非線性問(wèn)題的網(wǎng)絡(luò)必須是具有隱層的多層神經(jīng)網(wǎng)絡(luò)［4，5］。

圖1 最簡(jiǎn)單的BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

BP算法的基本思想是，學(xué)習(xí)過(guò)程由信號(hào)的正向傳播與誤差的反向傳播兩個(gè)過(guò)程組成。正向傳播時(shí)，輸入樣本從輸入層傳入，經(jīng)各中間層逐層處理后，傳向輸出層。若輸出層的實(shí)際輸出與期望的輸出(教師信號(hào))不符，則轉(zhuǎn)入誤差的反向傳播階段。誤差反傳是將輸出誤差以某種形式通過(guò)中間層向輸入層逐層反傳，并將誤差分?jǐn)偨o各層的所有單元，從而獲得各層單元的誤差信號(hào)，此誤差信號(hào)作為修正各單元連接權(quán)值的依據(jù)。這種信號(hào)正向傳播與誤差反向傳播的各層權(quán)值調(diào)整過(guò)程，是周而復(fù)始地進(jìn)行的。連接權(quán)值不斷調(diào)整的過(guò)程，也就是網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練過(guò)程，此過(guò)程一直進(jìn)行到網(wǎng)絡(luò)輸出的誤差減少到可接受的程度，或進(jìn)行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止，即按有教師示教的方式進(jìn)行學(xué)習(xí)［6，7］。

2 BP算法及應(yīng)用

BP神經(jīng)網(wǎng)絡(luò)以其獨(dú)特的優(yōu)勢(shì)，在許多領(lǐng)域得到廣泛應(yīng)用，本文實(shí)驗(yàn)主要以其在模式識(shí)別中的應(yīng)用為例，實(shí)驗(yàn)數(shù)據(jù)為Iris數(shù)據(jù)。

2.1 結(jié)構(gòu)設(shè)計(jì)

由于Iris數(shù)據(jù)最后有三類，所以設(shè)計(jì)的模型是一個(gè)多類的分類器。使用的方法是，用兩個(gè)輸出節(jié)點(diǎn)c1，c2對(duì)應(yīng)LB層兩個(gè)節(jié)點(diǎn)輸出組合，得到最終的分類結(jié)果。其結(jié)構(gòu)圖如圖2。

其中:(1)LA為輸入層，由于Iris的數(shù)據(jù)項(xiàng)為4個(gè)，故該層單元數(shù):LANUM=4。

(2)LB為隱含層，該層單元數(shù)設(shè)為:LBNUM。

(3)LC為輸出層，由于Iris的數(shù)據(jù)總共分為3類，因此:LCNUM=2。

圖2 BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

(4)weighAB為 LA→LB的連接權(quán)重，weighBC為L(zhǎng)B→LC的連接權(quán)重。

2.2 數(shù)據(jù)預(yù)處理及參數(shù)初始化

數(shù)據(jù)預(yù)處理與激活函數(shù)的定義有很大關(guān)系。神經(jīng)網(wǎng)絡(luò)比較通用的兩種激活函數(shù)是S型激活函數(shù)f(x)=而用這兩種激活函數(shù)，由于產(chǎn)生的輸出是二值的，即只能做二類問(wèn)題的求解。而所給定的Iris數(shù)據(jù)集總共有三類。也就是說(shuō)，必須設(shè)定兩個(gè)輸出節(jié)點(diǎn)，通過(guò)兩個(gè)輸出節(jié)點(diǎn)的組合來(lái)達(dá)到三類的分類效果。因而要對(duì)Iris數(shù)據(jù)集預(yù)處理，根據(jù)所用的激活函數(shù)的不同，Iris在用S型激活函數(shù)時(shí)，分類標(biāo)注用(0，0)表示第一類，(0，1)表示第二類，(1，1)表示第三類;在雙曲正切激活函數(shù)時(shí)，分類標(biāo)注用(1，1)表示第一類，(1，－1)表示第二類，(－1，－1)表示第三類。這樣數(shù)據(jù)與輸出達(dá)到統(tǒng)一。

算法參數(shù)主要包括學(xué)習(xí)率的選擇，權(quán)重矩陣的選擇。權(quán)重矩陣的初始化對(duì)整個(gè)學(xué)習(xí)效果有至關(guān)重要的作用，方法如下:

2.3 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練

樣本的訓(xùn)練包括每一層輸出計(jì)算、誤差計(jì)算和權(quán)重學(xué)習(xí)修正、迭代訓(xùn)練。

(1)隱節(jié)點(diǎn)i即LB層節(jié)點(diǎn)i的輸入為:

(2)LB層節(jié)點(diǎn)i的輸出為:

(3)輸出節(jié)點(diǎn)j即LC節(jié)點(diǎn)j的加權(quán)輸入為:

(4)LB層節(jié)點(diǎn)i的輸出為:

其中sigmoid_tanh為定義的激活函數(shù)，如前所述，根據(jù)選擇的結(jié)果，或?yàn)镾型，或?yàn)殡p曲正切函數(shù);iris［t，j］為第t個(gè)Iris樣本;gama和theta分別為L(zhǎng)C和LB節(jié)點(diǎn)的閾值矩陣。

2.4 誤差計(jì)算

根據(jù)采用不同的準(zhǔn)則函數(shù)和激活函數(shù)，所計(jì)算的誤差方法也不相同。誤差平方和準(zhǔn)則下的誤差計(jì)算［6］，定義全局代價(jià)函數(shù)為:

2.5 權(quán)重學(xué)習(xí)修正

權(quán)重的修改值也可以由全局代價(jià)函數(shù)得到:

2.6 迭代訓(xùn)練，建立最終模型

利用累積誤差反傳播算法，計(jì)算所有樣本的權(quán)重總變化值，并計(jì)算總誤差，算總迭代一次，根據(jù)總權(quán)重變化值修正權(quán)重，再由總誤差判斷迭代條件。在迭代停止時(shí)，即建立好模型。關(guān)鍵代碼如下:

3 實(shí)驗(yàn)結(jié)果與分析

本文實(shí)驗(yàn)全部在運(yùn)行Windows XP操作系統(tǒng)和Microsotf visual studio 2008軟件的計(jì)算機(jī)上進(jìn)行。實(shí)驗(yàn)數(shù)據(jù)為Iris數(shù)據(jù)集。實(shí)驗(yàn)方案為:(1)誤差閾值對(duì)收斂速率與分類精度的影響，(2)激活函數(shù)對(duì)分類精度的影響，(3)學(xué)習(xí)率對(duì)收斂速率及分類精度的影響，(4)隱層結(jié)點(diǎn)個(gè)數(shù)對(duì)收斂速率及分類精度的影響。

3.1 誤差閾值對(duì)收斂速率與分類精度的影響

本次實(shí)驗(yàn)中隱層節(jié)點(diǎn)個(gè)數(shù)為3，使用S型函數(shù)作為激活函數(shù)，使用誤差平方和準(zhǔn)則，對(duì)比誤差閾值對(duì)收斂速率與分類精度的影響，實(shí)驗(yàn)結(jié)果如表1所示。

表1 誤差閾值對(duì)收斂速率與分類精度的影響

實(shí)驗(yàn)結(jié)果表明，隨著誤差閾值的減小，達(dá)到收斂所需的修正次數(shù)增加，分類精度有所提高。

3.2 激活函數(shù)對(duì)分類精度的影響

本次試驗(yàn)中隱層節(jié)點(diǎn)個(gè)數(shù)為3，固定修正次數(shù)為5 000次，使用誤差平方和準(zhǔn)則。對(duì)比激活函數(shù)對(duì)分類精度的影響，實(shí)驗(yàn)結(jié)果見表2。

表2 激活函數(shù)對(duì)分類精度的影響

實(shí)驗(yàn)結(jié)果表明，對(duì)于Iris數(shù)據(jù)集，使用S型函數(shù)作為激活函數(shù)能達(dá)到較高的分類精度。

3.3 學(xué)習(xí)率對(duì)收斂速率及分類精度的影響

本實(shí)驗(yàn)隱層節(jié)點(diǎn)個(gè)數(shù)為3，固定訓(xùn)練誤差閾值0.5，S型函數(shù)作為激活函數(shù)，研究學(xué)習(xí)率對(duì)收斂速率及分類精度的影響。比較使用的兩種學(xué)習(xí)率為:靜態(tài)學(xué)習(xí)率和動(dòng)態(tài)學(xué)習(xí)率。

(1)靜態(tài)學(xué)習(xí)率在每次修正時(shí)都使用相同的學(xué)習(xí)率:alpha=0.01;beta=0.001。

(2)動(dòng)態(tài)學(xué)習(xí)率在每次修正時(shí)根據(jù)誤差的不同，使用不同的學(xué)習(xí)率。學(xué)習(xí)率的初值為alpha=0.01;beta=0.001;每次修正時(shí)，根據(jù)誤差改變學(xué)習(xí)率:alpha=alpha*Math.Exp(e*2);beta=alpha*Math.Exp(e*2);其中e為誤差。

表3 學(xué)習(xí)率對(duì)收斂速率及分類精度的影響

實(shí)驗(yàn)結(jié)果表明，動(dòng)態(tài)學(xué)習(xí)率的收斂速率遠(yuǎn)遠(yuǎn)高于靜態(tài)學(xué)習(xí)率，動(dòng)態(tài)學(xué)習(xí)率的分類精度略高于靜態(tài)學(xué)習(xí)率。

3.4 隱層結(jié)點(diǎn)個(gè)數(shù)對(duì)收斂速率及分類精度的影響

本實(shí)驗(yàn)固定訓(xùn)練誤差閾值0.5，S型函數(shù)作為激活函數(shù)，使用動(dòng)態(tài)學(xué)習(xí)率，研究隱層結(jié)點(diǎn)個(gè)數(shù)對(duì)收斂速率及分類精度的影響。

表4 隱層結(jié)點(diǎn)個(gè)數(shù)對(duì)收斂速率及分類精度的影響

實(shí)驗(yàn)結(jié)果表明，合適的隱層節(jié)點(diǎn)數(shù)能達(dá)到較高的收斂速率和分類精度(本例中取30比較合適)，但過(guò)多的隱層節(jié)點(diǎn)數(shù)會(huì)導(dǎo)致收斂速率和分類精度的下降。

4 結(jié)束語(yǔ)

實(shí)驗(yàn)表明，通過(guò)調(diào)整不同的參數(shù)，BP神經(jīng)網(wǎng)絡(luò)具有良好的分類效果。當(dāng)然，單隱層的BP網(wǎng)絡(luò)是最簡(jiǎn)單的BP網(wǎng)絡(luò)，只能解決線性可分的分類問(wèn)題。對(duì)于線性不可分的分類問(wèn)題，還要借助多隱層及其他輔助技術(shù)來(lái)實(shí)現(xiàn)［8］，另外由于其自身的缺點(diǎn)所在［9］，其算法的改進(jìn)，網(wǎng)絡(luò)優(yōu)化還有待更深入的研究。

［1］李愛軍.前饋神經(jīng)網(wǎng)絡(luò)工作機(jī)理分析與學(xué)習(xí)算法［M］.北京:中國(guó)科學(xué)技術(shù)出版社，2006.

［2］羅曉曙.人工神經(jīng)網(wǎng)絡(luò)理論·模型·算法與應(yīng)用［M］.桂林:廣西師范大學(xué)出版社，2005.

［3］祝翠玲，蔣志方，王強(qiáng).基于B－P神經(jīng)網(wǎng)絡(luò)的環(huán)境空氣質(zhì)量預(yù)測(cè)模型［J］.計(jì)算機(jī)工程與應(yīng)用，2007，43(22):223－227.

［4］田景文，高美娟.人工神經(jīng)網(wǎng)絡(luò)算法研究及應(yīng)用［M］.北京:北京理工大學(xué)出版社，2006.

［5］高濟(jì).人工智能高級(jí)技術(shù)導(dǎo)論［M］.北京:高等教育出版社，2009.

［6］胡伍生.神經(jīng)網(wǎng)絡(luò)理論及其工程應(yīng)用［M］.北京:測(cè)繪出版社，2006.

［7］(俄)А.И.加盧什金.神經(jīng)網(wǎng)絡(luò)理論［M］.閻平凡，譯.北京:清華大學(xué)出版社，2002.

［8］張代遠(yuǎn).神經(jīng)網(wǎng)絡(luò)新理論與方法［M］.北京:清華大學(xué)出版社，2006.

［9］宋振宇，王秋彥，丁小峰.BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練中的實(shí)際問(wèn)題研究［J］.海軍航空工程學(xué)院學(xué)報(bào)，2009，24(6):704－707.

The Teacher Classification Algorithm and Application Based on BP Neural Network

TANG Feng-xian，TANG Peng-jie
(Department of Computer and Information Science，Hechi University，Yizhou，Guangxi 546300，China)

This Paper describes the structure of BP neural network and related algorithms，and then compares the convergence rate of BP neural network and classification accuracy under different conditions through experiments.The results show that the appropriate BP parameters can improve the classification accuracy of neural network algorithm.

BP neural network;activation function;training;classification accuracy

TP183

A

1672－9021(2011)02－0041－05

唐鳳仙(1977－)，女，廣西都安人，河池學(xué)院計(jì)算機(jī)與信息科學(xué)系講師，主要研究方向:模式識(shí)別，圖像處理。

廣西壯族自治區(qū)教育廳科研立項(xiàng)項(xiàng)目(201010LX482)。

2010－03－01

［責(zé)任編輯 劉景平］