楊 勃,邵泉銘

(湖南理工學(xué)院 信息與通信工程學(xué)院,湖南 岳陽 414006)

負(fù)熵最小化加權(quán)最小二乘支持向量機(jī)及其應(yīng)用

楊 勃,邵泉銘

(湖南理工學(xué)院 信息與通信工程學(xué)院,湖南 岳陽 414006)

提出了一種負(fù)熵最小化加權(quán)最小二乘支持向量機(jī)分類模型,并應(yīng)用于水下底質(zhì)識別任務(wù).該模型在原始最小二乘支持向量機(jī)(Least Square Support Vector Machine,LSSVM)基礎(chǔ)上引入權(quán)重,通過權(quán)重分布的負(fù)熵最小化調(diào)節(jié)和控制權(quán)重的稀疏度,然后使用該稀疏分布權(quán)重進(jìn)一步進(jìn)行加權(quán)LSSVM再學(xué)習(xí),從而實(shí)現(xiàn)對原始LSSVM分類邊界的調(diào)整優(yōu)化.將負(fù)熵最小化加權(quán)LSSVM應(yīng)用于水下鈷結(jié)殼底質(zhì)識別,實(shí)驗(yàn)結(jié)果表明,該負(fù)熵最小化加權(quán)LSSVM能顯著減小鈷結(jié)殼錯判率和識別正確率,有效提高底質(zhì)識別效果.

加權(quán)最小二乘支持向量機(jī); 負(fù)熵；稀疏權(quán)重; 鈷結(jié)殼識別; 底質(zhì)識別

Abstract: A weighted least squares support vector machine based on negative entropy minimization is proposed,which is used on the task of underwater bottom material recognition.The proposed classifier model is learned on the results of original Least Squares Support Vector Machine (LSSVM).Through negative entropy minimization of distribution of weights,it controls and adjusts sparseness of sampling weights effectively.And then,by using these sparse weights,a weighted LSSVM is retrained to adjust the original classification border of LSSVM.Finally,the proposed model is used on underwater cobalt-rich crusts recognition.Experiment results show that using the proposed weighted LSSVM based on negative entropy minimization can decrease the misclassification rate and recognition correct rates significantly and improve the effectiveness of bottom material recognition.

Key words: weighted LSSVM,negative entropy,sparse weights,cobalt-rich crusts recognition,bottom material recognition

深海鈷結(jié)殼是一種重要的海洋多金屬戰(zhàn)略礦產(chǎn)資源[1].因海底環(huán)境惡劣,采用水下自治機(jī)器人自動完成礦物開采、收集和輸送,是目前水下鈷結(jié)殼開采技術(shù)研究的主流方案[2].其中水下鈷結(jié)殼自動識別則是高效開采鈷結(jié)殼的前提.水下鈷結(jié)殼識別可歸于水下目標(biāo)探測與識別一類,目前水下目標(biāo)探測常用手段是聲學(xué)探測,而主流水下目標(biāo)識別方法則主要基于統(tǒng)計(jì)模式識別技術(shù)實(shí)現(xiàn)[3～5]: 通過聲學(xué)探測,獲取目標(biāo)回波,在分析和提取目標(biāo)回波統(tǒng)計(jì)特性的基礎(chǔ)上,設(shè)計(jì)合適的統(tǒng)計(jì)分類器,最終實(shí)現(xiàn)水下目標(biāo)自動識別.

國家海洋科考調(diào)查結(jié)果表明,鈷結(jié)殼礦區(qū)底質(zhì)類型多樣.除鈷結(jié)殼外,還有海底沉積物和玄武巖、火山角礫巖、礁灰?guī)r、火山凝灰?guī)r、碳酸鹽巖等多種類型基巖類底質(zhì)[6].設(shè)計(jì)出合適的統(tǒng)計(jì)分類器,將鈷結(jié)殼從如此眾多的底質(zhì)中識別出來,具有相當(dāng)難度.此外,底質(zhì)表面不平整,導(dǎo)致回波樣本散布程度大,分類決策邊界復(fù)雜,這也增加了鈷結(jié)殼識別難度.

LSSVM是一種分類效果較好的分類器[7～9].與支持向量機(jī)(support vector machine,SVM)相比,LSSVM不僅在分類效果上與之相當(dāng),而且求解快速[7].因此,本文選擇和改進(jìn)LSSVM用于鈷結(jié)殼識別.

模式識別理論指出,在最小均方誤差意義上LSSVM最優(yōu)逼近bayes分類器[10].然而在小樣本情況下,LSSVM易受粗差樣本影響.為提高魯棒性,消除粗差樣本的干擾,Suykens[11]提出了加權(quán)LSSVM模型.基于Suykens加權(quán)LSSVM模型,許多研究者進(jìn)行了進(jìn)一步改進(jìn)和應(yīng)用研究,提出了一些改進(jìn)加權(quán)LSSVM模型,并在化工、機(jī)電等行業(yè)取得了一定應(yīng)用成果[12～15].

本文首先介紹LSSVM模型和Suykens加權(quán)LSSVM模型.在此基礎(chǔ)上,通過人工數(shù)據(jù)實(shí)驗(yàn)分析了Suykens加權(quán)LSSVM模型應(yīng)用于分類問題上的不足,提出了具有魯棒性同時稀疏度可調(diào)的負(fù)熵最小化加權(quán)LSSVM分類模型.最后,將負(fù)熵最小化加權(quán)LSSVM分類模型應(yīng)用于水下鈷結(jié)殼識別任務(wù),實(shí)驗(yàn)結(jié)果表明,負(fù)熵最小化加權(quán)LSSVM分類模型能夠有效改善LSSVM分類的魯棒性,進(jìn)一步提高了水下鈷結(jié)殼識別效果.

1 LSSVM與加權(quán)LSSVM

1.1 LSSVM

LSSVM由Suykens[7]于1999年首次提出.設(shè)有訓(xùn)練數(shù)據(jù)集,所求的回歸模型為f(x)=wTx+b,LSSVM通過以下優(yōu)化模型,尋求最優(yōu)投影矢量w和偏置b:

1.2 加權(quán)LSSVM

為消除粗差樣本的不良影響,提高魯棒性,Suykens提出了加權(quán)LSSVM模型[11]:

其中qi為樣本xi的權(quán)值,且

權(quán)值qi描述了樣本xi對模型學(xué)習(xí)的重要程度,樣本xi的誤差越大,則說明其重要程度越低,應(yīng)當(dāng)賦予小權(quán)值抑制該樣本; 反之亦然.加權(quán)函數(shù)(3)為分段線性函數(shù),它將樣本定性區(qū)分為重要樣本區(qū),過渡區(qū)和粗差樣本區(qū)3個區(qū)間.其中,滿足條件的樣本即為粗差點(diǎn),賦予其10-4的微小權(quán)值以去除粗差點(diǎn)對LSSVM模型的干擾,從而增強(qiáng)學(xué)習(xí)的魯棒性.

2 基于負(fù)熵最小化加權(quán)LSSVM分類

然而,采用Suykens加權(quán)LSSVM實(shí)現(xiàn)分類存在以下兩個主要缺陷(實(shí)驗(yàn)1進(jìn)行了詳細(xì)分析):

(1)權(quán)值主要計(jì)算依據(jù): 樣本xi到回歸面的誤差i不能準(zhǔn)確描述xi對分類決策面形成的重要性;

(2)Suykens加權(quán)LSSVM模型不具稀疏性,不能有效解決不同類別樣本分布不同導(dǎo)致的決策偏差.

Suykens也發(fā)現(xiàn)了其加權(quán)LSSVM模型不具稀疏性這一缺點(diǎn).為此,他又提出了一個加權(quán)LSSVM剪枝方案,該方案將加權(quán)學(xué)習(xí)、稀疏化剪枝分為多階段依次完成,過程相對繁瑣.為解決以上問題,同時將稀疏化、加權(quán)學(xué)習(xí)簡化成單一階段一次性完成,本文提出了負(fù)熵最小化加權(quán)LSSVM分類模型.

2.1 負(fù)熵最小化權(quán)值優(yōu)化模型

SVM模型揭示,在樣本分布未知情況下,重點(diǎn)考慮分類邊界處樣本能獲取較好的分類效果[10].因此要有效解決不同類別樣本分布不同帶來的學(xué)習(xí)偏差,一種可行方案就是仿照SVM,提高加權(quán)方法稀疏度.通過加大權(quán)值分布稀疏度,不僅可去除粗差樣本,還能有效壓制非邊界樣本對學(xué)習(xí)模型的干擾.

此外,對分類問題,其分類決策面可表示為wTx+b=0.通常認(rèn)為越靠近分類決策面的樣本,其重要性越高,應(yīng)賦予更大的權(quán)值.因此,本文采用有向距離來取代Suykens加權(quán)LSSVM中的誤差,用于描述樣本xi對分類決策的重要性,作為權(quán)值計(jì)算的依據(jù).

進(jìn)一步,基于負(fù)熵最小化,本文提出如下權(quán)值優(yōu)化模型:

其中di為樣本xi到LSSVM決策面的有向距離,c1為正則化負(fù)熵項(xiàng)參數(shù),且c1≥0.

式(4)中,權(quán)值qi具有概率意義.主優(yōu)化項(xiàng)可解釋為在概率分布{qi}下對訓(xùn)練樣本集的距離平方d2的期望E(d2).

假設(shè)不同樣本到?jīng)Q策邊界距離平方d2各不相同.在不考慮正則化負(fù)熵項(xiàng)(即c1=0)情形下,最小化期望E(d2),將得到最稀疏的權(quán)值分布,對應(yīng)于一個確定性事件.此時離決策面最近的樣本權(quán)值為1,其余樣本權(quán)值為0,即

當(dāng)c1→+∞時,權(quán)值分布則趨向于均勻分布,即,所有權(quán)值相等.此時加權(quán)LSSVM將退化為LSSVM.

因此,通過調(diào)節(jié)模型(4)中參數(shù)c1可調(diào)整加權(quán)LSSVM的稀疏度,有效控制權(quán)值分布的稀疏性.

2.2 優(yōu)化模型(4)的求解

模型(4)可轉(zhuǎn)換為如下等價的Lagrange模型:

對模型(5)中的qi,求導(dǎo),求最優(yōu)解得

進(jìn)一步整理得

式(9)表明,歸一化權(quán)值qi大小不僅僅取決與自身有向距離di,還與其他樣本的有向距離有關(guān).其中,由自身有向距離di決定的量是,該函數(shù)關(guān)于是一個嚴(yán)格單調(diào)遞減的函數(shù).簡單推導(dǎo)可知,權(quán)值qi也是關(guān)于的嚴(yán)格單調(diào)遞減的函數(shù).距離|di|越大,則越小,導(dǎo)致權(quán)值qi越小,此時該樣本對模型學(xué)習(xí)的作用也就越小.

事實(shí)上,式(9)表達(dá)的權(quán)值分布是一個具有熱力學(xué)意義的統(tǒng)計(jì)分布: Gibbs分布.從熱力學(xué)角度看,具有能量意義,參數(shù)c1則具有溫度意義.當(dāng)溫度c1越小,則在熱平衡下可選低能狀態(tài)就越少,大部分高能狀態(tài)不再出現(xiàn),即出現(xiàn)的概率qi為0.因此從熱力學(xué)角度看,調(diào)節(jié)溫度參數(shù)c1,可有效控制樣本權(quán)值稀疏度.

2.3 負(fù)熵最小化權(quán)值優(yōu)化修正模型

調(diào)節(jié)參數(shù)c1,可控制加權(quán)學(xué)習(xí)模型的樣本權(quán)值稀疏度.但需要指出的是,邊界區(qū)兩類樣本稀疏程度不一,會導(dǎo)致分類不平衡問題突出.為此,我們單獨(dú)對每一類樣本進(jìn)行負(fù)熵最小化最優(yōu)權(quán)值計(jì)算,進(jìn)一步修正模型(4),得到如下模型:

其中N+為正類樣本數(shù).

仿照模型(4)求解可得: 對于正類樣本xi,其權(quán)值為

簡單推導(dǎo)可知,當(dāng)c1→+∞時,正類樣本xi權(quán)值; 負(fù)類樣本xj權(quán)值.其中,N-為負(fù)類樣本數(shù),NN+N-=+.此時的權(quán)值取值,正是采用LSSVM學(xué)習(xí)時,處理非平衡樣本情況的常用做法.

2.4 負(fù)熵最小化加權(quán)LSSVM分類器學(xué)習(xí)算法

與Suykens加權(quán)LSSVM算法類似,基于負(fù)熵最小化加權(quán)LSSVM也采用二階段優(yōu)化方法,算法描述如下:

(a)預(yù)置c,求得LSSVM最優(yōu)解w0,b0;

(b)由最優(yōu)解w0,b0計(jì)算所有樣本到?jīng)Q策邊界的距離di,依據(jù)式(10)優(yōu)化求得歸一化權(quán)值qi;

(c)設(shè)置c1,將權(quán)值qi代入式(2)的加權(quán)LSSVM優(yōu)化模型中,最終求得加權(quán)LSSVM優(yōu)化解w*,b*.

3 實(shí)驗(yàn)結(jié)果與分析

3.1 人工數(shù)據(jù)集實(shí)驗(yàn)

本實(shí)驗(yàn)人工生成二維樣本數(shù)據(jù)10個.其中生成第1類“*”樣本5個: 所有樣本橫坐標(biāo)為1,縱坐標(biāo)0.1～0.9,間隔0.2；生成第2類“+”樣本5個: 所有樣本縱坐標(biāo)為0.5,橫坐標(biāo)1.2～2,間隔也為0.2.

設(shè)置參數(shù)c=106,c1=0.25,最終的學(xué)習(xí)結(jié)果如圖1所示.

圖1 人工數(shù)據(jù)集上的學(xué)習(xí)結(jié)果

圖1中有3根LSSVM對應(yīng)的黑實(shí)線,從左至右分別為:wTx+b=-1,wTx+b=0和wTx+b=+1.由于兩類樣本分布不同,決策線wTx+b=0出現(xiàn)偏差,1個“+”樣本被誤分.依式(3)計(jì)算權(quán)值得,圖中唯一誤分樣本權(quán)值為0.604,其余權(quán)值均為1.采用上述權(quán)值結(jié)果訓(xùn)練Suykens加權(quán)LSSVM,最終得圖1中的虛決策線:w'Tx+b'=0,該決策線比原決策線表現(xiàn)更差.從權(quán)值計(jì)算結(jié)果看,Suykens加權(quán)LSSVM錯誤地估計(jì)了對分類決策有重要作用的誤分樣本權(quán)值,說明回歸誤差不適宜作為分類決策的權(quán)值計(jì)算依據(jù).

此外,我們?nèi)圆捎肧uykens加權(quán)LSSVM權(quán)值計(jì)算式(3),將δi置換成隨機(jī)有向距離變量di,再次進(jìn)行權(quán)值計(jì)算得,所有樣本權(quán)值均為1.加權(quán)LSSVM退化為LSSVM,學(xué)習(xí)偏差仍不能得到改善.從權(quán)值計(jì)算結(jié)果看,這是因?yàn)镾uykens加權(quán)LSSVM不具稀疏性.

圖1中點(diǎn)劃線對應(yīng)的是基于模型(10)的學(xué)習(xí)結(jié)果:w*Tx+b*=0.在本例中,通過最小化負(fù)熵優(yōu)化權(quán)值,將圖1中最右邊兩個最偏離分類決策面的樣本成功抑制,得到了正確的學(xué)習(xí)結(jié)果,這表明該方法具有稀疏性,能夠解決樣本分布不同帶來的分類偏差問題.

在本例中,采用模型(5)的基于負(fù)熵最小化加權(quán)LSSVM同樣得到了正確的學(xué)習(xí)結(jié)果.但是,我們重新調(diào)整參數(shù)c1=0.04時,使決策邊界區(qū)變窄,此時邊界樣本過于稀疏化,其中“*”類樣本權(quán)值過小,被全部排除在邊界之外,兩類樣本極度不平衡,采用模型(5)出現(xiàn)了極大偏差.與之對應(yīng)的是,采用模型(10)始終沒出現(xiàn)偏差,這說明模型(10)能夠有效解決稀疏邊界樣本兩類樣本不平衡問題.

3.2 水下鈷結(jié)殼識別實(shí)驗(yàn)

進(jìn)一步,我們將負(fù)熵最小化加權(quán)LSSVM應(yīng)用到基于超聲探測的水下鈷結(jié)殼識別任務(wù)中.實(shí)驗(yàn)底質(zhì)材料主要來自我國鈷結(jié)殼調(diào)查區(qū)內(nèi)的深海拖網(wǎng)樣品,除鈷結(jié)殼外,還有玄武巖、火山角礫巖、礁灰?guī)r、火山凝灰?guī)r4種基巖.此外,我們還將泥、砂、礫石依不同比例混合,制作了模擬海底沉積物.

將以上底質(zhì)材料隨機(jī)鋪設(shè)在實(shí)驗(yàn)水池底部,由500KHz窄帶超聲探測實(shí)驗(yàn)系統(tǒng)采集底質(zhì)回波(超聲探測實(shí)驗(yàn)系統(tǒng)如圖2所示).

圖2 超聲探測實(shí)驗(yàn)系統(tǒng)

實(shí)驗(yàn)重復(fù)4次,每次采集鈷結(jié)殼回波80個,其他類型底質(zhì)每類80個組成非鈷結(jié)殼回波共400個.對采集到的回波信號,先后通過數(shù)據(jù)預(yù)處理、特征提取過程,最終得到32維回波小波模極大值特征樣本集[16].分別使用線性核和高斯核下的LSSVM,Suykens加權(quán)LSSVM,本文的加權(quán)LSSVM模型(10)在特征樣本集上進(jìn)行鈷結(jié)殼識別實(shí)驗(yàn).實(shí)驗(yàn)中,高斯核參數(shù)取值范圍為2-5～210,正則化參數(shù)c取值范圍為2-12～25,負(fù)熵最小化加權(quán)LSSVM參數(shù)c1取值范圍為2-7～210.

鈷結(jié)殼采集率和廢石混入率是鈷結(jié)殼高效開采的兩個關(guān)鍵指標(biāo),分別與鈷結(jié)殼識別的正確識別率和非鈷結(jié)殼錯判為鈷結(jié)殼的錯判率直接相關(guān)[6].因此本實(shí)驗(yàn)采用10重交叉驗(yàn)證來估計(jì)鈷結(jié)殼正確識別率和錯判率,實(shí)驗(yàn)結(jié)果見表1和表2.

表1 線性核下鈷結(jié)殼識別結(jié)果

表2 高斯核下鈷結(jié)殼識別結(jié)果

從表1和表2可看出,在線性和高斯核非線性分類情形下,Sunkens加權(quán) LSSVM與LSSVM在鈷結(jié)殼正確識別率指標(biāo)上彼此差異并不明顯,在鈷結(jié)殼錯判率指標(biāo)上Sunkens加權(quán) LSSVM表現(xiàn)甚至更差.而本文提出的負(fù)熵最小化加權(quán)LSSVM在鈷結(jié)殼錯判率指標(biāo)上,錯判率減少了約7%；在鈷結(jié)殼正確識別率指標(biāo)上,正確識別率提高了約2%.這表明,本文提出的負(fù)熵最小化加權(quán)LSSVM有效改善了鈷結(jié)殼識別效果.

由于非鈷結(jié)殼底質(zhì)類型多樣,其回波樣本在特征空間中分布情況更為分散,與鈷結(jié)殼底質(zhì)回波樣本分布特性差異明顯.用LSSVM學(xué)習(xí)易受非鈷結(jié)殼樣本分布的影響,分類決策出現(xiàn)偏差,導(dǎo)致鈷結(jié)殼錯判率較高.Sunkens加權(quán) LSSVM則因不恰當(dāng)?shù)臋?quán)值計(jì)算依據(jù)以及稀疏性不足的問題,導(dǎo)致其對LSSVM學(xué)習(xí)結(jié)果無明顯改善,甚至分類決策偏差變得更大,在錯判率上表現(xiàn)得比LSSVM還要更差.而負(fù)熵最小化加權(quán)LSSVM通過引入恰當(dāng)?shù)臋?quán)值計(jì)算依據(jù)和稀疏性,消除了非鈷結(jié)殼樣本分布對分類決策的影響,減小了分類決策偏差,顯著減小了鈷結(jié)殼錯判率.

4 結(jié)束語

本文在Suykens加權(quán)LSSVM基礎(chǔ)上,提出了一種基于負(fù)熵最小化的加權(quán)LSSVM模型.與Suykens加權(quán)LSSVM不同,負(fù)熵最小化加權(quán)LSSVM主要適用于分類問題.該加權(quán)LSSVM采用樣本到LSSVM決策邊界的有向距離度量樣本對決策面形成的貢獻(xiàn)程度,并用于計(jì)算樣本權(quán)值.通過引入負(fù)熵最小化,該加權(quán)LSSVM能夠有效控制權(quán)值的稀疏度,從而有效地降低大方差類別樣本對LSSVM學(xué)習(xí)的影響,減小分類決策偏差.通過水下鈷結(jié)殼識別實(shí)驗(yàn),最后驗(yàn)證了該加權(quán)LSSVM分類模型的有效性.實(shí)驗(yàn)表明,該加權(quán)LSSVM能顯著減小鈷結(jié)殼錯判率,并在一定程度上提高了鈷結(jié)殼識別率.

[1]PeterA.Rona.Resources of the Sea Floor[J].Science,2003,299: 673～674

[2]Chung J S.Deep-ocean mining: Technologies for manganese nodules and crusts[J].International Journal of Offshore and polar Engineering,1996,6(4):244～254

[3]楊 勃,卜英勇,黃劍飛.多核信息融合模型及其應(yīng)用[J].儀器儀表學(xué)報(bào),2010,31(2): 248～252

[4]Azimi-Sadjadi M.R,De Y,Qiang H,etc.Underwater target classification using wavelet packets and neuralnetworks[J].IEEE Transaction on Neural Networks,2000,11(3): 784～794

[5]AKari E.Ellingsen.Acoustic classification of seabed habitats using the QTC VIEWsystem[J].ICES Journal of Marine Science,2002(59): 825～835

[6]周木榮.基于聲學(xué)分形特征的深海鈷結(jié)殼識別研究[D].長沙: 中南大學(xué)碩士學(xué)位論文,2009:12～13,73

[7]Suykens J A K,Vandewalle J.Least square support vector machine classifier[J].Neural Processing Letters,1999,9(3): 293～300

[8]吳一全,尹丹艷,吳詩婳.基于NSCT、KFCM和多模型LS-SVM的紅外小目標(biāo)檢測[J].儀器儀表學(xué)報(bào),2011,32(8): 1704～1709

[9]陳法法,湯寶平,董紹江.基于粒子群優(yōu)化LS-WSVM的旋轉(zhuǎn)機(jī)械故障診斷[J].儀器儀表學(xué)報(bào),2011,32(12): 2747～2753

[10]Duda R O,Hart P E,Stork D G.Pattern Classification(Second Edition)[M].Newyork: Wiley-Interscience,2000: 239～245

[11]Suykens J A K,et al.Weighted least squares support vector machine:Robustness and sparse approximation[J].NeuroComputing,2002,48(1): 85～105

[12]邢永忠,吳曉蓓,徐志良.基于柯西分布加權(quán)的最小二乘支持向量機(jī)[J].控制與決策,2009,24(6): 937～940

[13]呂劍峰,戴連奎.加權(quán)最小二乘支持向量機(jī)改進(jìn)算法及其在光譜定量分析中的應(yīng)用[J].分析化學(xué),2005,35(3): 340～344

[14]范玉剛,李 平.動態(tài)加權(quán)最小二乘支持向量機(jī)[J].控制與決策,2006,21(10): 1129～1132

[15]LIU J L,LI J,XU W X,etc.A weighted Lq adaptive least squares support vector machine classifiers-Robust and sparse approximation[J].Expert Systems with Applications,2011,38: 2253～2259

[16]張靜遠(yuǎn),張 冰,蔣興舟.基于小波變換的特征提取方法分析[J].信號處理,2000 ,16(2): 156～162

Weighted Least Squares Support Vector Machine based on Negative Entropy Minimization and Its Application

YANG Bo,SHAO Quanming
(College of Information and Communication Engineering,Hunan Institute of Science and Technology,Yueyang 414006,China)

TP391.4

A

1672-5298(2017)03-0027-06

2017-07-15

湖南省教育廳科學(xué)研究重點(diǎn)資助項(xiàng)目(17A089)

楊 勃(1974? ),男,湖南岳陽人,博士,湖南理工學(xué)院信息與通信工程學(xué)院副教授.主要研究方向: 模式識別技術(shù),水聲信號處理