白云超,馮賀平，白鶴舉

(1.河北大學(xué) 經(jīng)濟(jì)學(xué)院，河北 保定　071002；2.河北軟件職業(yè)技術(shù)學(xué)院 智能工程系，河北 保定　071000;

3.承德石油高等?？茖W(xué)校 基礎(chǔ)教學(xué)部，河北 承德　067000)

?

Sugeno測(cè)度空間上局部風(fēng)險(xiǎn)最小化估計(jì)的界

白云超1,馮賀平2，白鶴舉3

(1.河北大學(xué) 經(jīng)濟(jì)學(xué)院，河北 保定071002；2.河北軟件職業(yè)技術(shù)學(xué)院 智能工程系，河北 保定071000;

3.承德石油高等專科學(xué)校 基礎(chǔ)教學(xué)部，河北 承德067000)

摘要：在Sugeno測(cè)度空間上，為了將結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則應(yīng)用于局部函數(shù)估計(jì)問題，給出了局部風(fēng)險(xiǎn)最小化估計(jì)問題的思想，并證明了局部風(fēng)險(xiǎn)最小化估計(jì)的界.

關(guān)鍵詞：局部風(fēng)險(xiǎn)最小化估計(jì)；鄰域函數(shù)；gλ測(cè)度空間；結(jié)構(gòu)風(fēng)險(xiǎn)最小化

MSC 2010：90C70

第一作者： 白云超(1977-)，女，河北承德人，河北大學(xué)副教授，主要從事不確定性統(tǒng)計(jì)學(xué)習(xí)理論研究.

E-mail:yunchaobai@126.com

在非可加測(cè)度空間[1-2]上,統(tǒng)計(jì)學(xué)習(xí)理論的關(guān)鍵定理，經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原則和學(xué)習(xí)過程一致收斂速度的界和結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則[3-8]已經(jīng)給出.無論經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原則還是結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則，對(duì)于從有限數(shù)量的觀測(cè)估計(jì)函數(shù)中最小化風(fēng)險(xiǎn)泛函，必須明確研究問題的信息，比如在模式識(shí)別和支持向量機(jī)[9-10]中的結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則問題中，都需要找到一個(gè)結(jié)構(gòu)，該結(jié)構(gòu)1/h較小的時(shí)候可以提供較小的經(jīng)驗(yàn)風(fēng)險(xiǎn)泛函的值.然而，為了找到該結(jié)構(gòu)必須獲得關(guān)于所研究問題的信息，但是事實(shí)上并不能獲取所研究問題的全部信息.為了避免從所有結(jié)構(gòu)中選擇差結(jié)構(gòu)，考慮新的思路：函數(shù)的局部估計(jì)，即在感興趣的點(diǎn)附近進(jìn)行函數(shù)估計(jì).通過局部地逼近函數(shù)，就可以達(dá)到較好的逼近精度，如何從所有的結(jié)構(gòu)中找到好的結(jié)構(gòu)，文章從具有代表性的非概率測(cè)度—gλ測(cè)度上，給出了局部風(fēng)險(xiǎn)最小化估計(jì)的思想，并證明了局部風(fēng)險(xiǎn)最小化估計(jì)的界.

1預(yù)備知識(shí)

μ(E∪F)=μ(E)+μ(F)+λμ(E)μ(F)，

其中E∈ζ,F∈ζ,E∪F∈ζ,E∩F∈Φ.

稱μ滿足有限λ-律當(dāng)且僅當(dāng)存在上述λ使得下式成立,

其中{E1,E2,…,En}是ζ中有限不交類，且它們的并集也在ζ.

定義2[1]設(shè)F是p(X)上的σ-algebra.μ稱為F上的Sugeno測(cè)度，當(dāng)且僅當(dāng)μ滿足σ-λ律并且μ(X)=1.簡記為gλ.

命題1[1]如果μ是F上的Sugeno測(cè)度，則μ是單調(diào)的.

命題2[1]如果μ是F上的Sugeno測(cè)度，則μ(Φ)=0且滿足有限λ-律.

命題3[1]對(duì)于任意一個(gè)Sugeno測(cè)度gλ，總可以找到一個(gè)T-函數(shù)，使得集函數(shù)θλ°gλ為一個(gè)概率測(cè)度P，且此T-函數(shù)為

命題4[7]Sugeno測(cè)度gλ是雙零漸進(jìn)可加的，如果?{An}?F,{Bm}?F,并且當(dāng)gλ(An)→0,gλ(Bm)→0時(shí)，則μ(An∪Bm)→0(n→∞,m→∞).

2Sugeno測(cè)度空間上局部風(fēng)險(xiǎn)最小化估計(jì)的界

設(shè)(x1,y1),(x1,y2),…,(xl,yl)是已知的獨(dú)立同分布的樣本數(shù)據(jù)，F(xiàn)gλ(x,y)是未知sugeno測(cè)度，K(x,x0,β)是一個(gè)非負(fù)的鄰域函數(shù)，與x0和β∈(0,∞)有關(guān)，并滿足以下2個(gè)條件：

(1)

目標(biāo)是在函數(shù)集f(x,α),α∈Λ和點(diǎn)x0的不同鄰域函數(shù)上最小化局部風(fēng)險(xiǎn)泛函

(2)

然后利用結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則來最小化基于經(jīng)驗(yàn)數(shù)據(jù)的局部風(fēng)險(xiǎn)泛函.為此提出有關(guān)局部風(fēng)險(xiǎn)泛函界的估計(jì)定理.

定理1設(shè)指示函數(shù)集Q(y,f(x,α)),α∈Λ的VC維是h1，非負(fù)實(shí)函數(shù)集K(x,x0,β),β∈(0,∞)的VC維是h2，則對(duì)于所有α∈Λ和所有β∈(0,∞)，不等式

成立，其中局部經(jīng)驗(yàn)風(fēng)險(xiǎn)泛函為

(3)

局部期望風(fēng)險(xiǎn)泛函為

R*(α,β,x0)=∫Q(y,f(x,α))K(x,x0,β)dFgλ(x,y)，

(4)

(5)

鄰域函數(shù)的經(jīng)驗(yàn)風(fēng)險(xiǎn)函數(shù)為

(6)

證明：因?yàn)镼(y,f(x,α))×K(x,x0,β)是完全有界的，并且界是1；在Sugeno測(cè)度空間上推導(dǎo)出來風(fēng)險(xiǎn)的界[7]，對(duì)所有的函數(shù)集和所有的鄰域參數(shù)值都是成立的.根據(jù)文獻(xiàn)[7]中的定理7，對(duì)于所有的α∈Λ和β∈(0,∞)，不等式

成立，其中εhi(l)由式(5)給定.

(7)

根據(jù)式(1)和K(x,x0,β),β∈(0,∞)的VC維是h2，得到

那么

(8)

根據(jù)式(7)和(8)，得到

下面給出無界損失函數(shù)Q(y,f(x,α)),α∈Λ的情形，考慮局部函數(shù)的界.根據(jù)Sugeno測(cè)度空間上無界非負(fù)函數(shù)集的界，考慮一個(gè)更強(qiáng)的約束條件.

假定不等式

(9)

(10)

定義了與參數(shù)有關(guān)的一個(gè)Sugeno測(cè)度族.

定理2設(shè)非負(fù)函數(shù)集θ(Q(y,f(x,α)))×K(x,x0,β),α∈Λ,β∈(0,∞)具有VC維是h*且滿足不等式(9), 又設(shè)鄰域函數(shù)K(x,x0β),β∈(0,∞)的VC維是h2，則對(duì)于所有的α∈Λ和β∈(0,∞)，不等式

證明：為了證明定理，根據(jù)文獻(xiàn)[7]中定理4，下列不等式成立

(11)

由于0≤K(x,x0,β)≤1和不等式(10) 成立，所以

(12)

利用不等式(11)和(12)，得

因此對(duì)于任意α∈Λ和β∈(0,∞)，不等式

(13)

3局部函數(shù)估計(jì)的結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則

利用定理1和定理2所提供的界，可以將結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則應(yīng)用于局部函數(shù)估計(jì)問題.無論是模式識(shí)別還是回歸估計(jì)問題，結(jié)構(gòu)風(fēng)險(xiǎn)最小化的方法是一樣的，都是考慮含嵌套元素sk的結(jié)構(gòu)，在每個(gè)元素sk上選取最好的函數(shù)Q(y,f(x,α)),α∈Λ和最好的鄰域函數(shù)K(x,x0,β),β∈(0,∞)，然后只需要最小化定理1、定理2的右端，就能夠估計(jì)出損失函數(shù)的界.

參考文獻(xiàn):

[1]WANG Zhenyuan, GEORGE J Klir. Fuzzy measure theory [M]. New York ：Plenum Press , 1992.

[2]哈明虎，王超，張植明，等．不確定統(tǒng)計(jì)學(xué)習(xí)理論[M]．北京：科學(xué)出版社,2010.

[3]哈明虎，馮志芳，宋士吉，等．?dāng)M概率空間上學(xué)習(xí)理論的關(guān)鍵定理和學(xué)習(xí)過程一致收斂速度的界[J]．計(jì)算機(jī)學(xué)報(bào),2008,31(3)：476-485．

HA Minghu, FENG Zhifang, SONG Shiji,et al. The key theorem and the bounds on the rate of uniform convergence of statistical learning theory on quasi-probability spaces[J]. Chinese Journal of Computers, 2008,31(3)：476-485．

[4]李俊華，李海軍.受噪聲影響的復(fù)hybrid樣本的學(xué)習(xí)理論關(guān)鍵定理[J]. 河北大學(xué)學(xué)報(bào)：自然科學(xué)版,2014,34(1):14-18.

LI Junhua, LI Haijun.Key theorem of learning theory with complex hybrid samples corrupted by noise[J]. Journal of Hebei University：Natural Science Edition, 2014, 34(1): 14-18.

[5]HA Minghu,BAI Yunchao,WANG Peng,et al, The key theorem and the bounds on the rate of uniform convergence of learning theory on credibility meassure spaces[J]. Advances in Fuzzy Sets and Systems,2006,1(2):143-172.

[6]周彩麗，哈明虎，鮑俊艷，等．基于模糊數(shù)的模糊學(xué)習(xí)理論的關(guān)鍵定理[J]．河北大學(xué)學(xué)報(bào)：自然科學(xué)版，2008,28(5):449-451．

ZHOU Caili, HA Minghu, BAO Junyan, et al. Key theorem of learning theory based on fuzzy number[J].Journal of Hebei University：Natural Science Edition,2008,28(5):449-451.

[7]哈明虎，李顏，李嘉，等．Sugeno測(cè)度空間上學(xué)習(xí)理論的關(guān)鍵定理和一致收斂速度的界[J]．中國科學(xué)：E輯信息科學(xué)，2006,36(4):398-410．

HA Minghu, LI Yan, LI Jia, et al.The key theorem and the bounds on the rate of uniform convergence of learning theory on sugeno measure spaces[J].Science in China：Series E, Information Science,2006,36(4):398-410.

[8]BAI Yunchao. Structures risk minization principle on Sugeno space [J]. ICMLC, 2008, 7(2): 829-834.

[9]張學(xué)工.關(guān)于統(tǒng)計(jì)學(xué)習(xí)理論和支持向量機(jī)[J].自動(dòng)化學(xué)報(bào)，2000,26(1):32-42.

[10]張植明,田景峰.Sugeno測(cè)度空間基于復(fù)樣本的統(tǒng)計(jì)學(xué)習(xí)理論[J].計(jì)算機(jī)工程與應(yīng)用，2009,45(7):59-64.

ZHANG Zhiming, TIAN Jingfeng. Statistical learning theory complex samples on Sugeno measure space[J].Computer Engineering and Applications, 2009,45(7):59-64.

(責(zé)任編輯：王蘭英)

Bound of local risk minimization estimation on Sugeno measure space

BAI Yunchao1,FENG Heping2,BAI Heju3

(1.College of Economics Science, Hebei University, Baoding 071002,China;

2.Intelligent Engineering Department,Hebei Software Institute,Baoding 071000,China;

3.Basic Teaching Department,Chengde Petroleum College, Chengde 067000,China)

Abstract:On Sugeno measure space, the ideas of local risk minimization estimation problem is presented.In order to make the principle of structural risk minimization apply to the problem of local risk minimization estimation, the paper gives and proves the bounds of the bound of local risk minimization estimation.

Key words:local risk minimization estimation; vicinity function;gλmeasure space； structural risk minimization

基金項(xiàng)目：河北省軟科學(xué)項(xiàng)目(13456123)

收稿日期：2015-03-17

中圖分類號(hào)：TP18;O159

文獻(xiàn)標(biāo)志碼:A

文章編號(hào)：1000-1565(2015)06-0566-05

DOI：10.3969/j.issn.1000-1565.2015.06.002