薛美玉,梁飛豹
(福州大學(xué)數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院,福建福州 350116)
線性模型是現(xiàn)代統(tǒng)計(jì)學(xué)中應(yīng)用最為廣泛的模型之一[1].它在生物、醫(yī)學(xué)、金融、地質(zhì)、國(guó)防等領(lǐng)域都有廣泛的應(yīng)用.統(tǒng)計(jì)學(xué)家對(duì)線性模型作了大量研究,并出現(xiàn)了許多研究分支.其中,參數(shù)估計(jì)一直是一個(gè)非?;钴S的分支.最小二乘估計(jì)(LS估計(jì))因其優(yōu)良性而在線性模型參數(shù)估計(jì)中占有重要地位[2].但是,當(dāng)數(shù)據(jù)具有復(fù)共線性時(shí),LS估計(jì)變得不再優(yōu)良.人們?yōu)榇俗髁嗽S多改進(jìn)工作,例如,Stein于1960年提出了 Stein壓縮估計(jì)[3],Hoerl和 Kennard于1970 年提出了嶺估計(jì)[4],Liu于 1993 年提出了 Liu估計(jì)[5-6],Ozkale和Kaciranlar于2007年提出了兩參數(shù)估計(jì)[7],等等.
結(jié)合前人對(duì)LS估計(jì)的這些改進(jìn)工作,提出線性模型參數(shù)估計(jì)的一種新方法——新的兩參數(shù)估計(jì),并通過與最小二乘估計(jì)及舊的兩參數(shù)估計(jì)的比較,提出該估計(jì)的優(yōu)越性.這里,為了便于比較,把文獻(xiàn)[7]Ozkale和Kaciranlar提出的兩參數(shù)估計(jì)稱為舊的兩參數(shù)估計(jì),記為OTP估計(jì),而把本文提出的新的兩參數(shù)估計(jì)記為NTP估計(jì).
線性模型的一般形式為:
其中:Y是n×1可觀測(cè)向量;X是n×p列滿秩已知設(shè)計(jì)矩陣;β是p×1未知參數(shù)向量;ε是n×1隨機(jī)誤差向量;In是n階單位陣[8].
定義1 稱 β^NTP=(XTX+kI)-1(XTX+dI)β^
LS為模型(1)中β的新的兩參數(shù)估計(jì),其中,k>d>0,β^
LS=(XTX)-1XTY為β的最小二乘估計(jì).
下面研究新的兩參數(shù)估計(jì)β^NTP的一些性質(zhì).為了表達(dá)方便,引入記號(hào)XTX=S和XTX+kI=Sk.那么,最小二乘估計(jì) β^LS=S-1XTY,新的兩參數(shù)估計(jì) β^NTP=Sk-1Sdβ^LS,舊的兩參數(shù)估計(jì) β^OTP=(XTX+kI)-1(XTX+kdI)β^LS=Sk-1Skdβ^LS.
性質(zhì)1 β^NTP是 β^LS的一個(gè)線性變換.
性質(zhì)2 β^NTP是β的有偏估計(jì).因?yàn)閷?duì)任意k>d>0,E(β^NTP)=Sk-1Sdβ ≠ β.
性質(zhì)3 當(dāng) β^LS≠0時(shí),對(duì)任意k>d>0,總有 β^NTP< β^LS.表明 β^NTP是 β^LS向原點(diǎn)的一個(gè)壓
LSNTPLSNTPLS縮.
以上是 β^的一些基本性質(zhì),這些基本性質(zhì)說明當(dāng)存在復(fù)共線性時(shí),β^改進(jìn)了LS估計(jì).此外,β^
NTPNTP
NTP還具備一些優(yōu)良性.
定理1 β^是βNTP的可容許估計(jì).
證明 因?yàn)棣耝NTP=Aβ^LS=Sk-1Sdβ^LS,由 Rao的定理[9]可得:
所以,對(duì)于任意k>d>0,β^NTP是β的可容許估計(jì).
定理2 當(dāng)(k-d)βTβ≤2σ2時(shí),有:
1)MSEM(β^)< MSEM(β^);
NTPLS
2)GMSE(β^)< GMSE(β^);
NTPLS
3)MSE(β^)< MSE(β^).
NTPLS
其中:MSEM(β^)、GMSE(β^)、MSE(β^)分別為β^的均方誤差矩陣、廣義均方誤差、均方誤差.
NTPNTPNTPNTP
證明 由于1)、2)、3)的等價(jià)性,只證1).
當(dāng)k>d>0時(shí),上式的一個(gè)充分條件是2σ2I-(k-d)ββT≥0,即(k-d)βTβ≤2σ2,從而定理得證.
定理3 當(dāng)[2k- (k+1)d]βTβ ≤2σ2時(shí),有 MSEM(β^NTP)< MSEM(β^OTP).
證明
當(dāng)k > d > 0,k > 1時(shí),上式等價(jià)于σ2[2I+(k+1)d S-1]+[(k+1)d-2k]ββT> 0,而該式的一個(gè)充分條件是2σ2I-[2k-(k+1)d]ββT≥0,即[2k-(k+1)d]βTβ≤2σ2,從而定理得證.
由于線性模型的廣泛應(yīng)用,提出了線性模型參數(shù)的一種新的估計(jì)——新的兩參數(shù)估計(jì):
并討論了它的若干性質(zhì).例如,它是最小二乘估計(jì)的線性變換,具有有偏性、壓縮性、可容許性.比較突出的是,在均方誤差矩陣的意義下,證明了新的兩參數(shù)估計(jì)的優(yōu)良性.但是,由于定理2和定理3所給的充分條件中含有未知參數(shù)β和σ2,所以需要用迭代的方法來確定k和d,這是筆者接下來要考慮的一方面.另外,β^NTP的大樣本性質(zhì),如相合性和漸進(jìn)正態(tài)性,也是筆者后續(xù)工作中要考慮的另一方面.