張 川

(湖南工商大學(xué) 湖南 長(zhǎng)沙 410000)

一、引言

在實(shí)際應(yīng)用中，很可能會(huì)碰到某種曲線形態(tài)存在于一些現(xiàn)象的因變量和自變量之間，觀測(cè)變量之間常有著復(fù)雜的關(guān)系。非線性關(guān)系存在于各個(gè)學(xué)科、各類數(shù)據(jù)中，且非線性關(guān)系有多種表現(xiàn)形式，這會(huì)給我們所研究的問(wèn)題帶來(lái)影響，降低我們相關(guān)分析的準(zhǔn)確性。線性回歸分析只適用于可用線性參數(shù)來(lái)描述的數(shù)據(jù)，而對(duì)于非線性參數(shù)來(lái)表示的變量關(guān)系，需要拓展線性回歸方法，那么如何對(duì)非線性關(guān)系問(wèn)題進(jìn)行分析與處理，這就有待于我們做進(jìn)一步的探討和研究。

二、文獻(xiàn)綜述

近年來(lái)，非線性關(guān)系成為焦點(diǎn)，非線性分析也引起了廣泛的關(guān)注，梳理國(guó)內(nèi)外研究，主要是從非線性回歸模型和其算法入手。陶春菊等(2003)推導(dǎo)出了含有回歸系數(shù)變化的可線性化非線性回歸預(yù)測(cè)模型的一種有效改進(jìn)方法—泰勒級(jí)數(shù)法；施招云(1993)采用Gram-Schmldt正交化最小二乘算法實(shí)現(xiàn)了非線性模型的結(jié)構(gòu)確定和參數(shù)估計(jì)；韋博成從微分幾何的觀點(diǎn)對(duì)非線性回歸分析作了處理。然而，很難獲得一般都比較復(fù)雜的非線性回歸模型的參數(shù)估計(jì)，對(duì)非線性回歸分析的研究造成了一定影響。Nash對(duì)此問(wèn)題專門著了一本書(shū)，詳細(xì)講解了各種算法，包括直接搜索法、Nelder-Mead法和截尾牛頓法等，大多針對(duì)性強(qiáng)，所要求的條件較苛刻；方開(kāi)泰(1993)提出了一種非線性回歸模型參數(shù)估計(jì)的一個(gè)新算法。綜合現(xiàn)有文獻(xiàn)，可以發(fā)現(xiàn)國(guó)內(nèi)外研究對(duì)非線關(guān)系的具體表現(xiàn)形式，以及各分析方法和工具的適用條件進(jìn)行歸納探討方面還存在較大的研究空間，這也正是本文價(jià)值所在。

三、非線性關(guān)系的具體表現(xiàn)形式及影響

(一)非線性

非線性是相對(duì)于線性而言的，用以區(qū)分不同變量之間的兩種關(guān)系。在某一變化過(guò)程中，線性即某一算子f滿足可加性和齊次性，則x、y是線性關(guān)系?！胺蔷€性”就是這兩條至少一條不成立，也就是說(shuō)，其變量之間的關(guān)系是曲線或不確定的屬性，不再是直線形態(tài)。而非線性關(guān)系即是所有能用非線性展示的關(guān)系。

(二)非線性關(guān)系的具體表現(xiàn)形式

非線性關(guān)系一般有三種：(1)經(jīng)過(guò)適當(dāng)?shù)淖兞孔儞Q，變量的非線性關(guān)系可轉(zhuǎn)變?yōu)榫€性；(2)能明確參數(shù)未知的變量之間非線性關(guān)系的數(shù)學(xué)形式，只是變量替換后還是不能化為線性關(guān)系；(3)無(wú)法確定變量間非線性關(guān)系的數(shù)學(xué)形式。

四、非線性關(guān)系的分析方法與工具的比較

通過(guò)代數(shù)變換能將某些非線性關(guān)系轉(zhuǎn)化成線性關(guān)系。

(一)化為線性回歸模型

一般的線性模型為Y=β0+β1X1+β2X2+……+βnXn+μ，模型中參數(shù)和變量都是線性的，也就是說(shuō)因變量是參數(shù)的線性函數(shù)，且模型中的變量形式只能是原型。

1.變量的非線性

2.參數(shù)的非線性

相比較而言，只通過(guò)重新定義無(wú)法處理參數(shù)的非線性，所以其問(wèn)題更麻煩?？赏ㄟ^(guò)模型兩邊取對(duì)數(shù)進(jìn)線性化處理，這要求模型的擾動(dòng)項(xiàng)和等式的右端是Xa或eaX一系列項(xiàng)的乘積形式。

3.變量的非線性和參數(shù)的非線性并存

(二)構(gòu)建非線性模型

對(duì)于某些非線性問(wèn)題，能明確參數(shù)未知的變量之間非線性關(guān)系的數(shù)學(xué)形式，只是變量替換后還是無(wú)法化為線性關(guān)系，就只能用更復(fù)雜的擬合方法來(lái)求解。非線性回歸模型一般為Y=f(Xk,θn)+ε，其中Xk為k個(gè)解釋變量，θn是n個(gè)未知參數(shù)，f為非線性函數(shù)。非線性回歸分析的參數(shù)估計(jì)有兩種基本方法，這里介紹最小二乘法。對(duì)正規(guī)方程組通過(guò)解析的方法一般在非線性函數(shù)中無(wú)法求解，所以需要用非線性優(yōu)化方法如搜索法或迭代運(yùn)算估計(jì)參數(shù)。

1.搜索法

(1)直接搜索法

其方法是把參數(shù)的所有可能取值都代入函數(shù)g中，使得g達(dá)到最小的取值即為參數(shù)的估計(jì)值。直接搜索法原理很簡(jiǎn)單，但是只適合參數(shù)個(gè)數(shù)較少且參數(shù)的可能取值也很少(或?qū)?shù)估計(jì)的精度要求不高)的情況。

(2)格點(diǎn)搜索法

其方法是按一定規(guī)律把部分取值代入函數(shù)g。以只有一個(gè)參數(shù)θ為例θ可能取值區(qū)間為[a,b]，先把區(qū)間10等分，然后分別把a(bǔ)0=a,a1=a+0.1(b-a),a2=a+0.2(b-a),…,a9=a+0.9(b-a),a10=b代入函數(shù)g，設(shè)ai使得g最小，再把新區(qū)間[ai-1,ai+1]10等分，重復(fù)上述方法，使參數(shù)的可能取值范圍不斷地減小，直到滿足精度要求或收斂標(biāo)準(zhǔn)，即得參數(shù)的最小二乘估計(jì)。上述算法表明，當(dāng)g存在唯一最小值時(shí)，格點(diǎn)搜索法才有效。

但是直接搜索法和格點(diǎn)搜索法都是低效的，在實(shí)際的工作中實(shí)用性很低。

2.迭代法

其基本思路是：首先線性化在某一組初始參數(shù)估計(jì)值附近的非線性方程，方法是泰勒級(jí)數(shù)展開(kāi)；然后對(duì)這一線性方程進(jìn)行最小二乘估計(jì)，得到新的參數(shù)估計(jì)值；再線性化新參數(shù)估計(jì)值附近的非線性方程，然后最小二乘估用于新的線性方程，又得到一組新的參數(shù)估計(jì)值；依此不斷重復(fù)，直到參數(shù)估計(jì)值參數(shù)估計(jì)值滿足精度要求。

(1)高斯-牛頓法

該方法是常用的非線性最優(yōu)化算法之一，雖然非線性回歸不能通過(guò)變換轉(zhuǎn)化為線性模型，但可以用泰勒展開(kāi)式轉(zhuǎn)化為線性模型，具體如下：

1)假設(shè)參數(shù)的初值a0=(a10,a20,…,an0)，由泰勒級(jí)數(shù)展開(kāi)并只取線性項(xiàng)：

(1)

經(jīng)過(guò)整理為：

(2)

2)把(a11,a21,…,an1)作為新的初值，通過(guò)泰勒展式，得到新的估計(jì)(a12,a22,…,an2)，依此重復(fù)法，直到參數(shù)估計(jì)值收斂。

高斯-牛頓法實(shí)質(zhì)上就是非線性模型本身的反復(fù)線性化和線性回歸，適用于不能通過(guò)數(shù)學(xué)變換轉(zhuǎn)化線性模型，但具有連續(xù)可微函數(shù)性質(zhì)，可以利用一階泰勒級(jí)數(shù)展開(kāi)強(qiáng)制轉(zhuǎn)化成線性模型的非線性模型。

(2)牛頓-拉夫森法

該方法是高斯-牛頓法的改進(jìn)，但牛頓-拉夫森法是直接對(duì)最小二乘函數(shù)最優(yōu)化的一階條件做一階泰勒級(jí)數(shù)展開(kāi)近似，而不是對(duì)非線性函數(shù)f本身做線性近似，設(shè)參數(shù)向量θ=θ1,θ2…,θn，估計(jì)量為a=(a1,a2,…,an)，殘差平方和g(a)最小時(shí)的一階條件為u(a)=?g(θ)/?θ=0，給定初始值a=a0，對(duì)u(a)用一階泰勒展開(kāi)近似得u(a)≈u(a0)+v(a0)(a-a0)，其中v(a0)是g(a)在a0處的二階導(dǎo)數(shù)，由于u(a)=0，所以有u(a0)+v(a0)(a-a0)≈0，也即是a≈a0-v-1(a0)u(a0)，該式作為θ的近似估計(jì)值，并可視為新的初始值，重復(fù)上述方法，直到參數(shù)估計(jì)值滿足精度要求或收斂。

牛頓-拉夫森法的缺點(diǎn)是迭代運(yùn)算中需要反復(fù)計(jì)算梯度向量，特別是海塞矩陣的逆矩陣，因此計(jì)算量很大。

3.有理插值方法

某些經(jīng)濟(jì)計(jì)量分析中的研究并不符合最小二乘在線性回歸中的假定：模型中的隨機(jī)誤差ε作E(ε)=0及var(ε)=σ2，從而影響了這一方法的應(yīng)用。而有理插值理論的非線性特點(diǎn)，在非線性回歸分析上更有優(yōu)勢(shì)。這里主要討論運(yùn)用連分式插值理論來(lái)進(jìn)行非線性回歸分析。

(1)有理插值理論

(3)

將R(x)右邊整理，即得上述有理分式函數(shù)Rm,n(x)，a0(x),a1(x),…,am+n(x)為倒差商。

(2)有理插值算法在非線性回歸中的運(yùn)用

五、總結(jié)

通過(guò)對(duì)非線性關(guān)系的具體表現(xiàn)形式及影響的介紹，以及比較各非線性關(guān)系的分析方法與工具，研究得出，非線性關(guān)系一般有三種：

(1)經(jīng)過(guò)適當(dāng)?shù)淖兞孔儞Q，變量的非線性關(guān)系可轉(zhuǎn)變?yōu)榫€性。其中又可分為三種情況，變量的非線性，參數(shù)的非線性和變量的非線性和參數(shù)的非線性并存。其多是通過(guò)變量代換和將模型兩邊取對(duì)數(shù)進(jìn)而線性化，然后再運(yùn)用線性方法進(jìn)行分析。

(2)能明確參數(shù)未知的變量之間非線性關(guān)系的數(shù)學(xué)形式，只是變量替換后還是不能化為線性關(guān)系。一般用搜索法或迭代運(yùn)算的非線性優(yōu)化方法獲得參數(shù)的最小二乘估計(jì)。其中搜索法又分為直接搜索法和格點(diǎn)搜索法，直接搜索法原理很簡(jiǎn)單，但是只適合參數(shù)個(gè)數(shù)較少且參數(shù)的可能取值也很少(或?qū)?shù)估計(jì)的精度要求不高)的情況，而格點(diǎn)搜索法只有當(dāng)殘差平方和存在唯一最小值時(shí)才有效；迭代法主要是高斯-牛頓法，適用于不能通過(guò)數(shù)學(xué)變換轉(zhuǎn)化線性模型，但具有連續(xù)可微函數(shù)性質(zhì)，可以利用一階泰勒級(jí)數(shù)展開(kāi)強(qiáng)制轉(zhuǎn)化成線性模型的非線性模型；牛頓-拉夫森法可看作是高斯-牛頓法的改進(jìn)，但牛頓-拉夫森法是直接對(duì)最小二乘函數(shù)最優(yōu)化的一階條件做一階泰勒級(jí)數(shù)展開(kāi)近似。

(3)無(wú)法確定變量間非線性關(guān)系的數(shù)學(xué)形式。這類非線性問(wèn)題通過(guò)有理插值法或多元線性逐步回歸來(lái)求解；本文主要對(duì)有理插值法作了詳細(xì)探討，其適用于實(shí)際中并不滿足統(tǒng)計(jì)模型中隨機(jī)誤差E(ε)=0及var(ε)=σ2的假定的情形。