姜偉，付佳媛

(中國傳媒大學 數(shù)據(jù)科學與智能媒體學院，北京 100024)

最小二乘法最早出現(xiàn)在勒讓德發(fā)表的論著《計算彗星軌道的新方法》的附錄中，在這本書中，勒讓德利用最小二乘法使各方程的誤差之間建立了一種平衡，從而防止了極端情況所施加的過多影響，并且有利于系統(tǒng)更加接近真實情況。然而，勒讓德并沒將最小二乘法在誤差分析方面進行進一步的研究。而高斯則對此方法進行了更深一步的研究，他通過誤差函數(shù)推出此方法并詳盡地給出了其理論依據(jù)，并且將其應用于天體運動中。在1829年，高斯還提供了最小二乘法的優(yōu)化強于其他方法的證明。隨著最小二乘法的出現(xiàn)，它逐漸在統(tǒng)計學的回歸分析及方差分析等上被廣泛地應用，是一種非常重要的統(tǒng)計方法。如今，隨著矩陣理論的深入研究及計算機技術的不斷發(fā)展，最小二乘法應用于更多領域的數(shù)據(jù)優(yōu)化處理中，如系統(tǒng)辨識、傳感器、支持向量機等。

1 最小二乘法

最小二乘法是一種數(shù)值優(yōu)化技術，通過使誤差平方和最小化，從而得到最佳匹配函數(shù)。下面從微分、幾何及概率論的三個角度來闡述最小二乘法的原理。

1.1 微分角度分析

利用多元微分法，使s最小化，即s對各參數(shù)進行求偏導等于0，得

解這個線性方程組(此方程組也稱正規(guī)方程組)，可得k+1個參數(shù)的估計值αj(j=1，2，…，k)。當n=1時，則退化為一元線性回歸。

1.2 幾何角度分析

以求上述一元線性回歸的參數(shù)為例，即求

(1)

模的平方。那么，要使s最小化，即(1)向量的長度最短。為了更直觀，下面以二維空間為例說明：

圖1

1.3 從概率論角度分析

在n組相互獨立的實驗中，所得數(shù)據(jù)為{(xi，yi)|i=1，2，…，n} ，且數(shù)據(jù)點分布在直線y=ax+b附近。根據(jù)概率論知識，在干擾項服從零均值、同方差的正態(tài)分布假設下：

yi～N(axi+b，σ2)

那么，yi的概率密度函數(shù)為

由于yi是相互獨立的，則y的聯(lián)合密度函數(shù)為

在求參數(shù)估計值時，根據(jù)最大似然原理，使L最大，即使∑(yi-axi-b)2最小，則就轉化為最小二乘法問題。也就是說，雖然兩個方法出發(fā)原理不同，但在隨機量滿足正態(tài)分布時，可將最大似然法轉化為最小二乘法。

2 最小二乘法的應用

2.1 最佳逼近解

設A∈Cm×n，b∈Cm，線性方程組為AX=b。當此線性方程組不相容時，希望求其近似解μ，使得對歐幾里得范數(shù)‖?‖2，誤差‖Aμ-b‖2達到最小。若?μ∈Cn，使 ‖Aμ-b‖2≤‖AX-b‖2(?X∈Cn)，則稱μ是方程組AX=b的一個最小二乘解。根據(jù)矩陣的Moore-Penrose廣義逆的性質知，設A∈Cm×n，b∈Cm，A+是矩陣A的廣義逆，X=A+b是AX=b的最佳的最小二乘解。

例 設一個質點運動的軌跡是橢圓，觀測的點

(1，1) (0，2) (-1，1) (-1，-2)

在同一平面上，求擬合的最佳橢圓方程。

解 設橢圓方程α1x2+α2y2=1，將所觀測到的代入得

可看出矩陣A滿秩，則A+=(ATA)-1AT，可得

則可得最小二乘解

2.2 參數(shù)估計

參數(shù)估計，即根據(jù)已知模型的輸入輸出數(shù)據(jù)，對模型參數(shù)進行估計的過程。參數(shù)估計的方法有許多，最常用的方法可分為：矩法、最小二乘法、最大似然法。最小二乘法是以樣本數(shù)據(jù)與估計值之差平方和最小來估計參數(shù)值的一類參數(shù)估計方法。

2.2.1 線性回歸的參數(shù)估計

首先，介紹最小二乘法在一元線性回歸中參數(shù)估計：

(2)

利用微分方法求解，s對求一階偏導為0，即得到正規(guī)方程組

多元線性回歸中的正規(guī)方程組的矩陣形式如下：

2.2.2 非線性回歸的參數(shù)估計

在實際的生活問題中，由于研究問題中的變量之間常見的是非線性關系。在這些非線性關系中，有些非線性通過一定的方法可轉化成線性，如指數(shù)型Y=abX可轉化為對應的線性模型lnY=lna+Xlnb，然后根據(jù)最小二乘法原理進行回歸分析。

(3)

(4)

從最小二乘法用于非線性回歸模型的過程，可以看出，最小二乘法還是對線性回歸模型進行參數(shù)估計。

2.3 曲線擬合

曲線擬合，用連續(xù)曲線去擬合離散點的數(shù)據(jù)處理方法，即用近似函數(shù)逼近原函數(shù)。

其中h(x)=a1φ1(x)+a2φ2(x)+…+amφm(x) (m

在解決實際問題時，一般數(shù)據(jù)中不同點的所占的比重不同，因此考慮對εi加權重，即

使∑ωi[h(xi)-yi]2最小，利用微分法求解，

2.4 實際應用

2.4.1 在系統(tǒng)辨識中的應用

系統(tǒng)辨識是現(xiàn)代控制理論的一個分支。隨著控制理論應用日益廣泛，控制過程復雜程度也在不斷增大，并且其實際應用需要被控對象的數(shù)學模型。這些模型大多情況下是不知道的，或在正常運行下模型參數(shù)會發(fā)生變化。因此，在控制理論的應用中，首先需要建立被控對象的數(shù)學模型，系統(tǒng)辨識正是來解決此問題。

系統(tǒng)辨識是根據(jù)系統(tǒng)輸入、輸出時間函數(shù)，從一組給出的模型類中，確立一個能模仿被測系統(tǒng)真實行為的數(shù)學模型。經典的系統(tǒng)辨識的方法已經發(fā)展得較完善，如相關分析法、譜分析法、最小二乘法等，其中最小二乘法是最基礎的、應用廣泛的一種對于系統(tǒng)模型進行參數(shù)估計的方法，可以廣泛地應用于動態(tài)、靜態(tài)、線性、非線性系統(tǒng)。應用最小二乘法對系統(tǒng)模型參數(shù)進行辨識的方法有離線辨識和在線辨識。離線辨識是需要在得到模型的全部輸入輸出數(shù)據(jù)之后，用最小二乘法對其進行集中處理，從而可以得到系統(tǒng)模型的參數(shù)估計值。在線辨識是在系統(tǒng)運行中的一種遞推辨識方法，由于占據(jù)計算機存儲量小，從而得到廣泛應用。

對于不同的系統(tǒng)進行辨識，它所對應的模型表達不同，以SISO系統(tǒng)為例，

其中u(k)、y(k)、z(k)分別為系統(tǒng)第k次輸入值、輸出真值、輸出觀測值，e(k)為不相關的白噪聲且均值為0，G(z)為傳遞函數(shù)。輸入輸出關系為z(k)=u(k)G(z)+e(k)，其中

將系統(tǒng)方程代入輸入輸出關系式，可得z(k)=φT(k)θ+e(k)，其中θ為參數(shù)向量。對系統(tǒng)參數(shù)進行估計，利用最小二乘法，得

使J(θ)最小，即J對θ求偏導等于0，從而得最小二乘估計值θ=(φφT)-1φZ。

最小二乘法進行系統(tǒng)辨識也有一定的局限性，當系統(tǒng)噪聲為有色噪聲時，最小二乘估計值不是無偏一致的，因此會在最小二乘的基礎上進行改進，從而會有廣義最小二乘法、遞推最小二乘法等進行系統(tǒng)辨識的參數(shù)估計。

2.4.2 在傳感器上的應用

傳感器是一種將感受到的信息按一定規(guī)律轉化成便于處理和傳輸?shù)男畔⒌臋z測裝置。根據(jù)感知功能不同，傳感器可分為溫度傳感器、力傳感器及光傳感器等。由于感受器在輸入到輸出過程中會受到外界除所要接受信息以外信息的影響，從而對于結果的精確度會有一定的影響。因此，制作高精度的傳感器，需要對其進行誤差補償。本文介紹利用最小二乘法對壓阻式壓力傳感器進行溫度誤差補償。

壓阻式壓力傳感器是利用半導體的電阻率隨應力變化的性質而制成的半導體器件。在被測壓力作用時，電阻率發(fā)生變化，從而產生電壓輸出。在壓力值不變的情況下，外界的一些其他因素會對輸出的電壓產生影響，其中由于半導體受溫度較大，從而環(huán)境溫度變化較大會使誤差較大。因此，需要對傳感器進行溫度誤差補償。對于壓阻式壓力傳感器的溫度補償，有硬件補償和軟件補償，其中硬件補償存在調試不變、精度不足等缺陷，而軟件補償會克服這些不足，因此會受到越來越多人的關注。軟件補償?shù)姆椒ㄓ猩窠浘W絡、插值法、最小二乘法等。

除以上應用外，它還會應用于其他許多領域，如高光譜圖像數(shù)據(jù)處理、經濟預測、農業(yè)實驗分析等領域。不過，每一種方法都會有它的局限性存在，最小二乘法的局限性在于：對異常值很敏感；沒有考慮自變量的誤差；存在不可求解的情況等。因此，許多研究者會對最小二乘法進行進一步的改進，從而可以使它應用于更多領域，即會出現(xiàn)基于普通最小二乘法的廣義最小二乘法、加權最小二乘法、兩階段最小二乘法等。在實際的應用中，還會結合實際情況與其他方法相結合進行應用。