汪奇生 楊德宏 楊根新

1)昆明理工大學(xué)國(guó)土資源工程學(xué)院，昆明 650093

2)云南國(guó)土資源職業(yè)學(xué)院，昆明 650093

考慮自變量誤差的線性回歸迭代算法*

汪奇生1)楊德宏1)楊根新2)

1)昆明理工大學(xué)國(guó)土資源工程學(xué)院，昆明 650093

2)云南國(guó)土資源職業(yè)學(xué)院，昆明 650093

為解決線性回歸中自變量含誤差的問(wèn)題，根據(jù)間接平差模型和總體最小二乘原理推導(dǎo)了一種總體最小二乘迭代算法。算例驗(yàn)證了該算法的有效性和可行性。

總體最小二乘;線性回歸;自變量;迭代算法;平差模型

線性擬合通常是采用最小二乘法確定回歸參數(shù)，在自變量不含誤差的前提下得到最優(yōu)參數(shù)值。實(shí)際上，擬合數(shù)據(jù)往往都含有偶然誤差，需要在平差的同時(shí)考慮線性回歸中自變量的誤差。文獻(xiàn)［1－2］提出以正交距離殘差平方和極小為準(zhǔn)則的正交最小二乘法，實(shí)質(zhì)上是一個(gè)總體最小二乘［3］問(wèn)題。由于總體最小二乘的常規(guī)矩陣分解算法不利于測(cè)量數(shù)據(jù)的處理，發(fā)展了一些迭代算法［4－8］，將系數(shù)矩陣中的全部元素當(dāng)成含有誤差來(lái)處理，這就不適宜線性回歸參數(shù)的求解。一般來(lái)講，求解線性回歸的總體最小二乘解采用混合總體最小二乘法［9］，但解算復(fù)雜，難以理解且沒(méi)有考慮到測(cè)量平差的優(yōu)勢(shì)。本文根據(jù)線性回歸模型的特點(diǎn)推導(dǎo)了一種迭代算法，結(jié)果與混合總體最小二乘法一致。

1 總體最小二乘模型及迭代算法

1.1 總體最小二乘模型

線性回歸數(shù)學(xué)模型為:

當(dāng)有多組觀測(cè)值并考慮自變量的誤差時(shí)，其總體最小二乘平差模型為:

1.2 算法原理

將式(1)進(jìn)行等價(jià)轉(zhuǎn)換:

當(dāng)有多組觀測(cè)值并考慮自變量的誤差時(shí)，式(3)可以表示為:

式中，?為矩陣的克羅內(nèi)克積，vec(EA)是將矩陣EA按列從左到右拉直得到的列向量化矩陣。V是平差模型中(m×n)×1的誤差向量，V=vec(EA)。若自變量與因變量獨(dú)立等精度，根據(jù)總體最小二乘原理，相應(yīng)的誤差期望和方差為:

式中，Im和In分別為 m和 n階單位矩陣。由式(6)，Qv=Im×n，Im×n為 m ×n 階單位矩陣。相應(yīng)的平差準(zhǔn)則為:

另將式(5)表示為:

則根據(jù)協(xié)因數(shù)傳播定律可得:

按照拉格朗日原理求解目標(biāo)函數(shù)的自由極值:

1.3 解算步驟

1)由式(1)根據(jù)最小二乘原理求得回歸參數(shù)估值 a0、a1、an，再根據(jù)式(3)將其變換為 b0、b1、bn，并組成回歸參數(shù)的初值X(0)=［b0b1… bn］T。

2)按下式計(jì)算新的回歸參數(shù)值:

4)輸出參數(shù)估值，按式(21)求單位權(quán)中誤差。

2 實(shí)例分析

為驗(yàn)證本文算法的合理性，利用文獻(xiàn)［10］中的觀測(cè)數(shù)據(jù)(表1)擬合y=a+bx，其自變量和因變量都含有誤差。分別設(shè)計(jì)如下5種方案對(duì)交換自變量與因變量分別進(jìn)行擬合。

表1 觀測(cè)數(shù)據(jù)Tab.1 Observation data

方案1:按最小二乘方法，以x為自變量、y為因變量擬合線性方程y=a+bx，得到的結(jié)果為y=9.507 7+9.747 0x;以y為自變量、x為因變量擬合線性方程x=c+dy，得到的結(jié)果為x=－0.824 6+0.100 4y，將其轉(zhuǎn)換得 y=8.216 0+9.963 8x。

方案2:按總體最小二乘的奇異值分解法，以x為自變量、y為因變量擬合線性方程y=a+bx，得到的結(jié)果為 y=15.090 2+9.011 1x;以 y為自變量、x為因變量擬合線性方程x=c+dy，得到的結(jié)果為x= －1.674 6+0.111 0y，將其轉(zhuǎn)換得 y=15.090 2+9.011 1x。

方案3:按文獻(xiàn)［5］的總體最小二乘迭代算法，以x為自變量、y為因變量擬合線性方程y=a+bx，得到的結(jié)果為y=15.090 2+9.011 1x;以y 為自變量、x 為因變量擬合線性方程x=c+dy，得到的結(jié)果為x=－1.674 6+0.111 0y，將 其 轉(zhuǎn) 換 得 y=15.090 2+9.011 1x。

方案4:按文獻(xiàn)［9］的混合總體最小二乘法，以x為自變量、y為因變量來(lái)擬合線性方程y=a+bx，得到的結(jié)果為y=8.229 1+9.961 5x;以y為自變量，x為因變量來(lái)擬合線性方程x=c+dy，得到的結(jié)果為 x= －0.826 1+0.100 4y，將其轉(zhuǎn)換得 y=8.229 1+9.961 5x。

方案5:按本文算法以x為自變量、y為因變量擬合線性方程y=a+bx，得到的結(jié)果為y=8.229 1+9.961 5x;以y為自變量、x為因變量來(lái)擬合線性方程x=c+dy，得到的結(jié)果為 x=－0.826 1+0.100 4y，將其轉(zhuǎn)換得 y=8.229 1+9.961 5x。

比較5種方案可以看出，對(duì)于自變量含誤差的線性回歸問(wèn)題，方案1采用的最小二乘法并沒(méi)有考慮自變量的誤差，因此交換自變量和因變量擬合出來(lái)的結(jié)果不一致。其他4種方案交換自變量和因變量擬合出來(lái)的結(jié)果一致，但4種方案擬合出兩套結(jié)果。方案2和方案3的結(jié)果相同，方案4和方案5的結(jié)果相同。這是因?yàn)?，方?和方案3采用的總體最小二乘奇異值分解法和迭代解法都考慮到了線性回歸平差模型中系數(shù)矩陣B的誤差，但將系數(shù)矩陣所有元素都看成是含誤差的，并對(duì)其常數(shù)列也進(jìn)行了改正。交換自變量和因變量擬合出來(lái)的結(jié)果雖然一致，但實(shí)質(zhì)上其擬合結(jié)果是有偏差的。而方案4采用混合總體最小二乘來(lái)解算，既考慮了自變量的誤差又顧及了平差模型中系數(shù)矩陣B的常數(shù)列。只改正系數(shù)矩陣中含有誤差的元素，得到的結(jié)果是合理的。方案5采用本文的算法，將回歸模型進(jìn)行等價(jià)轉(zhuǎn)換，其系數(shù)矩陣由自變量和因變量組成，都含有誤差，從而將原平差模型系數(shù)矩陣B的常數(shù)列轉(zhuǎn)換成常數(shù)向量，得到的結(jié)果和方案4相同。

3 結(jié)語(yǔ)

1)對(duì)于自變量含誤差的線性回歸問(wèn)題，采用總體最小二乘法求得的結(jié)果更合理。但不宜采用常規(guī)的迭代算法，因?yàn)槌Ｒ?guī)的迭代算法不能顧及系數(shù)矩陣的常數(shù)列而是將系數(shù)矩陣所有元素都當(dāng)成含有誤差來(lái)處理，這對(duì)線性回歸是不合理的。

2)本文給出的迭代算法是針對(duì)自變量含誤差的線性回歸問(wèn)題，既能充分考慮線性回歸中自變量的誤差，又能顧及平差模型中系數(shù)矩陣的常數(shù)列，得到的結(jié)果與混合總體最小二乘相同。而與混合總體最小二乘相比，本文算法充分考慮了測(cè)量平差的優(yōu)勢(shì)，推導(dǎo)過(guò)程簡(jiǎn)單且更適于程序?qū)崿F(xiàn)。

1 丁克良，歐吉坤，趙春梅.正交最小二乘曲線擬合法［J］.測(cè)繪科學(xué)，2007，32(3):18 －19.(Ding Keliang，Ou Jikun，Zhao Chunmei.Methods of the least-squares orthogonal distance fitting［J］.Science of Surveying and Mapping，2007，32(3):18－19)

2 丁克良，劉全利，陳翔.正交距離圓曲線擬合方法［J］.測(cè)繪科學(xué)，2008，33(10):72 －73.(Ding Keliang，Liu Quanli，Chen Xiang.Fitting of circles based on orthogonal distance［J］.Science of Surveying and Mapping，2008，33(10):72 －73)

3 Golub G H，Vanl C F.An analysis of the total least squares problem［J］.Siam J Numer Anal，1980，17:883 －893.

4 魯鐵定，周世健.總體最小二乘的迭代解法［J］.武漢大學(xué)學(xué)報(bào):信息科學(xué)版，2010，35(11):1 351 －1 354.(Lu Tieding，Zhou Shijian.An iteration for the total least squares estimation［J］.Geomatics and Information Science of Wuhan U-niversity，2010，35(11):1 351 －1 354)

5 孔建，姚宜斌，吳寒.整體最小二乘的迭代解法［J］.武漢大學(xué)學(xué)報(bào):信息科學(xué)版，2010，35(6):711－714.(Kong Jian，Yao Yibin，Wu Han.Iterative method for total leastsquares［J］.Geomatics and Information Science of Wuhan U-niversity，2010，35(6):711 －714)

6 許超鈐.基于整體最小二乘的參數(shù)估計(jì)新方法及精度評(píng)定［J］.測(cè)繪通報(bào)，2011(10):1 －4.(Xu Chaoqian.New method of parameters estimation and accuracy evaluation based on TLS［J］.Bulletin of Surveying and Mapping，2011(10):1－4)

7 邱衛(wèi)寧，齊公玉，田豐瑞.整體最小二乘求解線性模型的改進(jìn)算法［J］.武漢大學(xué)學(xué)報(bào):信息科學(xué)版，2010，35(6):708 －710.(Qiu Weining，Qi Gongyu，Tian Fengrui.An improved algorithm of total least squares for linear models［J］.Geomatics and Information Science of Wuhan University，2010，35(6):708 －710)

8 邱衛(wèi)寧.測(cè)量數(shù)據(jù)處理理論與方法［M］.武漢:武漢大學(xué)出版社，2008.(Qiu Weining.The theory and method o f surveying data processing［M ］.Wuhan:Wuhan University Press，2008)

9 丁克良，沈云中，歐吉坤.整體最小二乘法直線擬合［J］.遼寧工程技術(shù)大學(xué)學(xué)報(bào):自然科學(xué)版，2010，29(1):44－47.(Ding Keliang，Sheng Yunzhon，Ou Jikun.Methods of line-fitting based on total least-squares［J］.Journal of Liaoning Technical University:Natural Science，2010，29(1):44－47)

10 何曉群.實(shí)用回歸分析［M］.北京:高等教育出版社，2008.(He Xiaoqun.Practical regression analysis［M］.Beijing:Higher Education Press，2008)

ITERATION ALGORITHM OF LINEAR REGRESSION CONSIDERING THE ERROR OF INDEPENDENT VARIABLES

Wang Qisheng1)，Yang Dehong1)and Yang Genxin2)
1)Faculty of Land Resource Engineering，KUST，Kunming 650217
2)Yunnan Land and Resources Vocational College，Kunming650217

Considering the error of adjustment problem for independent variable in linear regression，an iteration algorithm of total least squares was derived according to indirect adjustment model and total least squares theory.The algorithm is simple and easy to programming.The result indicates that the algorithms is more effective and more feasible than other algorithms.

total least squares;linear regression;independent variable;iteration algorithm;adjustment model

P207

A

1671-5942(2014)05-0110-04

2013-11-20

汪奇生:男，1989年生，碩士研究生，主要研究方向?yàn)榇蟮販y(cè)量數(shù)據(jù)處理。E－mail:wangqisheng0702@163.com。