孫想 吳保國 吳華瑞 陳誠

(北京林業(yè)大學，北京，100083) (國家農(nóng)業(yè)信息化工程技術(shù)研究中心)

無線傳感器網(wǎng)絡(luò)(wireless sensor networks，WSN)作為一種大規(guī)模、自組織、低成本的信息獲取和處理技術(shù)在苗圃生產(chǎn)管理中的應(yīng)用日益廣泛。基于無線傳感器網(wǎng)絡(luò)的苗圃生產(chǎn)管理系統(tǒng)，通過分析傳感器每天采集的氣象、土壤等數(shù)據(jù)來反映苗圃生產(chǎn)環(huán)境狀況。但在實際生產(chǎn)中，傳感器設(shè)備失效、網(wǎng)絡(luò)條件的不穩(wěn)定、樹苗遮擋等都有可能造成苗圃監(jiān)測數(shù)據(jù)的不準確，甚至有些數(shù)據(jù)帶有顯著誤差，直接使用這些數(shù)據(jù)會增加自動控制設(shè)備誤操作的概率。

移動平均法、指數(shù)平滑法、自適應(yīng)過濾法、卡爾曼濾波法、貝葉斯估計法、Vondrak 平滑法等是數(shù)據(jù)平滑中常用的克服隨機誤差的方法，在處理靜態(tài)的、平穩(wěn)的測量數(shù)據(jù)是有效的［1-2］。但是，由于苗圃園地較為復雜，有可能覆蓋山地、平原、丘陵地、灘涂的一種甚至幾種，因此環(huán)境參數(shù)各點分布是不均勻的，局部傳感器監(jiān)測數(shù)據(jù)的異常有可能是反映真實情況的有價值數(shù)據(jù)，是環(huán)境異常預警的基礎(chǔ)。目前，在苗圃無線傳感器網(wǎng)絡(luò)實時數(shù)據(jù)校正過程中，傳統(tǒng)的數(shù)據(jù)平滑算法無法實現(xiàn)傳感器監(jiān)測故障導致的數(shù)據(jù)異常與局部環(huán)境突變導致的數(shù)據(jù)異常間的有效區(qū)分，容易將真實數(shù)據(jù)誤判為異常數(shù)據(jù)，難以保證數(shù)據(jù)的真實性和可靠性。

本文針對顯著誤差的檢測方法進行分析和研究，建立一種基于數(shù)據(jù)分類、趨勢判斷和參照系對比的數(shù)據(jù)異常間的區(qū)分算法，利用移動平均法、指數(shù)平滑法等算法進行數(shù)據(jù)平滑，并基于多元回歸算法建立數(shù)據(jù)校正模型。利用數(shù)據(jù)校正模型對監(jiān)測數(shù)據(jù)進行校正，獲取高質(zhì)量、高可靠的監(jiān)測數(shù)據(jù)，為苗圃生產(chǎn)決策提供穩(wěn)定和精準的氣象、土壤等實時數(shù)據(jù)支撐。

1 實驗數(shù)據(jù)準備

實驗數(shù)據(jù)來源于房山西南苗圃監(jiān)測的真實環(huán)境數(shù)據(jù)。該苗圃的面積為66．7 hm2，目前根據(jù)樹苗品種、土壤條件、小氣候環(huán)境在不同地點部署了20 個氣象/墑情監(jiān)測站，搭建了無線傳感器網(wǎng)絡(luò)，對大氣溫度、濕度、降雨量、太陽輻射、風力風向和土壤水分與溫度變量進行實時采集，通過GPRS 通訊模塊與服務(wù)平臺進行數(shù)據(jù)交換，服務(wù)平臺獲取監(jiān)測數(shù)據(jù)后，需要對數(shù)據(jù)進行校正處理，以校正入庫后的數(shù)據(jù)為輸入結(jié)合知識模型進行分析決策，為生產(chǎn)者提供預警信息，或下達命令實現(xiàn)自動控制。

考慮到苗圃1 個監(jiān)測站所處環(huán)境較為惡劣，受遮擋、雷電的影響較大，通常需要通過人工進行數(shù)據(jù)矯正的實際情況，本研究以該監(jiān)測站2013 年4 月2日—4 日3 d 內(nèi)的空氣溫度監(jiān)測數(shù)據(jù)作為試驗數(shù)據(jù)。監(jiān)測頻率為1 次/h，得到空氣溫度真實數(shù)據(jù)共計72條記錄。實驗中將在72 行1 列的真實數(shù)據(jù)中加入噪聲數(shù)據(jù)，噪聲數(shù)據(jù)選擇最常見的正弦波噪聲信號，加入噪聲后得到實驗處理數(shù)據(jù)，即真實加噪聲數(shù)據(jù)，如表1 所示。

表1 空氣溫度真實與噪聲實驗數(shù)據(jù)

2 實時監(jiān)測數(shù)據(jù)誤差處理邏輯

建立一種基于數(shù)據(jù)分類、趨勢判斷和參照系對比的數(shù)據(jù)異常間的區(qū)分算法，利用移動平均法、指數(shù)平滑法等算法進行數(shù)據(jù)平滑［3-4］，并基于多元回歸算法建立數(shù)據(jù)校正模型對苗圃無線傳感器網(wǎng)絡(luò)監(jiān)測數(shù)據(jù)進行校正處理。算法實現(xiàn)步驟如圖1 所示。

圖1 數(shù)據(jù)校正算法流程

Step．1 確定數(shù)據(jù)類型，是不敏感數(shù)據(jù)的直接進入Step．4，是敏感數(shù)據(jù)的進入Step．2;

Step．2 進行數(shù)據(jù)趨勢分析，趨勢正常則放棄數(shù)據(jù)校正，趨勢不正常進入Step．3;

Step．3 與參照系數(shù)據(jù)進行對比，數(shù)值無顯著性差異則放棄數(shù)據(jù)校正，數(shù)據(jù)有顯著性差異進入Step．4;

Step．4 數(shù)據(jù)平滑，根據(jù)數(shù)據(jù)實際情況，利用局部回歸法、指數(shù)平滑法算法進行數(shù)據(jù)平滑;

Step．5 利用多元回歸算法，綜合分析各種數(shù)據(jù)平滑結(jié)果，建立數(shù)據(jù)校正模型。

上述流程闡述了苗圃設(shè)備失效等因素造成監(jiān)測數(shù)據(jù)異常的整體解決方案，在實際應(yīng)用中趨勢分析、參照系對比等過程可通過系統(tǒng)判斷實現(xiàn)。本文核心問題是提出一種實時數(shù)據(jù)誤差校正方法，處理經(jīng)參照系對比后確定為異常的監(jiān)測數(shù)據(jù)。

3 實時監(jiān)測數(shù)據(jù)誤差校正算法

實時監(jiān)測數(shù)據(jù)會受到傳感器精度、網(wǎng)絡(luò)條件、測量電路性能等因素影響，因此需要進行數(shù)據(jù)誤差矯正，首先通過局部加權(quán)回歸散點平滑處理對局部異常數(shù)據(jù)進行平滑，然后通過三次指數(shù)平滑處理進行全局數(shù)據(jù)平滑。

3．1 局部加權(quán)回歸散點平滑處理

局部加權(quán)回歸散點平滑法(locally weighted scatterplot smoothing，LOESS)的主要思想是取一定比例的局部數(shù)據(jù)，在這部分子集中擬合多項式回歸曲線，以便歸納數(shù)據(jù)在局部展現(xiàn)出來的規(guī)律和趨勢;再將局部范圍從左往右依次推進，最終計算出一條連續(xù)的曲線。LOESS 方法是一種穩(wěn)健的非參數(shù)回歸方法，根據(jù)實驗數(shù)據(jù)的規(guī)律，選擇LOESS 方法做局部回歸，降低異常點的影響。在平滑處理過程中，引入了局部加權(quán)回歸散點估計處理模型，用來對局部平滑處理性能進行估計預測［5-7］。

建立數(shù)據(jù)參數(shù)模型，取建立點集S={(xi，yi)|i=1，2，3，4，…，n}，

其中σ0(xi)是xi相對未知變量，εi(i=1，2，3…n)為數(shù)據(jù)獨立隨機誤差值，k 是給定的常量。ψ(m)為散點平滑均值，m 為變量區(qū)間單位，m 個相鄰數(shù)據(jù)接近平滑，則m 個相鄰數(shù)據(jù)中任意取值均為ψ(m)，連續(xù)沿n 個變量區(qū)間上不斷的進行局部平滑數(shù)據(jù)均值，可得出n 個變量區(qū)間的散點平滑均值ψn(m)，將數(shù)據(jù)集合中隨機誤差數(shù)據(jù)過濾，使得散點數(shù)據(jù)均衡化。

設(shè)(x，y)為被平滑數(shù)據(jù)的坐標值，在x 鄰接數(shù)據(jù)區(qū)間內(nèi)進行加權(quán)線性回歸，線性回歸系數(shù)wi為:其中，dx是x 所在平滑區(qū)間內(nèi)坐標軸距離xi最遠的點的距離之差，即dx=max{|xi-xk|}，k 為區(qū)間數(shù)值個數(shù)。

給定區(qū)域內(nèi)的局部加權(quán)回歸散點平滑修正值，可由公式(4)知:

其中f(x，y)數(shù)值線性方程，局部加權(quán)回歸散點平滑模型可以對給定區(qū)間內(nèi)的數(shù)據(jù)點進行線性回歸，利用區(qū)間原始數(shù)據(jù)和區(qū)間加權(quán)系數(shù)進行線性回歸得到平滑后的數(shù)據(jù)，具有較強的魯棒性的擬合性，同時模型參數(shù)可以隨著自變量的不同而發(fā)生變化，具備較強的可擴展性。

3．2 指數(shù)平滑處理

由于空氣溫度數(shù)據(jù)序列的歷史信息依據(jù)時間遠近對未來信息有一定影響，在LOESS 方法降低異常點影響基礎(chǔ)之上，需對實驗數(shù)據(jù)依時間順序進行加權(quán)作為預測值。指數(shù)平滑法是生產(chǎn)預測中常用的一種方法，也可用于環(huán)境監(jiān)測數(shù)據(jù)趨勢預測。一般有一次指數(shù)平滑法、二次指數(shù)平滑法和三次指數(shù)平滑法［8-10］。

一次指數(shù)平滑值:

二次指數(shù)平滑值:

三次指數(shù)平滑值:

指數(shù)平滑方法的選用，可根據(jù)原數(shù)列散點圖呈現(xiàn)的趨勢來確定。如呈現(xiàn)直線趨勢，選用二次指數(shù)平滑法;如呈現(xiàn)拋物線趨勢，選用三次指數(shù)平滑法?；蛘?，當時間序列的數(shù)據(jù)經(jīng)二次指數(shù)平滑處理后，仍有曲率時，需應(yīng)用三次指數(shù)平滑法［11-12］。考慮到本次實驗數(shù)據(jù)加入正弦波噪聲信號的環(huán)境溫度數(shù)據(jù)呈現(xiàn)的是周期性拋物線趨勢，呈現(xiàn)二次多項式變化趨勢，因此選用三次指數(shù)平滑法，在數(shù)據(jù)平滑處理中，結(jié)合采樣頻率，為了選取較為合適的數(shù)據(jù)處理工作量換取處理機制的性能改善，本文使用了3 次方權(quán)函數(shù)，對點的權(quán)重進行分析。

當權(quán)函數(shù)已知，單位區(qū)間內(nèi)每一個點xi的計算權(quán)重可以表示為:

預測公式:

3．3 平滑處理結(jié)果

對實驗數(shù)據(jù)進行局部加權(quán)回歸散點平滑法和三次指數(shù)平滑法數(shù)據(jù)平滑處理，結(jié)果如表2 和圖2所示。

表2 數(shù)據(jù)平滑處理結(jié)果

從局部加權(quán)回歸散點平滑法和三次指數(shù)平滑法的數(shù)據(jù)平滑結(jié)果來看，兩種方法都很好地揭示了數(shù)據(jù)的變化規(guī)律，但細節(jié)的描述還有欠缺，尤其是時間序列的起始階段預測值偏差較大，數(shù)據(jù)平滑的精度還有待提高。

3．4 基于多元回歸的數(shù)據(jù)校正模型

為了進一步提高數(shù)據(jù)平滑的精度，本文在傳統(tǒng)單一數(shù)據(jù)平滑方法的研究基礎(chǔ)上，提出一種基于多元回歸算法的綜合數(shù)據(jù)校正模型，用于綜合分析各種數(shù)據(jù)平滑算法的數(shù)據(jù)平滑結(jié)果，建立以多種數(shù)據(jù)平滑算法平滑結(jié)果為自變量，預測結(jié)果為因變量的多元回歸預測模型，進行精確的數(shù)據(jù)校正。以局部加權(quán)回歸散點平滑法和三次指數(shù)平滑法的數(shù)據(jù)平滑結(jié)果為自變量，分別命名為X1和X2;以空氣溫度真實值為因變量，命名為Y，建立多元回歸模型。模型分析結(jié)果見表3 和表4。

表3 多元回歸模型系數(shù)

表4 單因素方差分析

圖2 數(shù)據(jù)平滑結(jié)果曲線圖

由分析結(jié)果(表3)可知，建立的多元回歸模型R2統(tǒng)計量0．942 表明該線性模型可以解釋自變量94．2%的變差。模型顯著性F 檢驗結(jié)果表明，顯著性值小于0．05，即該回歸模型顯著。模型的數(shù)學表達式為:

4 結(jié)果與分析

本文以北京某葡萄酒莊葡萄種植園為實驗地點，選取100×100 m2的面積為監(jiān)測區(qū)域，隨機布設(shè)氣象/墑情監(jiān)測站，構(gòu)建穩(wěn)定的無線網(wǎng)絡(luò)數(shù)據(jù)傳輸環(huán)境，保證監(jiān)測區(qū)域內(nèi)的環(huán)境因子被及時有效傳輸?？紤]到環(huán)境溫度是影響葡萄產(chǎn)量的重要因素之一，故選取空氣溫度為此次實驗數(shù)據(jù)，在一天內(nèi)的連續(xù)時間段內(nèi)獲取空氣溫度數(shù)值T={Tt|t∈(5，16)}，將原始數(shù)據(jù)做2 次處理得出2 組數(shù)值，數(shù)據(jù)1 是將原始數(shù)據(jù)中的異常數(shù)據(jù)進行了理想化處理，得到理想處理數(shù)值，數(shù)據(jù)2 則是將原始數(shù)據(jù)利用模型校正之后所得的模型校正數(shù)值。實驗將同一時間段里獲取的空氣溫濕度的模型校正數(shù)值和理想處理數(shù)值相比較，從圖3 可看出，模型校正數(shù)值與單位時間內(nèi)的理想數(shù)值相接近，其部分誤差值并不影響整個數(shù)值情況，本模型可以有效的校正連續(xù)時間段內(nèi)的空氣溫度數(shù)值，并合理的處理異常數(shù)據(jù)，使得數(shù)據(jù)對苗圃監(jiān)測具備一定的指導意義。

為了進一步比較基于多元回歸的數(shù)據(jù)校正模型的數(shù)據(jù)處理精度，從監(jiān)測區(qū)域隨機選取15 個樣本區(qū)域進行測試，從圖4 可知，模型中經(jīng)過局部加權(quán)回歸散點平滑處理和三次指數(shù)平滑處理處理后所得的自變量X1和X2關(guān)于Y 值的相對誤差值，說明自變量誤差值與模型對數(shù)據(jù)校正誤差值具有較大的相關(guān)性。

圖3 空氣溫度數(shù)值模型比較

圖4 模型參數(shù)相對誤差曲線

從模型的實際數(shù)據(jù)校正結(jié)果(表5 和圖5)來看，時間序列開始階段的預測偏差較大，造成這種現(xiàn)象的主要原因是開始階段數(shù)據(jù)樣本過小，數(shù)據(jù)規(guī)律難以被模型捕捉，這種現(xiàn)象在實際應(yīng)用中可以通過人工賦予初始值等手段干預消除，不影響實際應(yīng)用效果。

圖5 真實值與校正值擬合精度

隨著時間的延續(xù)，數(shù)據(jù)樣本的增多，模型訓練更貼近實際規(guī)律，模型的數(shù)據(jù)校正精度基本穩(wěn)定在10%以內(nèi)，對于因設(shè)備本身和環(huán)境因素容易造成監(jiān)測數(shù)據(jù)不準確問題取到了一定的輔助校正作用，減少了因顯著誤差數(shù)據(jù)增加誤操作的概率。

表5 模型數(shù)據(jù)校正結(jié)果

本文采用系統(tǒng)誤差值、剩余標準差和均方根誤差對模型進行驗證，對比擬合效果做出客觀的評價。

式中:ˉXi為第i 個區(qū)域的實際數(shù)據(jù)平均值;^Xi為第i個區(qū)域校正數(shù)據(jù)，n 為區(qū)域數(shù)。

對數(shù)據(jù)校正模型的擬合度進行驗證，即將采集到的真實環(huán)境因子與基于多元回歸的數(shù)據(jù)校正模型計算所得的數(shù)據(jù)進行比較，可知平均誤差的絕對值|E|＜10%，均方根誤差Δ＜12%，從數(shù)值上來看，理論數(shù)值和實際數(shù)值差異不顯著，根據(jù)模型的預測的校正數(shù)值可以用于環(huán)境監(jiān)測中，且效果較好，其預測數(shù)值的相對誤差為6．74%，數(shù)值估計精度p 為92．3%，該模型可以合理預測校正數(shù)值，對農(nóng)情監(jiān)控具備一定的指導意義。在回歸模型決定系數(shù)為0．942 的情況下，從圖5 可以看出，模型的實際數(shù)值和模型預測校正數(shù)值相差較小，圖6 顯示，其殘差值在區(qū)間［-0．1，0．1］之間波動，說明其擬合度較好。該模型已經(jīng)在北京某葡萄種植園農(nóng)情監(jiān)測系統(tǒng)中得到應(yīng)用，提高了監(jiān)測數(shù)據(jù)質(zhì)量。

圖6 殘差數(shù)值分析

5 結(jié)束語

在大規(guī)模苗圃的無線傳感器網(wǎng)絡(luò)WSN 應(yīng)用中，如何保證實時采集的苗圃氣象、土壤等監(jiān)測數(shù)據(jù)質(zhì)量，為苗圃的生產(chǎn)管理與決策分析提供準確可靠的數(shù)據(jù)基礎(chǔ)是一個值得研究的問題。本文提出一種基于局部和全局平滑計算為前置條件的多元回歸監(jiān)測數(shù)據(jù)矯正算法。

提出了一種基于參照系對比和敏感數(shù)據(jù)預判的苗圃監(jiān)測數(shù)據(jù)異常矯正流程，在保證因設(shè)備異常造成監(jiān)測數(shù)據(jù)異常得到矯正的同時，對于固有變異性數(shù)據(jù)不會草率剔除，減少重要隱藏信息丟失的情況。該算法綜合利用局部加權(quán)回歸散點平滑法和三次指數(shù)平滑法進行數(shù)據(jù)平滑，保留了實驗數(shù)據(jù)的整體趨勢和局部特性，并基于多元回歸建立數(shù)據(jù)矯正模型，模型的數(shù)據(jù)校正精度基本穩(wěn)定在10%以內(nèi)，減少了隨機誤差，同時也提高了苗圃生產(chǎn)決策可信度。模型已在北京某葡萄種植園農(nóng)情監(jiān)測系統(tǒng)中得到應(yīng)用，對室外氣象站采集的大氣溫度、濕度、降雨量、太陽輻射、風力風向和土壤水分等監(jiān)測值進行矯正，矯正精度平均92．3%。

［1］ 陳黎敏．智能傳感器的數(shù)據(jù)處理方法［J］．傳感器技術(shù)，2004，23(5):56-58．

［2］ 王繼剛，劉波，田茂森．Vondrak 數(shù)據(jù)平滑法在基坑沉降數(shù)據(jù)預處理中的應(yīng)用［J］．地礦測繪，2013，29(2):4-6．

［3］ 郭軍海．基于最優(yōu)節(jié)點樣條逼近的觀測數(shù)據(jù)平滑方法［J］，中國空間科學技術(shù)，2000，6(3):43-48．

［4］ 黎鎖平，劉坤會．動態(tài)指數(shù)平滑優(yōu)化模型及其應(yīng)用［J］．系統(tǒng)工程學報，2003，18(2):163-167．

［5］ 吳德會．基于動態(tài)指數(shù)平滑模型的小批量制造過程質(zhì)量預測［J］．農(nóng)業(yè)機械學報，2008，39(8):164-168．

［6］ 閻偉，宗世祥，駱有慶，等．逐步回歸模型在油蒿鉆蛀性害蟲預測中的應(yīng)用［J］，北京林業(yè)大學學報，2009，31(3):140-144．

［7］ 岳建平，席廣永，黎昵．基于多小波的分布式光纖溫度傳感監(jiān)測數(shù)據(jù)處理［J］，河海大學學報:自然科學版，2008，36(5):675-678．

［8］ 焉曉貞，謝紅，王桐．無線傳感器網(wǎng)絡(luò)的不確定傳感數(shù)據(jù)預測［J］，應(yīng)用科學學報，2012，30(6):566-572．

［9］ 許華杰，李國徽，楊兵，等．基于密度的不確定性數(shù)據(jù)概率聚類［J］，計算機科學，2009，36(5):68-71．

［10］ 熊迎軍，沈明霞，陸明洲，等．溫室無線傳感器網(wǎng)絡(luò)系統(tǒng)實時數(shù)據(jù)融合算法［J］．農(nóng)業(yè)工程學報，2012，28(23):160-166．

［11］ Pintus E，Sorbolini S，Albera A，et al． Use of locally weighted scatterplot smoothing (LOWESS)regression to study selection signatures in Piedmontese and Italian Brown cattle breeds［J］．Animal Genetics，2014，45(1):1-11．

［12］ Rob J Hyndmana，Anne B Koehlerb，Ralph D Snydera，et al． A state space framework for automatic forecasting using exponential smoothing methods［J］． International Journal of Forecasting，2002，18(3):439-454．