于 輝

（西安郵電大學(xué)計(jì)算機(jī)學(xué)院 西安 710121）

1 引言

作為衡量政府財(cái)力的重要指標(biāo)之一，財(cái)政收入預(yù)測(cè)一直都是專家學(xué)者們研究的熱點(diǎn)［1～2］。目前常用的預(yù)測(cè)方法有回歸分析法、時(shí)間序列分析法、灰色預(yù)測(cè)法和神經(jīng)網(wǎng)絡(luò)法等［3～4］。財(cái)政收入數(shù)據(jù)及其相關(guān)影響因素?cái)?shù)據(jù)的變化往往具有隨機(jī)性和非線性變化的特點(diǎn)，并且它們之間也具有非常復(fù)雜的非線性相關(guān)關(guān)系。目前，許多學(xué)者運(yùn)用組合預(yù)測(cè)模型來進(jìn)行預(yù)測(cè)研究。如范敏等運(yùn)用灰色預(yù)測(cè)和常規(guī)BP（Back Propagation）神經(jīng)網(wǎng)絡(luò)組合模型對(duì)地方財(cái)政收入進(jìn)行了預(yù)測(cè)，提高了預(yù)測(cè)準(zhǔn)確度［5］；方博等利用基于時(shí)間序列的ARMA模型與常規(guī)BP神經(jīng)網(wǎng)絡(luò)相結(jié)合，通過實(shí)驗(yàn)證明了組合預(yù)測(cè)模型比單一預(yù)測(cè)模型能夠獲得更準(zhǔn)確的結(jié)果［6］。

不過以上研究運(yùn)用的組合預(yù)測(cè)模型所使用的常規(guī)BP神經(jīng)網(wǎng)絡(luò)的BP算法存在收斂速度緩慢、學(xué)習(xí)精確度不高等缺陷。本文嘗試使用基于深度學(xué)習(xí)思想的深層神經(jīng)網(wǎng)絡(luò)（Deep Neural Network，DNN），深層感知器（Deep Multi-layer Perceptron，DMLP）模型來解決常規(guī)BP神經(jīng)網(wǎng)絡(luò)的一些缺陷，同時(shí)綜合灰色預(yù)測(cè)的優(yōu)點(diǎn)，根據(jù)組合預(yù)測(cè)方法思想，建立基于灰色DMLP財(cái)政收入預(yù)測(cè)模型，并以西安市財(cái)政收入及其影響因素統(tǒng)計(jì)數(shù)據(jù)對(duì)組合模型進(jìn)行檢驗(yàn)，來論證所構(gòu)建組合預(yù)測(cè)模型的預(yù)測(cè)準(zhǔn)確度和實(shí)用性。

2DMLP模型構(gòu)建及原理

2.1 DMLP的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

依據(jù) Delalleau和Bengio的觀點(diǎn)［7］，常規(guī) BP神經(jīng)網(wǎng)絡(luò)之類的淺層網(wǎng)絡(luò)，都使用不超過三層的結(jié)構(gòu)，在解決真實(shí)世界的復(fù)雜應(yīng)用問題時(shí)，往往出現(xiàn)表達(dá)能力不足的情況。在神經(jīng)元數(shù)大致相同的情況下，深層網(wǎng)絡(luò)通常比淺層網(wǎng)絡(luò)函數(shù)表達(dá)力更強(qiáng)。不過精確預(yù)測(cè)隱含層所需要的神經(jīng)元數(shù)量和神經(jīng)網(wǎng)絡(luò)所需要的層數(shù)，至今仍然存在理論上還沒有解決的問題［8］。

由以上依據(jù)、實(shí)際經(jīng)驗(yàn)和財(cái)政收入預(yù)測(cè)問題的特點(diǎn)，本文選用了DNN中的判別模型DMLP。如圖1所示，DMLP采用四層網(wǎng)絡(luò)結(jié)構(gòu)，隱藏層H1和H2的神經(jīng)元數(shù)量為輸入層X的1.5～2倍左右，輸入層X和輸出層Y的神經(jīng)元數(shù)量由具體問題來確定。

圖1 四層DMLP神經(jīng)網(wǎng)絡(luò)

2.2 神經(jīng)元激活函數(shù)的選取

神經(jīng)元是神經(jīng)網(wǎng)絡(luò)操作的基本信息處理單位。一個(gè)神經(jīng)元對(duì)輸入信號(hào) X=[x1，x2，…，xm]T的出加權(quán)求和的值，wi表示權(quán)重（模型參數(shù)），b表示偏差，f(·)表示激活函數(shù)。

2010年，Glorot和Bengio等提出在深度學(xué)習(xí)模型某些問題的應(yīng)用中，使用簡單、速度快的近似生物神經(jīng)激活函數(shù)Softplus和ReLU替代常規(guī)的Sigmoid函數(shù)，在使用BP算法時(shí)可以提高訓(xùn)練速度，減輕梯度下降（Gradient Descent，GD）算法訓(xùn)練深層網(wǎng)絡(luò)時(shí)的梯度消失問題［9］。

在圖1當(dāng)中隱藏層H1的神經(jīng)元采用非線性的Softplus函數(shù)激活用來提高DMLP的解釋表達(dá)能力，隱藏層H2的神經(jīng)元采用線性的ReLU函數(shù)激活使得DMLP學(xué)習(xí)周期大大縮短，提高模型的綜合學(xué)習(xí)速率和效率。Softplus、ReLU和Sigmoid的函數(shù)公式分別表示如下

2.3 模型的學(xué)習(xí)訓(xùn)練方法

本模型用于預(yù)測(cè)問題，采用基于δ學(xué)習(xí)規(guī)則的BP算法，這是一種有指導(dǎo)的學(xué)習(xí)算法。與常規(guī)BP神經(jīng)網(wǎng)絡(luò)的BP算法略有不同，對(duì)目標(biāo)函數(shù)取得最小值的權(quán)重和偏差的計(jì)算采用自適應(yīng)矩估計(jì)（Adaptive Moment Estimation，Adam）算法［10］來替代常規(guī)的GD算法，克服其易陷入局部最小值的缺點(diǎn)。

根據(jù)圖1，設(shè)輸入層X與隱藏層H1的權(quán)重為WH1，偏差為bH1；隱藏層H1與隱藏層H2的權(quán)重為WH2，偏差為bH2；隱藏層H2與輸出層Y的權(quán)重為WY，偏差為bY。

當(dāng)正向傳遞時(shí)，各層神經(jīng)元的輸出滿足如下公式：

當(dāng)反向傳播時(shí)，目標(biāo)函數(shù)采用均方誤差（Mean Squared Error，MSE），定義如下

其中w為所有權(quán)重集合向量，b為所有偏差集合向量，N為訓(xùn)練樣本的個(gè)數(shù)，Yk為第k個(gè)訓(xùn)練樣本的期望值向量，Y?k為第k個(gè)訓(xùn)練樣本所預(yù)測(cè)的值向量。如果loss(w，b)接近于0，表示Yk接近輸出預(yù)測(cè)值向量Y?k，即學(xué)習(xí)效果很好。為找到滿足要求的w和b，采用Adam算法。該算法利用梯度的一階矩估計(jì)和二階矩估計(jì)動(dòng)態(tài)調(diào)整每個(gè)參數(shù)的學(xué)習(xí)率。Adam算法的優(yōu)點(diǎn)主要在于經(jīng)過偏差校正后，每一次迭代學(xué)習(xí)率都有一個(gè)確定范圍，使得參數(shù)比較平穩(wěn)。根據(jù)文獻(xiàn)［9］，該算法用于深度學(xué)習(xí)問題最好的參數(shù)默認(rèn)值可設(shè)置為α=0.001，β1=0.9，β2=0.999，ε=10-8。 f(θ)為隨機(jī)目標(biāo)函數(shù)，與loss(w，b)相對(duì)應(yīng)，θ為參數(shù)向量，與w和b相對(duì)應(yīng)；gt為 f(θ)的一階梯度；mt為一階矩估計(jì)向量，初值為0；vt為二階矩估計(jì)向量，初值為0；m?t，v?t是對(duì) mt，vt的校正；t為時(shí)間步。當(dāng) θt收斂時(shí)，模型訓(xùn)練完成，學(xué)習(xí)結(jié)束。其算法流程如下所示。

3 灰色模型構(gòu)建及檢驗(yàn)

灰色模型GM（1，1）對(duì)小數(shù)據(jù)量數(shù)據(jù)預(yù)測(cè)通常表現(xiàn)出優(yōu)良的性能，其建模過程［11］如下所示。

設(shè)變量 X(0)={X(0)(i)，i=1，2，…，n} 為一非負(fù)單調(diào)原始數(shù)據(jù)序列，建立灰色預(yù)測(cè)模型：首先對(duì)X(0)進(jìn)行一次累加得到一次累加序列X(1)={X(1)(t)，t=1，2…n}。

對(duì)X(1)可建立下述一階線性微分方程：

即GM（1，1）模型。

求解微分方程，得到預(yù)測(cè)模型如下

由于GM（1，1）模型得到的是一次累加量，將GM（1，1）模型所得數(shù)據(jù) X?(1)(t+1)經(jīng)過累減還原為X?(0)(t+1)，即 X(0)的灰色預(yù)測(cè)模型如下

殘差計(jì)算如下

灰色模型預(yù)測(cè)結(jié)果采用后驗(yàn)差檢驗(yàn)法進(jìn)行檢驗(yàn)。設(shè)已按GM（1，1）建模法求出 X?(0)和殘差，原始序列X(0)及殘差序列E的方差分別為和，則

計(jì)算其后驗(yàn)差比為C=S2/S1。計(jì)算其小誤差概率為 p=P{ ||e(t)-eˉ＜0.6745S1}。指標(biāo)C越小越好，P越大越好。一般將模型精度等級(jí)分為四級(jí)，后驗(yàn)差檢驗(yàn)?zāi)Ｐ途缺砣绫?所示。

表1 后驗(yàn)差檢驗(yàn)判別參照表

4 灰色DMLP組合模型構(gòu)建

設(shè)財(cái)政收入為Y，它的N個(gè)相關(guān)影響因素序列為(x1，x2，…，xn)，且Y與這些因素表現(xiàn)為關(guān)系緊密的非線性相關(guān)關(guān)系。它們?cè)赥個(gè)連續(xù)的時(shí)期內(nèi)連續(xù)觀測(cè)值為 (x1，t，x2，t，…，xn，t;Yt)，其中 t=1，2，…，T。所建立的組合預(yù)測(cè)模型旨在找出序列(x1，x2，…，xn)對(duì)Y的定量影響規(guī)律。基于 GM（1，1）和DMLP的組合預(yù)測(cè)模型對(duì)財(cái)政收入在T+1時(shí)期的值進(jìn)行預(yù)測(cè)主要包括以下步驟。

步驟1：利用GM（1，1）模型，根據(jù)每個(gè)影響因素 xi，t(i=1，2，…，n)在1～T時(shí)期的觀測(cè)值，即根據(jù)序 列 值 (xi，1，xi，2，…，xi，T) 預(yù) 測(cè) 出 其 在 T+1 時(shí) 期x?i，T+1的值。則在T+1時(shí)期，所有與財(cái)政收入Y相關(guān)因素的預(yù)測(cè)值序列為 (x?1，T+1，x?2，T+1，…，x?n，T+1)。

步驟2：以1～T時(shí)期的觀測(cè)值序列 (x1，t，x2，t，…，xn，t;Yt)作為訓(xùn)練樣本，其中Yt為作為監(jiān)督訓(xùn)練的標(biāo)簽值，代入DMLP神經(jīng)網(wǎng)絡(luò)對(duì)模型進(jìn)行訓(xùn)練。其中DMLP的輸入層神經(jīng)元個(gè)數(shù)為影響財(cái)政收入因素的個(gè)數(shù)N，輸出層神經(jīng)元個(gè)數(shù)為1。隱藏層H1、H2神經(jīng)元個(gè)數(shù)為2N。

步驟3：用步驟1灰色模型GM（1，1）預(yù)測(cè)的值序列 (x?1，T+1，x?2，T+1，…，x?n，T+1)作為輸入樣本代入訓(xùn)練好的DMLP預(yù)測(cè)模型當(dāng)中，可以得到財(cái)政收入在T+1期的預(yù)測(cè)值 Y?T+1。

步驟4：組合模型預(yù)測(cè)效果評(píng)價(jià)采用均方根誤差（Root Mean Squared Error，RMSE）和平均絕對(duì)百分誤差（Mean Absolute Percentage Error，MAPE）指標(biāo)來衡量。它們的定義如下

其中Yi表示第i個(gè)實(shí)際值。Y?i表示第i個(gè)預(yù)測(cè)值。RMSE代表了預(yù)測(cè)值的離散程度，最佳擬合情況為RMSE=0。一般認(rèn)為MAPE小于10%時(shí)，預(yù)測(cè)準(zhǔn)確度較高。

5 組合模型預(yù)測(cè)驗(yàn)證實(shí)驗(yàn)

5.1 實(shí)驗(yàn)數(shù)據(jù)來源

本文針對(duì)財(cái)政收入預(yù)測(cè)問題，遵照科學(xué)可行性的原則，以西安市2004～2015年財(cái)政收入及其相關(guān)影響因素的統(tǒng)計(jì)數(shù)據(jù)作為檢驗(yàn)樣本來對(duì)所提出的組合預(yù)測(cè)模型進(jìn)行驗(yàn)證分析，數(shù)據(jù)來源于西安統(tǒng)計(jì)年鑒2016版，詳細(xì)數(shù)據(jù)如表2所示。在參考近年來西安市財(cái)政局的財(cái)政預(yù)決算報(bào)告、西安市統(tǒng)計(jì)局的國民經(jīng)濟(jì)和社會(huì)發(fā)展統(tǒng)計(jì)公報(bào)及相關(guān)經(jīng)濟(jì)學(xué)資料后，選取生產(chǎn)總值（X1，單位：億元）、全社會(huì)固定資產(chǎn)投資總額（X2，單位：億元）、社會(huì)消費(fèi)品零售總額（X3，單位：億元）、旅游總收入（X4，單位：億元）和進(jìn)出口總額（X5，單位：億美元）共5個(gè)因素為自變量，作為影響西安市財(cái)政收入（Y）的主要因素。

表2 西安市2004-2015財(cái)政收入相關(guān)統(tǒng)計(jì)數(shù)據(jù)

參照表2，以2004～2013年的數(shù)據(jù)作為訓(xùn)練集，2014～2015年的數(shù)據(jù)作為測(cè)試集，利用組合預(yù)測(cè)模型對(duì)西安市2014年和2015年的財(cái)政收入進(jìn)行預(yù)測(cè)。

5.2 灰色模型預(yù)測(cè)驗(yàn)證分析過程

分別把X1～X5這5個(gè)財(cái)政收入影響因素在2004～2013年所對(duì)應(yīng)的5對(duì)時(shí)間序列值代入到利用Python語言所寫好的GM（1，1）模型當(dāng)中，預(yù)測(cè)出2014年X1～X5的值。接著，結(jié)合2014年預(yù)測(cè)出的X1～X5的值，分別把X1～X5在2004-2014年所對(duì)應(yīng)的5對(duì)時(shí)間序列值再次代入到GM（1，1）模型當(dāng)中，預(yù)測(cè)出2015年X1～X5的值。最終預(yù)測(cè)結(jié)果及精度評(píng)價(jià)如表3所示。

表3 灰色預(yù)測(cè)結(jié)果及精度等級(jí)

從表3可以看出，2014～2015年西安市財(cái)政收入各個(gè)影響因素X1～X5預(yù)測(cè)精度較高，基本上都達(dá)到了“好”的等級(jí)。不過X2在2015年的預(yù)測(cè)值為“勉強(qiáng)合格”的等級(jí)，原因在于2015年以來，受“十二五”規(guī)劃中大型項(xiàng)目完工、房地產(chǎn)市場(chǎng)整體調(diào)整回落、投資項(xiàng)目承接不足、民間投資意愿不強(qiáng)等多重因素影響，西安市固定資產(chǎn)投資總額10多年以來首次呈負(fù)增長。所以預(yù)測(cè)值與真實(shí)值稍有偏差，不過在可接受的范圍內(nèi)。

5.3 DMLP預(yù)測(cè)驗(yàn)證及對(duì)比實(shí)驗(yàn)分析過程

利用由Python編寫基于TensorFlow的深度學(xué)習(xí)庫Keras搭建四層DMLP（5-10-10-1）深層神經(jīng)網(wǎng)絡(luò)，結(jié)合灰色模型預(yù)測(cè)結(jié)果同常規(guī)BP神經(jīng)網(wǎng)絡(luò)做對(duì)比實(shí)驗(yàn)并進(jìn)行驗(yàn)證分析。

四層DMLP的Keras配置參數(shù)分別為：輸入層輸入維數(shù)（input_dim）為5，輸出維數(shù)（output_dim）為10；第一隱藏層激活函數(shù)（Activation）為softplus，input_dim為10，output_dim為10；第二隱藏層Activation為relu，input_dim為10，output_dim為10；輸出層input_dim為10，output_dim為1；目標(biāo)函數(shù)（loss）為mean_squared_error；梯度優(yōu)化器（optimizers）為 Adam；模型訓(xùn)練迭代次數(shù)（nb_epoch）為1000。

作為對(duì)比試驗(yàn)的BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)取5-10-1的網(wǎng)絡(luò)結(jié)構(gòu)。隱含層激活函數(shù)用Sigmoid激活，目標(biāo)函數(shù)為MSE，梯度計(jì)算采用GD算法，模型訓(xùn)練迭代次數(shù)為1000。

根據(jù)表2，把2004～2013年X1～X5的值作為輸入樣本，Y作為與之相對(duì)應(yīng)的標(biāo)簽值，分別代入四層DMLP模型和三層常規(guī)BP神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練。訓(xùn)練效果如圖2和圖3所示。

圖2 DMLP訓(xùn)練效果

圖3 BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練效果

由圖2可以看出，DMLP模型在訓(xùn)練迭代大約100次時(shí)，其模型loss值開始收斂。訓(xùn)練迭代1000次，訓(xùn)練完成，最后的loss值為0.00285。由圖3可以看出，BP神經(jīng)網(wǎng)絡(luò)模型在訓(xùn)練迭代大約200次時(shí)，其模型loss值才開始收斂。訓(xùn)練迭代1000次，訓(xùn)練完成，最后的loss值為0.00589。對(duì)比圖2和圖3，在橫軸取相同的訓(xùn)練迭代次數(shù)，觀察縱軸loss的取值，可以發(fā)現(xiàn)DMLP的loss值總小于BP神經(jīng)網(wǎng)絡(luò)的loss值。對(duì)比這兩種模型的訓(xùn)練效果，可以看出，DMLP模型學(xué)習(xí)精確度高，收斂速度快。

把5.2中通過灰色模型預(yù)測(cè)的2014～2015年X1～X5的值代入到已經(jīng)訓(xùn)練好的DMLP和BP神經(jīng)網(wǎng)絡(luò)當(dāng)中，對(duì)2014～2015年的西安市財(cái)政收入的值進(jìn)行預(yù)測(cè)。預(yù)測(cè)結(jié)果及組合模型預(yù)測(cè)效果評(píng)價(jià)如表4和表5所示。

表4 兩種組合預(yù)測(cè)模型預(yù)測(cè)值與真實(shí)值比較

表5 兩種組合預(yù)測(cè)模型預(yù)測(cè)效果評(píng)價(jià)對(duì)比

表4和表5的實(shí)驗(yàn)結(jié)果表明，本文所構(gòu)建的灰色DMLP財(cái)政收入組合預(yù)測(cè)模型比基于常規(guī)BP神經(jīng)網(wǎng)絡(luò)的組合預(yù)測(cè)模型所預(yù)測(cè)的值更加接近于真實(shí)值，準(zhǔn)確度高，具有推廣性和實(shí)用性。

6 結(jié)語

本文結(jié)合深度學(xué)習(xí)思想與灰色預(yù)測(cè)模型，建立了基于灰色深層感知器的財(cái)政收入組合預(yù)測(cè)模型?；疑A(yù)測(cè)模型的使用增強(qiáng)了原始數(shù)據(jù)的規(guī)律性。通過與常規(guī)三層BP神經(jīng)網(wǎng)絡(luò)做對(duì)比實(shí)驗(yàn)，在四層DMLP模型隱藏層用Softplus和ReLU激活函數(shù)替代Sigmoid激活函數(shù)，在計(jì)算目標(biāo)函數(shù)loss的最優(yōu)參數(shù)時(shí)，使用Adam算法替代GD算法，提高了模型的學(xué)習(xí)精確度，加快了學(xué)習(xí)速率和收斂速度。DMLP四層網(wǎng)絡(luò)結(jié)構(gòu)和Softplus激活函數(shù)的使用增強(qiáng)了模型的解釋能力和非線性擬合能力，提高了組合模型的預(yù)測(cè)準(zhǔn)確度，使其預(yù)測(cè)結(jié)果更加接近于真實(shí)值，具有推廣性和實(shí)用性。但是基于深度學(xué)習(xí)思想的神經(jīng)網(wǎng)絡(luò)模型在進(jìn)行訓(xùn)練時(shí)，一些超參數(shù)的選擇往往借助于經(jīng)驗(yàn)，沒有成熟的理論作支持，需要不斷實(shí)驗(yàn)嘗試。因此，還需要對(duì)深度學(xué)習(xí)理論做進(jìn)一步的研究和學(xué)習(xí)，以便對(duì)所構(gòu)建的組合模型做進(jìn)一步的改進(jìn)和優(yōu)化。