馮明皓 張?zhí)靷? 王林輝 陳榮 連少靜

摘 要：由于具有較高的模型復(fù)雜度，深層神經(jīng)網(wǎng)絡(luò)容易產(chǎn)生過擬合問題，為了減少該問題對網(wǎng)絡(luò)性能的不利影響，提出一種基于改進的彈性網(wǎng)模型的深度學(xué)習(xí)優(yōu)化方法。首先，考慮到變量之間的相關(guān)性，對彈性網(wǎng)模型中的L1范數(shù)的不同變量進行自適應(yīng)加權(quán)，從而得到L2范數(shù)與自適應(yīng)加權(quán)的L1范數(shù)的線性組合。其次，將改進的彈性網(wǎng)絡(luò)模型與深度學(xué)習(xí)的優(yōu)化模型相結(jié)合，給出在這種新正則項約束下求解神經(jīng)網(wǎng)絡(luò)參數(shù)的過程。然后，推導(dǎo)出改進的彈性網(wǎng)模型在神經(jīng)網(wǎng)絡(luò)優(yōu)化中具有群組選擇能力和Oracle性質(zhì)，進而從理論上保證該模型是一種更加魯棒的正則化方法。最后，在多個回歸問題和分類問題的實驗中，相對于L1、L2和彈性網(wǎng)正則項，該方法的回歸測試誤差可分別平均降低分類測試準(zhǔn)確度可分別平均提高3.98、2.92和3.58個百分點。由此，在理論和實驗兩方面驗證了改進的彈性網(wǎng)模型可以有效地增強深層神經(jīng)網(wǎng)絡(luò)的泛化能力，提升優(yōu)化算法的性能，解決深度學(xué)習(xí)的過擬合問題。

關(guān)鍵詞： 神經(jīng)網(wǎng)絡(luò)模型;深度學(xué)習(xí);正則化方法;彈性網(wǎng)模型;過擬合

中圖分類號：TP183

文獻標(biāo)志碼：A

Abstract：? Deep neural networks tend to suffer from overfitting problem because of the high complexity of the model.To reduce the adverse eeffects of the problem on the network performance，?an improved elastic network model based deep learning optimization method was proposed. Firstly， considering the strong correlation between the variables， the adaptive weights were assigned to different variables of L1-norm in elastic network model， so that the linear combination of the L2-norm and the adaptively weighted L1-norm was obtained. Then， the solving process of neural network parameters under this new regularization term was given by combining improved elastic network model with the deep learning optimization model. Moreover， the robustness of this proposed model was theoretically demonstrated by showing the grouping selection ability and Oracle property of the improved elastic network model in the optimization of neural network. At last， in regression and classification experiments， the proposed model was compared with L1-norm， L2-norm and elastic network regularization term， and had the regression error decreased by 87.09， 88.54 and 47.02 and the classification accuracy improved by 3.98， 2.92 and 3.58 percentage points respectively. Thus， theory and experimental results prove that the improved elastic network model can effectively improve the generalization ability of deep neural network model and the performance of optimization algorithm， and solve the overfitting problem of deep learning.

Key words：? neural network model; deep learning; regularization method; elastic network model; overfitting

0 引言

近年來，深度學(xué)習(xí)[1]技術(shù)受到廣泛關(guān)注，并在眾多應(yīng)用領(lǐng)域有著較好表現(xiàn)。理論上，深層神經(jīng)網(wǎng)絡(luò)能夠擬合任意分布的數(shù)據(jù)，但是在實際中，有限的數(shù)據(jù)資源和較高的模型復(fù)雜度使得神經(jīng)網(wǎng)絡(luò)很難具有理想的泛化能力，過擬合現(xiàn)象由此產(chǎn)生。該現(xiàn)象是機器學(xué)習(xí)中一種常見的病態(tài)問題，解決該問題的方法通常分為三種：第一種是擴充訓(xùn)練數(shù)據(jù)規(guī)模，例如，Szegedy等[2]通過對原有圖像樣例進行翻轉(zhuǎn)、裁剪等變化來增加訓(xùn)練數(shù)據(jù)，從而提升了神經(jīng)網(wǎng)絡(luò)在圖像分類中的性能;與之不同，陳文兵等[3]通過生成小樣本數(shù)據(jù)來增加訓(xùn)練樣本的數(shù)量，這種合成數(shù)據(jù)的方法同樣可以降低神經(jīng)網(wǎng)絡(luò)的過擬合程度。第二種是更改訓(xùn)練方式，最具代表性的工作是Dropout[4]，該方法通過在每次優(yōu)化迭代中隨機刪除一些神經(jīng)元來降低模型的復(fù)雜程度;除此之外，Zhang等[5]通過監(jiān)控?fù)p失值的變化來決定網(wǎng)絡(luò)訓(xùn)練的中止或重啟，從而避免過擬合問題。第三種是在損失函數(shù)中引入正則項因子，對網(wǎng)絡(luò)模型中的參數(shù)進行約束優(yōu)化求解。與第一種方法相比，正則化方法沒有增加額外的訓(xùn)練數(shù)據(jù)，從而不會加劇計算負(fù)擔(dān)，同時，也不會受到冗余數(shù)據(jù)和噪聲數(shù)據(jù)的影響;與第二種方法相比，正則化方法具有較好的收斂性，不會導(dǎo)致較長的訓(xùn)練周期。此外，正則化方法具有可靠的理論基礎(chǔ)和嚴(yán)格的理論推導(dǎo)，因此，在解決過擬合問題的工作中，對正則化方法的研究與應(yīng)用最為普遍。

正則化方法最早由Tikhonov等[6]在1963年提出，并于20世紀(jì)90年代以后，成為一種主流的解決機器學(xué)習(xí)中解決病態(tài)問題的有效方法。本質(zhì)上，該方法是將正則項作為含有解的先驗知識引進經(jīng)驗風(fēng)險中，從而約束解空間的范圍，進而獲得理想中的穩(wěn)定解。在理論上，Antoniadis等[7]提出一個理想的正則化方法應(yīng)該具備以下四個性質(zhì)：1）連續(xù)性。所求參數(shù)的估計值在范圍內(nèi)應(yīng)當(dāng)連續(xù)，以獲得一個更穩(wěn)定的解。2）無偏性。所求參數(shù)的估計值應(yīng)當(dāng)是近似無偏的，以獲得一個偏差較小的模型。3）稀疏性。所求模型能夠?qū)⑤^小參數(shù)直接壓縮為0，降低模型的復(fù)雜程度。4）Oracle性質(zhì)。正則項能夠正確識別模型的能力，可用漸進正態(tài)性和變量選擇一致性來解釋。在該領(lǐng)域里，這四個性質(zhì)被廣泛用作評價正則化方法的標(biāo)準(zhǔn)，因此在設(shè)計正則化方法時，應(yīng)盡量保證所提出的模型具備以上性質(zhì)。

在實際中，被廣泛使用的正則化方法主要有：最小絕對值收斂和選擇算子（Least Absolute Shrinkage and Selection Operator， LASSO）模型、嶺回歸模型和彈性網(wǎng)模型。其中：LASSO模型又被稱為L1正則化方法，該方法可以保證求解結(jié)果具有稀疏性[8]，降低原始數(shù)據(jù)維度，并可以過濾出重要的特征，因而該模型通常被用于高維數(shù)據(jù)的建模問題，例如，Cui等[9]利用LASSO模型構(gòu)造特征池來對高維數(shù)據(jù)進行特征提取;Tang等[10]提出一種基于L1正則化方法的稀疏自動編碼器模型。但是LASSO模型忽略了變量之間的相關(guān)性，不滿足無偏性。嶺回歸模型又被稱為L2正則化方法，這種方法在參數(shù)估計中限制較大的解，從而啟發(fā)式地得到趨近于零的解，并且該方法可以保留變量之間的相關(guān)性，在樣本維度高于樣本規(guī)模時，可以獲得光滑的穩(wěn)定解。因此為了避免神經(jīng)網(wǎng)絡(luò)模型過于復(fù)雜，L2正則化方法常被用于懲罰神經(jīng)網(wǎng)絡(luò)中較大的參數(shù)[11];同時，Jin等[12]通過在神經(jīng)網(wǎng)絡(luò)優(yōu)化問題中引入L2正則項來提高神經(jīng)網(wǎng)絡(luò)對離群點數(shù)據(jù)的魯棒性。但是L2正則化方法往往得到較稠密的解，因而不具備稀疏性。彈性網(wǎng)模型是前兩種方法的線性組合，該模型既具備L1正則化的特征選擇能力和稀疏性的特點，又具備L2正則化保留變量之間相關(guān)性的特點，因而該模型在防止過擬合的問題中有更加廣泛的應(yīng)用[13-14];但是在理論上，彈性網(wǎng)很難滿足無偏性和Oracle性質(zhì)。

為了更好地解決深度學(xué)習(xí)里的過擬合問題，本文在神經(jīng)網(wǎng)絡(luò)的損失函數(shù)中引入一種改進的彈性網(wǎng)模型，該模型可以被看作是L2正則化與加權(quán)的L1正則化的線性組合。在該模型里，L1正則化中的不同變量被自適應(yīng)地賦予不同的權(quán)重因子，在優(yōu)化神經(jīng)網(wǎng)絡(luò)參數(shù)時，這種加權(quán)的方式可以有選擇性地保留重要的權(quán)重分量，使得到的網(wǎng)絡(luò)參數(shù)具有稀疏性，從而降低過擬合的風(fēng)險。同時，通過理論推導(dǎo)可以證明，在L2正則化的協(xié)同作用下，該模型具有合理的群組選擇能力，因而相關(guān)性強的權(quán)重分量得以同時去除或者保留。除此之外，該模型還具備Oracle性質(zhì)，可以保證對系數(shù)不為零的參數(shù)進行無偏估計。因而該模型是一種功能性更強的正則化模型。為了進一步驗證該模型的實際效果，本文做了充分的對比實驗，通過實驗結(jié)果驗證了該方法可以有效地防止深度學(xué)習(xí)中的過擬合問題，而且正則化的效果要明顯優(yōu)于現(xiàn)有的主流模型。

1 基于改進的彈性網(wǎng)的神經(jīng)網(wǎng)絡(luò)優(yōu)化模型深層神經(jīng)網(wǎng)絡(luò)（如圖1所示）的學(xué)習(xí)目標(biāo)是在給定的樣本集上最小化期望損失，可以定義為：

其中：w和b分別是網(wǎng)絡(luò)的權(quán)重和偏置，也是深度學(xué)習(xí)的優(yōu)化對象;x是神經(jīng)網(wǎng)絡(luò)的輸入，即樣本屬性; y*是樣本的期望輸出; p（x）為樣本的概率密度函數(shù);J（w，b;x， y*）是關(guān)于權(quán)重w和偏置b的函數(shù)，該函數(shù)用來度量實際輸出y和期望輸出y*之間的距離（可以是歐氏距離，也可以是Kullback-Leibler（K-L）散度）。?為了提升神經(jīng)網(wǎng)絡(luò)的性能，一種最有效的辦法是通過加入正則化項對損失函數(shù)進行約束求解，有如下定義：

其中：R（w）為正則化項。常用正則化項有： ，即彈性網(wǎng)。λ為正則項參數(shù)，表示正則項在整體模型中占的比重。這些模型的性質(zhì)已在引言中進行討論，為了克服這些現(xiàn)有模型的不足，一種改進的彈性網(wǎng)正則化模型被引入到神經(jīng)網(wǎng)絡(luò)的優(yōu)化過程中。

首先，引入這種改進的彈性網(wǎng)模型：為一個非常小的數(shù)，用來防止分母為0;w*i為彈性網(wǎng)模型的參數(shù)優(yōu)化結(jié)果;λ2必須和彈性網(wǎng)的參數(shù)相同;λ*1可以和λ1相同也可以不同;參數(shù)γ是一個正數(shù)。

最后，將改進的彈性網(wǎng)模型代入式（1），則深度學(xué)習(xí)優(yōu)化模型的定義可變形為：

在分類實驗里，損失函數(shù)為交叉熵（Cross Entropy， CE）函數(shù)，定義如下：

其中：c為輸出層神經(jīng)元的個數(shù);n為樣本數(shù)。在回歸實驗里，損失函數(shù)為均方誤差（Mean Squared Error， MSE），定義如下：

具體地，這里選取目前最流行的深度學(xué)習(xí)優(yōu)化算法為研究對象，即自適應(yīng)矩估計（Adaptive moment estimation， Adam）[15]。其中，在Adam模型中梯度的計算如下：

其中：sgn（·）為符號函數(shù)，J（w，b）w可以通過神經(jīng)網(wǎng)絡(luò)的BP算法得到。

基于改進的彈性網(wǎng)的神經(jīng)網(wǎng)絡(luò)優(yōu)化算法的流程如算法1所示。

算法1 基于改進的彈性網(wǎng)的神經(jīng)網(wǎng)絡(luò)優(yōu)化算法。

輸入 數(shù)據(jù)集（X，Y），Adam算法超參數(shù)，正則項系數(shù)λ。

輸出 訓(xùn)練后的模型參數(shù)。

1）輸入數(shù)據(jù)集，構(gòu)建彈性網(wǎng)模型進行迭代：

2）得到彈性網(wǎng)模型的參數(shù)后，按式（2）構(gòu)建改進的彈性網(wǎng)。

3）按式（3）構(gòu)建新的優(yōu)化模型，重新進行迭代。

2 改進的彈性網(wǎng)的相關(guān)性質(zhì)?性質(zhì)為了防止反向傳播中的梯度消失現(xiàn)象，通常采用的激活函數(shù)為修正線性單元（Rectified Linear Unit， ReLU），此函數(shù)的形式如下：

不失一般性，考慮神經(jīng)元輸出不為零的情況，此時一個神經(jīng)元的前向計算可以被視為一個線性回歸過程。為了表述方便，下面的證明中偏置暫時不被考慮。設(shè)第l層神經(jīng)元的輸入為n×cl-1維度的矩陣X，設(shè)期望輸出為n×cl維度的矩陣Y，其中cl-1和cl分別表示第l層和第l-1層神經(jīng)元的個數(shù)。在衡量實際輸出與期望輸出的距離時，使用歐氏距離作為標(biāo)準(zhǔn)，此時優(yōu)化目標(biāo)可以表示如下：其中：*為模型參數(shù)估計值，為模型參數(shù)真實值，并且通過證明改進的彈性網(wǎng)模型滿足性質(zhì)1）與性質(zhì)2），說明了該模型具有Oracle性質(zhì)。該性質(zhì)表明：該模型的估計值可以以1的概率正確估計非零的參數(shù)，并且估計值的非零部分服從漸近正態(tài)分布。

3 實驗與分析

3.1 實驗數(shù)據(jù)集

本文實驗采用的數(shù)據(jù)集包括分類實驗數(shù)據(jù)集和回歸實驗數(shù)據(jù)集兩個部分，這些數(shù)據(jù)集的信息分別匯總在表1～2中。這些數(shù)據(jù)集來自UCI機器學(xué)習(xí)數(shù)據(jù)庫網(wǎng)站和KEEL數(shù)據(jù)集網(wǎng)站，并且在回歸問題中都是對單一屬性進行回歸預(yù)測。為了更好地進行實驗，數(shù)據(jù)集在標(biāo)準(zhǔn)化處理后被劃分為訓(xùn)練集、驗證集和測試集。

3.2 實驗設(shè)置

所有實驗的實驗環(huán)境為Windows 10（64位）操作系統(tǒng)， Python 3.6以及Tensorflow 1.5 GPU版本，顯卡為GTX 1060 6GB顯存。實驗中用到的神經(jīng)網(wǎng)絡(luò)為全連接的多隱層前向傳播網(wǎng)絡(luò)模型，并且對于同一個數(shù)據(jù)集采用的網(wǎng)絡(luò)結(jié)構(gòu)相同。超參數(shù)λ1和λ2的取值范圍是{107，106，…，10-7}，在每個數(shù)據(jù)集上固定網(wǎng)絡(luò)結(jié)構(gòu)，經(jīng)過多次實驗，使得L1、L2和彈性網(wǎng)（Elastic Net，EN）模型取得最好結(jié)果的參數(shù)作為該數(shù)據(jù)集上實驗對比所用的參數(shù)，改進的彈性網(wǎng)（Advanced EN， AEN）模型的λ*1和λ2設(shè)置與EN相同，后續(xù)實驗可以驗證，在EN達到最好效果時，改進的彈性網(wǎng)仍能繼續(xù)改善網(wǎng)絡(luò)的性能。訓(xùn)練集用來進行模型參數(shù)的學(xué)習(xí)，驗證集用來評估不同階段的模型的表現(xiàn);測試集用來評估訓(xùn)練結(jié)束后的模型的性能。分類實驗采用交叉熵（CE）作為驗證集上的評價指標(biāo)，同時采用準(zhǔn)確度（Accuracy， ACC）作為測試集上的評價指標(biāo);回歸實驗采用均方誤差（MSE）作為驗證集和測試集上的評價指標(biāo)。

3.3 實驗分析

本文主要對比的方法有：在L1正則項約束下的優(yōu)化模型（L1），在L2正則項約束下的優(yōu)化模型（L2），在彈性網(wǎng)約束下的優(yōu)化模型（EN），以及在本文方法約束下的優(yōu)化模型（AEN）。圖2展示了在其中四個數(shù)據(jù)集的驗證集上的對數(shù)損失值隨迭代次數(shù)的變化趨勢。圖3～4為在不同數(shù)據(jù)集上訓(xùn)練結(jié)果和測試結(jié)果之間的差值，這些差值反映了模型的過擬合程度，差值越大，過擬合情況越嚴(yán)重。具體表現(xiàn)為：在分類問題上，測試準(zhǔn)確率越低于訓(xùn)練準(zhǔn)確率;在回歸問題上，測試誤差越高于訓(xùn)練誤差。表3～4則給出了以上方法在不同測試集上的最終測試結(jié)果，以及AEN相對于L1、L2和EN的平均準(zhǔn)確率提升數(shù)值和均方誤差下降數(shù)值。

從圖3～4可看出，AEN在防止過擬合的問題中取得了較為突出的表現(xiàn)。除此之外，從表3～4可看出：AEN方法在大多數(shù)情況下可以得到更低的回歸損失值和較高的分類準(zhǔn)確率，且通過圖2中在驗證集上的損失變化曲線可以看出：L1方法由于其稀疏性更容易得到一個較低的損失;L2方法由于其平滑的特性，曲線一般更加光滑穩(wěn)定，但一般不會得到一個較低的損失;EN方法由于將兩者結(jié)合，經(jīng)常會得到一個比前兩者更好的結(jié)果;AEN方法在不同的數(shù)據(jù)集上可以得到比其他方法更低的預(yù)測損失。結(jié)合圖3～4和表3～4可以得出：AEN方法不僅可以在訓(xùn)練階段使得深層神經(jīng)網(wǎng)絡(luò)模型更魯棒地擬合數(shù)據(jù)分布，而且所得到的模型在未知數(shù)據(jù)上也有較好的泛化能力。產(chǎn)生這些結(jié)果的原因可以被歸結(jié)為以下兩點：1）在彈性網(wǎng)的框架下，能夠兼顧稀疏性和平滑性，在能夠減輕模型復(fù)雜度的同時又容易找到最優(yōu)解;2）改進的彈性網(wǎng)模型是在彈性網(wǎng)基礎(chǔ)上對L1部分再進行加權(quán)，對不同的參數(shù)，配給不同的權(quán)重變量，對于較大的參數(shù)將會配給一個較小的權(quán)重，對于較小的參數(shù)將會配給一個較大的權(quán)重，這樣在迭代更新時，較大的、重要的參數(shù)將會更容易被保留下來，較小的、不重要的參數(shù)也會更容易接近0。

4 結(jié)語

本文對深度學(xué)習(xí)以及正則化方法進行了研究與分析。首先討論了L1正則化、L2正則化和彈性網(wǎng)正則化，并基于這些正則化模型的優(yōu)勢與缺點，提出一種基于彈性網(wǎng)的改進模型。然后，將這個改進的彈性網(wǎng)正則化方法與深度學(xué)習(xí)算法相結(jié)合，提出一種對神經(jīng)網(wǎng)絡(luò)參數(shù)進行約束求解的新方法。在理論上，證明了這個改進的彈性網(wǎng)模型具有群組選擇能力和Oracle性質(zhì)，這些性質(zhì)的證明可以保證改進的方法在一定程度上避免深度學(xué)習(xí)中的過擬合問題，從而提高深層神經(jīng)網(wǎng)絡(luò)的泛化能力。在實驗上，通過對比不同方法在多個驗證集和測試集的表現(xiàn)，可以看到改進的彈性網(wǎng)模型不僅可以在訓(xùn)練階段較魯棒地收斂至較低的損失值，在對未知樣本的預(yù)測階段也體現(xiàn)出了較好的泛化能力，通過對實驗結(jié)果進行分析，得出改進的彈性網(wǎng)模型取得好的效果的原因，日后主要的研究目標(biāo)是把本文方法應(yīng)用在更多的實際問題中。

參考文獻（References）

[1] LECUN Y， BENGIO Y， HINTON G. Deep learning[J]. Nature， 2015， 521（7553）： 436-444.

[2] SZEGEDY C， LIU W， JIA Y， et al. Going deeper with convolutions[C]// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2015： 1-9.

[3] 陳文兵， 管正雄， 陳允杰. 基于條件生成式對抗網(wǎng)絡(luò)的數(shù)據(jù)增強方法[J]. 計算機應(yīng)用， 2018， 38（11）： 3305-3311. （CHEN W B， GUAN Z X， CHEN Y J. Data augmentation method based on conditional generative adversarial net model[J]. Journal of Computer Applications， 2018， 38（11）： 3305-3311.）

[4] SRIVASTAVA N， HINTON G， KRIZHEVSKY A， et al. Dropout： a simple way to prevent neural networks from overfitting[J]. The Journal of Machine Learning Research， 2014， 15（1）： 1929-1958.

[5] ZHANG Z， LUO P， LOY C C， et al. Facial landmark detection by deep multi-task learning[C]// Proceedings of the 2014 European Conference on Computer Vision， LNCS 8694. Cham： Springer， 2014： 94-108.

[6] TIKHONOV A N. Solution of incorrectly formulated problems and the regularization method[J]. Doklady Akademii Nauk SSSR， 1963， 151： 501-504.

[7] ANTONIADIS A， FAN J. Regularization of wavelet approximations[J]. Journal of the American Statistical Association， 2001， 96（455）： 939-967.

[8] LIAN L， LIU A， LAU V K N. Weighted LASSO for sparse recovery with statistical prior support information[J]. IEEE Transactions on Signal Processing， 2018， 66（6）： 1607-1618.

[9] CUI C， WANG D. High dimensional data regression using Lasso model and neural networks with random weights[J]. Information Sciences， 2016， 372： 505-517.

[10] TANG J， DENG C， HUANG G. Extreme learning machine for multilayer perceptron[J]. IEEE Transactions on Neural Networks and Learning Systems， 2016， 27（4）： 809-821.

[11] PHAISANGITTISAGUL E. An analysis of the regularization between l2 and dropout in single hidden layer neural network[C]// Proceedings of the 7th International Conference on Intelligent System， Modelling and Simulation. Piscataway： IEEE， 2016： 174-179.

[12] JIN J， CHEN C L P. Regularized robust broad learning system for uncertain data modeling[J]. Neurocomputing， 2018， 322： 58-69.

[13] 李光早， 王士同. 基于稀疏表示和彈性網(wǎng)絡(luò)的人臉識別[J]. 計算機應(yīng)用， 2017， 37（3）： 901-905. （LI G Z， WANG S T. Face recognition based on sparse representation and elastic network[J]. Journal of Computer Applications， 2017， 37（3）： 901-905.）

[14] LI Q， SUN Y， WANG C， et al. Elastic net hypergraph learning for image clustering and semi-supervised classification[J]. IEEE Transactions on Image Processing， 2017， 26（1）： 452-463.

[15] KINGMA D P， BA J L. Adam： a method for stochastic optimization[EB/OL]. [2019-01-10]. https：//arxiv.org/pdf/1412.6980.pdf.

[16] MARQUARIDT D W. Generalized inverses， ridge regression， biased linear estimation， and nonlinear estimation[J]. Technometrics， 1970， 12（3）： 591-612.