徐承俊 朱國賓

(武漢大學(xué)遙感信息工程學(xué)院 湖北 武漢 430079)

0 引 言

大數(shù)據(jù)在帶來豐富信息和寶貴資源的同時(shí)，也給處理數(shù)據(jù)、分析數(shù)據(jù)等工作帶來了巨大的壓力和嚴(yán)峻的挑戰(zhàn)。如何高效開發(fā)和利用大數(shù)據(jù)，挖掘其背后隱藏的有價(jià)值的信息，利用大數(shù)據(jù)更好地把握和預(yù)測未來各領(lǐng)域發(fā)展趨勢，更好地為人類服務(wù)，是數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)領(lǐng)域的核心問題之一。深度學(xué)習(xí)是目前應(yīng)用最廣泛的學(xué)習(xí)方法和框架之一，其模型框架使用監(jiān)督/非監(jiān)督學(xué)習(xí)，已成功應(yīng)用于新型數(shù)據(jù)驅(qū)動(dòng)態(tài)勢感知[1]、基于大數(shù)據(jù)醫(yī)療保健治療[2]、信息服務(wù)[3]和工業(yè)大數(shù)據(jù)應(yīng)用[4]等領(lǐng)域。小米、阿里巴巴和新浪等IT巨頭都已經(jīng)加大對(duì)大數(shù)據(jù)的投入、采集、分析和研發(fā)，推出各種個(gè)性化服務(wù)，如：阿里基于大數(shù)據(jù)深度學(xué)習(xí)框架為用戶推薦爆款商品、道路路況擁堵、新聞推送等[5]；百度也推出了地圖匹配和搜索、聯(lián)想輸入等；微軟的語音同步翻譯與IBM人工智能也都使用了深度學(xué)習(xí)框架[6]。雖然深度學(xué)習(xí)在上述領(lǐng)域已表現(xiàn)出巨大優(yōu)勢，也取得了很好進(jìn)展，但仍舊存在不足，主要表現(xiàn)為以下幾個(gè)方面：

(1) 數(shù)據(jù)信息缺失等不完整性。大數(shù)據(jù)中含噪聲數(shù)據(jù)，如屬性、參數(shù)缺失等。目前模型針對(duì)標(biāo)準(zhǔn)數(shù)據(jù)集，而面對(duì)實(shí)時(shí)數(shù)據(jù)時(shí)稍顯不足。

(2) 大數(shù)據(jù)的海量性。模型訓(xùn)練中數(shù)據(jù)量大、類型多，數(shù)據(jù)結(jié)構(gòu)復(fù)雜度高，普遍采用云存儲(chǔ)、云計(jì)算，但會(huì)導(dǎo)致數(shù)據(jù)安全等問題。

(3) 數(shù)據(jù)的動(dòng)態(tài)性。目前使用的深度學(xué)習(xí)框架基本是靜態(tài)模型，執(zhí)行過程中不能更改，故無法滿足實(shí)時(shí)動(dòng)態(tài)變化需求。

(4) 數(shù)據(jù)的異構(gòu)性。大部分現(xiàn)有模型基于向量空間表示，適用于處理一維或者二維數(shù)據(jù)，很難處理高維異構(gòu)數(shù)據(jù)，存在局限性。

為了有效克服上述問題，本文分析大數(shù)據(jù)特征并針對(duì)上述問題中的動(dòng)態(tài)性和異構(gòu)性提出以下解決方法：(1) 設(shè)計(jì)遞增式迭代深層學(xué)習(xí)模型，主要針對(duì)數(shù)據(jù)結(jié)構(gòu)和參數(shù)進(jìn)行更新，提高模型對(duì)新進(jìn)數(shù)據(jù)的拓展適應(yīng)性，滿足大數(shù)據(jù)變化要求；(2) 數(shù)據(jù)結(jié)構(gòu)采用張量表示，將數(shù)據(jù)表示從一維、二維向量空間擴(kuò)展到高維張量空間，構(gòu)建更深層次模型。

1 遞增式迭代深層學(xué)習(xí)模型

大數(shù)據(jù)變化快、數(shù)據(jù)量大，需要及時(shí)進(jìn)行處理，以獲取最新信息。所以要求算法、模型能適應(yīng)此要求。遞增式迭代深層學(xué)習(xí)模型即在原模型基礎(chǔ)上，保留原訓(xùn)練參數(shù)忽略原結(jié)果，只對(duì)新進(jìn)數(shù)據(jù)更新模型參數(shù)或結(jié)構(gòu)，學(xué)習(xí)新特征，即在保存原模型參數(shù)、知識(shí)結(jié)構(gòu)的同時(shí)具備學(xué)習(xí)新特征的能力。

機(jī)器學(xué)習(xí)中傳統(tǒng)模型訓(xùn)練是將整個(gè)訓(xùn)練集同時(shí)送入模型進(jìn)行訓(xùn)練，此過程中無法對(duì)模型參數(shù)或結(jié)構(gòu)進(jìn)行動(dòng)態(tài)更新，無法滿足實(shí)時(shí)性要求，存在局限性。

為了克服上述問題，本節(jié)提出一種支持大數(shù)據(jù)實(shí)時(shí)更新的深層計(jì)算模型，主要是對(duì)模型參數(shù)或結(jié)構(gòu)更新。在參數(shù)更新方法中，借鑒一階微分思想，不采用傳統(tǒng)迭代的方式進(jìn)行求解，避免了原數(shù)據(jù)集的再次訓(xùn)練，從而提升參數(shù)更新速度，使得新模型能快速學(xué)習(xí)新數(shù)據(jù)特征。訓(xùn)練時(shí)若增加模型節(jié)點(diǎn)，則將獲取的新參數(shù)與原參數(shù)有機(jī)結(jié)合后賦值于新模型的新初始值，這樣在原有模型參數(shù)基礎(chǔ)上，加快計(jì)算速度，使其更快收斂。

1.1 問題概述

實(shí)現(xiàn)支持遞增迭代式更新的深層計(jì)算模型需要將多個(gè)此計(jì)算模型進(jìn)行合理疊加，組建支持遞增更新的更深層次計(jì)算模型。在接收新進(jìn)數(shù)據(jù)后，其目標(biāo)是保存原模型參數(shù)，不再重新訓(xùn)練原數(shù)據(jù)集，引入新進(jìn)數(shù)據(jù)時(shí)更新模型的參數(shù)與結(jié)構(gòu)，學(xué)習(xí)新數(shù)據(jù)特征，即此模型既要完成保留原模型參數(shù)，又要實(shí)現(xiàn)對(duì)新數(shù)據(jù)進(jìn)行訓(xùn)練學(xué)習(xí)。該模型需要滿足下面三個(gè)原則：

(1) 拓展適應(yīng)原則。改進(jìn)的新模型具有對(duì)新進(jìn)數(shù)據(jù)集特征學(xué)習(xí)的能力，能適應(yīng)大數(shù)據(jù)實(shí)時(shí)變化。

(2) 兼顧原則。新模型既保留原模型參數(shù)，又訓(xùn)練新數(shù)據(jù)參數(shù)等。

(3) 遞增原則。在接收新數(shù)據(jù)時(shí)，保留原數(shù)據(jù)特征參數(shù)等信息，不再訓(xùn)練原始數(shù)據(jù)集，僅訓(xùn)練新進(jìn)數(shù)據(jù)。

實(shí)現(xiàn)上述功能有多種方式和方法，本節(jié)主要討論以下兩種方式：

(1) 結(jié)構(gòu)更新。大數(shù)據(jù)更新快、數(shù)據(jù)量大，主要通過增加隱藏層神經(jīng)元數(shù)目對(duì)模型結(jié)構(gòu)、參數(shù)進(jìn)行更新。傳統(tǒng)機(jī)器學(xué)習(xí)中，數(shù)據(jù)結(jié)構(gòu)表示是向量，可以直接增加若干個(gè)隱藏層神經(jīng)元，但是遞增式迭代深度學(xué)習(xí)模型處理的數(shù)據(jù)結(jié)構(gòu)是張量，要根據(jù)其結(jié)構(gòu)和類型確定增加的神經(jīng)元數(shù)目。

(2) 參數(shù)更新。當(dāng)新進(jìn)數(shù)據(jù)特征變化不明顯，可以通過對(duì)原模型參數(shù)更新，實(shí)現(xiàn)模型更新。

1.2 結(jié)構(gòu)更新的遞增式迭代深層學(xué)習(xí)模型

結(jié)構(gòu)更新即增加隱藏層神經(jīng)元數(shù)目實(shí)現(xiàn)對(duì)原模型修改。一個(gè)具有m個(gè)輸入變量和n個(gè)隱藏層神經(jīng)元的自動(dòng)編碼機(jī)，其原始模型結(jié)構(gòu)如圖1所示，其中“+1”表示新增加的1個(gè)神經(jīng)元。

圖1 原始模型結(jié)構(gòu)

設(shè)模型參數(shù)η={k(1),t(1),k(2),t(2)}，表示如下:

k(1)∈Rm×nt(1)∈Rmk(2)∈Rm×nt(2)∈Rn

(1)

增加1個(gè)隱藏神經(jīng)元后的新結(jié)構(gòu)如圖2所示，調(diào)整參數(shù)，以適應(yīng)新進(jìn)數(shù)據(jù)學(xué)習(xí)。權(quán)重k(1)、k(2)分別增加1行1列，k(1)∈R(m+1)×n,k(2)∈Rm×(n+1),t也增加1個(gè)分量t(1)∈Rm+1。

圖2 改進(jìn)后的模型結(jié)構(gòu)

增加隱藏層神經(jīng)元并賦值新增參數(shù)為0。當(dāng)前參數(shù)η={k(1),t(1),k(2),t(2)}，增加p個(gè)隱藏神經(jīng)元后的初始參數(shù)表示如下：

(2)

新模型參數(shù)η={k(1)′,t(1)′,k(2)′,t(2)′}，使用反向傳播方法求模型的最終參數(shù)。然后考慮將模型擴(kuò)展到高維空間，設(shè)計(jì)基于增加隱藏層神經(jīng)元的模型結(jié)構(gòu)更新算法。一般只需增加若干個(gè)神經(jīng)元，而對(duì)于高維模型，則需要考慮高維模型的結(jié)構(gòu)特征。

如果一個(gè)輸入變量為g∈RS1×S2，隱藏層l∈RU1×U2，設(shè)η′={k(1),t(1),k(2),t(2)}，表示為：

k(1)∈Rυ×m×n(υ=U1×U2)t(1)∈RU1×U2k(2)∈R?×m×n(?=S1×S2)t(2)∈RS1×S2

(3)

式中：υ、?表示神經(jīng)元作用域范圍。

若隱藏層增加U1個(gè)神經(jīng)元后其結(jié)構(gòu)為l′∈RU1×(U2+1)，對(duì)應(yīng)的參數(shù)為η′={k(1)′,t(1)′,k(2)′,t(2)′}，表示為：

k(1)′∈Rυ′×S1×S2(υ′=U1×(U2+1))t(1)′∈RU1×(U2+1)k(2)′∈R?′×U1×(U2+1)(?=S1×S2)t(2)′∈RS1×S2

(4)

式中：υ′表示新增U1個(gè)神經(jīng)元作用域范圍。

增加U2個(gè)神經(jīng)元后的隱藏層結(jié)構(gòu)l′∈R(U1+1)×U2，其參數(shù)為η″={k(1)″,t(1)″,k(2)″,t(2)″}，表示為：

k(1)″∈Rυ″×S1×S2(υ″=(U1+1)×U2)t(1)″∈R(U1+1)×U2k(2)″∈R?′×(U1+1)×U2(?=S1×S2)t(2)″∈RS1×S2

(5)

式中：υ″表示新增U2個(gè)神經(jīng)元作用域范圍。

(6)

輸入變量g∈RS1×S2×…×SN模型一般形式，隱藏層結(jié)構(gòu)l′∈RU1×U2×…×UN，參數(shù)η={k(1),t(1),k(2),t(2)}表示為：

k(1)∈Rχ×S1×S2×…×SNχ=U1×U2×…×UNt(1)∈RU1×U2×…×UNk(2)∈Rδ×U1×U2×…×UNδ=S1×S2×…×SNt(1)∈RS1×S2×…×SN

(7)

(U2+p2)×…×(UN+pN)

?=S1×S2×…×SN

(8)

結(jié)構(gòu)更新得到新模型后，將新模型中參數(shù)的新增分量初始值賦為0，應(yīng)用算法1計(jì)算新模型最終的參數(shù)。

算法1反向傳播算法

Step5采用梯度下降算法取合適步長進(jìn)一步更新模型參數(shù)，找出最優(yōu)解。

Step6重復(fù)Step2-Step5直到模型收斂。

根據(jù)原模型訓(xùn)練結(jié)果得到參數(shù)，加上新進(jìn)數(shù)據(jù)參數(shù)不斷調(diào)整，并與原模型參數(shù)有機(jī)結(jié)合作為新模型初始參數(shù)值，因此新模型在原有參數(shù)基礎(chǔ)上訓(xùn)練，其收斂速度更快，更好地滿足數(shù)據(jù)變化需求。

1.3 模型實(shí)施

支持遞增更新的深層學(xué)習(xí)模型有兩個(gè)階段：預(yù)先訓(xùn)練與局部微調(diào)。第一階段，通過參數(shù)或結(jié)構(gòu)更新采用自下而上遞增迭代的方式完成各分支模塊的訓(xùn)練，將訓(xùn)練后的多個(gè)遞增式模型疊加，組成更深層次模型。第二階段，使用有標(biāo)簽數(shù)據(jù)對(duì)參數(shù)進(jìn)行調(diào)整訓(xùn)練，通過前向傳播和反向傳播算法相結(jié)合使用，計(jì)算獲得最后參數(shù)。

1.4 參數(shù)更新的深層學(xué)習(xí)模型

參數(shù)更新方法不同于1.2節(jié)中的結(jié)構(gòu)更新，不需要對(duì)模型結(jié)構(gòu)調(diào)整與修改，只需要根據(jù)新進(jìn)數(shù)據(jù)特征將原參數(shù)η更新為η+Δη，使其能夠適應(yīng)學(xué)習(xí)新數(shù)據(jù)特征，參數(shù)更新的模型參數(shù)η={k(1),t(1),k(2),t(2)}，數(shù)據(jù)結(jié)構(gòu)由低維向量擴(kuò)展成高維張量組成。t(a)(a=1,2)與k(a)(a=1,2)由N維、N+1維張量表示，借鑒一階近似導(dǎo)數(shù)思路，在不改變結(jié)構(gòu)的基礎(chǔ)上調(diào)整參數(shù)來滿足數(shù)據(jù)處理實(shí)時(shí)性要求。

(9)

Δanew=ν(a,η+Δη)-a表示計(jì)算模型從η更新到η+Δη的新誤差。其中：η為原參數(shù)，η+Δη為新參數(shù)，ρ表示學(xué)習(xí)效率，a為與I同階的一個(gè)參數(shù)。

同理，定義保持性誤差函數(shù)：

(10)

式中：γ表示誤差因子，在本文中取值為0.3。

兼顧保持性與拓展適應(yīng)性，其代價(jià)函數(shù)U(a,η+Δη)表示為：

U(a,η+Δη)=Uadaption+Upreservation

(11)

參數(shù)更新模型的方法是找尋使得式(11)最小值來求解遞增Δη，對(duì)其進(jìn)行泰勒公式應(yīng)用展開求解：

得到代價(jià)表示函數(shù)U(a,η+Δη)近似為：

根據(jù)求導(dǎo)法則，令導(dǎo)數(shù)等于0后并對(duì)Δη求導(dǎo)，得近似值，如下：

進(jìn)一步繼續(xù)求解，得到：

(12)

式中：Δη和η表示參數(shù)張量的變化量和張量，類似線性梯度下降算法；Δa表示模型輸出值與a的差值。

算法2參數(shù)更新算法

Step1根據(jù)前向傳播方法計(jì)算遞增式迭代深度學(xué)習(xí)模型輸出值ν(a,η)。

Step2求解遞增式迭代深層學(xué)習(xí)模型的輸出與x的差值Δη。

Step4應(yīng)用式(12)計(jì)算新模型參數(shù)的Δη遞增值，將模型參數(shù)更新為η+Δη。

根據(jù)算法2，當(dāng)新進(jìn)數(shù)據(jù)進(jìn)入模型并完成加載后，模型可完成對(duì)其訓(xùn)練、學(xué)習(xí)，完成參數(shù)更新等操作，且無須對(duì)原始數(shù)據(jù)重復(fù)訓(xùn)練，只對(duì)新進(jìn)數(shù)據(jù)訓(xùn)練，具有很高的拓展適應(yīng)性，能提高計(jì)算性能。

2 基于張量表示的深度計(jì)算模型

不同于傳統(tǒng)數(shù)據(jù)，大數(shù)據(jù)包含大量非結(jié)構(gòu)化、半結(jié)構(gòu)化和結(jié)構(gòu)化數(shù)據(jù)。傳統(tǒng)機(jī)器學(xué)習(xí)模型和算法是基于結(jié)構(gòu)化數(shù)據(jù)，而大數(shù)據(jù)中通常包含視頻、語音和圖像等半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)，約占總數(shù)據(jù)的80%以上[7]。

當(dāng)前模型主要是對(duì)單一數(shù)據(jù)結(jié)構(gòu)的特征學(xué)習(xí)，2010年Ngiam等提出多模深度學(xué)習(xí)模型，能夠?qū)W習(xí)語音與圖像特征。2012年Srivastava等提出多模深度玻爾茲曼機(jī)，能夠?qū)W習(xí)文本與圖像特征。雖然上述模型能解決部分問題，但依舊存在模型學(xué)習(xí)效率低等問題。根本原因是其數(shù)據(jù)結(jié)構(gòu)是采用向量表示，表達(dá)高維數(shù)據(jù)時(shí)信息易丟失。

本文針對(duì)上述問題，提出一種應(yīng)用張量對(duì)異構(gòu)數(shù)據(jù)進(jìn)行表示的方法。將向量表示擴(kuò)展到張量表示，構(gòu)建基于張量空間模型，并且使用張量距離替代歐氏距離構(gòu)造誤差函數(shù)，減少誤差和損失。設(shè)計(jì)基于張量的高階反向傳播算法求解參數(shù)，然后將多個(gè)高階模型進(jìn)行疊加，構(gòu)建更深層次模型。主要思路如下：

(1) 異構(gòu)數(shù)據(jù)采用張量的表示方法，使該模型能夠?qū)W習(xí)各類異構(gòu)數(shù)據(jù)，并將高維模型進(jìn)行疊加，組成更深層次模型，實(shí)現(xiàn)多層學(xué)習(xí)。

(2) 使用張量距離而不是傳統(tǒng)歐氏距離構(gòu)建誤差函數(shù)。

(3) 設(shè)計(jì)基于張量的反向傳播算法。

因此，本文從以下幾個(gè)方面解決張量的深度學(xué)習(xí)模型的關(guān)鍵問題：

(1) 傳統(tǒng)模型是以向量、矩陣表達(dá)和計(jì)算的，如何使用張量來描述，使得數(shù)據(jù)更加準(zhǔn)確是第一個(gè)關(guān)鍵問題。

(2) 傳統(tǒng)歐氏距離在張量表示的高維空間受理論知識(shí)限制，導(dǎo)致數(shù)據(jù)特征表示不準(zhǔn)確，故采用張量距離表示誤差函數(shù)。

(3) 反向傳播算法大都基于向量表示空間設(shè)計(jì)的，無法用于張量表示，所以需要設(shè)計(jì)基于張量空間的反向傳播算法以適應(yīng)新模型。

2.1 張量的數(shù)據(jù)表示

1890年沃爾德馬爾·福格特提出張量[8-10]，本文中使用的一些定義及運(yùn)算[11-12]如下:

定義1張量：令G1,G2,…,GN是維數(shù)為H1,H2,…,HN的N個(gè)有限維的歐氏空間，設(shè)N個(gè)向量u1∈V1,u2∈V2,…,uN∈VN，定義V1×V2×…×VN的多線性映射u1°u2°…°uN為：

(u1°u2°…°uN)(a1,a2,…,aN)=

V12…VN

(13)

式中：Vi表示Vi上標(biāo)量積，ai(i=1,2,…,N)為Gi上的任意向量。則全體(u1°u2°…°uN)構(gòu)成G1,G2,…,GN的張量空間，該空間上元素稱為G1,G2,…,GN上的N階張量。特別地，如果Gi=ZIi(i=1,2,…,N)，則張量空間為N階H1,H2,…,HN維實(shí)張量空間，表示為RH1×H2×…×HN。

定義2張量的n階展開：令A(yù)∈RH1×H2×…×HN為一個(gè)N階張量，其n階展開為Hn×(H1H2…Hn-1Hn…HN)矩陣，用A(n)表示，第(in,j)個(gè)元素為Ai1 i2 …iN。

特別地，一個(gè)N階張量A∈RH1×H2×…×HN可以展開成一個(gè)向量a。

定義3張量的外積：對(duì)于一個(gè)N階張量A∈RH1×H2×…×HN和M階張量B∈RU1×U2×…×UM。外積產(chǎn)生一個(gè)(M+N)階張量C∈RH1×H2×…×HN×U1×U2×…×UM，其元素Ch1,h2,…,hN,u1,u2,…,uM被定義為：

Ci1,i2,…,iN,j1,j2,…,jM=si1,i2,…,iN·tj1,j2,…,jM

(14)

式中：s、t分別表示張量A、B中的元素。

定義4張量的多點(diǎn)積：對(duì)于兩個(gè)N階張量A,B∈RH1×H2×…×HN，A和B的多點(diǎn)積產(chǎn)生一個(gè)張量C，且：

(15)

一幅彩色圖像用一個(gè)3階張量表示，一個(gè)視頻文件用一個(gè)4階張量表示。例如，彩色圖像用ZSW×SH×SC,其中SC、SW、SH分別表示該圖像顏色通道、寬度和高度。一幅256×256像素的彩色圖像表示為Z256×256×3，通常轉(zhuǎn)換成灰度圖像：

G=0.299R+0.587G+0.114R

(16)

對(duì)于一個(gè)視頻文件ZSW×SH×SC×SA，SC、SW、SH分別表示圖像顏色通道、寬度和高度，SA表示視頻的維度。如一個(gè)15秒的MP4視頻文件，設(shè)每秒20幀，每一幀由一幅圖片組成，則該視頻表示為R256×256×3×300。

2.2 高維自動(dòng)學(xué)習(xí)編碼機(jī)模型

定義5張量的多點(diǎn)乘積⊙：對(duì)于N+1階張量k∈Zυ×S1×S2×…×SN和N階張量g∈ZS1×S2×…×SN，其中k具有α個(gè)N階子張量，每個(gè)子張量k?∈ZS1×S2×…×SN。k和X的多點(diǎn)乘積得到N階張量l∈ZU1×U2×…×UN(U1×U2×…×UN=υ)，l=w⊙X。

與傳統(tǒng)模型不同，新模型每一層是一個(gè)張量，而不是一個(gè)向量，其他相同。設(shè)g∈ZS1×S2×…×SN，l∈ZU1×U2×…×UN表示輸出層和隱藏層變量。將輸入變量X經(jīng)過fθ映射到隱藏層l：

l=fθ(k(1)⊙a(bǔ)+t(1))

(17)

同時(shí)，解析函數(shù)gθ將隱藏層映射回重構(gòu)函數(shù)Y:

Y=hk,t(a)=gθ(k(2)⊙l+t(2))

(18)

(19)

(20)

(21)

(22)

式中：w為權(quán)重；b為偏移量。

文獻(xiàn)[13]使用張量距離重構(gòu)誤差函數(shù)，對(duì)于兩個(gè)張量X∈RI1×I2×…×IN、Y∈RI1×I2×…×IN，x和y分別表示張量X和Y按向量展開后形式，則張量距離表示為：

(23)

式中，glm是稀疏；G是矩陣的系數(shù)，反映高階數(shù)據(jù)不同坐標(biāo)內(nèi)在的聯(lián)系；xl、xm、yl、ym分別表示張量X和Y對(duì)應(yīng)的元素。

(24)

‖pl-pm‖2=

(25)

設(shè)訓(xùn)練集{(X(1),Y(1)),(X(2),Y(2)),…,(X(m),Y(m))}中包含m個(gè)訓(xùn)練集，對(duì)于任何一個(gè)實(shí)例(X,Y),將其展開對(duì)應(yīng)向量(x,y)，其重構(gòu)誤差函數(shù):

(26)

式中:遞增式迭代深度學(xué)習(xí)模型參數(shù)θ={W(1),b(1),W(2),b(2)}，在自動(dòng)學(xué)習(xí)編碼模型中令X=Y。對(duì)于整個(gè)訓(xùn)練集，基于張量距離的遞增式迭代深度計(jì)算模型重構(gòu)誤差函數(shù)為：

(27)

式中：第一項(xiàng)表示平均誤差；第二項(xiàng)是一個(gè)規(guī)范化項(xiàng)，主要是防止過度擬合。

2.3 高維反向傳播

(1) 前向傳播計(jì)算，計(jì)算z(2)、z(3)、a(2)、a(3)；

(2) 對(duì)于輸出層每個(gè)神經(jīng)元i，計(jì)算殘差:

(3) 對(duì)于隱藏層每個(gè)神經(jīng)元，也計(jì)算殘差:

(4) 對(duì)于隱藏層和輸出層每個(gè)神經(jīng)元，計(jì)算殘差:

(5) 當(dāng)l=1,2時(shí)，計(jì)算偏導(dǎo)數(shù):

2.4 深度學(xué)習(xí)模型

構(gòu)造更深層次計(jì)算模型將多個(gè)高維模型疊加，其訓(xùn)練主要有：預(yù)先訓(xùn)練與局部微調(diào)。訓(xùn)練過程可用于異構(gòu)數(shù)據(jù)監(jiān)督特征學(xué)習(xí)，如圖3所示。

圖3 訓(xùn)練模型圖

完成預(yù)訓(xùn)練后，可以根據(jù)每個(gè)數(shù)據(jù)對(duì)象的類標(biāo)簽，進(jìn)行有監(jiān)督學(xué)習(xí)，對(duì)模型進(jìn)行局部參數(shù)微調(diào)，獲得最后模型參數(shù)，如圖4所示。向量是1階特殊張量，此模型可以作為深度學(xué)習(xí)模型的擴(kuò)展。

圖4 參數(shù)調(diào)整模型圖

3 實(shí)驗(yàn)與分析

數(shù)據(jù)集選擇ImageNet中STL-10，其中包含500幅訓(xùn)練圖像和800幅測試圖像，總共有10個(gè)分類[14]，并且包含100 000幅未被標(biāo)記的圖像，可用來進(jìn)行無監(jiān)督訓(xùn)練。

數(shù)據(jù)集中每幅圖像用一個(gè)3階張量表示，因?yàn)橛?xùn)練集與測試集變化不大，參數(shù)的更新很小，所以只需通過參數(shù)更新就能實(shí)現(xiàn)模型對(duì)新數(shù)據(jù)特征學(xué)習(xí)。為進(jìn)一步驗(yàn)證本文提出的模型有效性，將STL-10數(shù)據(jù)集進(jìn)行如下設(shè)計(jì)：

(1)T0：訓(xùn)練數(shù)據(jù)集含500幅圖像；

(2)T1：測試數(shù)據(jù)集隨機(jī)抽取300幅圖像作為新增訓(xùn)練集；

(3)T2：測試數(shù)據(jù)集中剩余圖像作為測試集。

根據(jù)以上數(shù)據(jù)集訓(xùn)練如下參數(shù)：

(1)η(TAE)：根據(jù)T0運(yùn)行基本的模型，得到模型參數(shù)η；

(2) ITAE-1：以上一步得到的η為初始參數(shù)，執(zhí)行T1近似一階導(dǎo)，支持遞增更新深層模型，獲取更新參數(shù)ITAE-1；

(3) TAE-2：在T0+T1運(yùn)行更新前模型，獲取參數(shù)TAE-2；

(4) TAE-3：在數(shù)據(jù)集T2運(yùn)行更新前模型，獲得參數(shù)TAE-3。

實(shí)驗(yàn)以T2為測試數(shù)據(jù)集，計(jì)算均方誤差(MSE)驗(yàn)證以上參數(shù)對(duì)T2測試數(shù)據(jù)集分類的正確性。主要目標(biāo)是驗(yàn)證以上參數(shù)是否能對(duì)新數(shù)據(jù)有適應(yīng)能力，MSE越小說明適應(yīng)能力越強(qiáng)。實(shí)驗(yàn)10次，結(jié)果如圖5所示。

圖5 STL-10實(shí)驗(yàn)結(jié)果

均方誤差(平均結(jié)果)統(tǒng)計(jì)如表1所示。

表1 MSE統(tǒng)計(jì)結(jié)果(適應(yīng)性)

可以看出，以η為參數(shù)對(duì)T2進(jìn)行分類，得到MSE的值最大，因?yàn)樵加?jì)算模型是靜態(tài)的，參數(shù)確定好之后，無法更新，很難學(xué)習(xí)到新的數(shù)據(jù)特征。而本文模型能實(shí)現(xiàn)對(duì)參數(shù)更新，進(jìn)而對(duì)新數(shù)據(jù)進(jìn)行學(xué)習(xí)。

以T0為測試數(shù)據(jù)集，計(jì)算MSE驗(yàn)證以上參數(shù)對(duì)T0測試數(shù)據(jù)集分類的正確性。主要目標(biāo)是驗(yàn)證以上參數(shù)是否具有保持原數(shù)據(jù)的能力，MSE越小說明適應(yīng)能力越強(qiáng)。實(shí)驗(yàn)10次，結(jié)果如圖6所示。

圖6 保持性實(shí)驗(yàn)結(jié)果

均方誤差(平均結(jié)果)統(tǒng)計(jì)如表2所示。

表2 MSE統(tǒng)計(jì)結(jié)果(保持性)

實(shí)驗(yàn)結(jié)果表明，以η為參數(shù)對(duì)T0進(jìn)行分類得到MSE最小，因?yàn)棣鞘腔赥0進(jìn)行學(xué)習(xí)獲得的參數(shù)。以ITAE-1和ITAE-2為參數(shù)T0進(jìn)行分類，得到MSE結(jié)果依然很低，說明兩種算法對(duì)歷史數(shù)據(jù)具有較好的保持性，而ITAE-3獲得的MSE結(jié)果比其他參數(shù)高，因?yàn)槠洳话紨?shù)據(jù)參數(shù)信息等。

從實(shí)驗(yàn)結(jié)果可以得到：

(1) 新模型可保持原模型訓(xùn)練參數(shù)、知識(shí)結(jié)構(gòu)等信息，不需要對(duì)原數(shù)據(jù)重復(fù)訓(xùn)練。

(2) 保存原數(shù)據(jù)信息的同時(shí)能對(duì)新進(jìn)數(shù)據(jù)進(jìn)行特征學(xué)習(xí)，滿足大數(shù)據(jù)實(shí)時(shí)性要求，具有很好的拓展適應(yīng)性。

4 結(jié) 語

本文針對(duì)大數(shù)據(jù)變化特征、異構(gòu)特征等做了分析與研究，發(fā)現(xiàn)現(xiàn)有模型大部分基于向量空間表示學(xué)習(xí)，無法滿足大數(shù)據(jù)實(shí)時(shí)性要求，存在局限性。為了解決此類問題，本文設(shè)計(jì)遞增式迭代深層學(xué)習(xí)模型，分析與歸納該模型的關(guān)鍵問題，設(shè)計(jì)后向傳播方法、近似一階導(dǎo)方法更新參數(shù)和結(jié)構(gòu)等方法。實(shí)驗(yàn)證明，該模型能保持原參數(shù)等信息不變的同時(shí)繼續(xù)學(xué)習(xí)新進(jìn)數(shù)據(jù)特征，并且不需要對(duì)原始數(shù)據(jù)重新訓(xùn)練，設(shè)計(jì)基于高維張量空間表示的反向算法，將向量空間拓展到張量空間，適應(yīng)了大數(shù)據(jù)變化需求，提高模型計(jì)算效率，滿足了當(dāng)下大數(shù)據(jù)要求。