饒緒黎　陳志德　林晶　林峰

摘要：為了提高分散在無線傳感器網(wǎng)絡(luò)各個(gè)節(jié)點(diǎn)上的數(shù)據(jù)訓(xùn)練的準(zhǔn)確度和時(shí)效性，采用多層感知器分類算法訓(xùn)練數(shù)據(jù)，并將分類算法部署在TensorFlow分布式集群上，以實(shí)現(xiàn)協(xié)同訓(xùn)練。結(jié)果表明本算法與傳統(tǒng)算法相比，準(zhǔn)確率能控制在95%以上，訓(xùn)練時(shí)間縮短了65.8%，具有實(shí)際應(yīng)用價(jià)值。

關(guān)鍵詞：無線傳感器網(wǎng)絡(luò);多層感知器;TensorFlow;分布式協(xié)同訓(xùn)練;分類

中圖分類號(hào)：TP312文獻(xiàn)標(biāo)志碼：A文章編號(hào)：1008-4657（2019）02-0005-08

0引言

隨著科技的發(fā)展以及無線設(shè)備的廣泛使用，無線傳感器網(wǎng)絡(luò)（WSN）技術(shù)已經(jīng)成功出現(xiàn)在軍事、農(nóng)業(yè)、工業(yè)以及人類其他日常生活等諸多領(lǐng)域中，具有重要的應(yīng)用價(jià)值和意義[1]。對(duì)無線傳感器監(jiān)測(cè)到的數(shù)據(jù)進(jìn)行分類是一項(xiàng)基礎(chǔ)并且常見的任務(wù)。同時(shí)，很多經(jīng)典機(jī)器學(xué)習(xí)算法也被廣泛應(yīng)用于無線傳感器網(wǎng)絡(luò)領(lǐng)域中用于解決數(shù)據(jù)分類問題[2]。對(duì)WSN數(shù)據(jù)進(jìn)行分類訓(xùn)練，可以對(duì)單個(gè)傳感器節(jié)點(diǎn)進(jìn)行單獨(dú)訓(xùn)練，也可以將所有分散在各個(gè)傳感器節(jié)點(diǎn)上的數(shù)據(jù)進(jìn)行融合，然后進(jìn)行集中訓(xùn)練，但集中訓(xùn)練需要耗費(fèi)大量的節(jié)點(diǎn)能量和占用大量的帶寬。因此，研究如何對(duì)無線傳感器網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行分布式協(xié)同訓(xùn)練，具有十分重要的意義。

目前，越來越多的研究學(xué)者在關(guān)于無線傳感器網(wǎng)絡(luò)數(shù)據(jù)分類問題上研究通過使用機(jī)器學(xué)習(xí)算法解決問題[3]。文獻(xiàn)[4]針對(duì)無線傳感器網(wǎng)絡(luò)，提出了一種采用分布式K均值聚類的方法，自適應(yīng)加權(quán)分配的網(wǎng)絡(luò)數(shù)據(jù)融合處理機(jī)制。支持向量機(jī)SVM具有很強(qiáng)的理論基礎(chǔ)和廣泛的應(yīng)用，但運(yùn)行時(shí)和內(nèi)存消耗方面，底層優(yōu)化技術(shù)要求很高[5]。文獻(xiàn)[6]通過引入一種基于順序梯度提升的算法并修改偏差公式，訓(xùn)練過程在領(lǐng)域之間進(jìn)行信息交換通信，實(shí)現(xiàn)分布式并行執(zhí)行。文獻(xiàn)[7]利用乘法器的交替方向法，在不交換節(jié)點(diǎn)間訓(xùn)練數(shù)據(jù)的情況下，實(shí)現(xiàn)分布式的訓(xùn)練算法。文獻(xiàn)[8]在基于支持向量機(jī)的分布式學(xué)習(xí)系統(tǒng)中結(jié)合了壓縮感知技術(shù)，能夠抵抗帶寬和能量有限的無線傳感器網(wǎng)絡(luò)。文獻(xiàn)[9]通過研究網(wǎng)絡(luò)中相鄰節(jié)點(diǎn)之間的協(xié)作方式，提出了基于平均一致性的分布式支持向量機(jī)訓(xùn)練方法。這些傳統(tǒng)的分布式訓(xùn)練方法都是通過迭代求解權(quán)參數(shù)的方法，雖然能夠在一定程度上減少數(shù)據(jù)通信消耗，但對(duì)于數(shù)據(jù)訓(xùn)練的準(zhǔn)確度和時(shí)效性仍有待提高。

本文提出了一種基于多層感知器的分布式協(xié)同訓(xùn)練方法，采用多層感知器方法進(jìn)行分類訓(xùn)練，并將多層感知器訓(xùn)練算法搭建在TensorFlow分布式集群上，通過集群傳感器節(jié)點(diǎn)之間并行訓(xùn)練的方式，使分類準(zhǔn)確率得到提高，并大幅縮減訓(xùn)練時(shí)間。

1多層傳感器網(wǎng)絡(luò)

多層感知器（Multi-layer Perceptron，MLP）屬于一種前向反饋人工神經(jīng)網(wǎng)絡(luò)模型，目前已在模式識(shí)別、圖像處理等領(lǐng)域被廣泛應(yīng)用。多層感知器網(wǎng)絡(luò)由隱藏層、輸入層和輸出層組成，其中隱藏層的層數(shù)可以一個(gè)或多個(gè)。多層感知器神經(jīng)網(wǎng)絡(luò)模型如圖1所示。

其中隱藏層有兩個(gè)，除了輸入層以外，網(wǎng)絡(luò)中的每個(gè)節(jié)點(diǎn)稱為神經(jīng)元。同層內(nèi)的神經(jīng)元之間沒有連接，相鄰兩層之間的神經(jīng)元兩兩相連，也就是網(wǎng)絡(luò)的層間是全連接的，任意一個(gè)神經(jīng)元與下一層的所有節(jié)點(diǎn)都連接。信號(hào)從輸入層進(jìn)入多層感知器神經(jīng)網(wǎng)絡(luò)，從左到右依次順序傳播，前一層神經(jīng)元的輸出作為下一層神經(jīng)元的輸入數(shù)據(jù)，直到輸出層神經(jīng)元輸出最終結(jié)果。

假設(shè)神經(jīng)網(wǎng)絡(luò)中有一個(gè)神經(jīng)元j，整個(gè)多層感知器神經(jīng)網(wǎng)絡(luò)的訓(xùn)練集，包含N個(gè)訓(xùn)練樣本，那么當(dāng)?shù)趉個(gè)訓(xùn)練樣本經(jīng)過神經(jīng)元j時(shí)的信號(hào)圖如圖2所示。

2算法模型

由于在現(xiàn)實(shí)環(huán)境下，單機(jī)訓(xùn)練大型神經(jīng)網(wǎng)絡(luò)的速度非常緩慢，這就需要能夠?qū)⑺惴ǚ植荚诙嗯_(tái)傳感器節(jié)點(diǎn)上，并行訓(xùn)練。TensorFlow是Google推出的第二代分布式機(jī)器學(xué)習(xí)系統(tǒng)，是目前較為流行的深度學(xué)習(xí)框架，是用于大規(guī)模分布式數(shù)值計(jì)算的開源框架，目前已經(jīng)被廣泛應(yīng)用于圖像識(shí)別、語音識(shí)別、自熱語言處理等領(lǐng)域。本文提出的無線傳感器網(wǎng)絡(luò)分布式協(xié)同訓(xùn)練方法是基于此平臺(tái)來實(shí)現(xiàn)的。

TensorFlow平臺(tái)分布式支持通過單臺(tái)計(jì)算機(jī)實(shí)現(xiàn)與多臺(tái)計(jì)算機(jī)設(shè)備實(shí)現(xiàn)，如圖3所示。

工作架構(gòu)由客戶端，服務(wù)端組成，服務(wù)端包括主節(jié)點(diǎn)，工作節(jié)點(diǎn)組成?？蛻舳藭?huì)話聯(lián)系主節(jié)點(diǎn)，實(shí)際工作由工作節(jié)點(diǎn)實(shí)現(xiàn)，每個(gè)工作節(jié)點(diǎn)占一臺(tái)傳感器節(jié)點(diǎn)。Tensorflow是基于圖的計(jì)算框架，圖的節(jié)點(diǎn)由事先預(yù)定義的運(yùn)算組成，而圖中節(jié)點(diǎn)到其它節(jié)點(diǎn)之間的連接則為邊，那么在邊中流動(dòng)傳輸?shù)臄?shù)據(jù)是張量。在圖的框架中，每一個(gè)節(jié)點(diǎn)允許有多個(gè)輸入以及有多個(gè)輸出，并且每一個(gè)節(jié)點(diǎn)呈現(xiàn)對(duì)應(yīng)于一種運(yùn)算操作，也就是說節(jié)點(diǎn)可以認(rèn)為是運(yùn)算操作的一種實(shí)例化。圖的運(yùn)算過程，就是張量在節(jié)點(diǎn)與相鄰節(jié)點(diǎn)之間從前到后的流動(dòng)傳輸過程，只要處于輸入端的所有張量準(zhǔn)備好，節(jié)點(diǎn)就會(huì)被分配到各種計(jì)算傳感器節(jié)點(diǎn)完成異步并行地執(zhí)行運(yùn)算，也就是實(shí)現(xiàn)分布式運(yùn)算。計(jì)算過程如圖4所示。

分布式訓(xùn)練過程可以總結(jié)分為兩步：（1）構(gòu)建計(jì)算圖。在搭建多層感知器神經(jīng)網(wǎng)絡(luò)時(shí)，組織各個(gè)層及層之間關(guān)系的過程就是圖的構(gòu)建，然后通過不斷反復(fù)地執(zhí)行圖中的訓(xùn)練運(yùn)算來逐漸優(yōu)化參數(shù)。（2）執(zhí)行會(huì)話，執(zhí)行計(jì)算圖。TensorFlow的單機(jī)分布式實(shí)現(xiàn)是通過在一臺(tái)計(jì)算機(jī)設(shè)備（1個(gè)主控節(jié)點(diǎn)）上，建立一個(gè)計(jì)算子節(jié)點(diǎn)，多個(gè)CPU或GPU共同完成一項(xiàng)任務(wù)。而多機(jī)分布式與單機(jī)分布式原理相同，但不同的是基于多個(gè)計(jì)算子節(jié)點(diǎn)共同執(zhí)行運(yùn)算，完成一項(xiàng)任務(wù)。從無線傳感器網(wǎng)絡(luò)的數(shù)據(jù)特點(diǎn)來看，本文采用多機(jī)多節(jié)點(diǎn)的分布式方式訓(xùn)練數(shù)據(jù)更加合適。另一方面，本文實(shí)驗(yàn)采用圖間復(fù)制、異步更新的方式實(shí)現(xiàn)數(shù)據(jù)并行。圖間復(fù)制是指每一個(gè)工作節(jié)點(diǎn)創(chuàng)建一個(gè)完整的子圖，訓(xùn)練參數(shù)保存在參數(shù)服務(wù)器中，數(shù)據(jù)不分發(fā)，各個(gè)工作節(jié)點(diǎn)獨(dú)立計(jì)算，計(jì)算完成將要更新的參數(shù)告訴參數(shù)服務(wù)器，參數(shù)服務(wù)器更新參數(shù)。異步更新是指分布式集群中的每個(gè)工作節(jié)點(diǎn)在運(yùn)算前，分別獨(dú)立地從參數(shù)服務(wù)器設(shè)備中讀取實(shí)時(shí)參數(shù)，當(dāng)工作節(jié)點(diǎn)完成計(jì)算后，不需要等待其他工作節(jié)點(diǎn)是否已完成計(jì)算，可直接將自身設(shè)備參數(shù)提交給參數(shù)服務(wù)器，以實(shí)現(xiàn)參數(shù)的實(shí)時(shí)更新操作。這種模式的優(yōu)點(diǎn)是在運(yùn)算過程中不需要先對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行分發(fā)的處理，尤其當(dāng)要處理的數(shù)據(jù)量達(dá)到TB級(jí)時(shí)，能夠節(jié)省大量的預(yù)處理時(shí)間。

本文提出了一種基于多層感知器的無線傳感器網(wǎng)絡(luò)分布式協(xié)同訓(xùn)練方法，首先搭建TensorFlow分布式集群環(huán)境，然后將多層感知器分類算法部署在集群環(huán)境中，接下來進(jìn)行異步訓(xùn)練。分布式算法工作流程如圖5所示。

單個(gè)計(jì)算節(jié)點(diǎn)算法流程如下：

步驟1：創(chuàng)建TensorFlow分布式集群。建立3個(gè)終端，配置IP和端口信息，其中一個(gè)作為參數(shù)服務(wù)器（ps），兩個(gè)作為計(jì)算節(jié)點(diǎn)（worker），用于實(shí)現(xiàn)分布式訓(xùn)練。

步驟2：為每個(gè)角色創(chuàng)建任務(wù)的實(shí)例。根據(jù)執(zhí)行的命令參數(shù)不同，決定了該是哪一種任務(wù)。若任務(wù)名字是ps，則程序就加入到該任務(wù)中，作為參數(shù)更新的服務(wù)，等待其他worker節(jié)點(diǎn)提交參數(shù)更新的數(shù)據(jù)。若任務(wù)名字是worker，則繼續(xù)執(zhí)行后續(xù)的計(jì)算任務(wù)。

步驟3：標(biāo)注模型中的分布式設(shè)備，讀取無線傳感器網(wǎng)絡(luò)數(shù)據(jù)，定義多層感知器算法進(jìn)行訓(xùn)練，其中，本文實(shí)驗(yàn)中的多層感知器網(wǎng)絡(luò)包含2個(gè)隱藏層，每個(gè)隱含層包含256個(gè)神經(jīng)元，隱含層的數(shù)據(jù)通過Relu激活函數(shù)得到，并且將交叉熵的平均值作為損失函數(shù)，AdamOptimizer作為優(yōu)化器，優(yōu)化器中的學(xué)習(xí)率設(shè)置為0.001，使算法得到收斂。最后，算法訓(xùn)練次數(shù)為10。

步驟4：模型參數(shù)初始化，開始執(zhí)行分布式運(yùn)算。開始執(zhí)行會(huì)話，每個(gè)工作節(jié)點(diǎn)執(zhí)行計(jì)算圖，更新參數(shù)。

步驟5：迭代訓(xùn)練。

3實(shí)驗(yàn)分析

本實(shí)驗(yàn)數(shù)據(jù)集采用KDD99數(shù)據(jù)集，該數(shù)據(jù)集來源于一個(gè)模擬美國(guó)空軍局域網(wǎng)的網(wǎng)絡(luò)環(huán)境，對(duì)9個(gè)星期的無線傳感器網(wǎng)絡(luò)連接數(shù)據(jù)進(jìn)行采集，并按照攻擊類型將數(shù)據(jù)進(jìn)行分類，將其分類為無標(biāo)簽的測(cè)試數(shù)據(jù)和帶有標(biāo)簽的訓(xùn)練數(shù)據(jù)。數(shù)據(jù)標(biāo)簽中一共有23種標(biāo)簽，其中包含22種異常標(biāo)識(shí)（訓(xùn)練攻擊類型）和1種正常標(biāo)識(shí)類型，如表1所示。

為了驗(yàn)證本文算法提出的采用TensorFlow集群分布式訓(xùn)練方法的有效性，實(shí)驗(yàn)選擇TCP、UDP網(wǎng)絡(luò)協(xié)議數(shù)據(jù)，一共50萬條數(shù)據(jù)量，訓(xùn)練周期設(shè)置為10，分別將傳統(tǒng)的未采用TensorFlow集群分布的單機(jī)模式多層傳感器算法訓(xùn)練、采用TensorFlow集群分布的多層傳感器算法多機(jī)多節(jié)點(diǎn)訓(xùn)練（3臺(tái)機(jī)器3個(gè)節(jié)點(diǎn)）進(jìn)行對(duì)比，圖6～8分別為未采用TensorFlow集群分布的多層傳感器算法的時(shí)間消耗情況、CPU消耗情況、訓(xùn)練結(jié)果圖，圖9～11分別為采用TensorFlow集群分布的時(shí)間消耗情況、CPU消耗情況、訓(xùn)練結(jié)果圖。

由圖6～8可知，采用傳統(tǒng)的單機(jī)模式多層感知器網(wǎng)絡(luò)進(jìn)行訓(xùn)練，在算法執(zhí)行期間，資源的CPU的占用率持續(xù)達(dá)到了84%，每個(gè)周期算法平均耗費(fèi)22.2s的訓(xùn)練時(shí)間，10個(gè)周期后準(zhǔn)確率達(dá)到99.80%。雖然該傳統(tǒng)訓(xùn)練算法已具備很高的分類準(zhǔn)確率，但對(duì)于越來越多的傳感器設(shè)備，無線傳感器網(wǎng)絡(luò)數(shù)據(jù)量的不斷增加，若仍采用傳統(tǒng)的單機(jī)模式進(jìn)行訓(xùn)練數(shù)據(jù)，將非常耗費(fèi)設(shè)備資源和時(shí)間。

由圖9～11可知，節(jié)點(diǎn)A與節(jié)點(diǎn)B在第5個(gè)訓(xùn)練周期時(shí)，訓(xùn)練時(shí)間就縮減到了6s-7s。同時(shí)，計(jì)算節(jié)點(diǎn)A與節(jié)點(diǎn)B分別在24個(gè)周期與25個(gè)周期內(nèi)算法的準(zhǔn)確率達(dá)到96.50%和96.45%雖然該分布式算法的準(zhǔn)確率與單機(jī)模式下的多層傳感器算法相比有很小幅度的下降，但是訓(xùn)練時(shí)間縮短了65.8%，可以看出本文提出的基于多層感知器的分布式協(xié)同訓(xùn)練算法的有效性。

使用4臺(tái)、8臺(tái)計(jì)算節(jié)點(diǎn)驗(yàn)證算法的有效性，比較不同數(shù)量計(jì)算節(jié)點(diǎn)的訓(xùn)練結(jié)果，如表2所示。

由表2可知節(jié)點(diǎn)數(shù)量增加時(shí)，每個(gè)節(jié)點(diǎn)的計(jì)算耗時(shí)明顯減少，由于各個(gè)節(jié)點(diǎn)是并發(fā)運(yùn)行的，所以算法的總耗時(shí)減少的幅度更加明顯。8臺(tái)計(jì)算節(jié)點(diǎn)下的分布式算法耗時(shí)大大減少，并且準(zhǔn)確率能控制在95%以上。隨著無線傳感器的日益廣泛使用，收集到的大量數(shù)據(jù)能夠及時(shí)地得到分類、識(shí)別應(yīng)用變得尤為重要。因此，本文提出的分布式訓(xùn)練算法在確保準(zhǔn)確率的同時(shí)大幅度縮減訓(xùn)練時(shí)長(zhǎng)，提升訓(xùn)練效率，在無線傳感器網(wǎng)絡(luò)（WSN）數(shù)據(jù)監(jiān)測(cè)和數(shù)據(jù)處理中具有實(shí)際意義。

4結(jié)語

本文針對(duì)中大規(guī)模的無線傳感器網(wǎng)絡(luò)（WSN）數(shù)據(jù)監(jiān)測(cè)和數(shù)據(jù)處理提出了一種基于多層感知器的無線傳感器網(wǎng)絡(luò)分布式協(xié)同訓(xùn)練方法，通過采用多層感知器網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)提高分類的準(zhǔn)確率，然后將多層感知器部署在TensorFlow分布式集群上，實(shí)現(xiàn)并行訓(xùn)練，大大縮短數(shù)據(jù)的訓(xùn)練時(shí)間。實(shí)驗(yàn)結(jié)果表明，本文算法能夠有效實(shí)現(xiàn)分布式協(xié)同訓(xùn)練的目的，在確保高準(zhǔn)確率的前提下，同時(shí)能夠大幅度提高訓(xùn)練的效率，縮短訓(xùn)練時(shí)長(zhǎng)，很好地解決了無線傳感網(wǎng)數(shù)據(jù)訓(xùn)練準(zhǔn)確度和時(shí)效性的問題。

參考文獻(xiàn)：

[1] Yick J，Mukherjee B，Ghosal D.Wireless Sensor Network Survey[J].Computer Networks，2008，52（12）：2 292-2 330.

[2] 邱立達(dá)，劉天鍵，林南，等.基于深度學(xué)習(xí)模型的無線傳感器網(wǎng)絡(luò)數(shù)據(jù)融合算法[J].傳感技術(shù)學(xué)報(bào)，2014（12）：1 704-1 709.

[3] Advantage S，Rajamani R.Portable Roadside Sensors for Vehicle Counting，Classification，and Speed Measurement[J].IEEE Transactions on Intelligent Transportation Systems，2014，15（1）：73-83

[4] Zou P，Liu Y.A Data-aggregation Scheme for WSN based on Optimal Weight Allocation[J].Journal of Networks，2014，9（1） ： 100.

[5] Stolpe M，Bhaduri K，Das K.Distributed Support Vector Machines： An Overview[M]// Solving Large Scale Learning Tasks.Challenges and Algorithms.Berlin： Springer International Publishing，2016.

[6] Wang D，Zheng J，Zhou Y，et al.A Scalable Support Vector Machine for Distributed Classification in Ad Hoc Sensor Networks[J].Neurocomputing，2010，74（1-3）：394-400.

[7] Forero P A，Cano A，Giannakis G B.Consensus-based Distributed Support Vector Machines[J].2010，11（5）：1 663-1 707.

[8] Wang D，Zhou Y.Distributed Support Vector Machines： An overview[C]// Taiyuan Institute of Electrical and Electronics Engineers （IEEE）.Taiyuan： 2012 24th Chinese Control and Decision Conference （CCDC），2012： 3 897-3 901.

[9] 及歆榮，侯翠琴，侯義斌.無線傳感器網(wǎng)絡(luò)下線性支持向量機(jī)分布式協(xié)同訓(xùn)練方法研究[J].電子與信息學(xué)報(bào)，2015，37（3）：708-714.

[責(zé)任編輯：許立群]