李晶

（ 遼寧工程職業(yè)學(xué)院，遼寧 鐵嶺 112008 ）

0 引言

隨著智能制造和工業(yè)4.0技術(shù)的興起，工業(yè)制造、新能源等領(lǐng)域的設(shè)備日趨復(fù)雜化、智能化、精密化和綜合化，運(yùn)行工況和工作環(huán)境也愈加復(fù)雜多變，其維護(hù)和保障成本越來越高。由于設(shè)備組成環(huán)節(jié)和影響因素的增加，僅僅通過傳統(tǒng)可靠性工程方法和手段，依托個(gè)人經(jīng)驗(yàn)的人工診斷方法已逐漸無法適應(yīng)設(shè)備的變化。研究面對復(fù)雜系統(tǒng)的基于智能數(shù)據(jù)驅(qū)動(dòng)的故障診斷方法成為該方向的熱點(diǎn)。

1 概述

深度學(xué)習(xí)作為機(jī)器學(xué)習(xí)領(lǐng)域的一種新興方法，以其強(qiáng)大的自動(dòng)特征提取能力在圖像、語音識別等領(lǐng)域取得了輝煌的成果[17]，其本質(zhì)就是通過數(shù)據(jù)驅(qū)動(dòng)的方式從原始數(shù)據(jù)中學(xué)習(xí)一些特征，而不是利用人工設(shè)計(jì)特征提取器進(jìn)行提取。常用的深度學(xué)習(xí)模型有深度置信網(wǎng)（Deep Belief Nets，DBNs）、卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）和深度神經(jīng)網(wǎng)絡(luò)（DNN）[17]。圖1給出了深度學(xué)習(xí)方法的算法體系結(jié)構(gòu)。

圖1 深度學(xué)習(xí)算法體系結(jié)構(gòu)

AGV(Automation Guided Vehicles，自動(dòng)導(dǎo)引車)又名智能機(jī)器人，是一種具有自動(dòng)定位裝置，在沒有人工指揮的前提下，按照指定的路徑行進(jìn)，實(shí)現(xiàn)目標(biāo)牽引、貨物搬運(yùn)及生產(chǎn)新裝配等領(lǐng)域的特殊用途。對AGV進(jìn)行精準(zhǔn)的定位是動(dòng)態(tài)跟蹤的關(guān)鍵環(huán)節(jié)。[15]

AGV作為一種耦合性極強(qiáng)、高度非線性自動(dòng)引導(dǎo)裝置，在運(yùn)行環(huán)境復(fù)雜多變的狀態(tài)下，如何應(yīng)對不斷增長的信息量，提高信息采集的準(zhǔn)確度和效率，對AGV定位提出了更高的要求。針對這一問題提出一種動(dòng)態(tài)學(xué)習(xí)率策略訓(xùn)練RBM網(wǎng)絡(luò)，該方法通過在訓(xùn)練過程中逐漸調(diào)整學(xué)習(xí)率，克服固定學(xué)習(xí)率存在特征提取精度不高的缺點(diǎn)，提高RBM和DBN的特征向量映射能力。將學(xué)習(xí)算法應(yīng)用于AGV定位的實(shí)驗(yàn)中，實(shí)驗(yàn)結(jié)果表明準(zhǔn)確度和及時(shí)性有明顯提升。

2 深度信念網(wǎng)絡(luò)(DBN)

深度信念網(wǎng)絡(luò)(Deep Belief Networks，DBN)是一個(gè)概率生成模型，由多個(gè)受限玻爾茲曼機(jī)(Restricted Boltzmann Machine， RBM)堆疊和一層BP神經(jīng)網(wǎng)絡(luò)而成，深度信念網(wǎng)絡(luò)的底層接收輸入數(shù)據(jù)向量，通過RBM轉(zhuǎn)換輸入數(shù)據(jù)至隱含層，可視層和隱含層之間有雙向鏈接權(quán)值。為盡可能保留更多的各特征空間特征向量信息，每一層RBM必須單獨(dú)訓(xùn)練，且相同層級之間無信息溝通[18]，其基本結(jié)構(gòu)如圖2所示。DBN的核心即通過數(shù)據(jù)驅(qū)動(dòng)的方式從原始數(shù)據(jù)中自動(dòng)學(xué)習(xí)一些特征。整個(gè)DBN的特征提取能力主要取決于RBM的學(xué)習(xí)能力，RBM由一個(gè)可見層V和一個(gè)隱含層H組成。DBN網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)如圖3所示。

圖2 RBM網(wǎng)絡(luò)結(jié)構(gòu)

圖3 DBN網(wǎng)絡(luò)結(jié)構(gòu)

在DBN網(wǎng)絡(luò)結(jié)構(gòu)中每一層的RBM網(wǎng)絡(luò)信息都實(shí)現(xiàn)正反向傳播，即RBM網(wǎng)絡(luò)可視層與隱含層之間實(shí)現(xiàn)信息共享從而達(dá)到對目標(biāo)測試函數(shù)值進(jìn)行調(diào)整，網(wǎng)絡(luò)結(jié)構(gòu)的最后是BP神經(jīng)網(wǎng)絡(luò)層接收最后一層RBM輸出數(shù)據(jù)，它能最大范圍的削弱BP神經(jīng)網(wǎng)絡(luò)容易陷入局部極小點(diǎn)和尋優(yōu)過程過長的缺點(diǎn)[16]，BP的反向傳播網(wǎng)絡(luò)能夠?qū)⒛承┬枰{(diào)整的信息自回傳給RBM，進(jìn)而使整個(gè)DBN網(wǎng)絡(luò)訓(xùn)練參數(shù)結(jié)果達(dá)到最優(yōu)，已經(jīng)證明在BP網(wǎng)絡(luò)之前，整個(gè)網(wǎng)絡(luò)尋優(yōu)的效果已較好[3-4]，因此BP的作用是對整個(gè)DBN進(jìn)行微調(diào)。

在DBN訓(xùn)練過程中，第一層網(wǎng)絡(luò)接收原始數(shù)據(jù)的特征向量，之后沿DBN網(wǎng)絡(luò)進(jìn)行傳遞，每一層采集數(shù)據(jù)的一個(gè)或多個(gè)方面的特征，并把采集的特征信息作為下一層的輸入。經(jīng)過多次傳輸之后，在上層網(wǎng)絡(luò)中形成更易分類的組合特征向量，因此DBN是一個(gè)含有多隱含層的深度架構(gòu)的神經(jīng)網(wǎng)絡(luò)。文獻(xiàn)[11]證明網(wǎng)絡(luò)中RBM的個(gè)數(shù)有效提高了整個(gè)DBN網(wǎng)絡(luò)的穩(wěn)定性，且RBM個(gè)數(shù)越多，特征向量更加具體，用于數(shù)據(jù)分類的訓(xùn)練結(jié)果也更精確，但一般來講使用2～3個(gè)RBM的結(jié)果已經(jīng)足夠精確[11]。

2.1 受限玻爾茲曼機(jī)（RBM）及改進(jìn)

如圖2所示，由于普通RBM前后層之間進(jìn)行雙向全鏈接，但同一層的不同單元之間沒有鏈接，這也是RBM“受限”的原因。

RBM網(wǎng)絡(luò)中，可視層的特征向量?和隱含層的特征向量δ可由聯(lián)合分布概率表示。

式中，ρ為可視層和隱含層之間的權(quán)值，E(?，h)是特征向量?和δ的數(shù)學(xué)期望值，其絕對值的大小代表h能夠保存的?的特征信息的多少。未獲得最優(yōu)特征值，需要求θ=(ρ，a，b)，使聯(lián)合概率分布P(?，δ)最大[12]。由于最大似然法不能求出滿足條件的θ，為使P(?，δ)達(dá)到最大，更新新權(quán)值：

式中，n為迭代次數(shù)，η為學(xué)習(xí)速度。迭代次數(shù)在100＜n＜200時(shí)，學(xué)習(xí)速率η能夠影響網(wǎng)絡(luò)的學(xué)習(xí)進(jìn)度，在0＜n＜100時(shí)，算法應(yīng)以較大的η快速學(xué)習(xí)，迭代值在大范圍內(nèi)調(diào)整，接近輸出時(shí)，網(wǎng)絡(luò)基本趨于穩(wěn)定，只需η微調(diào)技能得到最優(yōu)特征值。因此，傳統(tǒng)的固定長度的學(xué)習(xí)速率η不適用于全程迭代尋優(yōu)，本文引進(jìn)入一個(gè)學(xué)習(xí)參數(shù)μ以動(dòng)態(tài)調(diào)整學(xué)習(xí)速率，改進(jìn)后的學(xué)習(xí)率如下：

式中，μ為學(xué)習(xí)參數(shù)，用以調(diào)節(jié)學(xué)習(xí)率大小，ηmax和ηmin為預(yù)先設(shè)定的學(xué)習(xí)率上邊界和下邊界，η為n的倒數(shù)，因此可令ηmax和ηmin分別等于1/n和1/2n。

改進(jìn)后的網(wǎng)絡(luò)訓(xùn)練過程可由公式(3)計(jì)算得出：

式中，＜δ0?0＞為輸入特征向量與其對應(yīng)的隱含層特征向量的點(diǎn)乘的平均值，＜δ∞?∞＞為MCMC末端可視層特征向量與其對應(yīng)的隱含層特征向量的乘積的均值，＜δ∞?∞＞是收斂的[17]。由公式(4)可知，聯(lián)合概率分布的斜率與中間狀態(tài)無關(guān)，只與網(wǎng)絡(luò)的初始狀態(tài)和最終狀態(tài)有關(guān)，根據(jù)公式(3)可得修改后的參數(shù)θ，從而達(dá)到訓(xùn)練的目的。權(quán)值更新公式為：

2.2 BP網(wǎng)絡(luò)的調(diào)整過程

BP網(wǎng)絡(luò)在DBN中實(shí)現(xiàn)有約束分類的作用，其接收最后一層RBM的輸出特征向量，并對數(shù)據(jù)進(jìn)行分類，起到微調(diào)DBN的作用[15]。其訓(xùn)練過程主要分為兩步：第1步是前向傳播，將輸入特征向量沿輸入端傳播至輸出端；第2步是反向傳播，將BP網(wǎng)絡(luò)的輸出結(jié)果與帶有約束條件的正確結(jié)果相比得到誤差，然后將誤差從反向傳播至輸入端，以修改DBN的參數(shù)[16]。本文實(shí)驗(yàn)中利用sigmod函數(shù)作為BP的網(wǎng)絡(luò)節(jié)點(diǎn)的求值函數(shù)，具體實(shí)現(xiàn)步驟如下。

①初始化網(wǎng)絡(luò)的參數(shù)，設(shè)定步長B；

②進(jìn)行正向計(jì)算，對于第l層的j單元節(jié)點(diǎn)，有

若該神經(jīng)元屬于輸出層(l=L)，則令yjl(b)=Oj(b)，誤差ej(b)=dj(b)-Oj(b)，其中dj為帶約束條件的正確信息；

③計(jì)算φ，將其反向傳遞用來修正網(wǎng)絡(luò)的權(quán)值參數(shù)，對于輸出單元有：

對于隱含層單元有

④修改權(quán)值：

η為學(xué)習(xí)速率；

⑤如b=B，則訓(xùn)練結(jié)束，反之，b=b+1，返回步驟②。

3 實(shí)驗(yàn)與分析

Galil控制數(shù)控機(jī)床中的無刷直流電機(jī)控制系統(tǒng)如圖4所示，控制器由改進(jìn)型DBN神經(jīng)網(wǎng)絡(luò)、數(shù)模轉(zhuǎn)換器和零階保持器三部分組成，AMP是PWM驅(qū)動(dòng)電路產(chǎn)生的作用于無刷直流電機(jī)的誤差放大裝置。給定相關(guān)參數(shù)，即可得到無刷電機(jī)控制系統(tǒng)閉環(huán)傳遞函數(shù)，通過PID調(diào)節(jié)信號，使閉環(huán)系統(tǒng)得到較理想的輸入函數(shù)，從而使整個(gè)電機(jī)控制系統(tǒng)的輸出達(dá)到理想的狀態(tài)。DAC是采用16位寄存器用來實(shí)現(xiàn)數(shù)字量向模擬量的轉(zhuǎn)變，ZOH零階保持器周期取決與控制器的采樣周期T。圖中各組成部分的相應(yīng)函數(shù)及變量如下所示：

圖4 PID控制系統(tǒng)方框圖

零階保持器的傳遞函數(shù)為

DAC輸出模擬電壓范圍V

AMP

Motor& Encoder由編碼器和電機(jī)兩部分組成的，編碼器的參數(shù)為

無刷直流電機(jī)數(shù)學(xué)模型得：

電阻Ra為2.58Ω，轉(zhuǎn)子慣量J=1.30E-04，轉(zhuǎn)矩系數(shù)Kt為0.208粘性阻尼B為3.78E-03。

設(shè)定參數(shù)根據(jù)相互間的關(guān)系列出各環(huán)節(jié)傳遞函數(shù)。運(yùn)行程序得到系統(tǒng)閉環(huán)傳遞函數(shù)

得到相應(yīng)節(jié)約響應(yīng)曲線見圖5。

圖5 PID控制器調(diào)節(jié)下無刷直流電機(jī)控制系統(tǒng)階躍相應(yīng)圖

實(shí)驗(yàn)步驟為：首先，建立一個(gè)含有兩層RBM的DBN網(wǎng)絡(luò)，每個(gè)RBM含有100個(gè)神經(jīng)元，用2000個(gè)輸入(包括R(s)， Y(s))輸出(Y(s+1))數(shù)據(jù)訓(xùn)練RBM，迭代次數(shù)為50，其中學(xué)習(xí)速率為0.01～0.02，用BP算法對網(wǎng)絡(luò)進(jìn)行微調(diào)，迭代次數(shù)為50，學(xué)習(xí)速率為0.01～0.02，最后用訓(xùn)練好的DBN對1000個(gè)測試組(包括R(s)， Y(s))進(jìn)行控制預(yù)測。

表1為實(shí)驗(yàn)結(jié)果比較。

表1 實(shí)驗(yàn)結(jié)果比較

通過上述實(shí)驗(yàn)可見，改進(jìn)方法的神經(jīng)網(wǎng)絡(luò)較原始網(wǎng)絡(luò)在響應(yīng)時(shí)間有所加快，通過使用兩層RBM的疊加，DBN的訓(xùn)練精度有較為明顯提升，證明了改進(jìn)神經(jīng)網(wǎng)絡(luò)的有效性。

4 結(jié)語

本文論述了深度信念網(wǎng)絡(luò)(DBN)的興起和發(fā)展，介紹了網(wǎng)絡(luò)結(jié)構(gòu)和算法并分析了算法的優(yōu)越性，針對算法的固定學(xué)習(xí)率引起的尋找最優(yōu)值準(zhǔn)確度不高的問題進(jìn)行了改進(jìn)，并修改輸出層函數(shù)使網(wǎng)絡(luò)應(yīng)用于無刷電機(jī)系統(tǒng)的控制實(shí)驗(yàn)中，實(shí)驗(yàn)結(jié)果表明改進(jìn)策略能夠有效提高系統(tǒng)響應(yīng)時(shí)間，提高準(zhǔn)確性。此外，該改進(jìn)型DBN可以應(yīng)用于在圖像處理、模式分類，自動(dòng)控制等任務(wù)中，是較理想適用于控制領(lǐng)域的算法。