王培進(jìn)，杜曉林

( 煙臺大學(xué)計(jì)算機(jī)與控制工程學(xué)院，山東 煙臺 264005)

單輸入-單輸出系統(tǒng)(SISO)只有一個(gè)被控量、一個(gè)控制量,根據(jù)干擾量的情況,可以構(gòu)成反饋、前饋-反饋、串級、前饋-反饋-串級等控制結(jié)構(gòu),控制相對簡單,而復(fù)雜系統(tǒng)的控制就相對復(fù)雜．復(fù)雜系統(tǒng)一般有如下特點(diǎn):

(1)有多個(gè)被控量、干擾量和控制量,是多輸入-多輸出(MIMO)系統(tǒng);

(2)被控量與干擾量之間、控制量與被控量之間、被控量與被控量之間存在關(guān)聯(lián)關(guān)系．一個(gè)控制量的輸出,不僅僅影響與其特定對應(yīng)的被控量的變化,同時(shí)可能影響其他被控量的變化;一個(gè)干擾量的變化,影響多個(gè)被控量的變化;同理,一個(gè)被控量的變化可能影響其他被控量的變化;

(3)各個(gè)量的變化存在時(shí)滯,有些復(fù)雜系統(tǒng)還是時(shí)變系統(tǒng)、非線性系統(tǒng);

(4)由于系統(tǒng)的復(fù)雜性,難以建立數(shù)學(xué)模型．

以孵化機(jī)控制為例,孵化機(jī)是用于孵化雞、鴨等用的設(shè)備,孵化過程被控量有溫度、濕度、二氧化碳含量等,控制量有通風(fēng)、加濕、加熱等,干擾因素也很多,包括環(huán)境溫度、蛋的種類等,各個(gè)量之間相互耦合,是一個(gè)典型的復(fù)雜MIMO控制系統(tǒng)．孵化機(jī)孵化過程要控制的指標(biāo)是孵化成功率,在控制過程中,溫度、濕度、通風(fēng)之間存在耦合關(guān)系．溫度變化滯后特性明顯,濕度變化滯后小,正常情況下,溫度和濕度成反比例關(guān)系,通風(fēng)可以控制二氧化碳含量,同時(shí)既影響溫度變化也影響濕度變化．同樣,控制溫度,也影響濕度;控制濕度,也影響溫度．孵化機(jī)控制問題可以看作是一個(gè)三輸入-三輸出控制問題,難以建立準(zhǔn)確的數(shù)學(xué)模型．孵化機(jī)常用的PID控制、解耦控制、模糊控制、模糊PID控制等控制方法,不能有效地施加控制,穩(wěn)定性差．

1 復(fù)雜系統(tǒng)控制方法

復(fù)雜系統(tǒng)可以看作是多個(gè)SISO子系統(tǒng)構(gòu)成,如果子系統(tǒng)之間沒有耦合,可以采用SISO系統(tǒng)控制方法;如果有耦合,一般采用解耦控制或者其他智能控制方法．

在解耦控制問題中,基本目標(biāo)是設(shè)計(jì)一個(gè)控制裝置,使構(gòu)成的多變量控制系統(tǒng)的每個(gè)輸出變量僅由一個(gè)輸入變量完全控制,且不同的輸出由不同的輸入控制．在實(shí)現(xiàn)解耦以后,一個(gè)多輸入多輸出控制系統(tǒng)就解除了輸入、輸出變量間的交叉耦合,從而實(shí)現(xiàn)自治控制,即互不影響的控制．

解耦控制必須有較為準(zhǔn)確的數(shù)學(xué)模型,而一些復(fù)雜過程控制、流程控制等控制系統(tǒng),數(shù)學(xué)模型難以建立,難以實(shí)現(xiàn)解耦控制．即使實(shí)現(xiàn)了解耦控制,系統(tǒng)的參數(shù)變化,也會(huì)破壞解耦控制的穩(wěn)定性．

其他智能控制方法,例如常用的模糊控制,基于先驗(yàn)控制規(guī)則．對于一個(gè)沒有控制經(jīng)驗(yàn)的復(fù)雜系統(tǒng),無法采用模糊控制方法．即使實(shí)現(xiàn)了模糊控制,也無法在線學(xué)習(xí)、修訂控制規(guī)則或者控制經(jīng)驗(yàn)．

因此,必須尋找新的控制理論和方法．

2 仿人思維控制理論簡介

仿人思維控制理論揭示人的控制思維機(jī)理和控制智慧[1],克服當(dāng)前控制理論在設(shè)計(jì)控制器時(shí)存在的不足,并用計(jì)算機(jī)模擬、實(shí)現(xiàn),解決難以建模的系統(tǒng)控制問題．仿人思維控制理論研究取得的主要研究成果如下:

(1)提出從數(shù)據(jù)空間到概念空間的轉(zhuǎn)換方法,定義了被控量、控制量、干擾量、穩(wěn)定性、控制過程等相關(guān)概念[2-4];

(2)提出3種控制算法,模擬抽象邏輯推理控制思維[5];

(3)提出模擬形象直覺推理控制思維算法[6];

(4)提出SISO系統(tǒng)和MIMO系統(tǒng)仿人思維控制經(jīng)驗(yàn)挖掘、調(diào)用算法[7];

(5)提出SISO系統(tǒng)仿人思維控制器結(jié)構(gòu),在實(shí)際控制系統(tǒng)中得到驗(yàn)證[8];

(6)提出應(yīng)用于復(fù)雜系統(tǒng)控制的仿人思維復(fù)合控制策略[9];

(7)提出擬人化分布式智能控制系統(tǒng)結(jié)構(gòu)[10]．

對于復(fù)雜系統(tǒng)的控制,仿人思維控制理論給出了仿人思維復(fù)合控制策略,解決了孵化機(jī)孵化過程控制問題,但在控制經(jīng)驗(yàn)挖掘方面仍然不完善．本文將深度學(xué)習(xí)和仿人思維控制機(jī)理相結(jié)合,解決復(fù)雜系統(tǒng)仿人思維控制經(jīng)驗(yàn)挖掘問題．

3 深度學(xué)習(xí)簡介

AlphaGo擊敗圍棋國際頂尖選手使深度學(xué)習(xí)成為當(dāng)今人工智能領(lǐng)域最熱門的話題．尤其是AlphaGo Zero,在訓(xùn)練中不依賴于人類的棋譜,不使用人工設(shè)計(jì)的特征作為輸入,將策略網(wǎng)絡(luò)和價(jià)值網(wǎng)絡(luò)合二為一,網(wǎng)絡(luò)結(jié)構(gòu)采用殘差網(wǎng)絡(luò),網(wǎng)絡(luò)深度更深,迅速自學(xué)圍棋,戰(zhàn)勝前輩AlphaGo．

深度學(xué)習(xí)是深度神經(jīng)網(wǎng)絡(luò)的簡稱,是一種深層次的神經(jīng)網(wǎng)絡(luò)．目前較為公認(rèn)的深度學(xué)習(xí)的基本模型包括基于受限玻爾茲曼機(jī) (Restricted Boltzmannmachine, RBM) 的深度信念網(wǎng)絡(luò) (Deep belief net-work, DBN)、基于自動(dòng)編碼器 (Autoencoder, AE) 的堆疊自動(dòng)編碼器 (Stacked autoencoders,SAE)、卷積神經(jīng)網(wǎng)絡(luò) (Convolutional neural net-works, CNN)、遞歸神經(jīng)網(wǎng)絡(luò) (Recurrent neuralnetworks, RNN)．深度學(xué)習(xí)目前主要應(yīng)用在圖像處理、語音處理、自然語言處理等方面,在控制領(lǐng)域的應(yīng)用研究剛剛起步．深度學(xué)習(xí)在控制領(lǐng)域主要有4個(gè)方面的研究:控制目標(biāo)識別、狀態(tài)特征提取、系統(tǒng)參數(shù)辨識、控制策略計(jì)算等．

綜觀文獻(xiàn)[11-19]:(1) 深度學(xué)習(xí)在控制領(lǐng)域的研究已經(jīng)開始,但研究成果不多,尤其在控制策略應(yīng)用研究方面更少,且局限于單輸入-單輸出系統(tǒng)(SISO),對多輸入-多輸出(MIMO)復(fù)雜系統(tǒng)控制策略的應(yīng)用研究,未見相關(guān)論文報(bào)道;(2)AlphaGo、AlphaGo Zero的出現(xiàn),對深度學(xué)習(xí)在控制領(lǐng)域的研究帶來新的動(dòng)力和想象力．

4 深度學(xué)習(xí)與仿人思維控制

人腦是世界上最優(yōu)秀的控制器,一個(gè)有經(jīng)驗(yàn)的控制專家,可以同時(shí)觀測多個(gè)量的變化(多傳感器輸入),利用手、腳可以實(shí)現(xiàn)多個(gè)控制動(dòng)作(多控制量輸出),以達(dá)到給定的控制目的．經(jīng)過長時(shí)間的控制,積累了豐富的控制經(jīng)驗(yàn),他知道哪個(gè)被控量變化了,應(yīng)該執(zhí)行一個(gè)或幾個(gè)控制量,可以抑制其變化;同時(shí)由于被控量之間的關(guān)聯(lián)關(guān)系,還要調(diào)節(jié)另一個(gè)或幾個(gè)被控量,以抑制因前面施加控制動(dòng)作帶來的變化．人工控制能夠?qū)崿F(xiàn)開、閉環(huán)切換,能夠做到有針對性的控制而不是連續(xù)控制;能夠根據(jù)干擾量的變化特點(diǎn)和被控制量的變化特點(diǎn)而施加控制,這種控制帶有選擇性．傳統(tǒng)控制方法是只要干擾量和被控制量有變化,或者系統(tǒng)參數(shù)有變化,就有控制動(dòng)作產(chǎn)生,導(dǎo)致系統(tǒng)波動(dòng),控制方法如果魯棒性不好,嚴(yán)重的可能出現(xiàn)不穩(wěn)定．

AlphaGo Zero 能夠通過自學(xué)習(xí)積累豐富的下棋經(jīng)驗(yàn),這跟人工控制過程十分相似．AlphaGo Zero之所以成功,在于圍棋有給定的下棋規(guī)則和輸贏判定標(biāo)準(zhǔn)．同樣,人工控制過程也有給定的控制規(guī)則和控制有效性判定標(biāo)準(zhǔn)．因而,利用AlphaGo Zero的深度學(xué)習(xí)機(jī)理,模擬人的控制思維是完全可行的．人工控制過程的控制規(guī)則是消除干擾、抑制干擾,保持被控量的穩(wěn)定．每一次控制是否有效,可以用以下標(biāo)準(zhǔn)來判斷,符合其中之一,該次控制有效,可以記憶保存．

(1) 偏差是否減小

|en+1| < |en|;

(2) 被控量變化趨勢是否改變

從Δen>0 到 Δen+1<0,或者從 Δen<0 到 Δen+1>0;

(3) 被控量是否進(jìn)入穩(wěn)定區(qū)域,相對穩(wěn)定

|Δen|=|yn+1-yn|=|Δyn|≈0;

(4)控制最終是否有效,可以用以下標(biāo)準(zhǔn)判斷:

|en|≤ε,|Δei|≈0,oren=0.

其中,ε控制精度,e被控量偏差,y被控量當(dāng)前值．

滿足上述條件之一,可以從閉環(huán)控制變?yōu)殚_環(huán)控制,保持控制量輸出不變．

當(dāng)然,人工控制過程與AlphaGo Zero下棋最大的區(qū)別在于:AlphaGo Zero 下棋動(dòng)作無論出現(xiàn)多大的失誤,都可以自身校正,不影響最終結(jié)果,不存在安全、穩(wěn)定等問題．但是,人工控制過程每一次控制動(dòng)作的產(chǎn)生,都是小心翼翼的,以防止引起被控量的巨大波動(dòng),導(dǎo)致系統(tǒng)出現(xiàn)嚴(yán)重不穩(wěn)定和某些危險(xiǎn)．可見,如果將類似于AlphaGo Zero的深度學(xué)習(xí)網(wǎng)絡(luò)用于實(shí)際系統(tǒng)的實(shí)時(shí)控制,不能從零開始學(xué)習(xí),必須先基于一定的控制經(jīng)驗(yàn)學(xué)習(xí),然后再邊控制邊學(xué)習(xí),積累新的控制經(jīng)驗(yàn),用于實(shí)時(shí)控制．如果從零開始學(xué)習(xí),有可能產(chǎn)生一些非理性的輸出,產(chǎn)生危險(xiǎn)控制動(dòng)作,導(dǎo)致被控系統(tǒng)出現(xiàn)嚴(yán)重問題．因此,必須結(jié)合AlphaGo、AlphaGo Zero設(shè)計(jì)深度學(xué)習(xí)控制網(wǎng)絡(luò),模擬人的控制思維,解決復(fù)雜系統(tǒng)的控制,這是將深度學(xué)習(xí)網(wǎng)絡(luò)用于實(shí)際控制系統(tǒng)的重要特征．

5 仿人思維深度學(xué)習(xí)控制網(wǎng)絡(luò)

控制的根本目的是消除干擾、抑制干擾,達(dá)到給定的控制目標(biāo)．假定被控量為xi(i=1, 2, …,n),有n個(gè);干擾量為dj(j=1, 2, …,m),有m個(gè);控制量ur(r=1, 2, …,k),有k個(gè),這些量之間存在關(guān)聯(lián)關(guān)系或者耦合關(guān)系．控制的任務(wù)是:根據(jù)當(dāng)前被控量變化、干擾量變化和控制量當(dāng)前值,確定下一步控制量的輸出,使被控量達(dá)到符合給定控制要求．若達(dá)到給定控制要求,由閉環(huán)控制轉(zhuǎn)換為開環(huán)控制,“等一等,看一看”,根據(jù)被控量變化情況,決定是否要施加控制作用,同時(shí)將當(dāng)前的輸入-輸出作為一條控制經(jīng)驗(yàn)進(jìn)行存儲．若沒有達(dá)到給定控制要求,則繼續(xù)施加控制作用．

深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的實(shí)質(zhì)是以多層的帶有一定特征的網(wǎng)絡(luò),以更高的精度逼近輸入-輸出之間的復(fù)雜的非線性關(guān)系．對于MIMO復(fù)雜系統(tǒng),輸出控制量和輸入被控量、干擾量之間存在復(fù)雜的非線性關(guān)系,可以用深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)來模擬它們之間的關(guān)系．

5.1 網(wǎng)絡(luò)架構(gòu)

根據(jù)我們的研究[1],人腦的語言不是數(shù)學(xué)的語言,人腦主要是基于概念的推理與思考,使用if-then的推理規(guī)則．在實(shí)際控制系統(tǒng)中,多個(gè)傳感器輸出被控量、干擾量的實(shí)時(shí)數(shù)據(jù),加上控制量的當(dāng)前值,形成數(shù)據(jù)空間．模擬人的控制思維,必須將輸入數(shù)據(jù)空間轉(zhuǎn)換為概念空間,通過各個(gè)概念之間的關(guān)系,形成推理規(guī)則,然后再將概念空間轉(zhuǎn)換為數(shù)據(jù)空間輸出控制量．為此,我們定義了如下幾個(gè)空間,便于模擬人的控制思維．

輸入數(shù)據(jù)空間:傳感器陣列獲得的被控量、干擾量(可測的)實(shí)時(shí)值,控制量當(dāng)前值．

輸入特征量空間:被控量的偏差、偏差的變化,干擾量的變化量．

輸入概念空間:被控量變化的大小、方向、速度、趨勢,干擾量變化的大?。?/p>

規(guī)則空間:被控量、干擾量、控制量之間構(gòu)成的關(guān)聯(lián)規(guī)則．

輸出概念空間:控制量大幅增加,小幅增加、大幅減小、小幅減少、保持不變、最大、最?。?/p>

輸出數(shù)據(jù)空間:各個(gè)控制量輸出實(shí)時(shí)值．

輸入、輸出概念空間的定義及其對應(yīng)特征量值,見前期研究見文獻(xiàn)[2-3]．

對于控制規(guī)則空間的定義,需要挖掘語言值關(guān)聯(lián)規(guī)則．語言值關(guān)聯(lián)規(guī)則為“如果X是A,則Y是B”,判斷一個(gè)語言值關(guān)聯(lián)規(guī)則是否被采用需要用到支持度和信任度．當(dāng)支持度和信任度分別不小于給定的最小支持度和最小信任度時(shí),則認(rèn)為語言值關(guān)聯(lián)規(guī)則被采用,否則不被采用．人工控制過程中豐富的控制知識的形成過程可以看作是人認(rèn)知過程中從數(shù)據(jù)到概念,從概念到規(guī)則的發(fā)現(xiàn)過程．

對于MIMO系統(tǒng),假定只有2個(gè)被控量x1,x2,2個(gè)干擾量d1,d2,2個(gè)控制量u1,u2,它們之間存在關(guān)聯(lián)與耦合關(guān)系．一般控制經(jīng)驗(yàn)表達(dá)規(guī)則可以是:

ifx1andx2andd1andd2thenu1andu2;

ifx1andx2andd1ord2thenu1andu2;

ifx1andx2ord1ord2thenu1andu2;

ifx1andx2ord1andd2thenu1andu2;

ifx1orx2ord1ord2thenu1andu2;

ifx1orx2ord1andd2thenu1andu2;

ifx1orx2andd1andd2thenu1andu2;

ifx1orx2andd1ord2thenu1andu2.

推廣到基于概念的控制經(jīng)驗(yàn)表達(dá),每個(gè)被控量有4個(gè)特征量:變化的大小、方向、速度、趨勢;每個(gè)特征量有不同的特征值,對應(yīng)的特征值分別有7個(gè)、3個(gè)、3個(gè)、3個(gè);干擾量有1個(gè)特征量,有7個(gè)特征值;控制量輸出有7個(gè)特征值．用被控量、干擾量、控制量特征值表達(dá)控制規(guī)則,全部轉(zhuǎn)換為邏輯與形式,例如:

ifx11=3 andx12=1 andx13=1 andx14=0 andx21=3 andx22=1 andx23=1 andx24=0 andd11=0 andd21=0 thenu1=u1maxandu2=u2max．

其中,xij表示被控量xi的第j個(gè)特征量,j=1,2,3,4;di1表示干擾量di的特征量．這些形式的組合數(shù)上萬種．從組合數(shù)從上萬種中抽取常用的、有效的控制規(guī)則組合,對于一個(gè)給定的控制系統(tǒng),大約為幾十種,這個(gè)過程可以看作是逐步抽取特征的過程,這跟圖像識別類似,從幾萬像素中,經(jīng)過特征識別,抽取需要識別的特征字符．由此推論,基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)網(wǎng)絡(luò)可以用于模擬人的控制思維與控制經(jīng)驗(yàn)．卷積神經(jīng)網(wǎng)絡(luò)適合于特征提取,基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)網(wǎng)絡(luò)可以實(shí)現(xiàn)多級特征提取,根據(jù)上述分析,在實(shí)時(shí)控制過程中,用基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)網(wǎng)絡(luò)挖掘人的控制經(jīng)驗(yàn)．仿人思維深度學(xué)習(xí)控制網(wǎng)絡(luò)結(jié)構(gòu)圖1所示,由3個(gè)網(wǎng)絡(luò)組成:輸入網(wǎng)絡(luò)、深度學(xué)習(xí)網(wǎng)絡(luò)、輸出網(wǎng)絡(luò)．

圖1 仿人思維深度學(xué)習(xí)控制網(wǎng)絡(luò)組成

圖2—4分別給出了每個(gè)網(wǎng)絡(luò)的具體組成部分．

對于輸入網(wǎng)絡(luò),是一個(gè)非全鏈接前向神經(jīng)網(wǎng)絡(luò),各個(gè)層特點(diǎn):

(1)數(shù)據(jù)輸入層:被控量當(dāng)前值、干擾量當(dāng)前值．節(jié)點(diǎn)數(shù)是被控量和干擾量數(shù)目的和．輸入層與特征層之間連接權(quán)值為1．

(2)輸入特征層:被控量節(jié)點(diǎn)輸出對應(yīng)的點(diǎn)是偏差及其偏差的變化,干擾量輸出對應(yīng)的節(jié)點(diǎn)是干擾量的變化,特征層與概念層之間連接權(quán)值為1．

被控量輸出對應(yīng)的第一個(gè)節(jié)點(diǎn)是偏差節(jié)點(diǎn),輸出:y=ei．

被控量輸出對應(yīng)的第二個(gè)節(jié)點(diǎn)是偏差變化節(jié)點(diǎn),輸出:y=ei-ei-1．

干擾量輸出對應(yīng)的節(jié)點(diǎn)是干擾量的變化,輸出:y=di．

輸出激活函數(shù)為線性函數(shù)．

圖2 輸入網(wǎng)絡(luò)組成

圖3 基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)網(wǎng)絡(luò)

圖4 輸出網(wǎng)絡(luò)組成

(3)輸入概念層:與被控量輸入對應(yīng)的是被控量變化的大小、方向、速度、趨勢4個(gè)節(jié)點(diǎn),與干擾量輸入對應(yīng)的是干擾量變化的大小1個(gè)節(jié)點(diǎn)．對應(yīng)被控量變化大小的節(jié)點(diǎn)只與偏差輸出有關(guān)．

被控量變化的大小輸出采用ReLU 函數(shù),其他輸出采用tanh 函數(shù)．

(4)規(guī)則空間層:按照前述的控制規(guī)則,規(guī)則層節(jié)點(diǎn)數(shù)很多,它與概念層之間是非全連接關(guān)系．只要被控量、干擾量之間有關(guān)聯(lián)關(guān)系,就至少產(chǎn)生一個(gè)節(jié)點(diǎn)．對于2個(gè)被控量、2個(gè)干擾量、2個(gè)控制量的控制系統(tǒng)(本文實(shí)驗(yàn)研究系統(tǒng)),經(jīng)過分析,選取可能出現(xiàn)的150種組合,構(gòu)成150個(gè)節(jié)點(diǎn)．節(jié)點(diǎn)輸出激活函數(shù)采用sigmoid函數(shù),其大小反映了該節(jié)點(diǎn)對應(yīng)的控制規(guī)則使用強(qiáng)度．

深度學(xué)習(xí)網(wǎng)絡(luò)采用的是卷積神經(jīng)網(wǎng)絡(luò):

第一個(gè)卷積層:概念層的輸出經(jīng)過一次卷積運(yùn)算,去掉一些不常用的控制規(guī)則．對于我們研究的實(shí)驗(yàn)系統(tǒng),從規(guī)則層的150個(gè)節(jié)點(diǎn)壓縮到120個(gè)節(jié)點(diǎn)．

第一個(gè)采樣層:采樣層也稱池化層,去掉使用強(qiáng)度不高的控制規(guī)則,將節(jié)點(diǎn)數(shù)壓縮到100個(gè)．

第二個(gè)卷積層:再經(jīng)過一次卷積運(yùn)算,去掉一些不常用的控制規(guī)則,將100個(gè)節(jié)點(diǎn)壓縮到80個(gè)節(jié)點(diǎn)．

第二個(gè)采樣層:進(jìn)一步去掉使用強(qiáng)度不高的控制規(guī)則,將節(jié)點(diǎn)數(shù)壓縮到50個(gè)．也就是常用的、有效的控制規(guī)則為50個(gè)．

輸出網(wǎng)絡(luò)是一個(gè)2層的前向神經(jīng)網(wǎng)絡(luò):

輸出特征層:輸出特征層有6個(gè)節(jié)點(diǎn),對應(yīng)6種輸出,它與前面的采樣層是非全連接方式．每個(gè)控制規(guī)則對應(yīng)一個(gè)給定的輸出特征值,因而對應(yīng)給定的節(jié)點(diǎn),而不是所有的節(jié)點(diǎn)．特征層輸出激活函數(shù)采用sigmoid函數(shù)．

控制量輸出層:輸出層節(jié)點(diǎn)數(shù)就是控制量的個(gè)數(shù),對應(yīng)本實(shí)驗(yàn)研究系統(tǒng)是2個(gè)．輸出層與輸出特征層之間是全連接關(guān)系,也就是說,任何一個(gè)控制量的輸出是6種特征輸出的組合．輸出層激活函數(shù)采用ReLU 函數(shù)．

5.2 網(wǎng)絡(luò)的訓(xùn)練與學(xué)習(xí)

如前所述,由于控制的特殊性,仿人思維深度學(xué)習(xí)控制網(wǎng)絡(luò)不能像AlphaGo Zero 那樣從零開始自我學(xué)習(xí),必須有一定的控制經(jīng)驗(yàn),然后再邊控制邊學(xué)習(xí)邊強(qiáng)化,以應(yīng)對各種控制情況,我們提出2種解決方法．

5.2.1 先驗(yàn)式訓(xùn)練與學(xué)習(xí)法 對于給定的控制系統(tǒng),如果有條件可以進(jìn)行手動(dòng)控制,先進(jìn)行手動(dòng)控制(利用組態(tài)界面,手動(dòng)改變控制量輸出大小),取得訓(xùn)練數(shù)據(jù),對控制網(wǎng)絡(luò)進(jìn)行訓(xùn)練．將訓(xùn)練好的控制網(wǎng)絡(luò)進(jìn)行實(shí)時(shí)在線應(yīng)用,在控制過程中進(jìn)一步訓(xùn)練網(wǎng)絡(luò),取得更豐富的控制經(jīng)驗(yàn)．

也可以通過理論分析或類似系統(tǒng)的控制經(jīng)驗(yàn),分析出一定數(shù)量的控制經(jīng)驗(yàn),對控制網(wǎng)絡(luò)進(jìn)行訓(xùn)練,將訓(xùn)練好的控制網(wǎng)絡(luò)進(jìn)行實(shí)時(shí)在線應(yīng)用．

5.2.2 嘗試式訓(xùn)練與學(xué)習(xí)法 將復(fù)雜系統(tǒng)按照被控量、干擾量、控制量之間的強(qiáng)關(guān)聯(lián)關(guān)系,劃分幾個(gè)相對獨(dú)立的子系統(tǒng),每個(gè)子系統(tǒng)設(shè)計(jì)基于仿人思維控制的智能反饋、智能前饋-反饋、智能串級、智能前饋-反饋-串級等控制結(jié)構(gòu),主回路控制器采用我們研究的仿人思維控制算法——三階段控制法[1],副回路控制器采用我們研究的智能前饋控制器[9]等．設(shè)計(jì)好各個(gè)子系統(tǒng),開始控制．這個(gè)階段是試探性控制階段．該階段的控制,可以實(shí)現(xiàn)“快速”控制,接近給定控制要求,但不能保證“穩(wěn)、準(zhǔn)”的控制要求．在控制過程中,保存控制有效的數(shù)據(jù),對控制網(wǎng)絡(luò)進(jìn)行訓(xùn)練．網(wǎng)絡(luò)訓(xùn)練完畢后,訓(xùn)練控制子系統(tǒng)不再發(fā)揮作用,系統(tǒng)控制由控制網(wǎng)絡(luò)接管．

5.2.3 訓(xùn)練學(xué)習(xí)約束條件 經(jīng)過初級階段訓(xùn)練好的網(wǎng)絡(luò),在實(shí)時(shí)在線控制過程中,利用有效的數(shù)據(jù)進(jìn)行在線訓(xùn)練,獲取更豐富的控制經(jīng)驗(yàn)．由于控制的特殊性,實(shí)時(shí)訓(xùn)練過程需要考慮如下約束條件.

(1)控制量輸出大小約束:對于一組給定的輸入數(shù)據(jù),經(jīng)過控制網(wǎng)絡(luò)計(jì)算輸出的控制量值必須在最大與最小之間,若超出,自動(dòng)選擇上限值或下限值．

(2)控制量輸出變化約束:在被控量變化不大的情況下,控制量輸出變化不能過大,即

|Uk-Uk-1|≤∮．

如果計(jì)算的控制量超出上述約束條件,不能直接施加控制,需要做適當(dāng)修正:

U輸出=U計(jì)算-Kp·Δu.

(3)控制有效性約束:對于一組給定的輸入數(shù)據(jù),經(jīng)過控制網(wǎng)絡(luò)計(jì)算的控制量,施加到被控系統(tǒng)后,如果滿足如下條件之一,說明控制是有效的,該組數(shù)據(jù)可以保存,與前面初始訓(xùn)練數(shù)據(jù)一起用于控制網(wǎng)絡(luò)的實(shí)時(shí)訓(xùn)練．

(a) 偏差是否減小: |en+1| < |en|;

(b) 被控量變化趨勢是否改變:從 Δen>0 到 Δen+1<0,或者從 Δen<0 到 Δen+1>0;

(c) 被控量是否進(jìn)入穩(wěn)定區(qū)域,相對穩(wěn)定:

|Δen|=|yn+1-yn|=|Δyn| ≈0．

(4)訓(xùn)練學(xué)習(xí)終止約束:當(dāng)如下條件滿足時(shí),控制網(wǎng)絡(luò)的在線訓(xùn)練學(xué)習(xí)可以終止．

每個(gè)被控量達(dá)到給定的控制精度:|en|≤ε,可以從閉環(huán)控制變?yōu)殚_環(huán)控制,保持控制量輸出不變．

6 實(shí)驗(yàn)研究

實(shí)驗(yàn)系統(tǒng)采用三水箱液位控制系統(tǒng),圖5是實(shí)際對象示意圖,圖6是其結(jié)構(gòu)工藝原理．

圖5 實(shí)驗(yàn)系統(tǒng)

圖6 實(shí)驗(yàn)設(shè)備工藝原理

如圖5、6所示,V1,V2,V3為小水箱,V4為儲水箱．V1,V3水箱的液位可以單獨(dú)控制,V2水箱液位可以由P1,P2 2個(gè)直流伺服電機(jī)輸出的水流控制．JV11,JV21 2個(gè)手動(dòng)閥可以調(diào)節(jié)供水流量,用于控制中施加干擾量．我們實(shí)驗(yàn)設(shè)置是控制V1、V2水箱的液位,且V2液位大于V1液位,因而控制系統(tǒng)的被控量是2個(gè)水箱的液位,干擾量是兩路流量,控制量是2個(gè)直流伺服電機(jī)施加的電壓,即系統(tǒng)2個(gè)被控量,2個(gè)干擾量,2個(gè)控制量．它們之間的耦合關(guān)系是:V2水箱液位受2個(gè)控制量控制,一個(gè)控制量改變,另一個(gè)控制量也必須改變,才能保證液位不變．V1水箱液位可以單獨(dú)控制,但是對它施加的控制必然影響V2水箱液位．控制邏輯關(guān)系如下:

初始控制階段.先對V1水箱液位施加控制,使其達(dá)到給定控制值,然后通過調(diào)節(jié)P2電機(jī)轉(zhuǎn)速,調(diào)節(jié)右路流量,使V2水箱液位達(dá)到給定控制值．

抗干擾控制階段.例如,加大JV16手動(dòng)閥的開度,V1水箱液位下降,通過控制加大P1電機(jī)轉(zhuǎn)速,增大左路流量,使V1水箱液位恢復(fù)到給定控制值,同時(shí)減小左路流量,保證V2水箱液位不變．反之,亦然．控制經(jīng)驗(yàn)為

If V1水箱液位減小 and V2水箱液位不變 then P1電機(jī)轉(zhuǎn)速增大and P2電機(jī)轉(zhuǎn)速減?。?/p>

同理,通過分析可以推理出如下幾條控制經(jīng)驗(yàn):

If V1水箱液位增大 and V2水箱液位不變 then P1電機(jī)轉(zhuǎn)速減小and P2電機(jī)轉(zhuǎn)速增大;

If 左路流量減小 and V1液位不變and V2液位不變 then P1電機(jī)轉(zhuǎn)速增大or P2電機(jī)轉(zhuǎn)速增大or P2電機(jī)轉(zhuǎn)速不變;

If 左路流量增大 and V1液位不變and V2液位不變 then P1電機(jī)轉(zhuǎn)速減小or P2電機(jī)轉(zhuǎn)速減小or P2電機(jī)轉(zhuǎn)速不變;

If V1液位不變and V2液位減小 then P1電機(jī)轉(zhuǎn)速不變and P2電機(jī)轉(zhuǎn)速增大;

If V1液位不變and V2液位增大 then P1電機(jī)轉(zhuǎn)速不變and P2電機(jī)轉(zhuǎn)速減小;

If V1液位減小and V2液位減小 then P1電機(jī)轉(zhuǎn)速增大or P2電機(jī)轉(zhuǎn)速增大or P2電機(jī)轉(zhuǎn)速不變;

If V1液位增大and V2液位增大 then P1電機(jī)轉(zhuǎn)速減小or P2電機(jī)轉(zhuǎn)速減小or P2電機(jī)轉(zhuǎn)速不變;

If V1液位增大and V2液位減小 then P1電機(jī)轉(zhuǎn)速減小and P2電機(jī)轉(zhuǎn)速增大;

If V1液位減小and V2液位增大 then P1電機(jī)轉(zhuǎn)速增大and P2電機(jī)轉(zhuǎn)速減小;

If 右路流量減小 and V1液位不變and V2液位不變 then P1電機(jī)轉(zhuǎn)速不變and P2電機(jī)轉(zhuǎn)速增大;

If 右路流量增大 and V1液位不變and V2液位不變 then P1電機(jī)轉(zhuǎn)速不變and P2電機(jī)轉(zhuǎn)速減?。?/p>

利用上述控制經(jīng)驗(yàn),手動(dòng)控制每條控制經(jīng)驗(yàn)獲取5組數(shù)據(jù),共獲取60組實(shí)驗(yàn)數(shù)據(jù),對深度學(xué)習(xí)控制網(wǎng)絡(luò)進(jìn)行訓(xùn)練．訓(xùn)練完畢,參與實(shí)時(shí)閉環(huán)反饋控制．控制系統(tǒng)結(jié)構(gòu)如圖7所示．

實(shí)際實(shí)驗(yàn)過程中,采用組態(tài)王做監(jiān)控軟件,但它不能實(shí)現(xiàn)復(fù)雜的算法．控制網(wǎng)絡(luò)的在線實(shí)時(shí)訓(xùn)練,其訓(xùn)練算法是很復(fù)雜的,涉及矩陣運(yùn)算、優(yōu)化、迭代、函數(shù)計(jì)算等．因此,讓組態(tài)王完成在線訓(xùn)練與應(yīng)用,實(shí)時(shí)性難以做到,編程困難．為解決這一問題,我們采用了DDE技術(shù),實(shí)現(xiàn)MatLab、組態(tài)王之間的數(shù)據(jù)交換,發(fā)揮各自的特長．MatLab實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練與計(jì)算十分簡單;組態(tài)王可以通過DDE技術(shù)與其他軟件通訊,編制監(jiān)控界面方便．

圖7 實(shí)驗(yàn)控制系統(tǒng)

圖8、圖9給出了訓(xùn)練好的控制網(wǎng)絡(luò)進(jìn)行的閉環(huán)控制實(shí)驗(yàn)曲線．如圖所示,液位1隨著左路流量的增大、減小發(fā)生變化很大,或者上升,或者下降．在控制過程中,盡管左路流量波動(dòng)較大,液位1波動(dòng)很大,但是液位2基本沒有變化,始終在給定值附近(控制精度為1),這是右路及時(shí)控制的結(jié)果．實(shí)驗(yàn)結(jié)果表明,訓(xùn)練好的控制網(wǎng)絡(luò),模擬了人的控制思維,成功地實(shí)現(xiàn)了解耦,取得優(yōu)良實(shí)驗(yàn)結(jié)果．

圖8 實(shí)時(shí)控制曲線(1)

圖9 實(shí)時(shí)控制曲線(2)

7 總 結(jié)

復(fù)雜系統(tǒng)有多個(gè)輸入、輸出,輸入、輸出變量之間一般存在耦合關(guān)系,對一些復(fù)雜的過程控制系統(tǒng)難以建立數(shù)學(xué)模型,控制相對復(fù)雜．現(xiàn)有控制理論解決復(fù)雜系統(tǒng)控制問題,仍然存在不足．仿人思維控制是基于人控制思維和控制智慧的控制方法,跟其他控制方法不同之處在于:(1)能實(shí)現(xiàn)開環(huán)、閉環(huán)切換;(2)分段控制,不同階段采用不同控制方法;(3)依據(jù)被控量變化的大小、方向、速度、趨勢確定控制策略;(4)采樣周期、控制周期在控制過程是可變的;(5)控制過程實(shí)時(shí)挖掘控制經(jīng)驗(yàn)與技巧,指導(dǎo)控制過程;(6)依據(jù)被控量、控制量、干擾量的動(dòng)態(tài)特性以及它們之間的關(guān)系確定控制策略;(7)能夠有機(jī)地融合人的思維智能、動(dòng)覺智能、視覺智能;(8)能夠協(xié)調(diào)“穩(wěn)、快、準(zhǔn)”3個(gè)控制性能指標(biāo)之間的統(tǒng)一．仿人思維控制理論方法已經(jīng)成功地運(yùn)用于單輸入-單輸出過程控制系統(tǒng),對多輸入-多輸出復(fù)雜系統(tǒng)控制也有應(yīng)用,但也存在不足．深度學(xué)習(xí)網(wǎng)絡(luò)可以實(shí)現(xiàn)類似人腦邊學(xué)習(xí)、邊積累經(jīng)驗(yàn)功能,將仿人思維控制機(jī)理與深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)合,發(fā)揮各自的優(yōu)勢,解決復(fù)雜系統(tǒng)控制問題是可行的．我們研究了2個(gè)被控量、2個(gè)干擾量、2個(gè)控制量的實(shí)驗(yàn)控制系統(tǒng),實(shí)驗(yàn)結(jié)果表明,我們提出的仿人思維深度學(xué)習(xí)網(wǎng)絡(luò)取得良好的控制效果．下一步將研究更加復(fù)雜的多輸入-多輸出系統(tǒng)控制,完善基于仿人思維深度學(xué)習(xí)網(wǎng)絡(luò)的控制方法．