孔澤慧 樊杰

（1.廣西機(jī)電職業(yè)技術(shù)學(xué)院，南寧 530007；2.中國(guó)汽車工程研究院股份有限公司，重慶 401122）

主題詞：分布式驅(qū)動(dòng) 電動(dòng)汽車 深度強(qiáng)化學(xué)習(xí) 扭矩分配

1 前言

分布式驅(qū)動(dòng)電動(dòng)汽車（Distributed Drive Electric Vehicle，DDEV）具有響應(yīng)快、加速性好、多自由度、控制靈活等獨(dú)特優(yōu)勢(shì)，在提升車輛操縱穩(wěn)定性、安全性和經(jīng)濟(jì)性等方面極具潛力。

前、后軸扭矩分配策略是DDEV發(fā)揮上述潛力的關(guān)鍵所在，如：Nam等為提升車輛經(jīng)濟(jì)性提出了面向急加速場(chǎng)景的車輪防滑控制策略；孟彬運(yùn)用動(dòng)態(tài)方法尋找輪轂電機(jī)的高效區(qū)，獲得了前、后軸扭矩分配系數(shù)；X.Yuan等提出了一種扭矩分配策略，解決了低需求扭矩下系統(tǒng)的低效問(wèn)題。但上述方法僅面向驅(qū)動(dòng)工況，未考慮DDEV 的制動(dòng)能量回收。為充分發(fā)揮電驅(qū)動(dòng)系統(tǒng)在可再生制動(dòng)領(lǐng)域的獨(dú)特優(yōu)勢(shì)，Sun 等運(yùn)用非線性模型預(yù)測(cè)控制方法設(shè)計(jì)了DDEV的再生制動(dòng)扭矩分配策略，J.Zhang 等綜合考慮驅(qū)動(dòng)、制動(dòng)場(chǎng)景，設(shè)計(jì)了再生制動(dòng)和摩擦制動(dòng)的協(xié)調(diào)控制策略。雖然上述研究將電機(jī)的制動(dòng)能量回收也納入優(yōu)化范疇，但扭矩分配以經(jīng)濟(jì)性為目標(biāo)，未考慮制動(dòng)穩(wěn)定性約束，存在應(yīng)用局限性。

扭矩分配策略依據(jù)算法可分為基于規(guī)則和基于優(yōu)化的方法?；谝?guī)則的方法因具有高可靠性而廣泛應(yīng)用于實(shí)車，但應(yīng)用效果受工況影響較大；基于優(yōu)化的方法在變量可行域中以最小化成本函數(shù)為目標(biāo)求解最優(yōu)控制變量，優(yōu)化效果遠(yuǎn)優(yōu)于基于規(guī)則的方法，因此日益受到重視。目前常用的優(yōu)化方法包括動(dòng)態(tài)規(guī)劃、粒子群算法和強(qiáng)化學(xué)習(xí)等。其中，強(qiáng)化學(xué)習(xí)作為當(dāng)代前沿智能算法的一類典型代表，在控制領(lǐng)域已取得了令人矚目的應(yīng)用成果，如何洪文等運(yùn)用深度強(qiáng)化學(xué)習(xí)方法為功率分配型混合動(dòng)力電動(dòng)客車設(shè)計(jì)了能量管理策略，其燃油經(jīng)濟(jì)性與基于動(dòng)態(tài)規(guī)劃的全局最優(yōu)結(jié)果近似度超過(guò)90%。

考慮到強(qiáng)化學(xué)習(xí)在控制領(lǐng)域的強(qiáng)大應(yīng)用潛力，本文提出一種基于深度強(qiáng)化學(xué)習(xí)的DDEV前、后軸扭矩分配策略。在保證制動(dòng)穩(wěn)定性的前提下，以車輛的總需求扭矩和車速為狀態(tài)輸入，前、后軸扭矩分配系數(shù)為輸出，利用深度神經(jīng)網(wǎng)絡(luò)建立狀態(tài)輸入到控制輸出的最優(yōu)映射，并通過(guò)與傳統(tǒng)固定系數(shù)的前、后軸扭矩分配策略對(duì)比，驗(yàn)證算法的有效性。

2 DDEV車輛建模

DDEV的結(jié)構(gòu)如圖1所示。車輛由4個(gè)獨(dú)立的電機(jī)驅(qū)動(dòng)，每個(gè)電機(jī)連接1 個(gè)離合器，并通過(guò)輪邊減速器與車輪相連。其中，、分別為質(zhì)心與前、后軸的距離。

圖1 DDEV結(jié)構(gòu)示意

為了求解控制策略，需要建立能夠準(zhǔn)確模擬車輛動(dòng)態(tài)響應(yīng)的物理模型。本文采用商業(yè)化車輛動(dòng)力學(xué)軟件CarSim內(nèi)置的車輛模型，包括駕駛員模型、懸架模型、輪胎模型，其中考慮了輪胎力飽和效應(yīng)、輪胎遲滯效應(yīng)、輪胎載荷轉(zhuǎn)移效應(yīng)等。其他車輛子系統(tǒng)，包括驅(qū)動(dòng)電機(jī)、機(jī)械制動(dòng)系統(tǒng)、電池模型等，對(duì)其進(jìn)行數(shù)學(xué)建模，并搭建MATLAB∕Simulink模型。

2.1 電機(jī)模型

電機(jī)模型可以表示為：

式中，、分別為電機(jī)的電壓和電流；、、分別為反電動(dòng)勢(shì)、電樞電阻和電樞電感，并且：

式中，、均為電機(jī)常數(shù)，取決于電機(jī)結(jié)構(gòu)、繞組數(shù)量和鐵芯材料屬性等；為電機(jī)轉(zhuǎn)速；為電機(jī)扭矩。

另外，電機(jī)的電壓和電流需要滿足：

式中，、分別為電機(jī)的最大電流和最大電壓。

根據(jù)文獻(xiàn)[12]的測(cè)試結(jié)果，繪制如圖2 所示的電機(jī)效率MAP，為簡(jiǎn)化計(jì)算，認(rèn)為電機(jī)在制動(dòng)時(shí)的效率與其在對(duì)應(yīng)狀態(tài)下的驅(qū)動(dòng)效率相同。

圖2 電機(jī)效率MAP

電機(jī)功率是輸出扭矩、電機(jī)轉(zhuǎn)速和電機(jī)效率的函數(shù)，可以表示為：

式中，為電機(jī)效率，可以根據(jù)圖2由電機(jī)扭矩和電機(jī)轉(zhuǎn)速插值獲得，電機(jī)扭矩和轉(zhuǎn)速可以通過(guò)電機(jī)控制器的傳感信號(hào)獲取。

2.2 機(jī)械制動(dòng)模型

電機(jī)的制動(dòng)力矩雖響應(yīng)迅速，但十分有限，因此在大制動(dòng)強(qiáng)度下需要機(jī)械制動(dòng)系統(tǒng)參與制動(dòng)。本文假設(shè)電制動(dòng)和機(jī)械制動(dòng)能夠?qū)崿F(xiàn)制動(dòng)力矩的連續(xù)調(diào)制，力矩響應(yīng)可以近似為如下一階系統(tǒng)：

2.3 電池模型

本文采用鋰離子動(dòng)力電池作為能量源，一階RC 電路電池模型為：

式中，為一階RC網(wǎng)絡(luò)端電壓；、分別為RC網(wǎng)絡(luò)的極化電容和極化內(nèi)阻；為激勵(lì)電流；為電池容量；為電池端電壓；為電池開(kāi)路電壓；為歐姆內(nèi)阻。

根據(jù)安時(shí)積分規(guī)則，電池荷電狀態(tài)（State of Charge，SOC）與電池容量和激勵(lì)電流存在以下關(guān)系：

式中，、分別為電池的荷電狀態(tài)和充放電效率。

以SOC的多項(xiàng)式函數(shù)進(jìn)行建模：

式中，c為第階SOC分量對(duì)應(yīng)的多項(xiàng)式系數(shù)；為多項(xiàng)式的階數(shù)，本文取=5，即認(rèn)為是的五階多項(xiàng)式函數(shù)。

部分整車參數(shù)如表1所示。

表1 車輛基本參數(shù)

3 基于深度強(qiáng)化學(xué)習(xí)的扭矩分配設(shè)計(jì)

強(qiáng)化學(xué)習(xí)的思想是通過(guò)與環(huán)境的試錯(cuò)交互，基于觀測(cè)值及對(duì)系統(tǒng)行為的分析提高系統(tǒng)性能，通常以最大化累計(jì)回報(bào)函數(shù)為目標(biāo)，獲得最優(yōu)控制策略。

-learning 是著名的強(qiáng)化學(xué)習(xí)方法，當(dāng)給定控制策略時(shí)，在狀態(tài)s下執(zhí)行動(dòng)作a時(shí)的動(dòng)作值函數(shù)可以表示為：

式中，為[0,1]范圍內(nèi)的折扣因子，表示將未來(lái)回報(bào)折算到當(dāng)前時(shí)間點(diǎn)的回報(bào)折算值；為單步回報(bào)；Q為動(dòng)作值函數(shù)，表示在當(dāng)前狀態(tài)s下，執(zhí)行動(dòng)作a后的長(zhǎng)期期望累計(jì)回報(bào)。

最優(yōu)動(dòng)作值函數(shù)定義為：

可以通過(guò)選擇最大化值的動(dòng)作來(lái)獲得最優(yōu)控制策略：

式中，為動(dòng)作變量的可行域空間；為執(zhí)行的動(dòng)作；為獲得最優(yōu)值函數(shù)的動(dòng)作。

傳統(tǒng)的-learning 通過(guò)離散化狀態(tài)和動(dòng)作參數(shù)來(lái)獲得從狀態(tài)到動(dòng)作的最優(yōu)控制策略，但針對(duì)DDEV扭矩分配，由于系統(tǒng)的狀態(tài)（需求扭矩、車速）為連續(xù)輸入，一方面，離散化會(huì)影響最終優(yōu)化策略求解的精度，另一方面，過(guò)度的離散化也會(huì)帶來(lái)“維數(shù)災(zāi)難”，增加運(yùn)算負(fù)擔(dān)。因此，為了對(duì)包含連續(xù)狀態(tài)的控制問(wèn)題應(yīng)用learning，可運(yùn)用深度強(qiáng)化學(xué)習(xí)算法，通過(guò)神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)從連續(xù)狀態(tài)到動(dòng)作值函數(shù)的映射：

式中，為深度神經(jīng)網(wǎng)絡(luò)的參數(shù)；(s,a,w)為從狀態(tài)s和動(dòng)作a到動(dòng)作值函數(shù)的映射。

本文定義需求扭矩和電機(jī)轉(zhuǎn)速組成的二維向量為系統(tǒng)狀態(tài)，即=(,)，系統(tǒng)的動(dòng)作為前、后軸的扭矩分配系數(shù)，這里定義為前軸扭矩在總驅(qū)動(dòng)扭矩中的占比，并且假定同一軸上的2個(gè)電機(jī)輸出扭矩相同，即

式中，、、、分別為左前輪、右前輪、左后輪、右后輪的扭矩；、分別為前、后軸的扭矩；為輪邊電機(jī)轉(zhuǎn)速；=1,2,3,4 分別表示左前、左后、右前、右后輪；為車速；為車輪的滾動(dòng)半徑；為輪邊減速器的速比。

控制目標(biāo)為整車的經(jīng)濟(jì)性最優(yōu)，由于-learning 算法通常最大化累計(jì)期望回報(bào)，而本文的優(yōu)化目標(biāo)是最小化瞬時(shí)能耗，因此定義瞬時(shí)回報(bào)為系統(tǒng)瞬時(shí)能耗的相反數(shù)：

式中，為指示函數(shù)，驅(qū)動(dòng)狀態(tài)時(shí)=-1，制動(dòng)狀態(tài)時(shí)=1。

本文設(shè)定神經(jīng)網(wǎng)絡(luò)具有4個(gè)隱含層，隱含層之間為全連接結(jié)構(gòu)，每層擁有500 個(gè)神經(jīng)元，神經(jīng)元的激活函數(shù)為，輸入層有2個(gè)神經(jīng)元，分別代表狀態(tài)向量中的需求扭矩和電機(jī)轉(zhuǎn)速，輸出層有11 個(gè)神經(jīng)元，將在[0.5,1.0]范圍內(nèi)均分為10 等份，11 個(gè)神經(jīng)元依次代表取0.50、0.55、0.60、…、0.95、1.00 時(shí)對(duì)應(yīng)的動(dòng)作值函數(shù)。的最小值為0.5，即前軸的扭矩始終不低于后軸，原因是前驅(qū)車輛具有不足轉(zhuǎn)向特性。

另外，系統(tǒng)必須滿足的約束條件還包括：

式中，為輪邊電機(jī)扭矩；=1,2,3,4 分別表示左前、左后、右前、右后輪；、分別為最大扭矩和最大轉(zhuǎn)速。

當(dāng)車輛處于制動(dòng)狀態(tài)時(shí)，還需要滿足制動(dòng)穩(wěn)定性約束。理論上，為了達(dá)到最大制動(dòng)效能，前、后軸應(yīng)同時(shí)達(dá)到“抱死”條件，此時(shí)前、后制動(dòng)力和滿足圖3所示的I曲線，即

圖3 制動(dòng)穩(wěn)定性邊界

式中，為車輛質(zhì)心高度；為軸距。

然而，實(shí)際情況下很難實(shí)現(xiàn)前、后軸同時(shí)達(dá)到“抱死”，為保證車輛的穩(wěn)定性，通常允許前軸較后軸先抱死，即前、后制動(dòng)力分配系數(shù)應(yīng)該在I曲線下方。

另外，歐洲經(jīng)濟(jì)委員會(huì)（Economic Commission for Europe）規(guī)定了后軸最小制動(dòng)力以避免前軸過(guò)于容易達(dá)到“抱死”且保證制動(dòng)距離滿足要求。根據(jù)規(guī)定，制動(dòng)強(qiáng)度和路面附著系數(shù)應(yīng)滿足：

因此，可以得到如圖3所示的ECE曲線，其表達(dá)式為：

另外，美國(guó)州公路工作者協(xié)會(huì)研究表明，在緊急情況下，良好路面上的制動(dòng)強(qiáng)度可達(dá)0.55，而一般情況下的制動(dòng)強(qiáng)度通常低于0.35。因此，本文將制動(dòng)強(qiáng)度限定在0～0.5范圍內(nèi)。如果制動(dòng)強(qiáng)度超過(guò)0.5，將被認(rèn)為是緊急制動(dòng)，為保證制動(dòng)的可靠性，可完全采用機(jī)械制動(dòng)。

根據(jù)上述分析，從制動(dòng)穩(wěn)定性角度看，的可行域?yàn)閳D3中圍成的區(qū)域。

本文采用的深度強(qiáng)化學(xué)習(xí)相關(guān)網(wǎng)絡(luò)參數(shù)如表2 所示，詳細(xì)算法流程為：

表2 深度強(qiáng)化學(xué)習(xí)參數(shù)

基于深度強(qiáng)化學(xué)習(xí)的DDEV 扭矩分配計(jì)算流程如圖4所示。

圖4 基于深度強(qiáng)化學(xué)習(xí)的DDEV扭矩分配計(jì)算流程

4 仿真結(jié)果及討論

4.1 NEDC工況試驗(yàn)仿真

新歐洲駕駛循環(huán)（New European Driving Cycle，NEDC）工況下，基于深度強(qiáng)化學(xué)習(xí)求解的驅(qū)動(dòng)和制動(dòng)狀態(tài)下的最優(yōu)扭矩分配MAP 如圖5 所示：當(dāng)需求扭矩（絕對(duì)值）較低時(shí)，為了避免電機(jī)在低扭矩情況下進(jìn)入低效區(qū)，通過(guò)前軸電機(jī)產(chǎn)生驅(qū)動(dòng)力或進(jìn)行制動(dòng)能量回收；當(dāng)需求扭矩較高時(shí)，扭矩近似在前、后軸間均等分配。

圖5 基于深度強(qiáng)化學(xué)習(xí)求解的最優(yōu)扭矩分配MAP

為了驗(yàn)證所提出的基于深度強(qiáng)化學(xué)習(xí)的DDEV 扭矩分配策略的經(jīng)濟(jì)性優(yōu)勢(shì)，采用傳統(tǒng)扭矩分配策略作為對(duì)比基準(zhǔn)。傳統(tǒng)扭矩分配策略在驅(qū)動(dòng)狀態(tài)下，力矩在4 個(gè)車輪間通常平均分配，在制動(dòng)狀態(tài)下，制動(dòng)力在前、后軸間按照固定比分配。為了保證車輛的制動(dòng)穩(wěn)定性，一般要求車輛的前輪制動(dòng)力稍大于后輪制動(dòng)力，取=0.6。制動(dòng)時(shí)優(yōu)先采用再生制動(dòng)，如果電機(jī)制動(dòng)力矩能夠滿足制動(dòng)需求，則完全由電機(jī)制動(dòng)，否則，電機(jī)按照最大力矩進(jìn)行制動(dòng)，所需的剩余制動(dòng)力由機(jī)械制動(dòng)補(bǔ)足。

通過(guò)CarSim 和MATLAB∕Simulink 聯(lián)合進(jìn)行NEDC工況仿真，為了量化對(duì)比，引入以下指標(biāo)：

a.牽引效率，用于評(píng)價(jià)驅(qū)動(dòng)系統(tǒng)的能耗水平：

b.再生制動(dòng)率，用于評(píng)價(jià)再生制動(dòng)系統(tǒng)的能量回收能力：

c.節(jié)能率，用于評(píng)價(jià)整車的節(jié)能水平：

式中，=-。

在如圖6所示的NEDC工況下分別進(jìn)行2種控制策略的仿真。設(shè)定電池初始SOC 為80%，2 種扭矩分配策略下的電機(jī)扭矩輸出和驅(qū)動(dòng)∕制動(dòng)功率對(duì)比如圖7所示，可以看出：在NEDC的市區(qū)工況下，2種控制策略的輸出基本一致；在高速、市郊工況下，由圖7a和圖7b可知，基于深度強(qiáng)化學(xué)習(xí)的控制策略更傾向于使用前軸驅(qū)動(dòng)；圖7d表明，基于深度強(qiáng)化學(xué)習(xí)的扭矩分配可節(jié)省超過(guò)10%的驅(qū)動(dòng)功率，同時(shí)制動(dòng)回收功率可增加近10%。

圖6 NEDC工況

圖7 2種扭矩分配策略結(jié)果的對(duì)比

表3和表4分別對(duì)比了2種控制策略的能耗特性和評(píng)價(jià)參數(shù)。與傳統(tǒng)方法相比，深度強(qiáng)化學(xué)習(xí)策略對(duì)應(yīng)的牽引效率和再生制動(dòng)率均有所提高，其中牽引效率提高了4.18百分點(diǎn)，再生制動(dòng)率提高了4.92百分點(diǎn)。除此之外，2種策略下初始SOC均設(shè)定為80%，在結(jié)束時(shí)，強(qiáng)化學(xué)習(xí)對(duì)應(yīng)的SOC比傳統(tǒng)策略高出3.96百分點(diǎn)。由于上述在驅(qū)動(dòng)和制動(dòng)工況下的改善，車輛節(jié)能率提高了3.48百分點(diǎn)。

表3 能耗特性對(duì)比 kJ

表4 評(píng)價(jià)參數(shù)對(duì)比 %

4.2 對(duì)開(kāi)路面大強(qiáng)度制動(dòng)硬件在環(huán)測(cè)試

為了驗(yàn)證所提出的控制策略能否保證車輛良好的制動(dòng)穩(wěn)定性，通過(guò)硬件在環(huán)測(cè)試進(jìn)行對(duì)開(kāi)路面大強(qiáng)度制動(dòng)測(cè)試，對(duì)開(kāi)路面左、右側(cè)附著系數(shù)分別設(shè)定為0.2 和0.5，制動(dòng)強(qiáng)度取0.5（即所提出控制策略允許的制動(dòng)強(qiáng)度上限值）?；赗T-LAB和MotoTron的硬件在環(huán)仿真測(cè)試平臺(tái)如圖8 所示，在該平臺(tái)中，基于深度學(xué)習(xí)算法獲得制動(dòng)扭矩分配MAP并作為扭矩分配原則，MotoTron控制器接受需求扭矩和電機(jī)轉(zhuǎn)速信號(hào)，根據(jù)制動(dòng)扭矩分配MAP 插值獲得扭矩分配系數(shù)，RT-LAB 中包含分布式車輛的系統(tǒng)模型，接受MotoTron控制器發(fā)送的扭矩分配信號(hào)，同時(shí)輸出需求扭矩和電機(jī)轉(zhuǎn)速。

圖8 基于RT-LAB和MotoTron的硬件在環(huán)測(cè)試平臺(tái)

傳統(tǒng)策略和基于深度強(qiáng)化學(xué)習(xí)的策略下4 個(gè)車輪的滑移率如圖9 所示，可以看出：對(duì)于傳統(tǒng)扭矩分配策略，在施加制動(dòng)信號(hào)后，左側(cè)車輪先后進(jìn)入低附著系數(shù)路面，滑移率迅速提高，最高可達(dá)到4%左右，由于車輛在高滑移率時(shí)，附著率較低，導(dǎo)致路面可對(duì)左側(cè)車輪提供的最大附著力降低，從而使整車左側(cè)處于易打滑狀態(tài)，而右側(cè)車輪處于低附著良好狀態(tài)，左、右側(cè)附著力的不平衡使車輛處于不穩(wěn)定狀態(tài)；而本文提出的控制策略，由于增加了制動(dòng)穩(wěn)定性約束，左側(cè)車輪的滑移率一直控制在20%附近，此時(shí)車輪具有較為理想的附著特性，車輛的穩(wěn)定性良好。

圖9 2種扭矩分配策略滑移率的對(duì)比

5 結(jié)束語(yǔ)

本文面向分布式驅(qū)動(dòng)車輛，提出了基于深度強(qiáng)化學(xué)習(xí)的扭矩分配策略，在保證車輛制動(dòng)穩(wěn)定性的前提下，以經(jīng)濟(jì)性為目標(biāo)，獲得了前、后軸扭矩的最優(yōu)分配系數(shù)。驗(yàn)證結(jié)果表明：在NEDC 工況下，相比于傳統(tǒng)的固定前、后軸扭矩比的控制策略，提出的控制策略可以實(shí)現(xiàn)牽引效率和再生制動(dòng)率的提高，節(jié)能率提高了3.48百分點(diǎn)；在對(duì)開(kāi)路面大強(qiáng)度制動(dòng)硬件在環(huán)測(cè)試中，所提出的控制策略能夠?qū)⒌透街禂?shù)路面車輪滑移率控制在20%附近，保證了車輛的制動(dòng)穩(wěn)定性。