鄒博文，張炳飛，凌青海，連源，劉俊，杜慎之，馬華君

1.西南大學(xué) 人工智能學(xué)院，重慶 400715；2.重慶小康動(dòng)力有限公司，重慶 401228

增程式汽車(chē)較好解決了續(xù)駛里程和污染物排放問(wèn)題，是實(shí)現(xiàn)“碳達(dá)峰、碳中和”的重要抓手．增程式汽車(chē)的結(jié)構(gòu)相對(duì)復(fù)雜且具有多個(gè)工作模式，對(duì)動(dòng)力系統(tǒng)進(jìn)行精確控制以便提升車(chē)輛的節(jié)油率是當(dāng)前的研究熱點(diǎn)[1]．

目前，增程式電動(dòng)汽車(chē)的能量管理策略(Energy Management Strategy，EMS)主要分為基于規(guī)則的EMS和基于優(yōu)化的EMS[2-4]．常見(jiàn)的基于規(guī)則的EMS有恒溫器控制、發(fā)動(dòng)機(jī)多工作點(diǎn)控制、功率跟隨控制．如Banvait等人提出在車(chē)輛啟動(dòng)時(shí)電池給發(fā)動(dòng)機(jī)提供助力使其工作點(diǎn)落在高效區(qū)，以改善車(chē)輛燃油經(jīng)濟(jì)性[5]．不足之處是該方法僅適用于特定的工況下，局限性較強(qiáng)．基于優(yōu)化的EMS主要有動(dòng)態(tài)規(guī)劃[6-7]、龐特里亞金最小值原理[8]、模型預(yù)測(cè)控制[9-10]、等效能耗最小[11]、人工智能技術(shù)等[12-15]．如Lin等人利用動(dòng)態(tài)規(guī)劃設(shè)計(jì)了最優(yōu)EMS策略，并在NEDC工況下驗(yàn)證了該方法的有效性[16]．但該方法往往需要事先獲得行駛工況信息，一般不能實(shí)現(xiàn)即時(shí)控制．

鑒于基于規(guī)則的EMS和基于優(yōu)化的EMS都存在不足[17-18]，因此有必要探索新的方法．人工智能是模擬、延伸和擴(kuò)展人的智能的一門(mén)技術(shù)科學(xué)，它擅長(zhǎng)于解決決策、控制、優(yōu)化系統(tǒng)中的復(fù)雜問(wèn)題．本研究將其中的強(qiáng)化學(xué)習(xí)方法應(yīng)用于增程式汽車(chē)能量管理問(wèn)題形成基于強(qiáng)化學(xué)習(xí)的EMS，并與基于規(guī)則的EMS在相同條件下進(jìn)行對(duì)比仿真，以期研究該方法的節(jié)油效果．

1 增程汽車(chē)模型及基于規(guī)則的能量管理策略

1.1 增程汽車(chē)模型

增程式電動(dòng)汽車(chē)按照其增程器和動(dòng)力電池組的工作狀態(tài)可將該車(chē)的工作模式劃分為：完全純電(驅(qū)動(dòng)電機(jī)能量供給僅由電池)、發(fā)電補(bǔ)電(電池提供能量給驅(qū)動(dòng)電機(jī))、充電驅(qū)動(dòng)(增程器提供能量給驅(qū)動(dòng)電機(jī)，且為電池充電)、發(fā)電驅(qū)動(dòng)(增程器只給驅(qū)動(dòng)電機(jī)提供能量)、再生制動(dòng)等主要混動(dòng)工作模式．其能量流向圖與結(jié)構(gòu)圖如圖1a、b所示．

圖1 增程式插電混動(dòng)汽車(chē)結(jié)構(gòu)

汽車(chē)運(yùn)動(dòng)模型：汽車(chē)行駛時(shí)，設(shè)汽車(chē)驅(qū)動(dòng)力為F，則汽車(chē)動(dòng)力學(xué)方程可表示為：

(1)

式中：ρ0是空氣密度，CD表示空氣阻力系數(shù)，A是汽車(chē)迎風(fēng)面積，V表示車(chē)速，m是汽車(chē)整備質(zhì)量，g表示重力加速度，k是汽車(chē)滑動(dòng)阻力系數(shù)，a為汽車(chē)的加速度，θ為坡道坡度．而汽車(chē)驅(qū)動(dòng)力F又可表示為

(2)

式中：Tw為增程系統(tǒng)輸出的輪邊扭矩，r車(chē)輪半徑．

發(fā)動(dòng)機(jī)模型：采用準(zhǔn)靜態(tài)模型，定義發(fā)動(dòng)機(jī)的瞬時(shí)燃油消耗C0，一段時(shí)間T內(nèi)的燃油消耗定義為

(3)

動(dòng)力電池組模型：采用內(nèi)阻模型，電池組放電功率Pa與電池荷電狀態(tài)值SOC微分形式可表示如下

Pa=V0I-I2r

(4)

(5)

式中：V0是電池組開(kāi)路電壓，r表示電池組內(nèi)阻，Q是電池組容量，I是電池組放電電流．

1.2 基于規(guī)則的能量管理策略

基于規(guī)則的EMS整體流程主要包括以下幾個(gè)階段：① 判斷是否有外接充電信號(hào)連接；② 根據(jù)加速和制動(dòng)踏板信號(hào)計(jì)算整車(chē)需求功率；③ 若需求功率Preq大于零，根據(jù)動(dòng)力電池SOC值的大小，判斷整車(chē)是進(jìn)入純電動(dòng)模式還是增程模式，且增程器輸出功率由當(dāng)前車(chē)速與整車(chē)控制器VCU計(jì)算的請(qǐng)求功率查表；④ 若需求功率Preq小于零，判斷是否滿(mǎn)足再生制動(dòng)條件，從而選擇再生制動(dòng)或者機(jī)械制動(dòng)，具體如圖2所示．

圖2 控制策略流程圖

增程器若啟動(dòng)，VCU根據(jù)當(dāng)前車(chē)輛加速度需求、附件消耗功率、電池組當(dāng)前允許充電功率等計(jì)算請(qǐng)求當(dāng)前整車(chē)需求功率，再結(jié)合當(dāng)前車(chē)速，查詢(xún)表1得到請(qǐng)求增程系統(tǒng)輸出功率．

表1 請(qǐng)求增程系統(tǒng)功率(部分)

盡管該EMS對(duì)于特定車(chē)型直觀且有效，但其輸出的增程系統(tǒng)功率需根據(jù)工程經(jīng)驗(yàn)進(jìn)行標(biāo)定，且不同車(chē)型需要重新設(shè)定，會(huì)耗費(fèi)許多的人力資源與時(shí)間成本．此外，標(biāo)定的結(jié)果也存在主觀性較強(qiáng)、精確性較差現(xiàn)象．由于存在上述問(wèn)題，這里有必要嘗試研究基于強(qiáng)化學(xué)習(xí)的能量管理策略解決這些問(wèn)題．

2 基于強(qiáng)化學(xué)習(xí)的能量管理策略

2.1 強(qiáng)化學(xué)習(xí)

強(qiáng)化學(xué)習(xí)就是程序或智能體(agent)通過(guò)與環(huán)境不斷地進(jìn)行交互，學(xué)習(xí)一個(gè)從環(huán)境到動(dòng)作的映射，學(xué)習(xí)的目標(biāo)就是使累計(jì)回報(bào)最大化[19-21]，結(jié)構(gòu)如圖3所示．

圖3 強(qiáng)化學(xué)習(xí)結(jié)構(gòu)圖

式中系統(tǒng)t時(shí)刻的狀態(tài)St，at是智能體t時(shí)刻的動(dòng)作，rt是智能體t時(shí)刻的獎(jiǎng)賞值，St+1是系統(tǒng)t+1時(shí)刻的狀態(tài)，rt+1是t+1時(shí)刻的獎(jiǎng)賞值．強(qiáng)化學(xué)習(xí)方法應(yīng)用場(chǎng)景中，對(duì)象一般具有序慣性，通過(guò)分析發(fā)現(xiàn)強(qiáng)化學(xué)習(xí)方法適用于增程汽車(chē)能量管理問(wèn)題．

2.2 強(qiáng)化學(xué)習(xí)的模型對(duì)象及能量管理策略

為將強(qiáng)化學(xué)習(xí)方法應(yīng)用于研究對(duì)象，先簡(jiǎn)化REEV能量管理系統(tǒng)為一個(gè)非線(xiàn)性離散系統(tǒng)，可表示為

S(t+1)=f(S(t)，u(t))，t=0，1，…，N

(6)

式中S(t+1)是t+1時(shí)刻的狀態(tài)值，t表示采樣時(shí)刻，N是采樣終止時(shí)刻，S(t)是t時(shí)刻的狀態(tài)值，u(t)是t時(shí)刻的控制量．狀態(tài)變量S(t)從屬有限的狀態(tài)空間，控制變量u(t)從屬有限的控制空間．

2.2.1 狀 態(tài)

將扭矩需求T、當(dāng)前車(chē)速V、動(dòng)力電池荷電狀態(tài)SOC、及行駛里程d選定為狀態(tài)變量S并對(duì)所選狀態(tài)值按采樣時(shí)間離散，設(shè)定扭矩需求和車(chē)速上下邊界為0到520 N·m、0至132 km/h，行駛里程設(shè)定為行駛累計(jì)里程與總里程的比值，其范圍為[0，1]，狀態(tài)變量S為

S=[T，V，SOC，d]

(7)

2.2.2 動(dòng) 作

通過(guò)上面的分析，選擇增程器的輸出功率Pr作為動(dòng)作空間A的控制變量，其范圍為0到80 kW，動(dòng)作個(gè)數(shù)按采樣時(shí)間數(shù)離散．

2.2.3 獎(jiǎng)賞值

設(shè)定即時(shí)獎(jiǎng)賞值r(s，a)為所選時(shí)間步長(zhǎng)內(nèi)燃油消耗與電量消耗的總花費(fèi)如下

(8)

式中C0是前面定義的瞬時(shí)燃油消耗率，t是采樣時(shí)刻，Δsoc是該步長(zhǎng)內(nèi)的電池組SOC變化量，f(Δsoc)為電量和油耗的換算關(guān)系函數(shù)．

2.2.4 動(dòng)作更新選擇

本研究采用貪心策略來(lái)來(lái)制定選擇動(dòng)作的規(guī)則，動(dòng)作更新公式如下

(9)

式中ε為探索率，本文設(shè)置的探索率會(huì)根據(jù)訓(xùn)練次數(shù)進(jìn)行變化，A為動(dòng)作空間．

2.2.5 狀態(tài)動(dòng)作值更新選擇

該部分狀態(tài)動(dòng)作值更新方式采用Q學(xué)習(xí)算法，該算法的狀態(tài)動(dòng)作值函數(shù)Q(s，a)直接逼近最優(yōu)狀態(tài)動(dòng)作值函數(shù)．狀態(tài)動(dòng)作值函數(shù)Q(s，a)更新公式如下

Q(st，at)←Q(st，at)+α[rt+γ*maxQ(st+1，at+1)-Q(st，at)]

(10)

式中rt為在t時(shí)刻的狀態(tài)選擇該動(dòng)作的獎(jiǎng)賞值，Q(st，at)為在t時(shí)刻的狀態(tài)動(dòng)作值，Q(st+1，at+1)為在t+1時(shí)刻的狀態(tài)動(dòng)作值，γ為學(xué)習(xí)率．狀態(tài)動(dòng)作值函數(shù)的具體更新流程如圖4所示．

圖4 狀態(tài)動(dòng)作值函數(shù)更新流程圖

基于強(qiáng)化學(xué)習(xí)的EMS中，選取車(chē)速、扭矩等參數(shù)作為狀態(tài)變量，在每一個(gè)時(shí)間節(jié)點(diǎn)t，車(chē)輛產(chǎn)生一組控制動(dòng)作at并觀察即時(shí)的獎(jiǎng)賞值rt，并將一串控制動(dòng)作映射到狀態(tài)的函數(shù)．考慮環(huán)境的隨機(jī)輸入，如駕駛員的需求轉(zhuǎn)矩及需求車(chē)速，即時(shí)花費(fèi)和下一狀態(tài)都難以預(yù)測(cè)，所以采用免模型的Q學(xué)習(xí)來(lái)實(shí)現(xiàn)能量管理控制．對(duì)比前種方法可知于強(qiáng)化學(xué)習(xí)方法的EMS易于在仿真環(huán)境中得到控制策略，面對(duì)不同車(chē)型的不同模型參數(shù)時(shí)也具有可擴(kuò)展性．

3 仿真與結(jié)果分析

3.1 仿真車(chē)型參數(shù)與條件

為驗(yàn)證上述兩種控制策略燃油節(jié)省的效果，在MATLAB/Simulink與AVL/Cruise進(jìn)行仿真，選取某款增程式插混汽車(chē)為研究對(duì)象，其部分參數(shù)如表2所示．

表2 AVL/Cruise仿真參數(shù)表

在AVL/Cruise主界面搭建整車(chē)物理模型，包括發(fā)動(dòng)機(jī)、發(fā)電機(jī)、動(dòng)力電池組、主減速器、車(chē)輪等組件，并對(duì)組件按表2進(jìn)行參數(shù)設(shè)置，如圖5所示．

圖5 AVL/Cruise的整車(chē)模型圖

仿真選擇在WLTC(World Light Vehicle Test Cycle)工況下進(jìn)行，WLTC測(cè)試循環(huán)總共持續(xù)1 800 s，累計(jì)行駛里程23.3 km，測(cè)試當(dāng)中車(chē)輛的最高時(shí)速提升至131 km/h，平均速度約為47 km/h，整個(gè)過(guò)程如圖6所示．

圖6 WLTC循環(huán)工況

3.2 能量管理策略仿真

3.2.1 基于規(guī)則的能量管理策略仿真

在MATLAB/Simulink中建立基于規(guī)則的整車(chē)的控制策略模型后，將該模型嵌入到AVL/Cruise的整車(chē)模型中，進(jìn)行AVL/Cruise和MATLAB/Simulink的聯(lián)合仿真(圖7)．即利用 Simulink中的 Real Time Workshop工具，將Simulink模型轉(zhuǎn)化成DLL文件，在AVL/Cruise中選擇MATLAB DLL接口模塊并將生成的DLL文件導(dǎo)入．此外，需要在CYCLE RUN任務(wù)中選擇WLTC工況作為測(cè)試工況．

圖7 聯(lián)合仿真實(shí)現(xiàn)

3.2.2 基于強(qiáng)化學(xué)習(xí)的能量管理策略仿真

如圖8整個(gè)仿真的過(guò)程是首先將WLTC測(cè)試工況輸入的目標(biāo)車(chē)速和加速度信息傳給VCU控制器，VCU控制器一方面接收輸入的信息和整車(chē)模型反饋的實(shí)際車(chē)速、累計(jì)里程，另一方面將計(jì)算后得到的需求扭矩T、電池SOC、車(chē)速V、剩余里程d作為狀態(tài)變量輸入給強(qiáng)化學(xué)習(xí)控制器，強(qiáng)化學(xué)習(xí)控制器負(fù)責(zé)迭代訓(xùn)練并產(chǎn)生控制動(dòng)作，且會(huì)根據(jù)燃油電量消耗更新輸出的控制動(dòng)作，訓(xùn)練完成后選擇最優(yōu)結(jié)果得到強(qiáng)化學(xué)習(xí)控制策略．

圖8 強(qiáng)化學(xué)習(xí)策略結(jié)構(gòu)圖

建立強(qiáng)化學(xué)習(xí)控制策略時(shí)，選擇Matlab中強(qiáng)化學(xué)習(xí)工具箱(Reinforcement Learning Toolbox)來(lái)完成，如圖9所示．首先初始化Q值，再通過(guò)rlNumericSpec函數(shù)對(duì)狀態(tài)進(jìn)行離散，并將狀態(tài)(State)、動(dòng)作(Action)和Q值存儲(chǔ)在三維數(shù)據(jù)表格rlTable中，并根據(jù)表格選取最優(yōu)動(dòng)作，與整車(chē)Cruise模型交互，并基于即時(shí)獎(jiǎng)勵(lì)函數(shù)r，按式(10)更新Q值．重復(fù)上述步驟完成Q學(xué)習(xí)過(guò)程．

圖9 Q學(xué)習(xí)迭代過(guò)程

基于強(qiáng)化學(xué)習(xí)的控制策略需要經(jīng)過(guò)一定次數(shù)的訓(xùn)練才能獲得穩(wěn)定收斂狀態(tài)動(dòng)作值，在WLTC工況下每一次行程便是一次完整的訓(xùn)練．為了加快收斂的速度，在訓(xùn)練過(guò)程中并未采用固定的探索率εi和學(xué)習(xí)率γ，而是在訓(xùn)練的前期選擇較大的探索率和學(xué)習(xí)率，隨著訓(xùn)練次數(shù)的增加再逐步減小，最終獲得良好的收斂．探索率及學(xué)習(xí)率的設(shè)定為

εi=γ=[0.2：-0.0005：0.005]

(11)

由圖10可以看出，隨著訓(xùn)練次數(shù)的增加，每次行程的花費(fèi)值漸漸趨于收斂，并在第513次訓(xùn)練時(shí)有最小耗油量0.675 L．

圖10 WLTC工況下仿真迭代次數(shù)

3.3 仿真結(jié)果分析

圖11表現(xiàn)了訓(xùn)練完成后，WLTC工況下使用兩種能量管理策略仿真后SOC的軌跡．測(cè)試的初始階段，因?yàn)樵龀唐魑磫?dòng)，電池組提供驅(qū)動(dòng)所需功率，而相同測(cè)試對(duì)功率需求一致，故SOC軌跡在這段時(shí)間重合．當(dāng)SOC下降到0.65時(shí)，增程器啟動(dòng)．此階段基于規(guī)則的EMS電池SOC軌跡上升的總體來(lái)說(shuō)更快，表明基于強(qiáng)化學(xué)習(xí)EMS策略在增程器啟動(dòng)后選擇輸出的功率平均值更?。?/p>

圖11 WLTC工況下兩種策略SOC軌跡對(duì)比

為更直觀地體現(xiàn)燃油節(jié)省率，下面將WLTC循環(huán)的電耗統(tǒng)一折算為油耗進(jìn)行對(duì)比，電池SOC值與油耗的換算公式(根據(jù)GB/T 37340-2019《電動(dòng)汽車(chē)能耗折算方法》)如下式所示：

Fc=E×FE

(12)

式中：Fc表示燃油的消耗量；E為電能消耗；FE是能量折算因子，92號(hào)汽油為0.1161．

經(jīng)訓(xùn)練后，基于強(qiáng)化學(xué)習(xí)的最優(yōu)能量管理策略與基于設(shè)定規(guī)則的能量管理策略在WLTC工況的運(yùn)行燃油消耗(電量消耗折算后)對(duì)比如圖12所示．

圖12 WLTC循環(huán)工況下兩種策略綜合能耗對(duì)比

WLTC工況下基于強(qiáng)化學(xué)習(xí)的能量管理策略與基于規(guī)則的能量管理策略能耗結(jié)果對(duì)比如表3所示．

表3 WLTC工況下能量管理策略結(jié)果對(duì)比

上表中將電池組SOC值變化折算成油耗得到WLTC工況下等效油耗，可以看到：跑完整個(gè)WLTC循環(huán)，基于規(guī)則EMS油耗為0.719 7 L，而基于強(qiáng)化學(xué)習(xí)EMS油耗為0.696 2 L．折算后，若設(shè)基于規(guī)則的能量管理策略能耗節(jié)省率0%作為對(duì)比基準(zhǔn)，基于強(qiáng)化學(xué)習(xí)的能量管理策略比基于規(guī)則的能量管理策略能耗節(jié)省率提高了3.2%．

圖 11中SOC軌跡的變化表征了電池組充電功率的變化，也間接反映了增程器啟動(dòng)后兩種策略下的增程器輸出功率變化，計(jì)算后可知整個(gè)WLTC循環(huán)過(guò)程中，基于強(qiáng)化學(xué)習(xí)EMS增程器啟動(dòng)時(shí)輸出功率平均值小于基于強(qiáng)化學(xué)習(xí)EMS增程器啟動(dòng)時(shí)輸出功率的平均值．因油耗的來(lái)源是增程器中發(fā)動(dòng)機(jī)的運(yùn)行，更小的增程器輸出功率意味著更低的燃油消耗．

基于規(guī)則的增程器功率輸出表來(lái)源于人工標(biāo)定，其值設(shè)置的偏大，會(huì)導(dǎo)致電氣傳輸過(guò)程中，線(xiàn)路電流會(huì)偏大，內(nèi)阻一定時(shí)能量傳遞損耗的越多．而基于強(qiáng)化學(xué)習(xí)的EMS在離線(xiàn)多次迭代后找到了當(dāng)前采樣時(shí)刻下更合適的增程器功率輸出值，從而有更少的能量消耗．

4 總結(jié)

根據(jù)研究對(duì)象的結(jié)構(gòu)建立模型并進(jìn)行仿真，結(jié)果表明基于強(qiáng)化學(xué)習(xí)的能量管理策略比基于規(guī)則的能量管理策略能量消耗率減少了3.2%．因此，在WLTC循環(huán)工況下基于強(qiáng)化學(xué)習(xí)的能量管理策略是一種相對(duì)更優(yōu)的能量管理策略．考慮到車(chē)輛實(shí)際運(yùn)行的工況比模型要復(fù)雜，故還需進(jìn)行實(shí)車(chē)測(cè)試以便檢驗(yàn)?zāi)芰糠峙洳呗缘目煽啃裕趶?qiáng)化學(xué)習(xí)方法訓(xùn)練得出的EMS可為工程上最優(yōu)增程器輸出功率標(biāo)定提供范圍，該范圍下將顯著減少工程人員標(biāo)定工作量．