王悅辰 王紀章 茆寒 姚承志

摘要：在農業(yè)廢棄物堆肥發(fā)酵過程中物料的含水率會發(fā)生變化，導致翻堆作業(yè)負荷的變化。而現有的翻堆作業(yè)主要通過人工操作，導致機器作業(yè)過程中作業(yè)效率低，容易產生故障。針對人工操作翻堆機作業(yè)時出現調控不精準的問題，通過試驗構建翻堆機作業(yè)負荷與翻堆物料含水率、翻堆機行走速度關系模型，并結合翻堆機變頻調速控制模型，利用DDPG（Deep Deterministic Policy Gradient）改進PID算法對翻堆作業(yè)調速系統(tǒng)進行優(yōu)化控制。經過Simulink仿真結果表明，DDPG改進PID算法相比傳統(tǒng)PID算法在超調量上減少6.7%，調節(jié)時間減少2.5 s，并且抗擾動與跟隨性能均更優(yōu)。翻堆作業(yè)現場測試結果表明：DDPG改進PID算法的控制方式相比傳統(tǒng)PID算法超調量要降低4%、調節(jié)時間減少2 s，相比人工控制其調節(jié)時間減少6 s。

關鍵詞：堆肥；翻堆；PID控制；反饋控制；DDPG算法

中圖分類號：S224.2

文獻標識碼：A

文章編號：2095-5553 （2024） 06-0184-08

收稿日期：2022年10月8日

修回日期：2023年2月3日

*基金項目：江蘇省農業(yè)自主創(chuàng)新項目（CX（19）3091）；江蘇省優(yōu)勢學科項目（PAPD-2018-87）；鎮(zhèn)江市重點研發(fā)計劃項目（NY2019004）

第一作者：王悅辰，男，1999年生，南京人，碩士研究生；研究方向為農業(yè)機械化工程。E-mail： 820055421@qq.com

通訊作者：王紀章，男，1981年生，江蘇靖江人，博士，副研究員；研究方向為農業(yè)信息技術。E-mail： whxh@ujs.edu.cn

Feedback control of compost turning machine based on DDPG improved PID algorithm

Wang Yuechen， Wang Jizhang， Mao Han， Yao Chengzhi

（School of Agricultural Engineering， Jiangsu University， Zhenjiang， 212013， China）

Abstract： During the process of composting and fermentation for agricultural wastes， the water content of materials has changed， which will lead to the change of the load of the compost turning operation. However， the existing operation of the compost turning machine was mainly by manual operation， which led to low operation efficiency and easy to cause failure in the process of machine operation. Aiming at the problem of inaccurate regulation during manual operation of the compost turning machine， the relationship model for the operation load of the compost turning machine between the moisture content of the composting material and the moving speed of the machine was established through the experiments. Combined with the variable frequency speed control model of the machine， the speed control system of the compost turning machine was optimized by using DDPG （Deep Deterministic Policy Gradient） improved PID algorithm. The Simulink simulation results showed that compared with the traditional PID algorithm， the DDPG improved PID algorithm reduced the overshoot by 6.7%， the adjustment time by 2.5 s， and the anti-disturbance and follow-up performance were better. The field test results of compost turning operation showed that the control mode of DDPG improved PID algorithm was 4% lower than that of traditional PID algorithm under overshoot， and the adjustment time was reduced by 2 s. Compared with manual control， the adjustment time was reduced by 6 s.

Keywords： compost; pile-turning; PID control; feedback control; Deep Deterministic Policy Gradient （DDPG） algorithm

0 引言

目前農業(yè)廢棄物的發(fā)酵方式主要有攪動固定床式、反應塔式以及槽式，其中槽式發(fā)酵由于其具有建設成本低、管控方式簡單、同一批次處理量大等優(yōu)點成為我國基質發(fā)酵企業(yè)的主要生產手段^[1-3]。但在槽式發(fā)酵過程中由于發(fā)酵堆堆置高度較高，并且長時間堆置后內部堆料容易凝結，導致內部氧氣得不到充分補充，可以采用鋪設管道進行曝氣或使用翻堆機進行翻堆。其中采用翻堆機翻堆的方式不需要進行繁瑣的管道鋪設使后期機械作業(yè)不受阻礙，并且翻堆機作業(yè)時可將發(fā)酵堆料內部的結塊打碎、攪拌，同時使發(fā)酵堆深層的堆料得以翻至上方與新鮮空氣進行充分接觸提高發(fā)酵的均勻性^[4]，因此在大規(guī)?；|發(fā)酵生產中受到廣泛應用。

為了保證堆肥翻堆作業(yè)，日本三重農藝研究組結合巖土撕裂理論對發(fā)酵堆料的物理性質進行研究設計出了一種槽式發(fā)酵專用刀具并安裝在翻堆機上有效改善了翻堆機的運行功率^[5-7]。德國Backhus公司采用“軌道優(yōu)化”的技術，在作業(yè)過程中可使發(fā)酵堆料緊密堆置，節(jié)約占地資源，并且該翻堆機采用液壓驅動技術，在翻堆過程中運行平穩(wěn)可靠不易出故障^[8]。田晉躍^[9]根據翻堆機運行特性對垃圾堆肥翻堆機進行能量消耗的優(yōu)化。彭寶良等^[10]設計FP2500A翻堆機，集成了板鏈式結構與動力系統(tǒng)，可以實現發(fā)酵堆料的破碎與混合，并且試驗效果良好，通用性強。白威濤^[11]對滾筒刀具排列規(guī)則進行優(yōu)化減少了翻堆機運行功耗。為了實現翻堆機的高效作業(yè)，Fouda^{[12， 13]}根據堆肥翻轉操作期間滾筒速度、機器前進速度等運動學參數的變化，研究了堆肥翻堆機在機器容量、堆肥密度、燃料消耗、能源需求和翻堆成本方面的性能。李成杰^[14]針對目前翻堆機容易在運行過程中動力不足導致悶機等問題，通過試驗與離散元模擬等方法對翻堆機作業(yè)特性進行研究，從機械結構以及設計參數上對翻堆機進行優(yōu)化，提高翻堆機的作業(yè)能力。由美國和加拿大聯合研制的“圣甲蟲”號翻堆機采用機電、液壓一體化控制方案實現翻堆作業(yè)下堆發(fā)酵堆溫度、含水率的自動控制，有效縮短了發(fā)酵堆的生產周期，為基質發(fā)酵企業(yè)的大規(guī)模生產提供了有力支持^[15]。Schedler等^[16]研發(fā)一種可自動導航的發(fā)酵堆翻堆作業(yè)系統(tǒng)，利用軟硬件協同的方式結合多體動力學模型降低了開發(fā)測試成本。

在堆肥發(fā)酵過程中，由于翻堆作業(yè)和堆體溫度升高，導致發(fā)酵堆內的含水率發(fā)生變化，導致翻堆作業(yè)負荷的變化。如果翻堆機按照相同的作業(yè)速度進行作業(yè)，會導致作業(yè)效率低、容易悶機等問題。本文通過建立翻堆機作業(yè)模型，研究翻堆機在不同負載狀態(tài)下翻堆作業(yè)性能，構建基于翻堆負荷的翻堆機作業(yè)過程的反饋控制，以使翻堆機作業(yè)時保持合適的行走速度，保證滾筒電機能夠運行在其額定功率范圍內，實現翻堆機作業(yè)自主控制，降低生產事故風險、提高作業(yè)效率。

1 翻堆機控制系統(tǒng)架構與設計方案

1.1 翻堆機機械結構組成

翻堆機機械結構如圖1所示，主要包括支撐平臺、駕駛艙、翻堆滾筒、滾筒起落支架、行走輪、驅動電機。翻堆機通過行走輪在發(fā)酵槽導軌上進行運動，并通過行走輪驅動電機控制前進和后退，同時通過翻堆滾筒電機帶動翻堆滾筒堆發(fā)酵堆料進行攪拌實現連續(xù)作業(yè)。滾筒起落架的收放由起落架電機進行控制，在作業(yè)開始前放下起落架，在發(fā)生故障或作業(yè)結束時將起落架收起。

1.2 翻堆機控制系統(tǒng)設計方案

根據基質發(fā)酵實際作業(yè)要求，基于翻堆滾筒負荷進行行走速度自動調節(jié)的翻堆機控制系統(tǒng)所需功能為：能夠根據發(fā)酵堆當前的含水率導致的翻堆作業(yè)負荷狀態(tài)對行走輪驅動電機轉速進行調整，并在翻堆作業(yè)過程中對翻堆滾筒電機功率進行監(jiān)測并實時調節(jié)行走速度。此外，控制系統(tǒng)應當具備必要的人機交互界面以供操作人員對翻堆機的狀態(tài)進行查看和參數調整。

根據控制系統(tǒng)的需求，控制系統(tǒng)的總體架構如圖2所示，包含檢測單元、翻堆機作業(yè)控制臺、變頻調速單元和控制電動機4個部分。

信號檢測單元包含檢測翻堆滾筒電機運行功率的功率傳感器。翻堆作業(yè)控制臺包括與服務器信息交互的智能網關、進行控制信息處理的微處理器。變頻調速單元包括PLC控制器與用來驅動電機的變頻器?？刂齐姍C包括翻堆滾筒起落架電機、驅動翻堆滾筒旋轉的翻堆滾筒電機、控制翻堆機移動的行走輪驅動電機。

2 翻堆機作業(yè)系統(tǒng)硬件組成與軟件設計

2.1 硬件組成

1） 檢測單元。通過ELECALL生產的DTS2016傳感器對電機功率進行測量；該傳感器輸入頻率為50 Hz±10%，采用RS485進行功率值傳輸。

2） 變頻調速單元。變頻調速單元由一個PLC控制器與三個變頻器組成。變頻器選擇重型變頻器，容量根據翻堆滾筒電機、行走輪驅動電機、滾筒起落架電機變頻器功率分別為37 kW、5 kW、15 kW。

PLC控制器采用西門子S7-200 SMATRTCPU ST40。PLC需要同時控制3個變頻器，每個變頻器的控制端子有正轉、反轉，因此PLC地輸出端需要與變頻器的控制端子連接。輸入端需要有按鈕對電機進行手動正轉反轉控制。頻率調控手段是通過RS485對變頻的頻率控制器進行通信。

3） 翻堆作業(yè)控制臺。翻堆機作業(yè)控制臺是以瑞芯微自主設計研發(fā)的國產RK3399微處理器為控制核心，以觸摸屏為人機交互界面的控制系統(tǒng)。該處理器由四核A72與雙核A55構成，具備算力為3T的Mali-T864 GPU運算單元并且內置了1920 int8 MAC operation per cycle NPU處理單元，通過移植python庫可以進行深度神經網絡運算。翻堆機作業(yè)控制臺實物圖如圖3所示。

翻堆機作業(yè)控制臺中的RK3399微處理器通過RS485與PLC進行通信并輸出控制信息與頻率設定，通過UART接口連接智能網關來接收服務器端的指令。在人機交互方面，翻堆機的所有狀態(tài)信息通過ADC觸屏顯示，操作人員可以通過觸摸屏完成相關指令控制。智能網關基于NB-IOT與STM32RTC6開發(fā)，其內部集成了UART通信模塊與NBIOT基帶芯片，采用5 V低壓供電，實時接收服務器端信息并傳輸至自動作業(yè)控制平臺。

2.2 軟件設計

控制平臺軟件運行于LINUX操作系統(tǒng)下，采用QT5進行開發(fā)，通過交叉編譯工具鏈對tlisb、QTcreater 5.5.1、TensorFlow2.6.3源碼進行編譯并移植使人機交互軟件可以運行在RK3399中。

軟件實現流程如圖4所示。微處理器通過USART串口與NBIOT智能網關進行請求與響應交互，等待智能網關回傳控制指令以及所在產線的發(fā)酵信息。當啟動翻堆機進行作業(yè)后，翻堆機會根據當前產線的發(fā)酵狀態(tài)信息調用檢測單元與變頻調速控制單元進行自動作業(yè)。

PLC的主要作用是接收指令并解析再控制的變頻器動作。利用RS485通信接口與控制臺連接，以MODUBS為通信協議接收控制臺發(fā)出的指令，解析后判斷指令指向的目標電機并進行正轉反轉以及工作頻率的設置。

3 翻堆機作業(yè)負荷影響研究

3.1 試驗方法與步驟

翻堆機作業(yè)負荷主要指用于用來翻堆的翻堆滾筒電機的運行功率。根據翻堆機作業(yè)特點對行走速度與發(fā)酵堆含水率進行調節(jié)并觀察滾筒電機功率變化。如圖5所示，試驗場地選擇在江蘇省鎮(zhèn)江市江蘇培蕾基質科技發(fā)展有限公司發(fā)酵廠區(qū)內進行。根據發(fā)酵堆含水率的變化特點，選擇范圍為40%～60%基質物料進行不同基質含水率的翻堆作業(yè)負荷試驗。具體步驟如下。

1） 在試驗場地內以10 m距離作為翻堆機作業(yè)距離，在該距離范圍內每間隔1 m采集發(fā)酵堆料含水率，取平均作為該組發(fā)酵堆料含水率。

2） 在試驗區(qū)域內每間隔50 cm設置一處標記，該標記作為翻堆機翻堆滾筒功率、行走輪驅動電機轉速的記錄點。

3） 行走輪驅動電機轉速初始值設置為400 r/min，緩慢調節(jié)變頻器使翻堆滾筒電機達到額定功率，在此過程中記錄翻堆滾筒的功率以及行走輪驅動電機的轉速的變化。

3.2 試驗結果

如圖5所示，在含水率固定為43.8%下翻堆滾筒電機功率與翻堆機行走速度變化表現為線性關系；在行走速度固定為1.2 m/min下，通過改變發(fā)酵堆含水率可以看出翻堆滾筒電機功率隨著含水率的增大呈線性增長。將翻堆滾筒電機功率與發(fā)酵堆含水率以及翻堆機行走速度通過線性擬合，擬合所得到的R²為0.986，擬合所得關系模型如式（1）所示。

P_roller=4.076V_mov+0.319 3θ+5.148（1）

式中：P_roller——翻堆滾筒電機功率，kW；

V_mov——翻堆機行走速度，m/min；

θ——發(fā)酵堆料含水率，%。

4 基于DDPG改進PID算法的翻堆機負荷反饋控制

4.1 DDPG改進PID算法原理

在翻堆機作業(yè)系統(tǒng)控制中，通常使用PID控制算法對翻堆機行走速度進行調節(jié)以控制翻堆滾筒電機的負荷變化。但不同含水率的發(fā)酵堆對翻堆滾筒負荷帶來的影響不同，因此需要通過相應算法根據當前發(fā)酵堆含水率對PID參數進行自動調整與優(yōu)化以滿足翻堆作業(yè)要求。

如圖6所示，DDPG（Deep Deterministic Policy Gradient）改進PID算法的原理是通過DDPG算法內部Actor-Critic網絡中的Actor網絡對PID參數進行調整，控制系統(tǒng)利用調整后的PID參數結合翻堆機作業(yè)模型以及PID控制算法進行運行^[17]。獎勵函數與Actor-Critic網絡中的Critic網絡會對控制系統(tǒng)運行后得到的偏差以及PID算法輸出值進行評價，若評價結果不滿足要求則會向Actor-Critic網絡輸入誤差值，使Actor-Critic網絡內部學習參數進行更新，再利用Actor網絡根據控制系統(tǒng)的輸入偏差對PID參數進行重新調整^[18]。

DDPG改進PID算法分為兩個關鍵部分。

1） 基于獎勵函數更新Actor-Critic網絡學習參數。獎勵函數的形式為所有輸入信號與對應權重乘積之和，用于評價控制系統(tǒng)在當前PID參數下控制系統(tǒng)運行的效果。獎勵函數的輸入值為控制系統(tǒng)運行后得出的功率偏差以及PID算法的輸出結果，獎勵函數計算后通過比較器將其輸出值與Critic網絡輸出的價值估計值（Value）進行比較，將得出的誤差值送入到Actor-Critic網絡中用于Actor-Critic網絡學習參數的更新^[19]。

2） 基于Actor-Critic網絡訓練PID參數。Actor-Critic網絡是一種深度神經網絡架構，由動作者（Actor）根據控制系統(tǒng)的輸入的偏差對PID參數進行調整，評價者（Critic）根據PID參數調整后的控制系統(tǒng)運行得到的偏差以及調整后的PID參數對該次調整效果進行價值估計。當滿足訓練出的結果滿足設定要求后停止訓練，將得到的PID參數作為最優(yōu)值輸出^[20]。具體訓練流程如圖7所示。

4.2 翻堆機負荷控制模型

在同一批次產線下發(fā)酵堆的含水率相同，影響翻堆機作業(yè)狀態(tài)下影響翻堆滾筒電機功率的因素為翻堆機的前進速度。因此需要構建由翻堆滾筒電機功率作為反饋信號的行走輪驅動電機速度控制模型，實現調節(jié)行走輪驅動電機的轉速使?jié)L筒電機功率得到控制的目的。

根據翻堆機的減速箱減速比和行走輪的半徑，電機轉速與行走速度之間的轉化系數為0.003，換算后再將轉速換算成電機對應的工作頻率，根據轉速與頻率計算公式進行計算，先將行走速度轉換成行走輪驅動電機轉速，再將式（1）與轉速、頻率計算公式結合可以得到翻堆滾筒電機功率P_roller與行走輪驅動電機頻率f_mov關系如式（2）所示。

f_mov=2.665P_roller-0.859 7θ-12.877（2）

4.3 行走輪驅動電機變頻控制模型

如圖8所示，變頻器可以簡化為由比例積分環(huán)節(jié)構成的閉環(huán)反饋結構模型。模型左端為輸入電壓V_in，通過比例放大環(huán)節(jié)將輸入電壓放大到K₀倍，再通過正反雙向限幅器對輸入電壓進行限幅；使用積分環(huán)節(jié)來設置變頻器的加減速時間，σ為積分時間常數；K為比例放大系數，通過額定頻率與限幅電壓之間的比值來確定^[21]。

將上述結構圖進行數學描述可以得到基于平均控制滯后時間T₀的傳遞函數如式（3）所示。

G_fc（s）=KT₀s+1（3）

在使用變頻器對行走輪電機進行驅動時，為保證磁通不變會在頻率改變時同時對電壓進行調節(jié)，因此可以將行走輪驅動電機轉化為如圖9所示等效模型^[22]。

圖9中，K_f、A_m以及GD²的求解方程如式（4）～式（6）所示。

K_f=60p（4）

A_m=3p³U_N²K_I²I²n₀764 000π²f²K_JP_N（5）

GD²=4gJ（6）

式中：U_N——行走輪驅動電機額定電壓，V；

I——行走輪驅動電機定子線額定電流，A；

n₀——行走輪驅動電機額定轉速，r/min；

f——行走輪驅動電機工作頻率，Hz；

P_N——行走輪驅動電機額定功，kW；

g——重力加速度，m/s²；

J——行走輪驅動電機轉動慣量，kg/m²；

K_I——行走輪驅動電機啟動電流倍數；

p——行走輪驅動電機極對數；

K_J——行走輪驅動電機起動轉矩倍數。

將行走輪驅動電機等效模型進行整理后可以表示如式（7）所示。

G_mov（s）=K_fT_Ms+1（7）

T_M=GD²375A_m（8）

式中：T_M——行走輪驅動電機的機電時間常數。

變頻器的額定頻率為50 Hz，積分時間常數為5 s，限幅電壓為10 V。行走輪驅動電機具體參數為：極對數為2；啟動電流倍數為7；額定電壓為380 V；額定電流為5 A；啟動電流倍數為7；額定轉速為1 430 r/min；起動轉矩倍數為2.2；額定功率為2.2 kW；額定頻率為50 Hz；轉動慣量為0.089 kg/m²。根據上述參數可得到變頻調速傳遞函數如式（9）所示。

G（s）=G_mov（s）G_fc（s）

=150（0.139 9s+1）（3s+1）（9）

4.4 翻堆機負荷控制系統(tǒng)simulink搭建

1） 訓練誤差允許范圍設定。根據翻堆機作業(yè)要求，翻堆滾筒電機的運行功率應維持在30 kW左右，因此設置超載裕量為1.1，當實時反饋的功率低于33 kW時執(zhí)行單次訓練，當超過33 kW時停止單次訓練，具體形式如式（10）所示。

r（t）=0y（t）≤33-1else（10）

2） 獎勵函數設定。獎勵函數需要計算每個事件步所獲得的獎勵，輸入端分為三個部分：第一個部分是輸入端與輸出端的偏差信號θ_t′，第二個是輸出端信號B，第三個為PID控制器輸出信號x_t，偏差信號作為重要輸入，權重設為1，其次為PID控制器輸出信號權重設為0.1，輸出端信號主要用于觀察是否出現超載，因此該項作為懲罰項，權重設為50。根據上述描述獎勵函數的具體形式如式（11）所示。

R_t=-θ_t′²-0.1x_t²-50B（11）

3） 翻堆機作業(yè)控制系統(tǒng)搭建。根據上述反饋控股之原理進行翻堆機作業(yè)控制系統(tǒng)搭建，如圖10所示。

通過階躍信號發(fā)生器step控件設定輸入功率，與功率反饋信號相減后通過error observation將功率偏差進行離散化輸入到智能體的observation輸入端中，智能體根據獎勵函數（Calculate Reward）以及停止模塊（Stop Simulation）的輸出值調整比例、積分、微分的參數值并通過乘積模塊與偏差值相乘并輸入到翻堆機傳遞函數模型中進行計算。

4） 訓練網絡搭建。在進行參數訓練之前首先要建立評價者網絡（critic network）來對輸出動作進行評估。如圖11所示，該網絡框架包含一個狀態(tài)輸入（state），一個動作輸入（action）以及一個評價輸出（common），狀態(tài)輸入端設置為雙層神經網絡結構。

4.5 結果與分析

翻堆機作業(yè)控制系統(tǒng)的RLAgent訓練如圖12所示，訓練過程中給定的初始參數是30 kW；每個訓練步數Episode的積分步長T_s設置為1，一個周期的積分時間設置為30。

在訓練過程中，設置最大訓練次數（maxEpisodes）設置為1 000，圖12為訓練200次后平均獎勵Average Reward達到了設定值，此時停止訓練。

根據DDPG訓練得到的結果進行轉速響應曲線繪制，設置發(fā)酵堆的含水率為49.96%，當行走輪驅動電機的轉速為0 r/min時翻堆滾筒的初始功率為21.3 kW。如圖13所示，紫色曲線為DDPG改進PID后得到的功率響應曲線，藍色曲線為傳統(tǒng)PID控制得到的響應曲線，從圖中可以看出傳統(tǒng)PID控制下功率響應曲線的超調量高于DDPG-PID控制下的功率響應曲線，并且在調節(jié)時間上相比DDPG-PID更長，具體參數如表1所示。

為了更加清晰地分析DDPG-PID控制方式相比傳統(tǒng)PID的優(yōu)越性，分別對系統(tǒng)進行了抗擾動和跟隨性能對比，如圖14所示。對兩種控制方式分別在系統(tǒng)運行的第7 s處施加了3%的負荷擾動持續(xù)1 s，可以看出DDPG改進PID在調節(jié)時間上比傳統(tǒng)PID縮短了2 s，在跟隨性能同樣比傳統(tǒng)PID更好。

為了驗證基于DDPG改進PID控制方式的效果，通過翻堆機作業(yè)系統(tǒng)控制翻堆機以DDPG改進PID調節(jié)、傳統(tǒng)PID調節(jié)以及人工調節(jié)三種不同控制方式進行實際作業(yè)測試。所選擇的試驗場地發(fā)酵堆料高1.2 m，含水率為50.1%，三種控制方式下均使行走輪驅動電機從0 rad/min開始不斷加速并同步記錄翻堆滾筒電機功率的變化。如圖15所示，DDPG改進PID控制下功率超調量相比傳統(tǒng)PID控制在實際作業(yè)下要降低4%，調節(jié)時間減少2 s；對于人工控制而言，雖然翻堆機沒有發(fā)生超調的情況，但需要耗費13 s才能控制翻堆機達到穩(wěn)定狀態(tài)，而DDPG改進PID控制的翻堆機僅耗費了7 s就達到了穩(wěn)定狀態(tài)，提高了6 s的調節(jié)時間。

5 結論

針對目前人工操作翻堆機進行作業(yè)時出現調控不精準導致作業(yè)效率低、容易悶機等問題，本文設計了一套基于翻堆機負荷的翻堆作業(yè)反饋控制系統(tǒng)。

1） 搭建了翻堆機作業(yè)負荷反饋測控系統(tǒng)，通過試驗測定了翻堆機在不同含水率和翻堆機行走速度下的翻堆滾筒電機功率情況構建了不同含水率和行走速度的翻堆機負荷模型。

2） 通過翻堆機負荷模型與翻堆機變頻調速控制模型相結合，設計了基于DDPG改進PID算法的翻堆機負荷反饋控制模型。經過simulink仿真對比，DDPG改進PID算法相比傳統(tǒng)PID算法在超調量上減少了6.7%，調節(jié)時間減少了2.5 s，并且抗擾動與跟隨性能均更優(yōu)。

3） 在實際作業(yè)測試中，DDPG改進PID算法的翻堆機作業(yè)控制相比傳統(tǒng)PID控制超調量降低4%、調節(jié)時間減少2 s，比人工控制13 s調節(jié)時間減少了6 s，效率提升接近1倍。

參 考 文 獻

[1]陶志影， 張林， 劉凱， 等. 農業(yè)廢棄物有機肥發(fā)酵工藝研究現狀與展望[J]. 江蘇農業(yè)科學， 2020， 48（10）： 69-72.

Tao Zhiying， Zhang Lin， Liu Kai， et al. Research current status and prospects of fermentation process of organic waste organic fertilizers [J]. Jiangsu Agricultural Sciences， 2020， 48（10）： 69-72.

[2]趙立欣， 孟海波， 沈玉君， 等. 中國北方平原地區(qū)種養(yǎng)循環(huán)農業(yè)現狀調研與發(fā)展分析[J]. 農業(yè)工程學報， 2017， 33（18）： 1-10.

Zhao Lixin， Meng Haibo， Shen Yujun， et al. Investigation and development analysis of planting-breeding circulating agriculture ecosystem in northern plains in China [J]. Transactions of the Chinese Society of Agricultural Engineering， 2017， 33（18）： 1-10

[3]孫永明， 李國學， 張夫道， 等. 中國農業(yè)廢棄物資源化現狀與發(fā)展戰(zhàn)略[J]. 農業(yè)工程學報， 2005， 21（8）： 169-173.

Sun Yongming， Li Guoxue， Zhang Fudao， et al. Status quo and developmental strategy of agricultural residues resources in China [J]. Transactions of the Chinese Society of Agricultural Engineering， 2005， 21（8）： 169-173.

[4]李海漪， 李云飛， 居玉坤. 基于數學模型對SACT工藝中刀具角度和翻堆距離關系的探討[J]. 中國農機化學報， 2018， 39（4）： 25-27， 33.

Li Haiyi， Li Yunfei， Ju Yukun. Discussion on the relationship between blade angle and turning distance in SACT process based on mathematical model [J]. Journal of Chinese Agricultural Mechanization， 2018， 39（4）： 25-27， 33.

[5]沈德龍， 曹鳳明， 李力. 我國生物有機肥的發(fā)展現狀及展望[J]. 中國土壤與肥料， 2007（6）： 1-5.

Shen Delong， Cao Fengming， Li Li. Development status and prospect of microbial organic fertilizer in China [J]. Soil and Fertilizer Sciences in China， 2007（6）： 1-5

[6]樊潔， 王亞東， 左淑珍. 生物有機肥翻堆設備的現狀與發(fā)展[J]. 農業(yè)機械， 2007（4）： 52.

[7]劉永超， 鐘波， 李維華， 等. 有機肥翻拋機研究現狀與發(fā)展趨勢分析[J]. 農業(yè)機械， 2010（26）： 2-4.

[8]Rynk R. Innovations in windrow turners [J]. Biocycle， 2003， 44（7）： 50-50.

[9]田晉躍. 自行式垃圾翻堆機作業(yè)特性分析[J]. 農業(yè)機械學報， 2002（3）： 24-26， 29.

Tian Jinyue. Analysis of working performance on self-moving compostinga aerators [J]. Transactions of the Chinese Society for Agricultural Machinery， 2002（3）： 24-26， 29

[10]彭寶良， 胡志超， 王海鷗， 等. FP2500A型有機肥翻拋機的研制[J]. 農業(yè)工程學報， 2008， 24（11）： 126-129.

Peng Baoliang， Hu Zhichao， Wang Haiou， et al. Development of FP2500A type stack-turning machine for organic fertilizer [J]. Transactions of the Chinese Society of Agricultural Engineering， 2008， 24（11）： 126-129

[11]白威濤. 槽式翻拋機工作部件的研究與設計[D]. 杭州： 浙江理工大學， 2012.

Bai Weitao. Study and design of working parts of troughed compost turner [D]. Hangzhou： Zhejiang Sci-Tech University， 2012

[12]Fouda T Z. Effect of kinematic parameter on some performance lndces for the self-propelled compost turning machine [J]. Misr Journal of Agricultural Engineering， 2009， 26（1）： 56-68.

[13]Fouda T Z. Optimizing kinematic parameters for compos turning machine for minimum energy requirements [J]. Ama， Agricultural Mechanization in Asia， Africa & Latin America， 2010， 41（3）： 70.

[14]李成杰. 堆肥物料在滾筒式翻堆機作用下的阻力特性研究[D]. 北京： 機械科學研究總院， 2019.

Li Chengjie. Study on resistance characteristics of compost materials under the action of roller dumper [D]. Beijing： China Academy of Machinery Science and Technology， 2019.

[15]秦現增， 馬戎， 張華， 等. 新遠東—圣甲蟲設備[J]. 農機科技推廣， 2005（1）： 41.

[16]Schedler M， Ortner-Pichler A， Reitbauer E， et al. Interdisciplinary system simulation of a tracked compost turner [J]. Procedia Manufacturing， 2020， 51： 1005-1013.

[17]Qin Y， Zhang W， Shi J， et al. Improve PID controller through reinforcement learning [C]. 2018 IEEE CSAA Guidance， Navigation and Control Conference （CGNCC）， 2018： 1-6.

[18]Gheisarnejad M， Khooban M H. An intelligent non-integer PID controller-based deep reinforcement learning： Implementation and experimental results [J]. IEEE Transactions on Industrial Electronics， 2020， 68（4）： 3609-3618.

[19]Lu P， Huang W， Xiao J. Speed tracking of Brushless DC motor based on deep reinforcement learning and PID [C]. 2021 7th International Conference on Condition Monitoring of Machinery in Non-Stationary Operations （CMMNO）， 2021： 130-134.

[20]Carlucho I， De Paula M， Acosta G G. An adaptive deep reinforcement learning approach for MIMO PID control of mobile robots [J]. ISA Transactions， 2020， 102： 280-294.

[21]王宇慧， 李鐵鷹， 葛楠. 變論域自適應控制下的礦井提升系統(tǒng)調速方案[J]. 煤礦機械， 2013， 34（7）： 52-55.

Wang Yuhui， Li Tieying， Ge Nan. Variable universe adaptive control of mine hoist system speed scheme [J]. Coal Mine Machinery， 2013， 34（7）： 52-55

[22]鄧麗娜. 交流異步電機變頻調速同步傳動算法研究[D]. 長春： 吉林大學， 2008.

Deng Lina. The research of synchrodrive algorithms on asynchronous motors variable frequency speed regulation [D]. Changchun： Jilin University， 2008.