武梅 高依蘋 邵蔣杰

摘? 要： 將增量控制方法應(yīng)用于多智能體一致性問題。通過將相鄰智能體的控制變量作為控制輸入來更新每個(gè)智能體的狀態(tài)，可以在一定初始條件下將系統(tǒng)轉(zhuǎn)化為線性一致性問題，并應(yīng)用于供應(yīng)鏈庫存系統(tǒng)。而在實(shí)際中，由于統(tǒng)計(jì)過程復(fù)雜，系統(tǒng)很難獲得準(zhǔn)確的庫存水平，因此，利用增量控制輸入可實(shí)現(xiàn)相應(yīng)工廠的庫存水平一致，從而穩(wěn)定整個(gè)市場(chǎng)供應(yīng)。最后，通過仿真實(shí)驗(yàn)驗(yàn)證了該理論方法的有效性。

關(guān)鍵詞： 一致性； 供應(yīng)鏈系統(tǒng)； 增量； 多智能體系統(tǒng)

中圖分類號(hào)：TP13? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A? ? ?文章編號(hào)：1006-8228（2023）09-64-05

Increment control method of consensus problem and its

application in supply chain systems

Wu Mei1， Gao Yiping2， Shao Jiangjie2

（1. School of Information Science and Engineering， Zhejiang Sci-Tech University， Hangzhou， Zhejiang 310018， China;

2. School of Computer Science and Technology， Zhejiang Sci-Tech University）

Abstract： In this paper， an increment control method is applied in the multi-agent consensus problem. By taking the control variables of neighboring agents as the control input to update each agent's state， the system can be transformed into a linear consensus problem under the circumstance of certain initial values and applied to the supply chain systems. In practice， it is difficult for the system to obtain exact inventory quantity of each facility due to the complex statistical process. Therefore， the incremental counterpart is utilized to achieve inventory level consensus for corresponding facilities， so as to stabilize the whole market supply. Finally， simulations are provided to demonstrate the effectiveness of the theoretical method.

Key words： consensus; supply chain systems; increment; multi-agent systems

0 引言

近幾十年來，多智能體系統(tǒng)的一致性問題引起了廣泛關(guān)注。多智能體系統(tǒng)在許多領(lǐng)域發(fā)揮了重要作用，如電力系統(tǒng)經(jīng)濟(jì)調(diào)度、社交網(wǎng)絡(luò)決策、衛(wèi)星編隊(duì)控制、分布式機(jī)器學(xué)習(xí)等。

早在二十世紀(jì)七十年代，DeGroot[1]首次提出了管理學(xué)和統(tǒng)計(jì)學(xué)領(lǐng)域的一致性概念，利用加權(quán)平方的方法來估計(jì)小組中的個(gè)人意見，并就參數(shù)的概率分布函數(shù)達(dá)成組內(nèi)人員意見一致。直到二十一世紀(jì)，文獻(xiàn)[2]才提出相應(yīng)的理論分析。隨后，許多學(xué)者在時(shí)延或有限時(shí)間控制、非線性系統(tǒng)、二階或高階系統(tǒng)等方面對(duì)一致性問題進(jìn)行了研究。隨著計(jì)算機(jī)科學(xué)的快速發(fā)展，基于強(qiáng)化學(xué)習(xí)的方法被應(yīng)用于解決系統(tǒng)中含有錯(cuò)誤智能體的一致性容錯(cuò)問題。在現(xiàn)有文獻(xiàn)中，解決多智能體一致性的方法均是假設(shè)可以通過本地通信獲得智能體之間的絕對(duì)或相對(duì)狀態(tài)，因此狀態(tài)被視為系統(tǒng)的控制輸入。此外，一些研究人員將智能體分成小組，并利用相關(guān)組信息作為控制輸入，以實(shí)現(xiàn)系統(tǒng)一致性[3]。

然而，在一些實(shí)際場(chǎng)景中，當(dāng)無法獲得智能體或組之間的絕對(duì)或相對(duì)狀態(tài)信息時(shí)，現(xiàn)有的一致性方法將不再適用。例如，在供應(yīng)鏈倉庫系統(tǒng)中[4]，由于統(tǒng)計(jì)過程需要大量的人力物力，很難獲得每個(gè)倉庫的準(zhǔn)確庫存量。鑒于上述情況，可以將增量狀態(tài)信息（即庫存變化）用作控制輸入，以達(dá)到庫存一致的目標(biāo)，這將大大減少資源投資和人力耗損。

本文中，我們提出了一種新的分布式方法，解決當(dāng)系統(tǒng)中既不存在智能體間相對(duì)狀態(tài)信息也不存在組間相對(duì)狀態(tài)信息時(shí)的一致性問題。具體而言，引入前一時(shí)刻中相鄰智能體的控制變量（增量狀態(tài)）來更新當(dāng)前智能體的狀態(tài)。當(dāng)初始控制輸入滿足鄰居的平均狀態(tài)的情況時(shí)，目標(biāo)就等價(jià)于具有均勻相鄰權(quán)重的線性一致性系統(tǒng)，此時(shí)，系統(tǒng)必然可以達(dá)成一致。進(jìn)一步地，研究了一個(gè)包含多個(gè)子鏈的供應(yīng)鏈系統(tǒng)模型，其中每個(gè)子鏈被視為一個(gè)智能體且包含不同的工廠，不同子鏈中的相應(yīng)工廠之間發(fā)生信息交互。通過輸入控制增量進(jìn)行狀態(tài)更新，每個(gè)子鏈中各個(gè)工廠的庫存水平達(dá)到一致，并通過仿真實(shí)驗(yàn)進(jìn)行了相應(yīng)的驗(yàn)證。

本文的貢獻(xiàn)如下：①提出的方法是首次在不存在智能體間相對(duì)狀態(tài)和組間相對(duì)信息的情況下利用增量控制來實(shí)現(xiàn)系統(tǒng)一致；②增量控制方法能夠減少復(fù)雜大規(guī)模數(shù)據(jù)統(tǒng)計(jì)的計(jì)算負(fù)荷。我們通過將該策略應(yīng)用于供應(yīng)鏈系統(tǒng)來實(shí)現(xiàn)庫存水平的一致性，從而證明了這一能力。

1 相關(guān)知識(shí)

1.1 圖論

在智能體系統(tǒng)中，把一個(gè)智能體看作是一個(gè)節(jié)點(diǎn)，智能體之間的信息交互看作是連接成功的節(jié)點(diǎn)的邊，采用圖論知識(shí)來刻畫整個(gè)系統(tǒng)的拓?fù)浣Y(jié)構(gòu)。

用[G=V，E，A]來表示多個(gè)節(jié)點(diǎn)之間的有向信息交互拓?fù)?，其中[V={1，2，…，N}]表示[N]個(gè)節(jié)點(diǎn)構(gòu)成的集合，[E?V×V]表示邊集，即：節(jié)點(diǎn)之間有向的連接關(guān)系。[Ni=i|j∈V，j，i∈E]表示節(jié)點(diǎn)[i]的鄰居集合，[A=[aij]∈RN×N]表示節(jié)點(diǎn)的鄰接矩陣。當(dāng)存在[（j，i）∈E]且[aij>0]時(shí)，表明節(jié)點(diǎn)[i]和節(jié)點(diǎn)[j]之間存在鄰居關(guān)系，否則[aij=0]。有向圖又可稱為強(qiáng)連接圖，表示當(dāng)且僅當(dāng)存在至少一個(gè)根節(jié)點(diǎn)以直接或間接的方式可以到達(dá)其他任何節(jié)點(diǎn)。在一般情況下，本文拓?fù)鋱D是準(zhǔn)強(qiáng)連通的。

1.2 系統(tǒng)模型

考慮一組含有[n]個(gè)智能體的離散時(shí)間系統(tǒng)，第[i]個(gè)智能體的動(dòng)力學(xué)模型可描述為：

[xik+1=xik+uik，? i∈V]? ⑴

其中，[xi（k）∈R]和[ui（k）∈R]分別表示智能體[i]在[k]時(shí)刻的狀態(tài)和控制輸入，在此[n]個(gè)智能體的初始狀態(tài)表示為[X0=[x10，x20，…，xn0]T]。在一些情況下，智能體也可以表示為組信息，用[Gi]表示。

本文中，假設(shè)智能體[i]既無法獲得其鄰居的絕對(duì)狀態(tài)信息[xi]，也無法獲得其與鄰居智能體[j]的相對(duì)狀態(tài)信息[（xj-xi）]或者相對(duì)組信息[（Gj-Gi）]。此外，對(duì)于每個(gè)智能體來說，可以獲得其鄰居智能體的狀態(tài)增量信息。在很多實(shí)際場(chǎng)景中都可能發(fā)生這種情況，比如供應(yīng)鏈系統(tǒng)的應(yīng)用[5]，配電系統(tǒng)中的局部電壓控制[6]。以供應(yīng)鏈系統(tǒng)為例，由于庫存量龐大以及復(fù)雜的統(tǒng)計(jì)過程，實(shí)際中很難獲得準(zhǔn)確的庫存數(shù)量，而獲取每個(gè)工廠及其鄰近工廠的增量部分，用以穩(wěn)定整個(gè)市場(chǎng)的供應(yīng)一致是可行的。

因此，本文的目標(biāo)是為每個(gè)智能體[i]設(shè)計(jì)合適的控制輸入[ui（k）]，以便在最后一步通過相鄰智能體的控制輸入[uj（k-1）]，確保智能體在足夠小的[ε]范圍內(nèi)，實(shí)現(xiàn)系統(tǒng)的狀態(tài)一致。

[limsupk→∞maxi≠jxik-xj（k）<ε]? ⑵

2 主要結(jié)論

本文中，研究多智能體系統(tǒng)在鄰居智能體的絕對(duì)或相對(duì)狀態(tài)信息未知，僅基于鄰居智能體的增量變化的情況下，達(dá)成系統(tǒng)的一致。首次引入控制變量研究多智能體的一致性問題，為了簡(jiǎn)化分析，我們以固定拓?fù)涞那闆r來進(jìn)行分析。

對(duì)于智能體[i]，其控制輸入為：

[uik+1=uik+j∈Niuj（k）Ni+1，? i∈V]? ⑶

由此，可得如下主要結(jié)論。

定理1 對(duì)于每個(gè)智能體，其狀態(tài)的更新僅與鄰居智能體的控制變量和自己的狀態(tài)值相關(guān)，當(dāng)且僅當(dāng)其初始控制輸入滿足如下，多智能體系統(tǒng)可達(dá)成一致。

[ui0=xi0+j∈Nixj（0）Ni+1-xi（0）]? ⑷

此時(shí)，我們所提出的算法等價(jià)于具有相同鄰居權(quán)重的經(jīng)典一致性算法，即：

[xik+1=xik+j∈Nixj（k）Ni+1]? ⑸

當(dāng)系統(tǒng)拓?fù)錇楣潭ㄍ負(fù)鋾r(shí)，系統(tǒng)可達(dá)成一致。

算法的具體細(xì)節(jié)參見算法1。

[算法1：智能體[i]基于增量控制的一致性算法 隨機(jī)初始化智能體[i]的值：[xi（0）] 控制輸入：[ui0=xi0+j∈Nixj（0）Ni+1-xi（0）]

智能體[i]在1時(shí)刻的值：[xi1=xi0+ui（0）] For[k=0? to? T ]do

[? ? ? ? ? uik+1=uik+j∈NiujkNi+1]

[? ? ? ? ? xik+2=xik+1+ui（k+1）] End For ]

備注1 當(dāng)多智能體系統(tǒng)拓?fù)浣Y(jié)構(gòu)為平衡拓?fù)鋾r(shí)，即每個(gè)智能體的入度等于出度，所提算法任然可使系統(tǒng)達(dá)成一致。讀者可參考Carli[7]等相關(guān)工作。

3 供應(yīng)鏈系統(tǒng)模型

在本文中，假設(shè)每條供應(yīng)鏈含有[N]條結(jié)構(gòu)相似功能相同的子鏈，每條子鏈包含[n]個(gè)類似的工廠，其中，子鏈看作是結(jié)構(gòu)圖中的節(jié)點(diǎn)。

[Xik=xi1k，xi2k，…，xinkT∈Rn]

[Uik=ui1k，ui2k，…，uinkT∈Rn]

[Dik=[0，…，0，din（k）]T∈Rn]

假設(shè)1 第[i]個(gè)子鏈，庫存水平滿足[0<xij（k）<xM]，對(duì)于一些易腐物品，庫存水平隨著時(shí)間的推移將以[ρi]的速率衰減。

備注2 在實(shí)際應(yīng)用中，由于庫存能力的限制，每個(gè)工廠[xij（k）]的最大庫存限制量為[xM]。特別是，某些易腐產(chǎn)品（如蔬菜）的庫存水平可能會(huì)隨著時(shí)間的推移而降低。

假設(shè)2 市場(chǎng)需求[dink]分為兩個(gè)部分，一部分為市場(chǎng)固定需求[din]，另一部分為市場(chǎng)波動(dòng)[ωin（k）]。因此，市場(chǎng)需求可以表示為：

[dink=din+ωin（k）]? ⑹

在系統(tǒng)中，為了實(shí)現(xiàn)整個(gè)系統(tǒng)的一致性，從而保證市場(chǎng)的穩(wěn)定供應(yīng)，每個(gè)智能體需要根據(jù)鄰居的行為調(diào)整各自的生產(chǎn)力。在此，交換的信息不是每個(gè)相鄰智能體的具體庫存水平，而是鄰居的增量狀態(tài)。因此，第[i]個(gè)子鏈的第[j]個(gè)工廠的控制輸入分為兩部分：一部分為[uij（k）]控制生產(chǎn)率以滿足供應(yīng)需求，另一部分[uij（k）]調(diào)整庫存水平以實(shí)現(xiàn)系統(tǒng)一致。當(dāng)初始值滿足[uij0=xij0+l∈Nixlj（0）Ni+1-xij（0）]，有如下：

[uijk=uijk+uijk]

[uijk=kij×xijk]

[uijk=uijk-1+l∈Niulj（k-1）Ni+1]

其中，[kij]代表生產(chǎn)率，表示為：

[ki1k=ui2k+1-ρ1xi1kxi1k=ui2kxi1k+1-ρ1]

[ki2k=ui3k+1-ρ2xi2kxi2k=ui3kxi2k+1-ρ2]

[kink=dink+1-ρnxinkxink=dinkxink+1-ρn]

因此，第[i]個(gè)智能體（子鏈）的生產(chǎn)過程模型為：

[xi1k+1=ρ1xi1k+ui1k-ui2k]

[xi2k+1=ρ2xi2k+ui2k-ui3k]

[xink+1=ρnxink+uink-dink]

第[i]個(gè)子鏈的生產(chǎn)過程如圖1所示，其中[ρn]表示第[n]個(gè)工廠的庫存保留率，[1-ρn]表示第[n]個(gè)工廠的衰減量，在此處，假設(shè)不同子鏈相應(yīng)工廠的衰減量相同； [uin（k）]表示第[i]條子鏈第[n]個(gè)工廠的生產(chǎn)量：[din]表示第[i]條子鏈第[n]個(gè)工廠的市場(chǎng)需求量；[xin]表示第[i]條子鏈第[n]個(gè)工廠的庫存水平即庫存量。

4 實(shí)驗(yàn)結(jié)果和分析

在這個(gè)部分，我們首先考慮一個(gè)數(shù)值仿真證明所提出的算法，分別針對(duì)普通拓?fù)浜推胶馔負(fù)溥M(jìn)行實(shí)驗(yàn)。其次，構(gòu)建一個(gè)含有四條子鏈，每個(gè)子鏈擁有三個(gè)工廠的供應(yīng)鏈系統(tǒng)，并將所提算法應(yīng)用于該供應(yīng)鏈系統(tǒng)模型，通過實(shí)驗(yàn)仿真分析其有效性。

4.1 數(shù)值仿真

考慮一個(gè)[n=10]的多智能體系統(tǒng)，每個(gè)智能體的初始值為0～10中的隨機(jī)數(shù)。智能體之間的通信拓?fù)淙鐖D2所示，其為一個(gè)強(qiáng)連通有向圖，仿真結(jié)果顯示，智能體可在幾步之內(nèi)就達(dá)成一致，如圖3所示。

若通信拓?fù)錇槠胶馔負(fù)洌磳?duì)于每一個(gè)智能體來說，入度等于出度，此時(shí)所有智能體的狀態(tài)都收斂到初始狀態(tài)的平均值，可實(shí)現(xiàn)平均一致性[8]。

由于在我們的問題中假設(shè)智能體之間的狀態(tài)信息未知，因此應(yīng)該估計(jì)初始控制輸入對(duì)相鄰智能體狀態(tài)的影響，評(píng)估初始值不準(zhǔn)確對(duì)收斂性能的影響。在這種情況下，初始控制輸入[ui0=xi0+（1-γ）j∈Nixj（0）Ni+1-xi（0）]，其中[γ∈[-e，e]]，誤差[e∈[0，0.5]]，這意味著每個(gè)智能體[i]從具有[[-e，e]]誤差的所有鄰居智能體接收信息。我們以0.01的步長(zhǎng)對(duì)[e]中的不同值進(jìn)行采樣，并對(duì)每個(gè)值進(jìn)行4000次實(shí)驗(yàn)。然后，將每200個(gè)實(shí)驗(yàn)結(jié)果分組，以計(jì)算系統(tǒng)達(dá)到一致性時(shí)的標(biāo)準(zhǔn)偏差。最后，在給定特定誤差的情況下，共繪制了20個(gè)結(jié)果，如圖4所示?？梢缘贸鰞蓚€(gè)結(jié)論。首先，標(biāo)準(zhǔn)差相對(duì)于誤差[e]幾乎線性增長(zhǎng)。其次，隨著初始控制變量中誤差的增加，標(biāo)準(zhǔn)差的變化越大，這意味著系統(tǒng)行為更難預(yù)測(cè)。

4.2 供應(yīng)鏈系統(tǒng)的數(shù)值仿真

在本小節(jié)中，我們考慮一個(gè)由四個(gè)子鏈組成的供應(yīng)鏈系統(tǒng)，每個(gè)子鏈包含三個(gè)工廠，這些工廠可以獨(dú)立生產(chǎn)和分銷產(chǎn)品。相應(yīng)的生產(chǎn)流程如圖5所示。

當(dāng)每個(gè)子鏈被視為一個(gè)圖節(jié)點(diǎn)時(shí)，不同子鏈之間對(duì)應(yīng)的通信拓?fù)淙鐖D6所示。初始時(shí)刻，庫存水平設(shè)定為[X10=2.3， 5.2， 8.9T]，[X20=7.5， 6.4， 6.6T]，[X3（0）=6.7， 3.1， 4.5T]，[X4（0）=4.8， 4.3， 2.1T]。每個(gè)工廠的庫存保留率設(shè)置為[ρ1=0.8]，[ρ2=0.7]，[ρ3=0.8]。此外，對(duì)于市場(chǎng)需求[din（k）]，所有固定需求部分均為[din=1]，不確定的市場(chǎng)需求部分分別設(shè)置[ω1k=e-0.43kcos （k）]，[ω2k=e-0.4kcos （k）]，[ω3k=e-0.48kcos （k）]，[ω4k=e-0.45kcos （k）]。

根據(jù)算法1，相應(yīng)的模擬結(jié)果如圖7～圖9所示，對(duì)于每個(gè)子鏈中的相應(yīng)工廠中的庫存水平，逐步達(dá)成一致。此外，我們分析了整個(gè)系統(tǒng)就庫存達(dá)成一致所需的時(shí)間。對(duì)于上述相同的供應(yīng)鏈系統(tǒng)，初始庫存水平從0-10隨機(jī)抽樣，而其他參數(shù)保持不變。通過重復(fù)該實(shí)驗(yàn)100次，工廠1和工廠2達(dá)成一致所需的時(shí)間相似，而工廠3達(dá)成一致的時(shí)間相對(duì)較長(zhǎng)。顯然，這是因?yàn)楣S3與市場(chǎng)直接相連，市場(chǎng)波動(dòng)會(huì)影響其收斂時(shí)間。

5 結(jié)束語

在本文中，我們提出了一種在多智能體系統(tǒng)中僅通過增量狀態(tài)實(shí)現(xiàn)一致性的新方法。該方法在通信拓?fù)錆M足一般連接性要求的條件下，引入每個(gè)智能體及其鄰居的控制變量信息，作為更新其自身狀態(tài)的控制輸入。理論分析和數(shù)值模擬表明了該方法的有效性。同時(shí)，在供應(yīng)鏈系統(tǒng)中采用所提出的方法來達(dá)成庫存一致。另外，對(duì)于平衡的拓?fù)浣Y(jié)構(gòu)，也可以實(shí)現(xiàn)平均一致。但仍有一些問題尚未解決，首先，實(shí)際場(chǎng)景中的拓?fù)渫ǔＪ莿?dòng)態(tài)的，這是未來應(yīng)該考慮的問題。其次，能否放寬對(duì)初始條件的限制可能是一個(gè)新的研究方向。

參考文獻(xiàn)（References）：

[1] DeGroot M H. Reaching a consensus[J]. Journal of theAmerican Statistical association，1974，69（345）：118-121.

[2] Jadbabaie A， Lin J， Morse A S. Coordination of groups ofmobile autonomous agents using nearestneighbor rules[J].IEEE Transactions on automatic control，2003，48（6）：988-1001.

[3] 侯健，鄭榮濠.隨機(jī)分組策略下的分布式多智能體一致性[J].控制理論與應(yīng)用，2018，35（4）：517-522.

[4] 覃茜.基于多智能體的供應(yīng)鏈系統(tǒng)在切換拓?fù)湎碌腫H∞]一致性[D].山西：山西大學(xué)，2017.

[5] 高杉杉，劉永澤，王冰，等.基于切換拓?fù)涞墓?yīng)鏈系統(tǒng)庫存[H∞]一致性[C]//中國自動(dòng)化學(xué)會(huì)控制理論專業(yè)委員會(huì)（Technical Committee on Control Theory， Chinese Association of Automation），中國自動(dòng)化學(xué)會(huì)（Chinese Association of Automation），中國系統(tǒng)工程學(xué)會(huì)（Systems Engineering Society of China）.第40屆中國控制會(huì)議論文集（15），2021：6.

[6] Farivar M， Zho X， Chen L. Local voltage control indistribution systems： An incremental control algorithm[C]//2015 IEEE international conference on smart grid communications （SmartGridComm）.IEEE，2015：732-737.

[7] Carli R， Fagnani F， Frasca P， et al. Average consensus onnetworks with transmission noise or quantization[C]//2007 European Control Conference （ECC）. IEEE，2007：1852-1857.

[8] 俞輝，蹇繼貴，王永驥.多智能體有向網(wǎng)絡(luò)的加權(quán)平均一致性[J].微計(jì)算機(jī)信息，2007，192（5）：239-241.