王朝暉， 鄭國(guó)磊， 朱心雄

（北京航空航天大學(xué)機(jī)械工程及自動(dòng)化學(xué)院，北京 100191）

基于Multi-Agent的人機(jī)環(huán)境仿真設(shè)計(jì)系統(tǒng)

王朝暉， 鄭國(guó)磊， 朱心雄

（北京航空航天大學(xué)機(jī)械工程及自動(dòng)化學(xué)院，北京 100191）

提出了用于制造過程仿真和人機(jī)工程分析的多Agent智能設(shè)計(jì)系統(tǒng)。基于模糊多目標(biāo)決策理論建立了虛擬人自適應(yīng)作業(yè)行為仿真模型。在虛擬環(huán)境中，智能化的虛擬人能自主完成作業(yè)任務(wù)的仿真，優(yōu)化自身的工作狀態(tài)，同時(shí)提供人機(jī)工程的評(píng)估結(jié)果。通過仿真實(shí)驗(yàn)，證明了所用技術(shù)的可行性。

虛擬人；模糊多目標(biāo)決策；多Agent系統(tǒng)；自治行為

產(chǎn)品設(shè)計(jì)必須滿足人的需要，使人能夠方便地制造、維護(hù)和使用產(chǎn)品?！耙匀藶橹行摹钡脑O(shè)計(jì)思想認(rèn)為，應(yīng)將人機(jī)工程學(xué)應(yīng)用到產(chǎn)品設(shè)計(jì)的每個(gè)階段[1]。目前，人機(jī)環(huán)境仿真與設(shè)計(jì)系統(tǒng)的研究得到了學(xué)術(shù)界和工業(yè)界的廣泛重視。一些仿真系統(tǒng)已成功地應(yīng)用于工業(yè)設(shè)計(jì)、系統(tǒng)檢測(cè)和人員訓(xùn)練等工作中[2-3]。在此類系統(tǒng)中，虛擬人扮演了重要的角色，負(fù)責(zé)完成作業(yè)行為仿真，配合用戶檢查系統(tǒng)中存在的人因問題。

真實(shí)地展現(xiàn)人的作業(yè)行為有利于設(shè)計(jì)者理解人與產(chǎn)品的關(guān)系，找到影響人與產(chǎn)品行為交互的關(guān)鍵因素。目前，行為仿真主要延續(xù)著“克隆”人體行為的技術(shù)思路，使用各種運(yùn)動(dòng)捕捉技術(shù)來獲取人體的運(yùn)動(dòng)數(shù)據(jù)。例如，電磁式運(yùn)動(dòng)捕捉技術(shù)和沉浸式虛擬現(xiàn)實(shí)技術(shù)相結(jié)合已應(yīng)用于人體作業(yè)行為仿真與人機(jī)工程評(píng)估[4-5]。在運(yùn)動(dòng)捕捉數(shù)據(jù)的基礎(chǔ)上，人們開始關(guān)注行為組織原理及其仿真技術(shù)，分別從基于PaT-Net的行為同步控制[6]、行為數(shù)據(jù)的語(yǔ)義關(guān)系[7]和行為數(shù)據(jù)統(tǒng)計(jì)[8]等方向開展研究，以期實(shí)現(xiàn)自主性、靈活性更高且可預(yù)測(cè)的人體行為仿真。然而，行為數(shù)據(jù)均來自特定環(huán)境與個(gè)人，難以修改和重用。

針對(duì)人機(jī)工程設(shè)計(jì)必須以預(yù)測(cè)性的人機(jī)交互行為仿真為前提這一原則，作者將模糊多目標(biāo)決策理論用于人體自適應(yīng)行為仿真的決策建模，開發(fā)了基于 Multi-Agent的人機(jī)工程仿真設(shè)計(jì)系統(tǒng)。

1 仿真系統(tǒng)的架構(gòu)

如圖1所示，該系統(tǒng)由用戶圖形界面、環(huán)境工作引擎、虛擬空間和環(huán)境數(shù)據(jù)庫(kù)四個(gè)模塊組成。

圖1 人機(jī)工程仿真設(shè)計(jì)系統(tǒng)組成模塊

虛擬人或其它虛擬對(duì)象均由特定的Agent或Agent聯(lián)盟控制。作為仿真系統(tǒng)的主體模塊，虛擬空間是Agent的運(yùn)行空間。環(huán)境數(shù)據(jù)庫(kù)則是虛擬環(huán)境的全局知識(shí)模型，負(fù)責(zé)記錄和描述虛擬空間當(dāng)前狀態(tài)，其中的內(nèi)容隨虛擬空間狀態(tài)的變化而同步變化，并同時(shí)觸發(fā)相應(yīng)的環(huán)境事件。Agent執(zhí)行的仿真決策是由環(huán)境事件驅(qū)動(dòng)的。各 Agent根據(jù)環(huán)境事件自動(dòng)檢索環(huán)境數(shù)據(jù)庫(kù)，讀取與之相關(guān)的環(huán)境信息，并修正自己的行為對(duì)策。圖形界面是用戶與虛擬空間交互的通道，用戶可對(duì)虛擬空間的狀態(tài)進(jìn)行修改，以增刪其中的具體內(nèi)容。

仿真系統(tǒng)以環(huán)境全局知識(shí)模型為核心，可以實(shí)現(xiàn)動(dòng)態(tài)、不確定條件下的行為仿真決策，為動(dòng)態(tài)、多變的產(chǎn)品設(shè)計(jì)工作提供了主動(dòng)、靈活的人機(jī)交互行為仿真與評(píng)估工具。

2 行為的結(jié)構(gòu)特征與重構(gòu)

2.1 行為的構(gòu)成元素

研究行為的結(jié)構(gòu)特征與組織方式對(duì)于實(shí)現(xiàn)人體自適應(yīng)行為仿真具有十分重要的意義。本文將人體自適應(yīng)行為分成由不同粒度元素組成的三層結(jié)構(gòu)。

（1） 原子動(dòng)作

原子動(dòng)作是肢體的單位運(yùn)動(dòng)，作為最小的行為單元，有正向運(yùn)動(dòng)和逆向運(yùn)動(dòng)兩種基本形式。其知識(shí)表示如下：

正向運(yùn)動(dòng)：do(Action, Param)

逆向運(yùn)動(dòng)：do(Action, Target ：x, y, z, dx, dy, dz)其中，Action為動(dòng)作類型，Param為單位轉(zhuǎn)動(dòng)距離，Target為所操作目標(biāo)的位置和姿態(tài)。

（2） 子行為

子行為是具有明確語(yǔ)義的最小行為單元，即廣義單位運(yùn)動(dòng)?？捎靡?guī)則的形式表示：

Executed(a queue of atomic actions|：by rules);其中，規(guī)則的條件為子行為能夠達(dá)到目標(biāo)；子行為由一組原子動(dòng)作組成。執(zhí)行子行為意味著多個(gè)行為目標(biāo)間進(jìn)行了一次博弈。子行為在達(dá)到一定目標(biāo)的同時(shí)，一般需要其它目標(biāo)作出讓步。

（3） 行為模式

行為模式定義了子行為所屬的語(yǔ)義范疇，能夠達(dá)到類似目標(biāo)的子行為屬于同一行為模式。

2.2 子行為重構(gòu)

自適應(yīng)行為是以語(yǔ)義單元為基礎(chǔ)組織的。子行為是行為組織的最小語(yǔ)義單元，可按照經(jīng)驗(yàn)和實(shí)際需要設(shè)計(jì)。虛擬人的自適應(yīng)行為由一系列子行為組成。

圖2所示為行為決策的Agent聯(lián)盟，其中，人體基本運(yùn)動(dòng)功能被分解為一系列獨(dú)立的 Agent模塊。AgentPerson負(fù)責(zé)行為推理，根據(jù)虛擬人狀態(tài)的實(shí)時(shí)評(píng)估結(jié)果，提出當(dāng)前的行為請(qǐng)求，并確定即將執(zhí)行的子行為。其它Agent模塊負(fù)責(zé)執(zhí)行特定的原子動(dòng)作。根據(jù)子行為的原子構(gòu)成，將Agent聯(lián)盟中的相關(guān)Agent組成協(xié)作單元，共同執(zhí)行AgentPerson選定的子行為。通過協(xié)作單元重構(gòu)，可以生成多樣的子行為，由此增強(qiáng)了行為仿真的靈活性與多樣性。

圖2 行為決策的Agent聯(lián)盟

3 行為自適應(yīng)決策算法

行為自適應(yīng)決策是在多種目標(biāo)和利益之間的博弈過程，涉及任務(wù)目標(biāo)、人體姿態(tài)、平衡性以及感知因素等方面利益的競(jìng)爭(zhēng)與協(xié)調(diào)。所有目標(biāo)和利益均欲在競(jìng)爭(zhēng)中使得自身和團(tuán)體狀態(tài)最優(yōu)化。已知自適應(yīng)行為由子行為序列組成，每個(gè)子行為即為一次微分博弈。人體最終行為狀態(tài)是由多次微分博弈累積而達(dá)到的一個(gè)滿足多種利益的均衡狀態(tài)。

基于上述思想，行為自適應(yīng)決策算法由兩個(gè)主要階段組成：初始化階段和行為博弈階段。初始化階段為一個(gè)模糊推理算法，用于確定隨后行為博弈算法的起點(diǎn)。

3.1 趨近行為的模糊推理

算法的初始化階段也稱作趨近作業(yè)目標(biāo)算法，是Mamdani推理算法的一種改進(jìn)形式。算法將循環(huán)執(zhí)行相關(guān)內(nèi)容，直至虛擬人以最小的運(yùn)動(dòng)代價(jià)抓取到作業(yè)點(diǎn)。詳細(xì)內(nèi)容如下。

算法的輸入為上肢的姿態(tài)數(shù)據(jù)，如手至作業(yè)目標(biāo)的距離u和上肢在水平面上的投影v。上述數(shù)據(jù)需經(jīng)模糊化處理，方能作為模糊推理規(guī)則的輸入。模糊化處理將確定的上肢姿態(tài)數(shù)據(jù)轉(zhuǎn)換為模糊距離{near，close，far}和模糊懸空度{unfit，littlefit，fit，strongfit}。這些模糊語(yǔ)言由圖 3所示的隸屬度函數(shù)定義。通過隸屬度函數(shù)可求得上肢姿態(tài)數(shù)據(jù)相對(duì)于模糊語(yǔ)言的隸屬程度。

該算法由一組模糊推理規(guī)則組成，其基本形式為

式(1)中，規(guī)則的前提為模糊距離和模糊懸空度的“與”運(yùn)算，輸出為一個(gè)明確的子行為bk與該子行為的執(zhí)行機(jī)率。算法的所有推理規(guī)則可歸納為圖4所示的模糊推理矩陣。其中，矩陣行對(duì)應(yīng)于模糊距離，矩陣列對(duì)應(yīng)于模糊懸空度，矩陣元素則是行為推理的結(jié)果，即子行為及其執(zhí)行機(jī)率。首先，求得每個(gè)矩陣元素中子行為的機(jī)率，再將矩陣中同類子行為的機(jī)率進(jìn)行累加，累積機(jī)率最高的子行為將被選擇執(zhí)行。

圖3 模糊語(yǔ)言的隸屬度函數(shù)

圖4 模糊推理矩陣

3.2 梯度下降的行為博弈過程

式(2)中，x∈X為人體工作狀態(tài)向量，X為行為決策空間；向量μ(x)=[μ1(x),μ2(x),…,μm(x)]T是對(duì)人體工作狀態(tài)x的多目標(biāo)評(píng)估結(jié)果，μi(x)(i=1,2, …, m)是對(duì)人體姿態(tài)、平衡性和感知因素等具體目標(biāo)的模糊評(píng)估函數(shù)。式(2)表明最優(yōu)行為狀態(tài)x的各項(xiàng)目標(biāo)的評(píng)估結(jié)果應(yīng)盡可能最大化。顯然，滿足多目標(biāo)最優(yōu)的行為狀態(tài)是不唯一的，它們亦虛擬人的行為自適應(yīng)決策是一個(gè)多目標(biāo)決策問題被稱作帕雷托最優(yōu)解。

上述多目標(biāo)決策問題的求解是一個(gè)動(dòng)態(tài)博弈的過程。本文設(shè)計(jì)了一個(gè)梯度下降的行為博弈算法。算法以前文定義的子行為作為搜索步長(zhǎng)，要求每步搜索應(yīng)以最快的速度接近理想的人體工作狀態(tài)。搜索的最終結(jié)果應(yīng)滿足以下兩個(gè)條件：

（1） 納什均衡條件

設(shè)人體工作狀態(tài)x*∈X滿足下式

式(3)中，向量 μ ( x*)是對(duì)人體工作狀態(tài) x*的多目標(biāo)評(píng)估結(jié)果；向量λ是閾向量，規(guī)定了各目標(biāo)評(píng)估結(jié)果可以接受的下限值。則稱狀態(tài)x*∈X是滿足納什均衡條件的帕雷托最優(yōu)工作狀態(tài)。

（2） 與理想狀態(tài)的漢明距離最小

設(shè)人體理想工作狀態(tài)為x+，對(duì)狀態(tài)x∈X的總體評(píng)估結(jié)果與理想狀態(tài)x+間的漢明距離為

梯度下降搜索的基本步驟如下：

式(4)中，向量()xμ的定義同前；向量g為狀態(tài)x+的多目標(biāo)評(píng)估結(jié)果；iω為目標(biāo)的權(quán)重，表示目標(biāo)在總體評(píng)估中的重要程度。搜索的最終結(jié)果應(yīng)滿足

步驟2 依據(jù)權(quán)重iω的大小對(duì)已觸發(fā)的請(qǐng)求ir排序，權(quán)重值最高的請(qǐng)求將得到響應(yīng)。

步驟 4 以Agent協(xié)作單元重構(gòu)的方式執(zhí)行被選中的子行為，具體方法見2.2節(jié)。

步驟 5 子行為執(zhí)行效果的博弈分析。判定子行為執(zhí)行后人體工作狀態(tài)是否滿足式(3)和式(5)規(guī)定的條件。若滿足，則退出算法，否則返回步驟1。

上述算法符合梯度下降法的基本原則，將自適應(yīng)行為決策轉(zhuǎn)化為以子行為為步長(zhǎng)的多目標(biāo)動(dòng)態(tài)博弈過程。為增加算法的靈活性，本文放松了式(3)所示的納什均衡條件，規(guī)定權(quán)重較輕的目標(biāo)的最終評(píng)估結(jié)果可以低于規(guī)定閾值，并為每個(gè)目標(biāo)設(shè)置了雙閾值。目標(biāo)評(píng)估結(jié)果高于閾值上限表明非常滿意，閾值上限和閾值下限之間為過渡區(qū)域，低于閾值下限則被認(rèn)為不可接受。

4 仿真實(shí)例

作者在PC/WindowsXP/VC6.0/OpenGL環(huán)境下開發(fā)了人機(jī)工程仿真與設(shè)計(jì)原型系統(tǒng)。該系統(tǒng)提供了如圖1所示的智能虛擬設(shè)計(jì)環(huán)境，建立了虛擬人的幾何模型和運(yùn)動(dòng)控制模型。在此基礎(chǔ)上，建立了基于模糊多目標(biāo)決策的人體自適應(yīng)行為決策模型。能夠在沒有人體運(yùn)動(dòng)數(shù)據(jù)支持的條件下，實(shí)現(xiàn)虛擬人體運(yùn)動(dòng)的自主協(xié)調(diào)與配合。

該系統(tǒng)可以對(duì)虛擬人不同的作業(yè)姿態(tài)實(shí)施綜合評(píng)估，以達(dá)到比較各種作業(yè)姿態(tài)優(yōu)劣的目的。如圖5所示，為操作同一作業(yè)點(diǎn)，虛擬人采用了不同作業(yè)姿態(tài)。系統(tǒng)為每個(gè)工作姿態(tài)作了舒適度評(píng)估。評(píng)估結(jié)果符合經(jīng)驗(yàn)常識(shí)，并有較高分辨率。

圖6給出了一組虛擬人體的自適應(yīng)行為仿真實(shí)例。每個(gè)實(shí)例均由150到200余幀動(dòng)畫組成，作者僅提取了其中具有代表性的7幅關(guān)鍵幀。從多次仿真實(shí)驗(yàn)來看，系統(tǒng)取得了預(yù)期的自適應(yīng)行為仿真效果。虛擬人能夠根據(jù)環(huán)境布局和作業(yè)點(diǎn)位置的差異，采用自然合理的行為方式完成對(duì)作業(yè)點(diǎn)的操控。

圖6 虛擬人自適應(yīng)行為仿真

與仿真動(dòng)畫同步，系統(tǒng)可輸出虛擬人舒適度的變化趨勢(shì)曲線，以協(xié)助用戶分析人體運(yùn)動(dòng)過程中舒適度的變化規(guī)律。圖7給出了圖6(a)仿真實(shí)例的舒適度變化曲線。可知，總體舒適度呈現(xiàn)下降后上升的趨勢(shì)，表明虛擬人在抓取到作業(yè)點(diǎn)后，自主完成了工作姿態(tài)的優(yōu)化。圖7同時(shí)給出了肩關(guān)節(jié)、膝關(guān)節(jié)和人體平衡性的舒適度趨勢(shì)曲線。這些曲線在整個(gè)發(fā)展過程中均出現(xiàn)一些波動(dòng)，但總體上在曲線的最后階段都呈上升趨勢(shì)。這一現(xiàn)象很好地體現(xiàn)了自適應(yīng)行為決策的博弈本質(zhì)。在動(dòng)態(tài)的行為決策過程中，具有沖突的行為目標(biāo)之間通過競(jìng)爭(zhēng)和讓步使得各自的狀態(tài)得到優(yōu)化，并促使人體的總體舒適度得到優(yōu)化。

5 總 結(jié)

人機(jī)工程仿真與評(píng)估在產(chǎn)品設(shè)計(jì)與生產(chǎn)規(guī)劃等工作中具有重要的應(yīng)用前景。本文提出了一個(gè)智能化的虛擬設(shè)計(jì)環(huán)境，在分析行為的結(jié)構(gòu)特征與組織機(jī)制的基礎(chǔ)上，建立了基于模糊多目標(biāo)決策理論的人體自適應(yīng)行為決策模型，開發(fā)了基于 Multi-Agent的人機(jī)工程仿真設(shè)計(jì)系統(tǒng)。由該系統(tǒng)提供的仿真實(shí)驗(yàn)表明，本文方法避免了對(duì)捕捉獲取人體運(yùn)動(dòng)數(shù)據(jù)的依賴，實(shí)現(xiàn)了在動(dòng)態(tài)、不確定環(huán)境下人體自適應(yīng)行為的仿真，并提供實(shí)時(shí)的人體舒適度趨勢(shì)曲線。系統(tǒng)具有較高的運(yùn)行效率和較好的可擴(kuò)展性。在未來的研究中，作者將進(jìn)一步深入探索行為的認(rèn)知機(jī)理，開展新型行為仿生理論與算法的研究，以修正模型及算法參數(shù)，實(shí)現(xiàn)自主性和智能化更高的人體行為仿真。

[1]Earthy J, Jones B S, Bevan N. The improvement of human-centred processes—facing the challenge and reaping the benefit of ISO 13407 [J]. International Journal of Human-Computer Studies, 2001, 55(4)：553-585.

[2]John R Wilson, Mirabelle D’Cruz. Virtual and interactive environments for work of the future [J].International Journal of Human-Computer Studies,2006, 64(3)：158-169.

[3]Ayman Wasfy, Tamer Wasfy, Ahmed Noor. Intelligent virtual environment for process training [J]. Advances in Engineering Software, 2004,35(6)：337-355.

[4]Uma Jayaram, Sankar Jayaram, Imtiyaz Shaikh, et al.Introducing quantitative analysis methods into virtual environ ments for real-time and continuous ergonomic evaluations [J]. Computers in Industry, 2006, 57(3)：283-296.

[5]Imtiyaz Shaikh, Uma Jayaram, Sankar Jayaram, et al.Participatory ergonomics using VR integrated with analysis tools [C]// Proceedings of the 2004 Winter Simulation Conference, 2004：1746-1754.

[6]Norman I Badler, Martha S Palmer, Rama Bindiganavale.Animation control for real-time virtual humans [J].Communications of the ACM, 1999, 42(8)：65-73.

[7]Norman I Badler, Charles A Erignac, Ying Liu. Virtual humans for validating maintenance procedures [J].Communications of the ACM, 2002, 45(7)：57-63.

[8]Mavrikios D, Karabatsou V, Pappas M, et al. An efficient approach to human motion modeling for the verification of human-centric product design and manu facturing in virtual environments [J]. Robotics and Computer-Integrated Manufacturing, 2007, 23(5)：533-543.

Multi-Agent Based Ergonomic Simulation and Design System

WANG Zhao-hui, ZHENG Guo-lei, ZHU Xin-xiong
( School of Mechanical Engineering and Automation, Beijing University of Aeronautics and Astronautics, Beijing 100191, China )

A multi-agent intelligent design system is presented for manufacturing process simulation and products’ ergonomic analysis. The system realizes virtual human’s adaptive behaviors by fuzzy multi-objects decision-making theory. In virtual environment, the intelligent virtual human performs tasks’ operation autonomously and shows optimum posture configuration with ergonomic assessment results in real time. Experimental results of prototype validate the feasibility of this technology.

virtual human; fuzzy multi-object decision; multi-agent system; auto-behavior

TP 391.9

A

1003-0158(2010)06-0133-06

2009-02-23

王朝暉（1972-），男，浙江黃巖人，博士研究生，主要研究方向?yàn)樘摂M現(xiàn)實(shí)，人工智能，多Agents系統(tǒng)和復(fù)雜系統(tǒng)建模與仿真等。