李 胤，郭健彬，張紹偉，王坤云，慈慧鵬

（1.上海機電工程研究所，上海 201109；2.北京航空航天大學 可靠性與系統(tǒng)工程學院，北京 100191）

0 引 言

設(shè)備可靠性的提升使得人機交互模式逐漸完成由直接操作到人與人工智能（artificial intelligence，AI）的智能交互的轉(zhuǎn)變，這種轉(zhuǎn)變也使得系統(tǒng)對人機交互的要求日益增高，人機交互已成為影響系統(tǒng)安全的重要因素。大量數(shù)據(jù)表明70%以上的事故原因都源自于 人 為 失 誤［1］，其 中70% 與 情 景 意 識（situation awareness，SA）失誤相關(guān)［2］。因此，對情景意識與安全性進行建模對于確保人機系統(tǒng)安全具有重大意義。

目前國內(nèi)外大量學者對人機系統(tǒng)安全性展開了研究。人機系統(tǒng)安全性通過研究系統(tǒng)中人-機-環(huán)之間的相互作用關(guān)系，達到系統(tǒng)各要素相互協(xié)調(diào)的狀態(tài)，在安全、高效的條件下實現(xiàn)系統(tǒng)功能。在人機系統(tǒng)內(nèi)，由于人的不可靠導致系統(tǒng)向非預期狀態(tài)變化，部分系統(tǒng)會超出安全邊界，從而引發(fā)事故，因此需要對系統(tǒng)中的人為因素開展深入研究。人因可靠性分析主張針對人為失誤的內(nèi)在機理和外在原因?qū)ο到y(tǒng)安全的影響開展研究［3-9］，從對人的行為層面的研究到情景環(huán)境對認知過程的影響研究，再到認知過程的動態(tài)分析?；谑录壿嫷陌踩苑椒ㄖ鲝?zhí)骄肯到y(tǒng)故障、人為失誤、環(huán)境擾動等因素與事故間的邏輯關(guān)系，典型方法包括過程失效模型及影響分析、故障樹分析和事件樹分析等。情景意識分析方法通過分析人機系統(tǒng)中人的情景意識狀態(tài)推斷人機交互失誤概率，進而評估系統(tǒng)的安全狀態(tài)。在情景意識分析方法基礎(chǔ)上，有關(guān)學者進一步提出團隊情景意識（team situation awareness，TSA）分析方法和分布式情景意識（distributed situation awareness，DSA）分析方法?；诙嘀黧w仿真（multi-agent simulation，MAS）的研究方法［10］對人機系統(tǒng)進行建模，進而表征人機系統(tǒng)中產(chǎn)生的線性、非線性和復雜關(guān)聯(lián)性，通過仿真手段發(fā)現(xiàn)人機系統(tǒng)的薄弱環(huán)節(jié)和安全隱患，在復雜系統(tǒng)建模仿真中已經(jīng)得到了大量應用［11］。

針對現(xiàn)有方法無法分析的系統(tǒng)中復雜人機交互描述能力不足、認知機理分析不足，以及未考慮時間因素的問題，本文基于多主體和SA 方法提出人機系統(tǒng)安全性建模方法，深入認知機理并考慮時間因素，分析復雜人機交互系統(tǒng)中的安全性，提供一種安全性建模方法來支持系統(tǒng)安全性評價、人員影響因素的重要程度分析以及智能機器的行為策略在復雜人機交互場景下的安全性評價。本文以有人和無人混合駕駛的復雜交互情景為案例進行了分析。

1 情景意識及事故演化過程

1.1 情景意識三層次模型

情景意識是人在時間和空間上對元素的感知、理解和預測，Endsley 等［12］提出了經(jīng)典的SA 模型。SA構(gòu)建完成后，人經(jīng)過決策行動作用于系統(tǒng)并改變系統(tǒng)狀態(tài)，系統(tǒng)狀態(tài)改變推動SA 的動態(tài)更新。人工智能技術(shù)的發(fā)展使得AI具有一定自主性，能夠獲取環(huán)境信息并通過算法做出一系列決策行為。因此，將SA 的概念賦予AI，在經(jīng)典SA 模型的基礎(chǔ)上建立AI 的SA模型如圖1所示。

圖1 AI的SA模型Fig.1 The SA model of AI

人和AI 的SA 模型結(jié)構(gòu)相似，但信息獲取和處理方式不同，使得兩類主體的SA 存在差異?？偨Y(jié)相關(guān)文獻［13-16］得到兩類主體SA差異如表1所示。

表1 人員與AI的SA差異Tab.1 The SA difference between humans and AI

系統(tǒng)動態(tài)變化過程中，人能夠理解并預測自身及其他主體的狀態(tài)和行為意圖，而AI通過智能算法做出的理解與預測，無法準確理解和預測人員的意圖。人員和AI 的SA 不一致以及兩類主體的行為偏差將造成潛在風險在系統(tǒng)中傳播，導致系統(tǒng)存在安全隱患。

1.2 SA表征和更新

SA 的表征和更新是進行定量分析和建模仿真的基礎(chǔ)。Baumann 等［17］以駕駛員經(jīng)過十字路口為場景案例，將SA 視為一個理解過程，構(gòu)建了駕駛?cè)蝿盏那榫耙庾R認知基礎(chǔ)。Blom 等［18］提出了情景意識向量，將其應用在了空中交通管理的事故風險評價中，本文引用Blom 等人的情景意識向量思想，構(gòu)建情景意識矩陣對情景意識進行表征和更新。

1.3 SA失誤模式及演化過程

1.3.1SA失誤模式

在復雜人機交互任務中，主體間的決策和交互高度依賴SA 的完備度，及時正確建立SA 對復雜系統(tǒng)的安全十分關(guān)鍵。SA 失誤將造成決策和行動失誤，影響系統(tǒng)安全。在Endsley 對航空事故中情景意識失誤分析［2］的基礎(chǔ)上，本文總結(jié)梳理了人員SA 失誤模式和失誤原因。在人員SA 失誤模式的基礎(chǔ)上構(gòu)建AI的SA 失誤模式，需要考慮其與人員SA 的差異及具體的應用情景。AI 基本的SA 失誤模式涉及感知、理解和預測階段的錯誤和偏差，其中用以獲取信息的傳感器的可靠性直接決定了AI 的SA 建立的完備程度。結(jié)合AI 的特點進行分析得到SA 失誤模式和失誤原因如表2所示。

表2 SA失誤模式和原因Tab.2 SA failure modes and reasons

1.3.2SA失誤影響因素

SA 失誤涉及人、AI、機器、環(huán)境、任務等多方面因素影響。人員的影響因素有經(jīng)驗水平、時間、同時出現(xiàn)的目標數(shù)量和溝通質(zhì)量等［19-20］；AI的影響因素有傳感器類型、算法完備性；機器的影響因素有人機交互界面設(shè)計；環(huán)境的影響因素有光照、特殊天氣、異常情況等；任務的影響因素有任務復雜度、時間限制等。在上述主體的動態(tài)交互過程中，人員和AI 的SA 動態(tài)變化，在人員、AI、機器、環(huán)境和任務因素綜合影響下發(fā)生失誤。

1.3.3SA事故演化過程

多樣的異常事件組合以及動態(tài)的人機交互過程，使得事故演化呈現(xiàn)出明顯的涌現(xiàn)特征。SA 事故演化過程如圖2所示。

圖2 情景意識失誤演化過程Fig.2 The evolution of SA failure

正常情況下，人員和AI通過獲取環(huán)境信息正確建立SA，并完成和有關(guān)主體的交互，系統(tǒng)在安全范圍內(nèi)動態(tài)變化。當人機系統(tǒng)中由某種因素產(chǎn)生異常信息時，人員和AI 對異常進行處理，兩類主體的任務將發(fā)生改變，造成主體感知異常，進一步導致理解、預測、決策行動后續(xù)活動的異常。這些異常作用于系統(tǒng)，引起系統(tǒng)的異常響應，使系統(tǒng)趨向危險邊界引發(fā)事故，造成人員傷亡、設(shè)備損壞和財產(chǎn)損失等。

2 基于多主體和SA 的人機系統(tǒng)安全性建模方法

本方法結(jié)合多主體建模方法和SA 分析方法的優(yōu)點，深入認知機理，考慮SA 失誤模式和影響因素，構(gòu)建通用的系統(tǒng)安全性模型。多主體建模方法是以主體為單元進行行為建模，主體遵從特定的交互規(guī)則、自主決策并響應，能對真實世界中人的行為（包括與機器、環(huán)境的交互行為）進行建模。

2.1 系統(tǒng)模型框架

人機交互系統(tǒng)模型框架如圖3所示。系統(tǒng)模型由主體和聯(lián)系兩部分構(gòu)成，主體包括人員、AI、機器和環(huán)境4 類主體，聯(lián)系包括主體之間的信息傳遞、操作/控制和影響3類。人員和AI主體內(nèi)部表達了SA 構(gòu)建流程和失誤影響方式

圖3 基于多主體的人機交互系統(tǒng)模型框架Fig.3 Model framework of human-machine interaction system based on multi-agent

人員從其他主體中獲取信息建立SA，根據(jù)知識規(guī)則做出決策響應，控制機器主體動作；AI 主體從其他3類主體獲取信息建立SA，根據(jù)內(nèi)置算法做出決策并控制機器動作。機器主體作為反應式主體，接收來自人員主體和AI主體的控制信息，執(zhí)行動作改變系統(tǒng)狀態(tài)；環(huán)境主體單向影響人員主體、AI 主體和機器主體的失誤概率。

2.2 SA的主體表達

SA 的主體表達如圖4 所示，SA 模型的輸入是某一事件，事件激活SA 三階段計劃，計劃按照知識規(guī)則庫中的規(guī)則改變SA 矩陣中的元素完成SA 建立。SA失誤模式庫影響SA 矩陣的元素，模擬SA 失誤模式和失誤影響因素對SA 建立的影響。SA 模型以事件的形式輸出決策或參數(shù)。

圖4 情景意識模型的多主體表達Fig.4 Multi-Agent expression of SA model

2.3 多主體關(guān)系模型

2.3.1智能主體模型

智能主體（人員和AI）模型如圖5 所示。在SA 模型的基礎(chǔ)上，增加決策響應計劃構(gòu)建完整的主體模型。結(jié)合任務場景分析人員和AI的人機交互規(guī)則，建立決策響應計劃和主體之間的交互行為。兩類主體模型的差異在于SA 失誤模式庫和人誤模式庫。SA失誤模式和人誤模式依失誤概率發(fā)生。

圖5 智能主體模型Fig.5 Intelligent agent models

2.3.2機器和環(huán)境模型

機器主體是人員和AI 作用的對象，在對人員和AI做出響應的同時反饋執(zhí)行信息。機器主體功能、屬性和狀態(tài)等參數(shù)會受到環(huán)境影響。本文不考慮機器功能故障演化，將機器視為反應式主體，僅對人員操作和AI 控制進行響應。環(huán)境主體是對時間和工況的描述，工況是指能影響到SA 建立、決策執(zhí)行的環(huán)境因素，主體模型如圖6所示。

圖6 環(huán)境主體模型Fig.6 Environment agent model

2.3.3 主體交互關(guān)系確定

主體交互關(guān)系如圖7 所示，環(huán)境主體的影響是單向的；人員、AI 和機器間通過信息雙向影響；人員、AI對機器間是單向控制的關(guān)系；人員和AI 相互獨立，僅存在信息交互，不存在控制關(guān)系。

圖7 主體間交互關(guān)系Fig.7 Intersubjective relationship

3 應用案例分析

3.1 任務場景構(gòu)建

本文構(gòu)建場景為高速車道有障礙物，如圖8 所示。A、E 是由AI 控制自動駕駛車輛，不考慮駕駛員接管過程；B、C、D 為有人駕駛車輛，駕駛員駕駛車輛行駛。該場景的任務是規(guī)避障礙物以順利通過當前路段。

圖8 案例場景Fig.8 Case scenario

3.2 SA模型建立

通過對任務場景進行分析建立主體的SA 矩陣。以人員為例進行說明，第1 行是駕駛員對自身車輛的情景意識，第2行至（m-1）行是駕駛員關(guān)于其他車輛的情景意識，第m行是駕駛員對環(huán)境中障礙物的情景意識，人員主體SA 矩陣中參數(shù)如表3 所示，參數(shù)關(guān)系如圖9所示。

圖9 人員主體情景意識參數(shù)關(guān)系Fig.9 Parameter relationship of personnel subject SA

表3 情景意識參數(shù)表Tab.3 Situation awareness parameters

3.3 主體交互關(guān)系確定

在本案例場景中，每個主體均需要與其他車輛進行信息交互（觀察）才能保證車輛正常行駛。主體間信息交互關(guān)系如圖10所示。

圖10 主體交互關(guān)系Fig.10 Subject interaction relations

3.4 仿真結(jié)果分析

通過對主體模型、參數(shù)、行為規(guī)則以及系統(tǒng)不確定性參數(shù)的構(gòu)建，在多主體仿真軟件中進行仿真，結(jié)果如圖11～16 所示。圖11 和圖12 反應了場景的整體安全情況，整體事故概率穩(wěn)定在0.66。

圖11 系統(tǒng)事故概率Fig.11 System failure probability

圖12 主體之間的事故占比Fig.12 Proportion of accidents between subjects

反應時間對B 主體事故的影響如圖13 所示，隨著反應時間的增加，B 類型事故逐漸增加。駕駛經(jīng)驗和風格對B 主體的影響如圖14 所示，經(jīng)驗水平升高，駕駛員的事故概率下降。激進駕駛員感知偏差較大，異常情況下更易采取冒險的行動，在三種經(jīng)驗水平下事故概率均比保守駕駛員事故概率高。

圖13 B主體反應時間對事故影響Fig.13 The influence of B’s reaction time on the accident

圖14駕駛經(jīng)驗風格對事故影響Fig.14 The impact of driving experiencestyle on accidents

B 主體感知距離分布對OB 類型事故影響如圖15所示。橫坐標為感知距離分布，縱坐標為OB 類型事故概率。從圖中可以看出，OB 事故概率隨著B 主體感知距離的增加而減小。

圖15 主體B感知距離對OB事故影響Fig.15 Influence of B's perceived distance on OB accidents

當B 主體感知出現(xiàn)偏差時會影響車輛安全，如圖16 所示。當感知距離小于真實距離時，OB 事故發(fā)生的概率小于感知正常的情況；當感知距離大于真實距離時，OB 事故發(fā)生的概率高于感知正常情況。原因在于，當感知距離達到B主體的預期安全距離時，駕駛員會進行危險評估和決策，這種感知偏差影響決策的時機，從而影響車輛安全。

圖16 主體B感知偏差對OB事故的影響Fig.16 Influence of B's perception bias on OB accidents

4 結(jié)束語

本文在人員SA 模型的基礎(chǔ)上擴展了AI 主體的SA 模型研究，提出基于多主體和情景意識的人機系統(tǒng)安全性建模方法，并對有人和無人駕駛車輛混合交通場景進行了案例應用分析，仿真結(jié)果表明建模方法合理可行。本方法深入認知機理，探究SA 失誤的原因和影響因素，并運用多主體建模仿真技術(shù)，構(gòu)建通用的人機系統(tǒng)安全性模型。模型能夠按時序描述復雜人機交互系統(tǒng)的動態(tài)交互過程和事故演化過程，從而反映系統(tǒng)的動態(tài)性、時變性和涌現(xiàn)特征。本方法為人機系統(tǒng)安全性提供一種自底向上的建模方法。本方法具備如下優(yōu)缺點：① 多主體技術(shù)在模擬人、機、環(huán)、AI 等多源交互系統(tǒng)行為和狀態(tài)變化方面，擬合度高，根據(jù)場景進行模型定制能力強，可描述復雜多線交互過程，具有獨特優(yōu)勢；② 面對安全性需求和工程應用，還需要解決人因模型精準（基于PSF 等）構(gòu)建、機環(huán)模型校核驗證、系統(tǒng)安全性邊界識別和確定、復雜系統(tǒng)算法及數(shù)據(jù)資源優(yōu)化等問題。

本文提出了基于多主體和情景意識的人機系統(tǒng)安全性建模方法的基本思路，并結(jié)合自動駕駛進行了有益探索，后續(xù)還需開展深入工作。