彭堅,王雪鵬,趙丹華,李博雅
【院士專欄:國防裝備設計與制造】
單兵智能頭盔在消防救援中的探索與應用
彭堅,王雪鵬,趙丹華,李博雅
(湖南大學 設計藝術學院,長沙 410082)
在消防裝備于高層建筑、地下建筑、大型商業(yè)綜合體等復雜救援環(huán)境中無法滿足信息感知和狀態(tài)感知需求的背景下,探索和分析智能頭盔當前在應急救援、軍隊作戰(zhàn)、采礦安全等領域的應用研究現(xiàn)狀,以期解決當前消防救援活動中環(huán)境視野差、協(xié)同效率低、救援人員健康狀態(tài)無法保證等問題,提高消防救援裝備的功能性和保障性,避免救援活動中可能發(fā)生的安全事故。人工智能、多設備協(xié)作、多模態(tài)感知等概念是智慧消防新的發(fā)展結合點,以消防救援裝備的智能化、集成化趨勢為基礎,提出了利用增強現(xiàn)實技術滿足視覺增強、信息協(xié)同、物體識別等信息感知需求,利用腦電監(jiān)測技術滿足人員健康狀態(tài)監(jiān)測、疲勞預警等狀態(tài)感知需求。在城市快速發(fā)展的背景下,單兵智能頭盔在消防救援領域的應用具有可靠性高、功能擴展性強、任務輔助效率高等優(yōu)勢,但同時面臨功耗大、重量大、設備交互研究不足等挑戰(zhàn);適用于消防救援場景的單兵智能頭盔有動態(tài)舒適性多目標優(yōu)化、多通道類人感知和意圖協(xié)同交互、系統(tǒng)故障診斷及容錯控制等方面的設計研究趨勢。
消防救援;智能裝備;單兵頭盔;增強現(xiàn)實;腦電信號監(jiān)測
隨著工業(yè)化、城市化的發(fā)展,新材料、新技術的應用,消防環(huán)境越來越復雜,消防隊員出警的頻率呈上升趨勢,同時消防救援人員所面對的任務和場景難度不斷增大,對消防隊員的生命安全構成了極大的威脅[1]。在火災救援中,消防隊員處于高溫、濃煙的復雜場景,在環(huán)境識別、路線選擇等問題上存在嚴重的信息感知障礙。同時,指揮中心對救援人員的狀態(tài)感知存在障礙,無法監(jiān)測救援過程中的突發(fā)情況和消防隊員的實時狀態(tài),以致消防員和指揮中心之間無法高效協(xié)同,并及時獲得全面的災情信息以輔助決策,使消防員在此過程中面臨著極大的安全隱患。
消防救援裝備作為消防隊伍參與救援工作的主要工具,是成功、高效完成各項綜合救援任務的關鍵因素,也是消防隊員在執(zhí)行緊急救援任務時保障自身安全的最后一道屏障[2]。當前的單兵消防頭盔作為消防救援裝備中的關鍵裝備,在面對高層住宅、地下建筑、大型化工企業(yè)的火災救援時已無法滿足消防隊員的實際需求。近年來,國際消防救援的概念發(fā)生了明顯變化,智能控制、無人機集群、多維感知融合等顛覆性技術成為了智能消防新的發(fā)展結合點,消防救援裝備的智能化趨勢顯著。
隨著國家綜合性消防救援隊伍組建和集體轉制,原公安部消防局整體劃入應急管理部,并更名為消防救援局[3],其核心職能開始由“消防”轉向“綜合應急救援”,以往著重于火災防范與滅火撲救,如今拓展了災害和事故人員搜救與搶險救援活動等職能范圍[4]。這在增加了消防人員任務難度和風險的同時,也暴露出救援過程中的諸多問題。
1)消防隊員的救援裝備無法滿足當下的救援需求。目前大量的新型建筑、大型城市綜合體、地下工程建成并投入使用,火災現(xiàn)場的環(huán)境復雜、火勢猛、過火面積大且極易產(chǎn)生立體火災。雖然有MATOI[5]、Shrimp[6]、R-crank[7]、ACM-R7[8]等新型搜救機器人可以進行基礎的火場勘察和預測,但面對復雜火情時,依然需要消防員深入火場進行勘察救援[9],但目前消防員所配備的救援裝備火場勘察能力弱、可靠性不佳、智能化程度較低、通信技術不成熟[10],無法為消防員提供有效的支持。
2)對火源及危險物處理不及時[1]。如今的建筑結構多為鋼框架結構,鋼結構在火焰作用下5~10 min就會導致其應力發(fā)生改變,當溫度達到600℃時,普通結構用鋼材將喪失大部分的強度和剛度[11-12],并發(fā)生轟燃現(xiàn)象[13],因承重力瞬間下降而倒塌。同時大型建筑的電梯及各種管道可能形成抽風爆燃現(xiàn)象,使火頭成風卷式快速上升蔓延[14]。因此,當前的城市火災救援對消防員的要求極高,如果不能及時發(fā)現(xiàn)易爆燃物品并撲滅火源,極易導致大范圍的財產(chǎn)損失和嚴重的安全威脅。
3)搜救效率低下?;馂默F(xiàn)場常存在因濃煙、電器失靈而導致的能見度低下的問題,且在火災現(xiàn)場可能有障礙物或墜落物體阻礙道路,影響消防員的行動速度,導致消防員延誤滅火時機,無法及時發(fā)現(xiàn)并解救被困人員[15]。
4)對消防人員的實時狀態(tài)了解不足。由于火災現(xiàn)場的復雜性和不可預測性,消防人員在火場極易發(fā)生煙霧中毒、硬性損傷、高溫昏迷等情況,指揮中心無法實時了解一線作戰(zhàn)人員的身體狀態(tài)[16],因此出現(xiàn)了協(xié)同性差、指揮調度效率低下登問題。
由于城市火災事故的突發(fā)性、不可預測性、環(huán)境復雜性等特點,救援行動可能會導致消防隊員的傷亡。在天津港“8·12”爆炸事故中,有24名公安消防人員、75名天津港消防人員遇難[17]。根據(jù)《中國消防年鑒》統(tǒng)計,自2000年至2017年,消防救援事故造成220名消防員死亡,2013年以后消防救援的頻率明顯上升,且連續(xù)4年消防員犧牲人數(shù)超過10人,見圖1。國際消防救援與服務協(xié)會(CTIF)的火災統(tǒng)計中心統(tǒng)計表明,2016年世界平均每分鐘發(fā)生3萬起火災,共發(fā)生18 000起火災死亡事故[18]。消防救援人員在執(zhí)行任務時處于高溫、濃煙、缺氧的危險環(huán)境中[19],由于視線受阻,消防員經(jīng)常需要以墻壁為確認位置的標點,根據(jù)墻壁的走向在建筑內順時針或逆時針搜索受困者,以防在濃霧中迷失[20]。
隨著我國新型建筑物的數(shù)量不斷增多,消防隊員在救援過程中最主要的威脅來自兩方面,其一,消防員在陌生的環(huán)境中對火場信息和危險物性質的不明確,即信息感知障礙;其二,消防員無法及時將救援過程中的身體狀態(tài)反饋給指揮中心,無法形成高效的協(xié)調和調度指揮,即狀態(tài)感知障礙。
單兵頭盔是消防員在執(zhí)行消防救援任務時對頭部、面部、頸部最直接有效的保護裝備,主要用于抵抗外力沖擊、熱輻射、穿刺、有毒氣體、化學腐蝕等傷害[21-22]。傳統(tǒng)單兵消防頭盔主要由帽殼、面罩、披肩、泡沫墊、十字緩震帶、帽網(wǎng)、調節(jié)鈕和頸托等構成。當前我國使用的單兵消防頭盔主要是國內生產(chǎn)的RMK–LA型消防頭盔,材料采用美國GE公司生產(chǎn)的PEI塑料粒子。部分經(jīng)濟發(fā)達地區(qū)和各省特勤大隊會配備由美國MSA公司生產(chǎn)的F1型消防頭盔,此頭盔可以較好地保障消防隊員在撲救火災時的安全。其技術參數(shù)與材料質量均高于國家消防安全標準GA 44–2004的標準[21],并采用了模塊化的設計方法,滿足了不同環(huán)境任務需求,但并未集成智能化組件。
圖1 2000—2017年消防部隊參與救援行動次數(shù)、犧牲人數(shù)數(shù)據(jù)統(tǒng)計
近年來單兵智能頭盔的設計彌補了傳統(tǒng)單兵頭盔的不足,在滿足其基本防護功能的前提下進行了舒適性和功能性改良。當前智能化裝備對感知認知、智能控制和高效協(xié)同提出了更高的需求,路線規(guī)劃[23]、環(huán)境感知[24]、應急通信協(xié)同[25]、視覺信息的圖像處理[26]等技術越來越多地應用于現(xiàn)代軍警裝備中。
在軍警領域中,美國的警用單兵頭盔智能化起步較早,C–Thru[27]頭盔是一款具有實時通信、緊急呼救、攝像等功能的消防頭盔,并配有熱成像設備,設備可以記錄途經(jīng)環(huán)境,并以信息和圖像的形式顯示在面罩上。
德國Held等[28]設計的Helon 360頂部安裝有360°熱成像攝像機,指揮中心能夠獲得火災現(xiàn)場的實時圖像和數(shù)據(jù),以幫助消防員評估情況,消防員能夠通過頭盔的顯示儀看到畫面增強后的圖像、指揮中心的建議和警告信息。此外,Helon 360還集成了多個傳感器,用來收集氧氣水平、心率等關鍵信息。
在軍用單兵智能頭盔上,英國是該行業(yè)的領跑者, BAE系統(tǒng)公司去年推出的“打擊者II”(Striker II)[29]頭盔性價比甚至優(yōu)于美軍新型頭盔?!按驌粽逫I”頭盔已在皇家空軍“臺風”戰(zhàn)斗機上接受了大規(guī)模測試,該頭盔具備三大優(yōu)勢:一是采用先進的頭部跟蹤技術和強大的計算芯片,能精確定位佩戴者的頭部方位,頭盔顯示屏顯示圖像與佩戴者目視方向幾乎同步,可以有效消除現(xiàn)役頭盔的圖像延遲問題;二是內置微型數(shù)字式夜視相機,夜間執(zhí)行任務或能見度較差時無需加裝夜視儀,具備全天候作戰(zhàn)能力;三是靈活性強,可與數(shù)字和模擬信號系統(tǒng)兼容,適配性更強。
美軍F–35飛行頭盔[30-31]結合了傳感器套件、夜視技術、信息顯示系統(tǒng)、基于頭部運動的視線跟蹤和瞄準軟件,佩戴者可以在頭盔面罩上看到空速、航向、高度、爬升率等關鍵信息,同時提供機艙外部實時影像、熱成像影像和夜視影像等3種顯示模式。為了保證視線跟蹤系統(tǒng)的精確性,使用瞳孔測量儀將面罩上的光學組件對準瞳孔中心2 mm以內,以確保被投射的圖像位于佩戴者的自然視野中,見圖2。
美軍與微軟公司在集成視覺增強系統(tǒng)(IVAS)[32-33]的生產(chǎn)階段達成了合作協(xié)議,IVAS使用微軟公司的HoloLens混合現(xiàn)實技術,以及熱成像、傳感器、GPS技術和夜視功能來提高士兵的感知能力,并為他們提供關鍵的信息,幫助他們決策、訓練和執(zhí)行任務,見圖3。這些設備將全息圖像、3D地形圖和指南針投射到佩戴者的頭盔顯示儀上,使其能夠看到自己所在的位置和周圍的事物。
在采礦、建筑、醫(yī)療、騎行安全等領域,智能安全頭盔被用于事故預防、風險評估、救援請求、人員狀態(tài)監(jiān)測等。在采礦行業(yè)中,Qiang等[34]設計了一種采用Zigbee傳輸技術的智能頭盔,用于分析礦山中的溫度、濕度和甲烷含量等,有效降低了礦山開采過程中的事故風險。Nithya等[35]研究了一種用于監(jiān)測采礦環(huán)境異常狀況的智能頭盔,通過傳感器和集成組件進行危險預警,保障了礦井工人的安全。此外,智能頭盔在建筑、火災、礦井開采等環(huán)境下發(fā)揮了人員健康狀態(tài)監(jiān)測和安全保障的作用,可通過Zigbee技術向最近的工作人員發(fā)送警報,Kim等[36]將加速計集成于智能安全頭盔中,用于監(jiān)測工人是否正確佩戴了頭盔。Li等[37]研究了基于IMU和EEG的工人疲勞監(jiān)測安全頭盔,監(jiān)測和追蹤工人的頭部姿勢和大腦活動,以防止和減少傷害或事故。Wang等[38]研究了帶有IMU傳感器的智能安全頭盔和鞋子,用于保護建筑工人,避免他們從樓梯墜落,并在危險時發(fā)出緊急救援請求。Pirkl等[39]設計了一種用于建筑工地的可穿戴傳感器系統(tǒng),在智能頭盔中集成了互聯(lián)設備,可支持工作人員訪問文檔和數(shù)字信息。同時,頭盔集成的紅外相機能夠實現(xiàn)環(huán)境溫度掃描,用于熱力管道泄露監(jiān)測和安全預警。Lee等[40]在安全智能頭盔的設計中集成了用于墜落分析的加速度傳感器、火災的一氧化碳傳感器、氣體泄漏分析和超聲波傳感器。智能頭盔在醫(yī)療領域的應用主要集中于對身體狀態(tài)的監(jiān)測。Mohammed等[41]研發(fā)了一款用于減少人際互動的熱成像智能頭盔,將熱成像技術集成到智能頭盔中,并與物聯(lián)網(wǎng)技術結合,實現(xiàn)實時監(jiān)測篩選。Bisio等[42]提出了一種移動智能頭盔,在急救醫(yī)療隊到達時由患者佩戴,用于識別和檢測腦卒中。Shahiduzzaman等[43]設計了一種基于安全智能頭盔的云–網(wǎng)絡–邊緣架構,集成了可穿戴攝像頭、加速度計、陀螺儀傳感器等構件,用于跌倒監(jiān)測和預防老年人日?;顒又械陌踩L險。近年來,智能頭盔在騎行安全領域的研究數(shù)量快速增長,主要針對啟動控制、事故預防、救援請求、便捷性等方面。其中,啟動控制和救援請求是相對熱門的研究方向,Rasil等[44]基于力感應電阻器(FSR)和無刷直流風扇(BLDC)開發(fā)了一種檢測騎手的頭部姿態(tài)和摩托車速度的智能頭盔,用于監(jiān)測騎手行為,降低安全風險。Melcher等[45]基于歐盟資助的項目i–VITAL研究了一種摩托車eCall系統(tǒng),將該系統(tǒng)集成于騎手的頭盔中,利用傳感器監(jiān)測騎手的身體狀態(tài),并實時分析,以減少因疲勞、困倦和注意力不集中而可能發(fā)生的事故或健康危害。Mohanaroopa等[46]和Rao等[47]設計的騎行安全智能頭盔能夠實現(xiàn)酒精檢測、緊急求助、實時定位等功能,并能夠將駕駛員的頭盔佩戴情況發(fā)送給緊急聯(lián)系人。部分現(xiàn)有智能頭盔研究對比見表1。
圖2 美國F–35單兵智能飛行頭盔
圖3 美國配備IVAS HoloLens 2套件的單兵陸戰(zhàn)智能頭盔
通過對國內外單兵智能頭盔研究現(xiàn)狀的了解,可以發(fā)現(xiàn)目前安全智能頭盔的設計研發(fā)正在走向智能化、數(shù)字化、集成化。目前,針對消防救援頭盔的智能化設計研究較少,尤其在國內,消防搜救智能頭盔的發(fā)展相對滯后,在該領域中用于輔助救援人員勘測、人體狀態(tài)數(shù)據(jù)采集與監(jiān)測、指揮系統(tǒng)與救援人員的信息協(xié)同方面的設計和研究還存在明顯不足。
表1 部分現(xiàn)有智能頭盔研究應用對比
Tab.1 Part of the existing smart helmet research application comparison
通過增強現(xiàn)實(Augmented Reality,AR)技術,頭盔佩戴者可以通過手勢、視覺、語音等方式與虛擬景象進行實時交互。AR技術可以在現(xiàn)實環(huán)境中投影3D圖像,消防員可將現(xiàn)場情況遠程傳輸至指揮中心,以3D成像技術還原現(xiàn)場,救援專家可根據(jù)立體場景遠程布局工作,并對現(xiàn)場傳回的圖像進行跟蹤,形成一種全景式的應用體驗,進而獲取全方位的信息,實時下達救援命令。
通過腦電技術,基于消防救援場景的多變化需求,在復雜多變環(huán)境下提升大腦活動監(jiān)測的有效性。腦電技術正在逐漸提高測量的效度,通過主成分分析法(PCA)、獨立成分分析法(ICA)等技術能夠實現(xiàn)對大腦信號的動態(tài)捕捉[48],可以及時反映個體在救援狀態(tài)下的動態(tài)大腦活動規(guī)律與特征,同時也提高了在實施救援過程中個體大腦狀態(tài)的反饋時效性,是預測消防員體能和健康程度的有效途徑。
單兵消防頭盔相關技術路線、方案及作用見圖4。
圖4 單兵消防頭盔相關技術路線、方案及作用
如圖5所示,根據(jù)增強現(xiàn)實系統(tǒng)的基礎工作邏輯可知增強現(xiàn)實技術在單兵智能消防頭盔中的應用方式主要為3個方面:光學疊加、全景觀察和智能識別。
1)光學疊加。此技術為單兵智能消防頭盔的功能保障,頭盔佩戴者可直接通過光學玻璃面罩看到外部的真實環(huán)境。同時通過AR技術處理數(shù)據(jù)和圖像使重要信息疊加在外部環(huán)境場景上[49],如生命體征、路線、位置等,使2種信息互相補充,實現(xiàn)對現(xiàn)實世界的“增強”[50]。目前AR頭戴式顯示器常用的光學組合器主要有應用于Google Glass、ODG R8等產(chǎn)品的Birdbath結構[51]、自由曲面反射鏡結構[52]、自由曲面棱鏡結構[53]、陣列波導結構[54-55]、表面浮雕光柵結構[56]和全息光學元件結構[57-58]等6種。
2)全景觀察。協(xié)同消防救援現(xiàn)場的無人機、相機等設備的協(xié)同來全面監(jiān)測整體環(huán)境[59],獲取其拍攝的實時影像和鳥瞰視圖。同時可實現(xiàn)多個智能終端的視野共享[60],使消防員能夠很大程度擺脫地面視野的限制,獲得更準確的災情信息,更快速地尋找到受困者的位置、降低長時間處于危險區(qū)域的安全隱患。此外,也可以通過觀察云臺或多相機圖像拼接的方式來獲取消防人員周圍的全景環(huán)境[61]。
3)智能識別。AR技術輔助消防人員在消防救援行動中能將現(xiàn)實環(huán)境進行增強,或捕獲危險物品、環(huán)境邊緣等信息[62],這些信號一方面被傳輸?shù)叫畔⑻幚砟K中并以圖像或符號的形式呈現(xiàn),另一方面實時與指揮機構進行數(shù)據(jù)和圖像傳輸[63],幫助救援人員在災害現(xiàn)場迅速判斷受困人員的位置和地形狀況,同時為指揮機構進行分析提供關鍵信息,最終指導救援活動。
圖5 增強現(xiàn)實系統(tǒng)基礎工作邏輯[49]
基于增強現(xiàn)實單兵智能頭盔的主要功能是在復雜的火災現(xiàn)場能讓消防隊員及時了解火場的信息,保護消防隊員的自身安全。如圖6所示,增強現(xiàn)實技術主要通過頭盔顯示系統(tǒng)、感知系統(tǒng)和核心計算機系統(tǒng)實現(xiàn)以下功能。
1)畫面增強功能[64]?;馂默F(xiàn)場內部環(huán)境特點是高溫、煙霧彌漫、遮蔽視線,而且在火災現(xiàn)場有時會有障礙物或高空墜落的物體,給消防隊員的前進帶來了阻礙,通過AR技術掃描火場內部環(huán)境可以給消防隊員提供正確的前進路線。
2)指揮中心與救援人員的信息協(xié)同及通信功能[60-65]。通過增強現(xiàn)實技術,在救援活動中及時把重要信息以可視化的方式傳遞給消防隊員,在5G環(huán)境下利用毫米波頻譜能為高吞吐量的信息交換需求提供解決方案[66],以最高的效能實現(xiàn)指揮中心與救援人員之間的協(xié)同。
3)環(huán)境邊緣檢測功能[67]。火災場景中的能見度有限,利用AR技術捕捉環(huán)境和物體的邊緣,及時識別路面上和環(huán)境中的障礙物和危險物品,以保障消防員安全。
4)火災事件記錄功能。通過AR技術和成像設備可以對整個火災事件進行全記錄,包括時間、地點、火源、行動計劃等,便于后續(xù)的復盤與調查。
圖6 增強現(xiàn)實系統(tǒng)中的硬件模塊
腦電波(Electroencephalogram,EEG)是直接反應大腦活動狀態(tài)的重要生物信息,是大腦內部大量椎體神經(jīng)元電位變化的綜合反映,人腦中1%~5%的神經(jīng)元細胞分布于大腦皮層[68]。腦電裝置可通過頭皮表面的電極來采集并記錄電位強度為縱軸、時間為橫軸的腦電圖,其頻率通常有4個頻段:(0.5~4 Hz)、(4~ 8 Hz)、(8~14 Hz)和(14~30 Hz)[69]。
人在進行思考、認知等思維活動時會激活大腦皮層的神經(jīng)元,在長時間從事高強度認知活動后易產(chǎn)生腦疲勞[70],尤其處于精神緊張狀態(tài)下其疲勞程度更高?,F(xiàn)代軍事作業(yè)人群中腦力勞動的強度和比例逐步上升[71-72],消防救援人員在執(zhí)行任務時需要保持注意力高度集中、高警覺性并對突發(fā)情況迅速反應,會帶來高強度的腦力活動消耗[73]。腦力疲勞的狀態(tài)會嚴重影響消防作戰(zhàn)人員的認知能力、警覺性和機動性能[74],無法繼續(xù)完成高強度工作。波和波的能量數(shù)據(jù)減少,或波和波的能量數(shù)據(jù)增加,可以說明人的疲勞程度增加[75-76]。事件相關電位(Event–related Potential, ERP)的主要成分包括P1、N1、P2、N2、P300、N400等[77],P300與注意、辨認、決策等重要認知功能相關[78],消防救援行動中,指揮機構可依據(jù)腦電信號預測可能的錯誤行動或決策。同時,利用腦電波對人員狀態(tài)進行監(jiān)測能夠實現(xiàn)指揮中心與救援人員的協(xié)同功能,提高指揮中心調度的科學性和及時性。通過腦電和通信技術的介入,指揮中心可以實時監(jiān)測到消防隊員的身體狀態(tài)和精神狀態(tài),及時反映消防員的安全問題,同時可以保證指揮中心與救援人員的高效調度與協(xié)同。
在可用于疲勞和認知能力檢測的眾多指標中,腦電信號被認為是最重要和最可靠的[79]。第一,腦電信號是反映作戰(zhàn)人員精神狀態(tài)或身體狀態(tài)的直接指標[80],眨眼頻率等視頻信號檢測是因疲勞而導致的生理變化,為間接指標。第二,腦電信號的時間敏感度最強[81]。認知和機動性能疲勞的發(fā)生首先表現(xiàn)為大腦的狀態(tài)變化,并且在疲勞發(fā)生之前就會開始變化[82]。第三,腦電信號的誤報率低[79]。腦電信號直接反應大腦活動,抗干擾能力強,不易受到外界刺激的影響,能更加準確地識別消防救援人員的實時狀態(tài),在強光、異物等外界影響下均不容易導致誤報。
如圖7所示,EEG的采集模式逐漸演變?yōu)槌叽绺?、便攜性更強的柔性電子設備甚至單元化采集模塊[83],見表2。傳統(tǒng)的固定式EEG設備大多是基于32、64導聯(lián)的全腦區(qū)EEG或多通道EEG[84],主要依靠有線數(shù)據(jù)采集,需要配備重量和體積較大的數(shù)據(jù)分析設備。集成于智能頭盔中的便攜式EEG設備主要利用無線數(shù)據(jù)傳輸?shù)男问竭M行監(jiān)測[85],沒有電腦、顯示器、有線傳輸?shù)韧獠吭O備的攜帶需求,能夠實現(xiàn)小型化和輕量化。同時,可穿戴EEG設備的功能針對性更強,只需要在小范圍內精確配置少量電極即可實時監(jiān)測佩戴者的疲勞和認知狀態(tài)[86],并且在保證較小重量和體積的前提下能到較高的精度和靈敏度[84-85,87-88],對智能頭盔的輕量化設計影響較小,并已經(jīng)在制造[37]、體育[89]、軍事[90]等領域展開了應用。
圖7 腦電監(jiān)測設備的模式演變
表2 不同腦電監(jiān)測設備組件對比
Tab.2 Comparison and summary of different EEG monitoring equipment components
如圖8所示,美國消防局2020年的數(shù)據(jù)表明,精神壓力過大和過度疲勞是導致消防員犧牲的最主要原因,犧牲人數(shù)占比接近40%[91]。
圖8 2020年美國消防員犧牲原因及人數(shù)
針對此問題,EEG監(jiān)測技術的應用能夠從狀態(tài)感知和高效調度兩方面為消防救援活動提供有效幫助。
1)狀態(tài)感知。單兵頭盔的智能化發(fā)展為EEG監(jiān)測技術的應用提供了數(shù)據(jù)平臺支撐,搭載處理器的智能單兵頭盔可通過藍牙或無線信號實現(xiàn)與智能設備或后臺的數(shù)據(jù)互傳,滿足指揮中心對作戰(zhàn)人員的狀態(tài)感知需求。
2)高效調度。救援人員在注意力高度集中的狀態(tài)下不易察覺疲勞感,因此指揮中心可以對EEG信號進行數(shù)據(jù)處理和分析,及時、精準調離EEG監(jiān)測數(shù)據(jù)明顯異常的救援人員,實現(xiàn)對作戰(zhàn)人員的高效指揮和精準調度,以此保障人員安全,降低任務風險。因此,以單兵智能頭盔為載體的EEG實時監(jiān)測設備的便捷化、輕量化研究和無線數(shù)據(jù)傳輸技術的發(fā)展,為實現(xiàn)作戰(zhàn)人員的狀態(tài)實時監(jiān)測提供了有利條件,為滿足復雜場景的狀態(tài)感知和高效調度需求提供了有效途徑,具有一定的應用價值和潛力。
近年來,人工智能、多設備協(xié)作、多模態(tài)感知等新興技術與智能頭盔的融合對于解決消防救援領域的核心痛點有明顯優(yōu)勢,如環(huán)境畫面增強、邊緣檢測、緊急救援請求、多設備互聯(lián)、人體健康狀態(tài)監(jiān)測等,但智能頭盔的未來發(fā)展還存在眾多挑戰(zhàn)。智能頭盔應用于消防救援領域的優(yōu)勢:智能頭盔是一種智能、可靠、開發(fā)和運營成本相對較低的可穿戴設備;智能頭盔作為一種可穿戴設備,能夠實現(xiàn)事故檢測,并在緊急情況下發(fā)起救援請求;智能頭盔具有高度可擴展性,可根據(jù)需要通過添加或移除傳感器用于其他應用,可實現(xiàn)模塊化裝配;智能頭盔可以與無線通信技術相結合,以確保設備的始終在線連接。
可以從傳感器中獲取實時數(shù)據(jù),并將其傳輸?shù)皆贫诉M行大數(shù)據(jù)清洗和分析,為事故溯源和救援行動復盤提供了良好的條件。與此同時,消防救援智能頭盔未來的發(fā)展也存在大量挑戰(zhàn):功耗和電池壽命,智能頭盔依靠大量傳感器和智能設備工作,但在救援場景中頻繁充電或更換電池會影響其實用性;動態(tài)舒適度和可穿戴性,與傳統(tǒng)安全頭盔相比,智能頭盔所集成的組件更多,因此頭盔的舒適性和輕量化設計愈發(fā)重要;頭盔組件耐用性,消防救援頭盔的應用場景多在高溫、多塵、多障礙物和存在墜落物體風險的復雜環(huán)境中,智能頭盔通常有暴露在外的傳感器和控制器,惡劣工況極易影響其可用性;設備交互效能,頭盔的智能化發(fā)展不可避免地帶來交互方式的改變,單通道交互可能無法滿足惡劣工況下的交互需求,多模態(tài)交互的選擇和對交互成本的控制可能是保障智能頭盔工作效能的關鍵問題。
隨著綜合性消防救援隊伍組建和集體轉制,我國消防應急救援領域與原來相比出現(xiàn)了較大的變化,如今消防隊伍要處置各類災害事故和社會救援救助任務,包括火災救援、地震救援、水域救援、危險品處置等[2]。隨著救援領域的拓展與救援難度的增大,消防頭盔的設計也應當隨之發(fā)展。文中基于單兵消防頭盔的應用特點和未來發(fā)展的機遇與挑戰(zhàn),以提高消防救援裝備的功能性、可靠性和人機性為目標,提出了單兵消防頭盔發(fā)展的3個設計研究方向(動態(tài)舒適性多目標優(yōu)化研究,多通道類人感知和意圖協(xié)同交互研究,系統(tǒng)故障診斷及容錯控制研究)以實現(xiàn)單兵智能頭盔的體驗重構、效能增益和效用優(yōu)化。單兵消防頭盔發(fā)展展望的具體內容見圖9。
1)動態(tài)舒適性多目標優(yōu)化研究。單兵智能頭盔的多模塊集成屬性使其本身重量較大,因此對材質、結構、壓力分布[92]等輕量化設計的要求更高,相關設計研究和評價指標體系研究[93]的需求迫切。一般而言,質量超過1.5 kg的頭盔佩戴2 h以上會產(chǎn)生明顯不適[94],因此在設計中要充分考慮頭盔的人機友好性和舒適性影響因子,包括外形設計、色彩裝飾、紋理搭配等心理因子,以及重量、頭頂壓力分布、通風散熱、內襯摩擦粗糙感等體感因子。此外,可通過逆向動力學建模綜合分析頭盔的舒適性[95]。項德海等[96]研究發(fā)現(xiàn),防暴類頭盔的舒適性主要取決于頭盔的通風散熱性能和內襯體感。此外,消防救援隊伍所面對的救援場景和種類繁多,在不同的救援場景中對裝備的功能需要也有所不同,消防頭盔所集成的功能性構件應當實現(xiàn)模塊化、易拆裝,把整個頭盔的功能依據(jù)環(huán)境的需要,分解成多個小、獨立、相互作用的組件[97],針對不同的災情事故現(xiàn)場配備不同的功能模塊,以實現(xiàn)消防救援裝備的專業(yè)化、系列化。
圖9 單兵消防頭盔研究展望
2)多通道類人感知和意圖協(xié)同交互研究。對消防救援人員而言,單兵智能頭盔應當具有交互友好性,在裝備智能化和集成化趨勢的推動下,單兵智能頭盔的輔助和救援功能更豐富的同時操作也更加復雜。因此,多通道的交互輸入和反饋可能被應用于智能頭盔交互,以整合單一模態(tài)交互的優(yōu)勢[48],實現(xiàn)多種輸入方式的優(yōu)勢互補[98-100]。如何合理定義交互邏輯、選擇適當?shù)慕换頋M足復雜系統(tǒng)的交互效能,進而提高救援人員的交互效率和裝備在復雜工況下的交互可用性[101]是亟待研究解決的問題。此外,單兵智能頭盔通過傳感器協(xié)同和信息處理,實現(xiàn)多通道信息融合,增強機器感官,建立具有更高人機自然度和擬人化程度的多模態(tài)交互系統(tǒng)。同時,智能系統(tǒng)可以全方位、立體、綜合地感知人的交互意圖,形成對用戶操作的全面認知,進而實現(xiàn)人機高效協(xié)同。
3)系統(tǒng)故障診斷及容錯控制研究。高溫、多塵的復雜工況容易導致單兵智能頭盔的傳感器模塊、光學顯示模塊和設備交互模塊等關鍵組件發(fā)生故障,可能導致設備失效。安全性和可靠性是衡量現(xiàn)代工業(yè)系統(tǒng)性能指標的關鍵因素,因此對系統(tǒng)故障診斷和容錯控制技術的研究是單兵智能頭盔發(fā)展的重要保障[102]。單兵智能頭盔的故障預測可采用基于解析模型、信號處理或知識的方法[103],發(fā)現(xiàn)設備與正常狀態(tài)不同的特性差異,找出故障的特性描述并進一步分析故障產(chǎn)生的原因、部位和程度[104]。容錯控制能夠保證在設備系統(tǒng)故障時依靠自身能力來保持系統(tǒng)連續(xù)正確地執(zhí)行其程序和輸入輸出功能[105],提高系統(tǒng)的容錯性與實時性,保障救援裝備的安全性和可靠性。
由于國家綜合性消防救援隊伍組建和集體轉制,從“消防”到“綜合應急救援”的轉變拓展了其職能范圍,同時,城市建設高速發(fā)展所帶來的復雜建筑環(huán)境進一步增加了消防救援作業(yè)的難度,傳統(tǒng)救援裝備已無法滿足現(xiàn)代救援的需要,因此裝備的智能化和集成化趨勢顯著。從智能化裝備的發(fā)展來看,增強現(xiàn)實技術和腦電監(jiān)測技術的應用能夠有效提升消防員在執(zhí)行救援任務時的效率和安全性,尤其是在高層建筑、大型商業(yè)綜合體等復雜的城市環(huán)境下。單兵智能頭盔在消防救援領域的研究和應用是實現(xiàn)智慧消防的重要一環(huán),也是我國消防救援裝備智能化、集成化發(fā)展的重要途徑。
[1] 王培賢. 基于AR技術的消防頭盔設計研究[D]. 石家莊: 河北科技大學, 2019.
WANG Pei-xian. Research on Fire Helmet Design Based on AR Technology[D]. Shijiazhuang: Hebei University of Science and Technology, 2019.
[2] 商德民, 阮楨, 張磊, 等. 消防應急救援裝備技術現(xiàn)狀和發(fā)展趨勢[J]. 中國消防, 2021(2): 62-65.
SHANG De-min, RUAN Zhen, ZHANG Lei, et al. Present Situation and Development Trend of Emergency Rescue Equipment Technology[J]. China Fire, 2021(2): 62-65.
[3] 曹海峰. 新時期加快推進我國消防救援隊伍體系建設的思考[J]. 行政管理改革, 2019(8): 72-80.
CAO Hai-feng. Reflections on Promoting the Fire Rescue System Construction of China in New Era[J]. Administration Reform, 2019(8): 72-80.
[4] 梁宙. 公安消防部隊移交應急管理部正式告別“鐵打的營盤流水的兵”時代[EB/OL]. (2018-10-10)[2022- 06-13]. https://www.jiemian.com/article/2527260.html.
The Public Security Fire Brigade Was Handed Over to the Ministry of Emergency Management to Officially Bid Farewell to the Era of "iron-beaten Battalions and Flowing Water Soldiers"[EB/OL]. (2018-10-10)[2022- 06-13]. https://www.jiemian.com/article/2527260.html.
[5] KAMEGAWA T, YAMASAKI T, MATSUNO F. Evaluation of Snake-Like Rescue Robot “KOHGA” for Usability of Remote Control[C]// IEEE International Safety, Security and Rescue Rototics. Kobe: IEEE, 2005: 25-30.
[6] SIEGWART R, LAMON P, ESTIER T, et al. Innovative Design for Wheeled Locomotion in Rough Terrain[J]. Robotics and Autonomous Systems, 2002, 40(2/3): 151- 162.
[7] YAMADA S, HIROSE S, ENDO G, et al. R-Crank: Amphibious all terrain mobile robot[C]// 2016 IEEE/ RSJ International Conference on Intelligent Robots and Systems (IROS). Daejeon: IEEE, 2016: 1067-1072.
[8] OHASHI T, YAMADA H, HIROSE S. Loop Forming Snake-like Robot Acm-r7 and Its Serpenoid Oval Control[C]// 2010 IEEE/RSJ International Conference on Intelligent Robots and Systems. Taipei: IEEE, 2010: 413-418.
[9] 李小亞. 基于人工智能的數(shù)據(jù)融合技術在火災探測中的應用研究[D]. 廣州: 廣東工業(yè)大學, 2005.
LI Xiao-ya. Application Specific Research on Fire Detection Based on Data Fusion of Artificial Intellgence[D]. Guangzhou: Guangdong University of Technology, 2005.
[10] 董炳艷, 張自強, 徐蘭軍, 等. 智能應急救援裝備研究現(xiàn)狀與發(fā)展趨勢[J]. 機械工程學報, 2020, 56(11): 1-25.
DONG Bing-yan, ZHANG Zi-qiang, XU Lan-jun, et al. Research Status and Development Trend of Intelligent Emergency Rescue Equipment[J]. Journal of Mechanical Engineering, 2020, 56(11): 1-25.
[11] 崔璟. 火災后大跨空間結構受力性能評估方法研究及應用[D]. 南京: 東南大學, 2016.
CUI Jing. Research and Application on Mechanical Behavior and Evulation Method of Post-Fire Spatial Structure[D]. Nanjing: Southeast University, 2016.
[12] 中華人民共和國住房和城鄉(xiāng)建設部. 建筑設計防火規(guī)范: GB 50016—2014[S]. 北京: 中國計劃出版社, 2014.
Ministry of Housing and Urban-Rural Development of the People's Republic of China. Code for Fire Protection Design of Buildings: GB 50016—2014[S]. Beijing: China Planning Press, 2014.
[13] 王遠. 大型建筑火災蔓延模擬研究[D]. 北京: 北京建筑工程學院, 2012.
WANG Yuan. Study on the Simulation of Fire Spread of Large-Scale Building[D]. Beijing: Beijing University of Civil Engineering and Architecture, 2012.
[14] 劉義祥, 李寧. 建筑結構對火災蔓延路線的影響[J]. 消防技術與產(chǎn)品信息, 2002(10): 11-14.
LIU Yi-xiang, LI Ning. Influence of Building Structure on Fire Spreading Route[J]. Fire Technique and Products Information, 2002(10): 11-14.
[15] 張玉濤, 馬婷, 林姣, 等. 2007—2016年全國重特大火災事故分析及時空分布規(guī)律[J]. 西安科技大學學報, 2017, 37(6): 829-836.
ZHANG Yu-tao, MA Ting, LIN Jiao, et al. Analysis of Fire Incidents and Characteristics of Spatio-Temporal Distributions for Serious Fires from 2007 to 2016 in China[J]. Journal of Xi'an University of Science and Technology, 2017, 37(6): 829-836.
[16] 喬文生, 徐小力, 谷玉海, 等. 特殊作業(yè)現(xiàn)場及人員狀態(tài)監(jiān)測指揮系統(tǒng)[J]. 設備管理與維修, 2018(13): 51-53.
QIAO Wen-sheng, XU Xiao-li, GU Yu-hai, et al. Special Operation Site and Personnel Status Monitoring Command System[J]. Plant Maintenance Engineering, 2018(13): 51-53.
[17] 國家安全生產(chǎn)監(jiān)督管理總局. 天津港“8·12”瑞海公司危險品倉庫特別重大火災爆炸事故調查報告[R]. 北京: 中華人民共和國應急管理部, 2017.
State Administration of Work Safety. Investigation Report on Special Major Fire and Explosion Accidents in Dangerous Goods Warehouse of "August 12" Ruihai Company of Tianjin Port[R]. Beijing: Emergency Management Department of the People's Republic of China, 2017.
[18] BRUSHLINSKY N, AHRENS M, SOKOLOV S, et al. World fire statistics[J]. Center of fire statistics-2006- Report, 2016(1): 10.
[19] QIU Y, BURKE A, PATEL M, et al. Smart Firefighting Technologies in Urban China[D]. Worcester: Worcester Polytechnic Institute (WPI), 2018.
[20] RAMIREZ L, DYRKS T, GERWINSKI J, et al. Landmarke: An Ad Hoc Deployable Ubicomp Infrastructure to Support Indoor Navigation of Firefighters[J]. Personal and Ubiquitous Computing, 2012, 16(8): 1025-1038.
[21] 董佳愷, 賈玉杰, 唐樂. 消防頭盔的研究進展和消防部門的實際應用[J]. 科學技術創(chuàng)新, 2020(16): 194-196.
DONG Jia-kai, JIA Yu-jie, TANG Le. Research Progress of Fire Helmet and Practical Application of Fire Department[J]. Scientific and Technological Innovation, 2020(16): 194-196.
[22] 張艷明, 邱冠雄. 頭盔——單兵防護的重要裝備[J]. 中國個體防護裝備, 2003(6): 24-26.
ZHANG Yan-ming, QIU Guan-xiong. Helmet-an Important Equipment for Individual Protection[J]. China Personal Protection Equipment, 2003(6): 24-26.
[23] CHOU J S, CHENG Min-yuan, HSIEH Y M, et al. Optimal Path Planning in Real Time for Dynamic Building Fire Rescue Operations Using Wireless Sensors and Visual Guidance[J]. Automation in Construction, 2019, 99(1): 1-17.
[24] BAUM E, HARPER M, ALICEA R, et al. Sound identification for fire-fighting mobile robots[C]// 2018 Second IEEE International Conference on Robotic Computing. Laguna Hills: IEEE, 2018: 79-86.
[25] IAPICHINO G, BONNET C, DEL RIO HERRERO O, et al. A Mobile Ad-hoc Satellite and Wireless Mesh Networking Ap-proach for Public Safety Communications[C]// 2008 10th International Workshop on Signal Processing for Space Communications. Rhodes: IEEE, 2008: 1-6.
[26] YANG X, MA M, LI W, et al. Intelligent Visual Enhancement System[C]// Journal of Physics: Conference Series. Daqing: IOP Publishing, 2019: 1-6.
[27] HACIOMEROGLU O. C-Thru; Smoke Diving Helmet [EB/OL]. (2013-01-08) [2022-06-13]. https://www.behance. net/gallery/6579685/C-Thru-Smoke-Diving-Helmet.
[28] HELD B, ALJUNEIDI S, PHAM V, et al. Helon 360: A Smart Firefighters' Helmet Integrated Augmented Reality and 360° Thermal Image Data Streaming [EB/OL]. (2019-09)[2022-06-12]. https://www.researchgate.net/ profile/Saja-Aljuneidi/publication/341764419_Helon_360_A_smart_firefighters'_helmet_Integrated_Augmented_ Reality_and_360_Thermal_Image_Data_Streaming/links/ 5ed284e4299bf1c67d277f86/Helon-360-A-smart-firefighters- helmet-Integrated-Augmented-Reality-and-360-Thermal- Image-Data-Streaming.pdf.
[29] CAMERON A, HOBSON R. Head-up, Eyes-out in Day and at Night: Striker Hmd, Evolu-tion or Revolution? [C]// Degraded Visual Environments: Enhanced, Synthetic, and External Vision Solutions 2016, Baltimore: SPIE, 2016: 98390W.
[30] SCHRADIN R. The F-35 Helmet – a Modern Marvel That Creates a Unique Maintenance Challenge [EB/OL]. (2022-06-08)[2022-06-12]. https://govdesignhub.com/ 2022/06/08/the-f-35-helmet-a-modern-marvel-that-creates-a-unique-maintenance-challenge/.
[31] SWARTS P. F-35 Helmet Costs $400,000—4 Times that of Predecessor[EB/OL]. (2016-10-26) [2022-06-12]. https://www.airforcetimes.com/news/your-air-force/2015/10/26/f-35-helmet-costs-400000-4-times-that-of-predecessor/.
[32] SITER B. Soldiers Test New Ivas Technology, Capabilities with Hand-on Exercises[EB/OL]. (2019-12-20)[2022- 06-12]. https://www.army.mil/article/230034/soldiers_test_ new_ivas_technology_capabilities_with_hand_on_exercises.
[33] U.S. Army Program Executive Office, Project Manager Integrated Visual Augmentation System (IVAS) [EB/ OL]. (2022-02-19)[2022-06-13]. https://www.peosoldier. amy.mil/Program-Offices/Project-Manager-Integrated-Visual-Augmentation-System/.
[34] KATARA A, DANDALE A, CHORE A, et al. Zig-bee Based Intelligent Helmet for Coal Miners[C]// 2015 Fifth International Conference on Communication Systems and Network Technologies. Gwalior: IEEE, 2015: 433-435.
[35] MAITY T, MUKHERJEE M. Rescue and Protection System for Underground Mine Workers Based on Zigbee[J]. Int. J. Recent Res. Asp, 2018, 4(4): 194-197.
[36] KIM S H, WANG C, MIN Se-dong, et al. Safety Helmet Wearing Management System for Construction Workers Using Three-Axis Accelerometer Sensor[J]. Applied Sciences, 2018, 8(12): 2400.
[37] LI Ping, MEZIANE R, OTIS M J D, et al. A Smart Safety Helmet using IMU and EEG sensors for worker fatigue detection[C]// 2014 IEEE International Symposium on Robotic and Sensors Environments (ROSE) Proceedings. Timisoara, Romania: IEEE, 2014: 55-60.
[38] WANG C, KIM Y, KIM D G, et al. Smart Helmet and Insole Sensors for Near Fall Incidence Recognition During Descent of Stairs[J]. Applied Sciences, 2020, 10(7): 2262.
[39] PIRKL G, HEVESI P, AMARISLANOV O, et al. Smart Helmet for Construction Site Documentation and Work Support[C]// UbiComp '16: Proceedings of the 2016 ACM International Joint Conference on Pervasive and Ubiquitous Computing: Adjunct. New York: ACM, 2016: 349-352.
[40] LEE A, MOON J Y, MIN S D, et al. Safety Analysis System using Smart Helmet[C]// Proceedings on the International Conference on Internet Computing (ICOMP). The Steering Committee of The World Congress in Computer Science, Computer Engineering and Applied Computing (World Comp), Las Vegas: CSREA Press, 2019: 102-107.
[41] MOHAMMED M N, SYAMSUDIN H, ALZUBAIDI S, et al. Novel COVID-19 Detection and Diagnosis System Using IOT Based Smart Helmet[J]. International Journal of Psychosocial Rehabilitation, 2020, 24(7): 2296-2303.
[42] BISIO I, FEDELI A, LAVAGETTO F, et al. Mobile smart helmet for brain stroke early detection through neural network-based signals analysis[C]// GLOBECOM 2017-2017 IEEE Global Communications Conference. Singapore City: IEEE, 2017: 1-6.
[43] SHAHIDUZZAMAN K M, HEI Xiao-jun, GUO C, et al. Enhancing Fall Detection for Elderly with Smart Helmet in a Cloud-network-edge Architecture[C]// 2019 IEEE International Conference on Consumer Electronics - Taiwan. Yilan: IEEE, 2019: 1-2.
[44] MOHD RASLI M K A, MADZHI N K, JOHARI J. Smart helmet with sensors for accident prevention[C]// 2013 International Conference on Electrical, Electronics and System Engineering (ICEESE). Kuala Lumpur: IEEE, 2013: 21-26.
[45] MELCHER V, DIEDERICHS F, MAESTRE R, et al. Smart Vital Signs and Accident Monitoring System for Mo-torcyclists Embedded in Helmets and Garments for Ad-vanced Ecall Emergency Assistance and Health Analysis Monitoring[J]. Procedia Manufacturing, 2015, 3(1): 3208-3213.
[46] MOHANAROOPA D Y, SOUJANYA N, VAISHNAVI V S, et al. An IOT Based Smart Helmet for Accident Detection and Notification[J]. J Interdiscip Cycle Res, 2020(7): 1-7.
[47] RAO P K, SAI P T, KUMAR N V, et al. Design and Implementation of Smart helmet Using IoT[C]// International Conference of Advance Research & Innovation (ICARI), New Delhi: SSNR, 2020: 323-325.
[48] 孫瀚. 基于多模態(tài)生物電信號人機交互技術研究[D]. 南京: 東南大學, 2019.
SUN Han. Research of Human-Computer Interaction Technology Based on Multi-Modal Biopotentials[D]. Nanjing: Southeast University, 2019.
[49] 張?zhí)? 牛海濤, 侯曾, 等. 增強現(xiàn)實技術在軍事裝備中的應用[C]// 第十四屆全國信號和智能信息處理與應用學術會議論文集. 北京: 《計算機工程與應用》雜志出版社, 2021: 328-333.
ZHANG Tian, NIU Hai-tao, HOU Ceng, et al. Application of Augmented Reality Technology in Military Equipment[C]// Proceedings of the 14th National Conference on Signal and Intelligent Information Processing and Application, Beijing: Journal of Computer Engineering and Applications Press, 2021: 328-333.
[50] 胡天宇, 張權福, 沈永捷, 等. 增強現(xiàn)實技術綜述[J]. 電腦知識與技術, 2017, 13(34): 194-196.
HU Tian-yu, ZHANG Quan-fu, SHEN Yong-jie, et al. Overview of Augmented Reality Technology[J]. Computer Knowledge and Technology, 2017, 13(34): 194-196.
[51] COLBURN M. Fundamental Challenges in Augmented Reality Display Tech-nology[C]// 2020 IEEE International Electron Devices Meeting. San Francisco: IEEE, 2020: 1-4.
[52] WU Reng-mao, DING Zhang-hao, CHEN Yi-xing. Design of Optical See-through Head-mounted Display Sys-tems Using Freeform Optics[C]// SPIE/COS Photonics Asia. Proc SPIE 11185, Optical Design and Testing IX, Hangzhou: SPIE, 2019: 64-69.
[53] RUI Cong-shan, ZENG Chun-mei, HU Tian-tian, et al. Design of a Head-mounted Display with Freeform Mir-rors[C]// Current Developments in Lens Design and Optical Engineering XX. International Society for Optics and Photonics, San Diego: SPIE, 2019: 1110402.
[54] WANG Qi-wei, CHENG De-wen, HOU Qi-chao, et al. Design of an Ultra-Thin, Wide-Angle, Stray-Light-Free Near-Eye Display with a Dual-Layer Geometrical Wave-guide[J]. Optics Express, 2020, 28(23): 35376-35394.
[55] GU Luo, CHENG De-wen, WANG Qi-wei, et al. Design of a Two-Dimensional Stray-Light-Free Geometrical Waveguide Head-up Display[J]. Applied Optics, 2018, 57(31): 9246-9256.
[56] KRESS B C. Optical Waveguide Combiners for Ar Headsets: Features and Limitations[C]// Proc SPIE 11062, Digital Optical Technologies 2019. Munich: SPIE, 2019: 75-100.
[57] ZHOU Peng-cheng, LI Yan, LIU Shu-xin, et al. Compact Design for Optical-See-through Holographic Displays Employing Holographic Optical Elements[J]. Optics Express, 2018, 26(18): 22866-22876.
[58] LIN Wen-kai, MATOBA O, LIN B S, et al. Astigmatism Correction and Quality Optimization of Computer- Generated Holograms for Holographic Waveguide Displays[J]. Optics Express, 2020, 28(4): 5519-5527.
[59] HITCHCOCK A, SUNG K. Multi-View Augmented Reality with a Drone[C]// VRST '18: Proceedings of the 24th ACM Symposium on Virtual Reality Software and Technology. New York: ACM, 2018: 1-2.
[60] ZENG Wen-xian, LI Wei, GUO Zhao-kun. Rapid Genera?tion of Full View Image Based on Mul-ti-camera[C]// Proc SPIE 10615, Ninth International Conference on Graphic and Image Processing (ICGIP 2017), Qingdao: 2018: 1013-1018.
[61] MARKS S, WHITE D. Multi-device Collaboration in Virtual Environments[C]// Proceedings of the 2020 4th International Conference on Virtual and Augmented Reality Simulations. Sydney NSW Australia. New York: ACM, 2020: 35-38.
[62] LIU Lu-yang, LI Hong-yu, GRUTESER M. Edge Assisted Real-Time Object Detection for Mobile Augmented Reality[C]// MobiCom '19: The 25th Annual International Conference on Mobile Computing and Networking. New York: ACM, 2019: 1-16.
[63] LI Xiang, TIAN Yuan, ZHANG Fu-yao, et al. Object Detection in the Context of Mobile Augmented Reality [C]// 2020 IEEE International Symposium on Mixed and Augmented Reality. Porto de Galinhas: IEEE, 2020: 156-163.
[64] HU Chun-jia, ZHAI Guang-tao, LI Duo. An Augmented- Reality night vision enhancement application for see- through glasses[C]// 2015 IEEE International Conference on Multimedia & Expo Workshops. Turin: IEEE, 2015: 1-6.
[65] RAN Xu-kan, SLOCUM C, GORLATOVA M, et al. ShareAR: Communication-Efficient Multi-User Mobile Augmented Reality[C]// HotNets '19: Proceedings of the 18th ACM Workshop on Hot Topics in Networks. New York: ACM, 2019: 109-116.
[66] SIRIWARDHANA Y, PORAMBAGE P, LIYANAGE M, et al. A Survey on Mobile Augmented Reality with 5G Mobile Edge Computing: Architectures, Applications, and Technical Aspects[J]. IEEE Communications Surveys & Tutorials, 2021, 23(2): 1160-1192.
[67] KIM J, JUN H. Implementation of image processing and augmented reality programs for smart mobile device [C]// Proceedings of 2011 6th International Forum on Strategic Technology. Harbin: IEEE, 2011: 1070-1073.
[68] TELE?CZUK B, BAKER S N, KEMPTER R, et al. Correlates of a Single Cortical Action Potential in the Epidural EEG[J]. NeuroImage, 2015, 109: 357-367.
[69] 聶民昆, 張瑞, 張政, 等. 腦電波信號提取的研究[J]. 計算機產(chǎn)品與流通, 2019(5): 95.
NIE Min-kun, ZHANG Rui, ZHANG Zheng, et al. Study on EEG Signal Extraction[J]. Computer Products and Circulation, 2019(5): 95.
[70] 張齊昌. 基于深度學習算法的生理刺激腦電信號分析[D]. 北京: 北方工業(yè)大學, 2021.
ZHANG Qi-chang. Physiological Stimulation EEG Signal Analysis Based on Deep Learning Algorithm[D]. Beijing: North China University of Technology, 2021.
[71] GUIDO R M, STAHLMAN S, YING Sai-xia. Fatigue and Related Comorbidities, Active Component, U S Armed Forces, 2007-2016[J]. MSMR, 2017, 24(12): 23-33.
[72] TAYLOR M K, PADILLA G A, HERNáNDEZ L M. Anabolic Hormone Profiles in Elite Military Men: Robust Associations with Age, Stress, and Fatigue[J]. Steroids, 2017, 124: 18-22.
[73] 邱健, 趙顯超, 程金湘, 等. 健康青年男性腦力疲勞模型構建以及基于節(jié)律類型的分析[J]. 中風與神經(jīng)疾病雜志, 2019, 36(11): 1008-1012.
QIU Jian, ZHAO Xian-chao, CHENG Jin-xiang, et al. Construction of Mental Fatigue Model of Healthy Young Men and Analysis Based on Different Chronotype[J]. Journal of Apoplexy and Nervous Diseases, 2019, 36(11): 1008-1012.
[74] 阮亦, 顧偉, 凌昌全. 腦力疲勞測評方法的研究進展[J]. 第二軍醫(yī)大學學報, 2019, 40(1): 79-85.
RUAN Yi, GU Wei, LING Chang-quan. Assessment Me-thods of Mental Fatigue: An Update[J]. Academic Journal of Second Military Medical University, 2019, 40(1): 79-85.
[75] WANG Yu-long, YANG Guang-hong. H-Infinity Performance Optimization for Networked Control Systems with Limited Communication Channels[J]. Journal of Control Theory and Applications, 2010, 8(1): 99-104.
[76] 任彬, 任金龍, 潘韞杰, 等. 基于腦電疲勞監(jiān)測的車輛避撞預測模型研究[J]. 高技術通訊, 2020, 30(7): 707-715.
REN Bin, REN Jin-long, PAN Yun-jie, et al. Research on Vehicle Collision Avoidance Prediction Model Based on EEG Fatigue Monitoring[J]. Chinese High Technology Letters, 2020, 30(7): 707-715.
[77] 魏景漢, 羅躍嘉. 事件相關電位原理與技術[M]. 北京: 科學出版社, 2010.
WEI Jing-han, LUO Yue-jia. Principle and Technique of Event-related Brain Potentials[M]. Beijing: Science Press, 2010.
[78] 楊程, 彭怡騰, 唐智川. 泛設計領域中的腦電研究現(xiàn)狀與發(fā)展趨勢[J]. 包裝工程, 2020, 41(16): 64-75.
YANG Cheng, PENG Yi-teng, TANG Zhi-chuan. Research Status and Development Trend of EEG in Pan Design[J]. Packaging Engineering, 2020, 41(16): 64-75.
[79] KAR S, BHAGAT M, ROUTRAY A. EEG Signal Ana-lysis for the Assessment and Quantification of Driver’s Fatigue[J]. Transportation Research Part F: Traffic Psy-chology and Behaviour, 2010, 13(5): 297-306.
[80] 金怡淳. 結合腦電信號(EEG)及虛擬現(xiàn)實技術(VR)的地下空間設計和反饋研究[D]. 北京: 北京交通大學, 2021.
JIN Yi-chun. Design and Feedback Research in Underground Space with EEG and Virtual Reality Technology[D]. Beijing: Beijing Jiaotong University, 2021.
[81] 馬清寶, 王立晨, 段春玲. 腦電信號: 人員狀態(tài)檢測的最優(yōu)指標[J]. 中國鐵路, 2015(8): 94-95.
MA Qing-bao, WANG Li-chen, DUAN Chun-ling. Elec-troencephalogram: The Best Index of Personnel State Detection[J]. China Railway, 2015(8): 94-95.
[82] ?KERSTEDT T, KNUTSSON A, WESTERHOLM P, et al. Mental Fatigue, Work and Sleep[J]. Journal of Psychosomatic Research, 2004, 57(5): 427-433.
[83] CASSON A J. Wearable EEG and beyond[J]. Biomedical Engineering Letters, 2019, 9(1): 53-71.
[84] 何文佳. 基于前額單導聯(lián)腦電信號的可穿戴疲勞駕駛監(jiān)測系統(tǒng)[D]. 廣州: 華南理工大學, 2020.
HE Wen-jia. Wearable Fatigue Driving Monitoring System Based on Forehead Single-Channel EEG[D]. Guang-zhou: South China University of Technology, 2020.
[85] HE Jian, LIU Dong-dong, WAN Zhi-jiang, et al. A Noninvasive Real-time Driving Fatigue Detection Technology Based on Left Prefrontal Attention and Meditation EEG[C]// 2014 International Conference on Multisensor Fusion and Information Integration for Intelligent Systems (MFI). Beijing: IEEE, 2014: 1-6.
[86] CASSON A J, YATES D C, SMITH S J M, et al. Wearable Electroencephalography[J]. IEEE Engineering in Medicine and Biology Magazine, 2010, 29(3): 44-56.
[87] LIN C T, CHANG C J, LIN B S, et al. A Real-Time Wireless Brain–Computer Interface System for Drow-siness Detection[J]. IEEE Transactions on Biomedical Circuits and Systems, 2010, 4(4): 214-222.
[88] WANG Yu-te, CHENG C K, HUANG K C, et al. Cell-phone based Drowsiness Monitoring and Management System[C]// 2012 IEEE Biomedical Circuits and Systems Conference (BioCAS). Hsinchu: IEEE, 2012: 200-203.
[89] VON ROSENBERG W, CHANWIMALUEANG T, GO-VERDOVSKY V, et al. Smart Helmet: Wearable Mul-tichannel ECG and EEG[J]. IEEE Journal of Translational Engineering in Health and Medicine, 2016, 4(1): 1-11.
[90] KIM Y S, CHOI J M, LEE H B, et al. Measurement of biomedical signals from helmet based system[C]// 2007 29th Annual International Conference of the Ieee En-gineering in Medicine and Biology Society. Lyon: IEEE, 2007: 359-362.
[91] U S Fire Administration. Firefighter Fatalities in the United States in 2020[R]. Emmitsburg: U.S. Fire Administration, 2022: 13-16.
[92] 徐瑩, 趙鑫, 張露丹, 等. 飛行員頭盔的壓力舒適性研究[J]. 航天醫(yī)學與醫(yī)學工程, 2018, 31(4): 452-457.
XU Ying, ZHAO Xin, ZHANG Lu-dan, et al. Research on Pressure Comfort of Pilot's Helmet[J]. Space Medicine & Medical Engineering, 2018, 31(4): 452-457.
[93] 趙彥鵬, 劉何慶, 吳明磊, 等. 戰(zhàn)斗機飛行員頭戴裝備輕型化評價指標研究[J]. 航天醫(yī)學與醫(yī)學工程, 2020, 33(3): 266-273.
ZHAO Yan-peng, LIU He-qing, WU Ming-lei, et al. Study on Evaluation Indexes for Lightening of Head Mounted Devices of Fighter Pilots[J]. Space Medicine & Medical Engineering, 2020, 33(3): 266-273.
[94] 楊洪澤, 李濱, 李博. 森林消防頭盔的人機工程學分析[J]. 北京林業(yè)大學學報, 2011, 33(1): 159-162.
YANG Hong-ze, LI Bin, LI Bo. Ergonomic Analysis of Forest Fire Helmet[J]. Journal of Beijing Forestry University, 2011, 33(1): 159-162.
[95] 楊洋, 徐誠, 管小榮, 等. 基于逆向動力學的步兵頭盔舒適性數(shù)值分析[J]. 兵工學報, 2015, 36(2): 321- 326.
YANG Yang, XU Cheng, GUAN Xiao-rong, et al. Numerical Analysis of Comfort of Military Helmets Based on Inverse Dynamics[J]. Acta Armamentarii, 2015, 36(2): 321-326.
[96] 項德海, 莊弘煒, 趙法棟. 武警防暴頭盔舒適性的實證研究[J]. 工業(yè)衛(wèi)生與職業(yè)病, 2014, 40(5): 323-326.
XIANG De-hai, ZHUANG Hong-wei, ZHAO Fa-dong. Empirical Study on the Comfortableness of CAPF's Riot Helmets[J]. Industrial Health and Occupational Diseases, 2014, 40(5): 323-326.
[97] 袁曉東. 模塊化智能頭盔的應用設計研究[J]. 包裝工程, 2015, 36(22): 88-91.
YUAN Xiao-dong. The Application Design of Modular Intelligent Helmet[J]. Packaging Engineering, 2015, 36(22): 88-91.
[98] COHEN P R, DALRYMPLE M, MORAN D B, et al. Synergistic use of direct manipulation and natural language[C]// Proceedings of the Sigchi Conference on Human Factors in Computing Systems Wings for the Mind - Chi '89. New York: ACM Press, 1989: 227-233.
[99] OVIATT S. Advances in Robust Multimodal Interface Design[J]. IEEE Computer Graphics and Applications, 2003, 23(5): 62-68.
[100] OVIATT S, COULSTON R, LUNSFORD R. When do we Interact Multimodally? Cognitive Load and Multimodal Communication Patterns[C]// ICMI '04: Proceedings of the 6th International Conference on Multi-modal Interfaces. New York: ACM, 2004: 129-136.
[101] J?ST M, H?U?LER J, MERDES M, et al. Multimodal Interaction for Pedestrians: An Evaluation Study[C]// IUI '05: Proceedings of the 10th international conference on Intelligent User Interfaces. New York: ACM, 2005: 59-66.
[102] 周東華, 劉洋, 何瀟. 閉環(huán)系統(tǒng)故障診斷技術綜述[J]. 自動化學報, 2013, 39(11): 1933-1943.
ZHOU Dong-hua, LIU Yang, HE Xiao. Review on Fault Diagnosis Techniques for Closed-Loop Systems[J]. Acta Automatica Sinica, 2013, 39(11): 1933-1943.
[103] FRANK P M. Fault Diagnosis in Dynamic Systems Using Analytical and Knowledge-Based Redundancy[J]. Automatica, 1990, 26(3): 459-474.
[104] 袁侃. 復雜系統(tǒng)的故障診斷及容錯控制研究[D]. 南京: 南京航空航天大學, 2010.
YUAN Kan. Research on Fault Diagnosis and Fault-Tolerant Control of Complex Systems[D]. Nanjing: Nan-jing University of Aeronautics and Astronautics, 2010.
[105] ZHANG You-min, JIANG Jin. Bibliographical Review on Reconfigurable Fault-Tolerant Control Systems[J]. Annual Reviews in Control, 2008, 32(2): 229-252.
Exploration and Application of Individual Soldier Intelligent Helmet in Fire Rescue
PENG Jian, WANG Xue-peng, ZHAO Dan-hua, LI Bo-ya
(School of Design, Hunan University, Changsha 410082, China)
In the context of firefighting equipment in high-rise buildings, underground buildings, large commercial complexes and other complex rescue environments cannot meet the needs of information perception and state perception, explore and analyze the current application and research status of intelligent helmets in emergency rescue, military operations, mining safety and other fields, with a view to solving the problems of poor environmental vision, low efficiency of coordination, inability to guarantee the health status of rescuers, etc. in the current fire rescue activities to improve the functionality and supportability of fire rescue equipment and avoid possible safety accidents in rescue activities. Artificial intelligence, multi-device collaboration, multi-modal perception and other concepts as the new development combination point of intelligent firefighting, based on the trend of intelligence and integration of fire rescue equipment, put forward the use of augmented reality technology to meet the visual enhancement, information collaboration, object recognition and other information perception needs, and the use of EEG monitoring technology to meet the personnel health state monitoring, fatigue warning and other state perception needs. In the context of rapid urban development, the application of individual soldier intelligent helmets in the field of fire rescue has the advantages of high reliability, great functional scalability, and high efficiency of task assistance, but at the same time with challenges such as high power consumption, high weight, and insufficient research on device interaction; individual soldier intelligent helmets suitable for fire rescue scenarios have design research trends in dynamic comfort multi-objective optimization, multi-channel human-like perception and intent cooperative interaction, system fault diagnosis and fault-tolerant control.
fire rescue; intelligent equipment; individual soldier helmet; augmented reality; EEG signal monitoring
TP29;TB472
A
1001-3563(2022)12-0001-14
10.19554/j.cnki.1001-3563.2022.12.001
2022–01–12
國家社科藝術基金(20BG103)
彭堅(1986—),男,博士,助理教授,主要研究方向為單兵作戰(zhàn)、裝備復雜系統(tǒng)可診斷性設計與評價等。
趙丹華(1982—),女,教授,博士生導師,主要研究方向為設計研究的范式建構、交通工具設計。
責任編輯:陳作