方明珠,胡潔,2,王伶羽,黎映川
基于表面肌電信號的人因與工效學評估研究綜述
方明珠1,胡潔1,2,王伶羽2,3,黎映川4
(1.蘭州理工大學,蘭州 730050;2.上海交通大學,上海 200240;3.武漢設計工程學院,武漢 430062;4.上海大學,上海 200444)
對使用表面肌電信號技術評估人因與工效學問題相關研究進行分析與梳理,促進表面肌電信號技術在人因與工效學領域的創(chuàng)新與發(fā)展。首先,概述人因與工效學的定義、發(fā)展歷程與研究方法。然后,從數(shù)據(jù)采集方式、數(shù)據(jù)預處理、特征選擇與提取、訓練及分類器選擇這4個實驗流程歸納表面肌電信號技術的研究方法與研究進展,并對目前該領域的研究熱點與研究趨勢進行詳細總結。表面肌電信號技術仍是人因與工效學領域的重要評估方法,隨著創(chuàng)新技術與深度學習算法的不斷發(fā)展,從多模態(tài)、多方法交叉融合的角度構建大規(guī)??晒_數(shù)據(jù)集與創(chuàng)新智能化評估系統(tǒng)在未來將成為表面肌電信號在人因與工效學領域的重點研究方向。
表面肌電信號;肌肉疲勞;人因與工效學;工作負荷
人因與工效學也稱人機工程學、人因工程學,其以人為中心,研究人、工作設備和工作環(huán)境之間的相互關系,旨在實現(xiàn)安全、健康、舒適的工作環(huán)境的同時,提高人的工作效率[1]。早期的人因與工效學評估由于數(shù)據(jù)簡單、特征單一,難以取得較高的準確率。近年來,研究者使用表面肌電信號技術進行人因與工效學評估,首先提取表面肌電信號時域、頻域等多種特征,其次利用特征選擇方法找出表征不同負荷水平的最優(yōu)特征子集,最后基于這些特征集和算法分類器來評估人體工作肌肉負荷水平及工作環(huán)境中一些不良工效學因素[2]。因此,本文圍繞表面肌電信號技術在人因與工效學領域評估的實驗研究流程與研究應用展開相關綜述。
早期的人因與工效學主要聚焦于工作效率。19世紀末期,第一次世界大戰(zhàn)爆發(fā)促使武器需求增加,生產(chǎn)工人長時間在惡劣的工作環(huán)境和不協(xié)調(diào)的人機關系中工作,致使身體肌肉嚴重疲勞,出現(xiàn)了工作能力減退、工作效率下降等問題[3]。Taylor[4]為了解決這一問題,開始對工具和人體進行研究,尋找符合人體舒適度的工具參數(shù),從而改善工具設計。Frank Bunker Gilbreth應用心理學原理進行了動作捕捉研究,在研究中注意到工作負荷、工作環(huán)境與機器不適應等因素會對人的工作效率造成嚴重影響[5]。
自此之后,人們逐漸意識到人的因素在工作效率中的重要性,1957年,美國人因?qū)W會(1992年改為人因與工效學學會,Human Factors and Ergonomics Society)成立,人因與工效學開始在國際上得到迅速發(fā)展,尤其受到發(fā)達國家的高度重視,這極大推進了工業(yè)化水平的提升。隨著自動化技術與工業(yè)制造的發(fā)展,目前很多加工操作已經(jīng)由機器和自動化工具來完成,但機器仍然缺乏人所具有的靈活性和適應性,并不能完成所有的操作。有一些手工和物料裝卸操作仍然需要人的參與,特別是一些復雜的裝配、拆卸和維修任務更是只能由人工完成。因此,在人機工作中一些不協(xié)調(diào)的、復雜化的設備和作業(yè)環(huán)境致使作業(yè)人員往往處于一種負荷低、節(jié)奏快、重復率高、時間長、強迫體位的狀態(tài)。研究表明,長時間處于強迫體位會使人員產(chǎn)生煩躁、注意力分散、疲勞和情緒挫敗等問題,引起失誤和決策錯誤,進而造成作業(yè)績效下降,同時也會致使人體肌肉損傷,甚至最終導致工作相關肌肉骨骼疾?。╓ork-related Musculoskeletal Disorders,WMSD)的發(fā)生。
工作相關肌肉骨骼疾病是作業(yè)場所不良因素導致的肌肉、骨骼、神經(jīng)等系統(tǒng)的損傷。我國的工作相關肌肉骨骼疾病患病率為20%~90%,個別行業(yè)患病率甚至高達90%以上[6-7]。因此,如何正確評估作業(yè)人員工作環(huán)境、工作姿勢、工作負荷等人機環(huán)境中的人因與工效學因素對降低工作相關肌肉骨骼疾病發(fā)生率、提高工作效率、減少安全隱患及事故的發(fā)生有重要意義[8]。
人因與工效學研究方法通常分為客觀數(shù)據(jù)測量和主觀評價兩個方面??陀^數(shù)據(jù)測量主要使用生物力學、生理學和生物化學等相關技術指標對人的作業(yè)環(huán)境、作業(yè)姿勢等進行直接測量。主觀評價通常是構建包含多個評估標準的評估框架,然后根據(jù)這些標準綜合專家的意見設計出任務打分表或問卷,在實際中受到較多應用的主要有李克特量表法和自報告評價法。
李克特量表法主要是對人在工作環(huán)境中的主觀感受進行程度劃分,量表兩端分別是“沒有不適感”和“極強的不適感”,而量表的程度劃分則要考慮到人對不適感強度的分辨能力,通常被劃分成5分或者7分量表,采用量表測得的分數(shù)則代表了被試對不適感強度或者頻率做出的主觀判斷[9,10]。自報告評價法即讓被試在完成待測任務之后立即填寫待測任務不適感評價問卷,問卷得分代表了被試在完成任務中體驗到的不適感強度[11]??偟膩碚f,主觀評價法缺乏客觀性,更多地依賴于使用者與專家的經(jīng)驗[12]。人因與工效學評估的目的:一方面是對人因環(huán)境的工作負荷進行評估,以便提升作業(yè)過程舒適度、優(yōu)化任務和系統(tǒng)設計;另一方面是實現(xiàn)人體負荷實時反饋、動態(tài)調(diào)節(jié)人機任務工作姿勢,以實現(xiàn)最佳的人機任務協(xié)作過程,提高人機系統(tǒng)作業(yè)績效和安全性、改善作業(yè)人員的主觀體驗。但李克特量表法和自報告評價法都難以實現(xiàn)人機操作過程中實時、客觀、高效的監(jiān)測,實現(xiàn)在線反饋也無從談起。
在客觀數(shù)據(jù)測量方面,基于生理信號的人因與工效學評估是近期的研究熱點之一,該類方法主要對肌電、腦電、心電等生理信號進行分析,從而獲取客觀的人體工作狀態(tài)[13,14]。其中,表面肌電信號(Surface Electromyography,sEMG)具有無創(chuàng)性、時效性、精確性和易操作性等特點,可以實現(xiàn)客觀、實時的肌肉疲勞檢測,同時也拓展了人因與工效學的應用范圍,表面肌電信號評估已經(jīng)成為人因與工效學領域的主要技術手段[15]。
表面肌電信號在人因與工效學中的研究開始于19世紀50年代,該方法可用于評估工作場所、工作姿勢、使用工具和設備,以及交互界面的人因與工效學效用?;诒砻婕‰娦盘柕娜艘蚺c工效學評估實驗流程見圖1,主要包括以下步驟:1)確定目標:根據(jù)具體的實驗環(huán)境、實驗任務和實驗姿勢確定實驗目標;2)原始肌電數(shù)據(jù)采集:讓被試完成指定任務,使其身體肌肉處于疲勞狀態(tài),同時采集被試的表面肌電信號;3)數(shù)據(jù)預處理:對所采集的表面肌電信號進行預處理,包括降維、去除噪聲等;4)特征選擇與提取:選擇合適的特征值作為評估指標;5)訓練及分類器選擇:選擇合適的算法模型進行數(shù)據(jù)訓練與分類。
在基于表面肌電信號的人因與工效學評估中,需要考慮的因素有被試的數(shù)量、性別、被測試肌肉部位、任務類型、使用的表面肌電設備、信號預處理方法、特征提取方法及分類器選擇等。
圖1 基于表面肌電信號的人因與工效學評估流程圖
首先需要選取電極采集肌電信號,在采集電極與人體表面接觸的過程中會有各種物理、化學作用對采集的原始信息產(chǎn)生影響,所以需要對各種采集電極進行分析選擇。目前常用的采集電極主要有表面電極和侵入式電極。
侵入式電極可以從單個肌肉纖維獲得高精度的肌電信號,但侵入式電極插入肌肉組織會產(chǎn)生一定的疼痛感,尤其是在運動過程中檢測,會對人體造成創(chuàng)傷,因此侵入式電極的采集方式難以用于人因與工效學方面的研究。表面電極是通過表層肌肉的多個運動單元獲取肌電信號,其大致可以分為兩個類別:干電極和濕電極。濕電極需要在皮膚和金屬部件之間涂一層導電凝膠,而干電極可以與皮膚直接接觸。
這兩種類型的電極都可以采集到同等質(zhì)量的表面肌電信號[16],但相比之下,干電極更加便捷、簡單[17],因此,使用干電極采集表面肌電信號更適用于人因與工效學領域的研究。Wang等[18]提出了一種基于聚酰亞胺基板的柔性微針電極陣列,實現(xiàn)了高密度表面肌電的記錄和無線傳輸。Li等[19]開發(fā)了一種具有錐形微孔的金納米線/硝酸纖維素電生理電極,以解決采集數(shù)據(jù)時皮膚表面出汗的問題。Velasco- Bosom等[20]使用了由聚(3,4-乙烯二氧噻吩)聚苯乙烯磺酸鹽復合材料與生物相容性離子液體乳酸膽堿制成的電極,該電極可以識別食指、小指和中指類似接觸面較小的運動。Chandra等[21]開發(fā)出一種新型文身電極,該電極使用干式HD電極網(wǎng)格(High-Density Surface Electromyography,HD-sEMG),可在不同程度的肌肉收縮過程中確保實時記錄肌電信號。除此之外,還有基于結構鈦薄膜[22]和水紋印刷柔性[23]的新型電極,可以很好地貼合皮膚表面。這些新型電極可以代替?zhèn)鹘y(tǒng)濕式Ag/AgCl電極,同時具有更好的生物相容性、可用性和長期耐磨性。
表面肌電信號是一種非常微弱的生物電信號,在其傳遞和采集過程中容易受到各種類型的噪聲干擾[24],因此,需要對實驗過程中采集到的原始表面肌電信號進行預處理[25]。濾波器是減少信號噪聲最有效方法的之一,可以提高表面肌電信號的保真度。表面肌電信號能量通常在500 Hz頻率以內(nèi),根據(jù)奈奎斯特采樣定理(The Nyquist–Shannon Sampling Theorem)[26],可以使用濾波器將1 kHz以下的頻率濾除。濾波器類型較多,包括高通濾波器、低通濾波器、帶通濾波器[27]、帶阻濾波器等,通常設計高通濾波器來濾除包含低頻噪聲的表面肌電信號,設計低通濾波器來濾除高頻噪聲。在運動期間采集到的表面肌電信號常常帶有運動偽影,其頻率通常低于20 Hz,可設計數(shù)字高通濾波器來處理低于20 Hz的表面肌電信號[28]。另外,如果采集到的表面肌電信號受到嚴重的工頻干擾,可以利用數(shù)字工頻濾波器來濾除工頻噪聲。對于其他帶內(nèi)噪聲,則可以使用小波去噪等方法消除。
特征選擇與提取即識別隱藏在表面肌電信號中的有用信息,去除干擾或其他不相關信息[29]。表面肌電信號特征的選擇與提取是信號識別中的一個關鍵環(huán)節(jié),提取特征值的優(yōu)劣對后續(xù)模式識別正確率的高低有直接影響。通過長期以來對表面肌電信號的研究,研究人員總結出一些具體的分析方法,主要包括時域分析方法、頻域分析方法和時頻分析法等。
時域分析方法是建立表面肌電信號與時間的函數(shù)關系,可統(tǒng)計并分析振幅的變化量[30],主要的特征常數(shù)是積分肌電值(Integrated Electromyography,IEMG)、均方根(Root Mean Square,RMS)等。積分肌電值反映的是肌肉活動放電的總釋放量[31],在肌肉疲勞期間積分肌電值會逐漸增大,比較不同時間段的積分肌電值可判斷肌肉疲勞程度[32]。均方根值的大小反映了特定時間窗內(nèi)表面肌電信號振幅的高低,可通過比較不同時期的均方根值確定疲勞發(fā)生的時間和程度。
頻域分析方法是使用傅里葉變換對表面肌電信號進行處理,獲得表面肌電信號的功率譜密度,然后通過周期圖或者參數(shù)化的方法對疲勞進行預測[33]。在頻域分析中比較常用的特征常數(shù)有平均頻率(Mean Power Frequency,MPF)、中位頻率(Median Frequency,MF)、峰值頻率(Peak Frequency)和總功率(Total Power)等。通常當平均頻率和中位頻率值下降時,認為肌肉開始疲勞[34,35]。Falla等[36]通過分析表面肌電信號的平均頻率等指標來量化頸部肌肉疲勞的肌電表現(xiàn)。Kim等[37]使用平均頻率的歸一化值來評估個體肩關節(jié)疲勞模式。
時頻分析法包括短時傅里葉變換、小波變換、小波包變換、Wigner-Wille分布、復倒頻譜系數(shù)、線性預測系數(shù)等。Chowdhury等[38]使用表面肌電圖的離散小波變換評估了頸部肌肉疲勞,其中大多數(shù)小波函數(shù)都良好地反映了肌肉的活動趨勢。Khezri等[39]使用Wigner-Wille分布系數(shù)中獲得的過零點數(shù)作為特征,對6種手勢動作進行了識別,平均識別精度達到了91.3%。Chen等[40]開發(fā)了一種用于機器人控制的經(jīng)濟高效的嵌入式系統(tǒng)和短時傅里葉變換(STFT)方法。
表面肌電信號的分類訓練和回歸訓練即找出表面肌電數(shù)據(jù)之間的關聯(lián)性,根據(jù)表面肌電數(shù)據(jù)之間的關系設計相應的分類模型和回歸模型,該模型能夠?qū)?shù)據(jù)集的輸入數(shù)據(jù)與輸出結果對應起來[41]。在分類模型中,對輸入的特征值進行相關計算,然后與輸出動作匹配,最終通過該模型進行分類動作預測。表面肌電信號的分類器大致分為機器學習和深度學習兩個類別。機器學習包括支持向量機(Support Vector Machine,SVM)[42]、K近鄰(K Nearest Neighbours,KNN)[43]、線性判別分析(Linear Discriminant Analysis,LDA)[44]、樸素貝葉斯(Naive Bayes,NB)[45]、決策樹(Decision Tree,DT)[46]等,深度學習包括卷積神經(jīng)網(wǎng)絡(Convolutional Neural Networks,CNN)[47]、循環(huán)神經(jīng)網(wǎng)絡(Recurrent Neural Network,RNN)[48]、長短期記憶網(wǎng)絡(Long Short-Term Memory,LSTM)[49]和注意力模型(Attention Model)[50]等。分類器優(yōu)缺點比較見表1,主要介紹幾個常用的分類器,例如支持向量機、卷積神經(jīng)網(wǎng)絡和長短期記憶網(wǎng)絡。
表1 分類器比較
Tab.1 Comparison of classifiers
支持向量機最早由Vapnik教授提出,主要通過監(jiān)督學習的方法對表面肌電數(shù)據(jù)進行分類。該算法優(yōu)點是設計的分類模型支持每個動作對應的多個特征值,可以實現(xiàn)對不同動作進行較為準確地識別。Alkan等[51]利用支持向量機對采集到的4種不同手臂運動的表面肌電信號進行了分類,平均準確率為99%,分類錯誤率為1%。劉光達等[52]在支持向量機和K值近鄰與3種降維方法構成的疲勞分類模型評估中發(fā)現(xiàn),核主成分分析(KPC)與支持向量機的結合模式識別率高于其他組合。
卷積神經(jīng)網(wǎng)絡是一種多層的監(jiān)督學習神經(jīng)網(wǎng)絡,主要有局部感知、權值共享等特點,能有效減少神經(jīng)網(wǎng)絡結構中的參數(shù),減少深層網(wǎng)絡占用的內(nèi)存量[53]。Atzori等[54]使用卷積神經(jīng)網(wǎng)絡對表面肌電信號進行了手部動作分類識別,準確率達到(66.59±6.40)%,表明該網(wǎng)絡速度快、容錯率高,優(yōu)于傳統(tǒng)的識別方法。李沿宏等[55]提出了一種融合注意力模型的多流卷積網(wǎng)絡模型,并用于肌電手勢識別。衛(wèi)文韜等[56]使用雙流卷積神經(jīng)網(wǎng)絡進行了手勢識別,該網(wǎng)絡的手勢識別準確率均顯著高于其他深度神經(jīng)網(wǎng)絡模型。
長短期記憶網(wǎng)絡是Sepp Hochreiter和Jürgen Schmidhuber在1997年提出的一種循環(huán)神經(jīng)網(wǎng)絡架構,是為了解決一般的循環(huán)神經(jīng)網(wǎng)絡存在的長期依賴問題而專門設計的,長短期記憶網(wǎng)絡適合于處理和預測時間序列中間隔和延遲非常長的重要事件。王斐等[57]提出,長短期記憶網(wǎng)絡對解決下肢連續(xù)運動預測問題具有優(yōu)越性。Ghislieri等[58]使用基于表面肌電信號的長短期記憶網(wǎng)絡檢測了肌肉激活的準確時間間隔。Ma等[59]使用雙向長短期記憶網(wǎng)絡評估了非優(yōu)勢手臂肌肉在連續(xù)運動時的表面肌電信號。Wang等[60]構建了一種新的基于長短期記憶網(wǎng)絡的肌肉疲勞自動識別分類模型,該模型分類性能強、準確率高。
不同分類器有各自的優(yōu)缺點和適用數(shù)據(jù),很難找出一個在所有任務中都能取得有效結果的通用分類器,許多研究基于相同任務對比了不同分類器的性能。Zhou等[61]比較了幾種機器學習算法,包括支持向量機、邏輯回歸(Logistic Regression,LR)和人工神經(jīng)網(wǎng)絡(Artificial Neural Network,ANN)在處理表面肌電信號以進行肩部運動模式識別方面的效率。不同分類器在不同情況、不同環(huán)境和不同任務中的分類性能和準確率差距較大,因此,需要根據(jù)具體的實驗情況與表面肌電數(shù)據(jù)選擇相應的分類器,才能進行有效識別與分類。
基于表面肌電信號的人因與工效學評估旨在改善工作場所的人因問題,減少肌肉疲勞,以確保人們保持最佳的精神和身體條件,從而降低工作風險,提高工作與生活質(zhì)量。以“sEMG and human factors and ergonomics”“sEMG and ergonomics”“sEMG and the human factor”“sEMG and workload”“sEMG muscle fatigue”“sEMG and equipment tools”“sEMG and interface”等為關鍵詞,在Web of Science核心數(shù)據(jù)集里檢索到近10年的3 000余篇相關外文期刊,并通過Citespace軟件進行統(tǒng)計分析,發(fā)現(xiàn)目前基于表面肌電信號的人因與工效學評估研究主要集中在工作相關肌肉骨骼疾病風險評估、工作場所與姿勢評估、設備與工具設計評估、交互界面優(yōu)化評估以及外骨骼助力優(yōu)化評估等5個方面,基于表面肌電信號的人因與工效學評估熱點分析圖見圖2。
圖2 基于表面肌電信號的人因與工效學評估熱點分析圖
過高的身體肌肉負荷、不適的工作姿勢會引起工作相關肌肉骨骼疾病,所以評估工作過程中的肌肉骨骼負荷風險是非常必要的。Boocock等[62]進行的表面肌電實驗表明,不同年齡的人執(zhí)行相同舉重任務時,背部肌肉損傷風險程度不同。Shair等[63]將表面肌電信號用于監(jiān)測工人的肌肉狀況,找出工人在疲勞之前能夠處理的最大起重負荷,以避免過度勞累。Gaudez等[64]使用表面肌電信號評估了4種汽車插件裝配方式對上肢肌肉負荷程度的影響,結果表明,非機動工具的插入方式可以降低上肢工作相關骨骼肌肉的患病風險。
Skovlund等[65]通過可穿戴式表面肌電采集設備探究了百貨商店在進貨過程中的13項常見工作任務與肌肉負荷量的關系,從而改善了搬運工人的工作量。Jia等[66]開發(fā)了一個基于表面肌電數(shù)據(jù)的軀干三維生物力學模型,用于評估坐姿任務相關的身體腰骶部肌肉負荷損傷風險。Chen等[67]通過分析拆卸操期間操作員手臂上記錄的表面肌電信號,幫助設計師優(yōu)化了操作設備,以降低工作過程中引發(fā)的肌肉骨骼疾病的風險。Guo等[68]在中國快遞工人手動包裝過程手臂、背部和肩部運動學的研究中發(fā)現(xiàn),重復運動導致包裝工人的肌肉骨骼疾病患病率升高,并提出后續(xù)實驗應繼續(xù)著重探討特定作息時間、工作場所的重新設計,以緩解工人肌肉疲勞。
工作場所布局設計會影響到所有工作區(qū)域,包括生產(chǎn)線或不同的產(chǎn)品倉庫,同時也對工人的日常生活產(chǎn)生很大影響。表面肌電信號可用于評估工作場所中的人因與工效學問題,改善工作場所舒適度,良好的工作場所可以減少日常操作中的肌肉負荷和疲勞。Nisser等[69]通過文獻研究,證明表面肌電技術是一種評估工作場所負荷的有效方法。Lee等[70]根據(jù)表面肌電技術監(jiān)測工人在工作站執(zhí)行搬運零件箱任務時右上肢六塊肌肉的負荷水平,調(diào)整了工作場所的站臺高度和零件箱的擺放位置,以減少重復搬運過程中上肢的肌肉負荷。
Antle等[71]評估了特定的工作場所中使用直立或部分直立姿勢對肌肉疲勞和損傷的影響,得出半直立姿勢對于背部和上肢的肌肉放松效果不是很好,但該姿勢有利于下肢肌肉放松。Ding等[72]研究了長時間坐著工作與肌肉活動的變化,以分析不同休息類型的有效性,結果表明,在上班40分鐘后休息的工作效率最高。Salmanzadeh等[73]提出了一個基于表面肌電信號的胸肌與頸闊肌疲勞預測模型,以便有效地為員工分配工作場所、合理規(guī)劃與安排工作周期。
表面肌電信號也通常用于評估設備與工具的舒適性與可用性,以提高人們?nèi)粘9ぷ鞯男?。Kang等[74]探究了無繩棒式吸塵器手柄中的重量分布對于上肢肌肉活動的影響,實驗發(fā)現(xiàn),相對于低質(zhì)心的手柄,高質(zhì)心的手柄能提供更好的用戶體驗。Guo等[75]結合表面肌電信號實驗探究了控制方式與手柄形狀對高速列車駕駛員操作效率的影響。Revilla等[76]調(diào)查了不同手柄形狀和表面輪廓對于手部握持舒適性的影響,發(fā)現(xiàn)材質(zhì)硬實、接觸面積較小和紋理均勻的手柄可以減少手部肌肉負荷。
Dong等[77]評估了8種不同手柄形狀的潔牙儀器在模擬牙齒整形任務時對手部負荷的影響,結果表明,錐形、圓形和直徑為10 mm的器械手柄產(chǎn)生的手部負荷最小,該研究可幫助牙醫(yī)和牙科保健師選擇合適的牙科器械。李新宇[78]通過表面肌電信號實驗評估了顯微鏡目鏡高度對于頸部肌肉舒適度的影響,并根據(jù)實驗結果對目鏡高度設計進行了優(yōu)化。Kim等[79]通過對比虛擬鍵盤、筆記本鍵盤與傳統(tǒng)的機械鍵盤在打字力度和肌肉活動之間的差異,評估了用戶在使用不同類型鍵盤時的打字效率,從而優(yōu)化鍵盤設計。Weston等[80]研究了辦公椅分別與臺式電腦和可觸摸平板電腦這兩臺設備組合使用時的交互性差異,為現(xiàn)有辦公椅優(yōu)化設計提供了有效的參考。
近年來,隨著互聯(lián)網(wǎng)通信技術的發(fā)展,電子設備的界面交互與視覺設計逐漸成為人因與工效學關注的熱點,表面肌電信號也應用于界面交互設計與評估。Kang等[81]研究了觸屏位置對計算機觸摸屏使用性能和物理需求的影響,研究結果優(yōu)化了計算機觸摸屏的布局設計。Huang等[82]結合表面肌電信號、用戶表現(xiàn)和主觀評價評估了摸屏交互和懸空交互的差異性。Alhaag等[83]利用面部表面肌電信號的反應來探究顯示器類型、觀看距離和觀看時間對視覺疲勞的影響,實驗結果表明,相對于2D顯示器,3D顯示器產(chǎn)生的視覺疲勞壓力更小。
Coppola等[84]對比了用戶在不同形狀尺寸的平板電腦上執(zhí)行滑動任務時的生物力學性能,以提升平板電腦硬件與軟件的可用性。Lee等[85]探討了計算機按鍵開關的設計對于手指肌肉活動的影響,為計算機開關鍵的設計提供了進一步的見解。Kim等[86]為了增強虛擬現(xiàn)實場景中的沉浸感與真實感,利用表面肌電信號傳感器優(yōu)化了便攜式手柄觸覺系統(tǒng)的界面設計。Trudeau等[87]探究了單手使用手機期間拇指運動性能的變化,研究結果可以幫助優(yōu)化特定的拇指交互動作,以改善用戶單手交互時的體驗。
長期從事重負荷作業(yè)(手工搬舉、負重搬運、運送貨物和推拉作業(yè)等)可能造成軀干肌疲勞,繼而破壞脊柱的穩(wěn)定性,引起慢性腰背損傷。外骨骼是有助于提高工人能力、減少其活動所需體力勞動的設備,分為“主動”和“被動”兩種形式。主動外骨骼使用電動執(zhí)行器(例如電動、氣動或液壓執(zhí)行器等裝置)來驅(qū)動關節(jié)向身體提供外部支撐。被動外骨骼使用柔性材料(例如彈簧)來存儲和傳輸能量,以協(xié)助人的身體運動。主動式外骨骼與被動式外骨骼的應用見圖3,展示了目前開發(fā)出的主動式外骨骼與被動式外骨骼應用實例。
De Looze等[88]評估了多種工業(yè)輔助外骨骼對身體物理負荷的潛在影響。Chen等[89]通過表面肌電信號評估了佩戴外骨骼時的肌肉激活水平,驗證了主動外骨骼控制系統(tǒng)適用于輔助起重任務。Glinski等[90]研究表明,由日本筑波大學和機器人公司Cyber Dyne開發(fā)的主動式腰部可穿戴外骨骼(Hybrid Assistive Limb,HAL)可以有效降低舉重工作人群腰部酸痛的發(fā)作率。Wei等[91]為降低工人搬運任務中的腰痛風險,設計了一種針對髖關節(jié)的主動式外骨骼機器人進行輔助搬運。Wang等[92]利用肌電圖設計出了一種用于減少下肢肌肉疲勞的半活性外骨骼,該外骨骼可幫助減少工人因長時間下蹲導致的肌肉疲勞。
Qu等[93]研究表明,模擬舉重任務的工業(yè)被動輔助外骨骼在減少背部和上臂肌肉活動方面有良好的潛力。Yan等[94]提出了一種為工業(yè)工人提供重力支持的輕便且可穿戴的被動式外骨骼,從而降低由于反復或持續(xù)下蹲作業(yè)導致的肌肉骨骼疾病和關節(jié)損傷的發(fā)生率。Antwi-Afari等[95]通過表面肌電信號評估了被動外骨骼系統(tǒng)對建筑工人在手動重復搬運任務中脊柱生物力學和主觀反應的影響,發(fā)現(xiàn)使用被動外骨骼系統(tǒng)同樣可以降低舉重時的背部不適感。Luger等[96]研究顯示,被動外骨骼可幫助工人在舉重任務過程中調(diào)整身體姿勢,避免發(fā)生嚴重的肌肉疲勞。Tetteh等[97]通過表面肌電信號實驗發(fā)現(xiàn),被動式外骨骼可以減少外科醫(yī)生在手術過程中的生物力學負荷。
圖3 主動式外骨骼與被動式外骨骼的應用
基于表面肌電信號的外骨骼助力優(yōu)化評估研究幫助減少了人們工作中一些頻繁的、肌肉負荷量大的體力勞動,降低了重負荷和超負荷體力勞動從業(yè)者肌肉骨骼疾病的患病風險,提高了工作者的工作能力,但目前還沒有標準化的方法對外骨骼進行統(tǒng)一的有效性比較,因此,外骨骼在非理想情況下的效用還有待進一步深入研究。
4.1.1 表面肌電數(shù)據(jù)采集與處理的通用性
雖然基于表面肌電信號的人因與工效學評估已經(jīng)在很多領域中取得不錯的研究進展,但在絕大多數(shù)研究中都是為特定的研究目的或在特定的研究場景中進行的,極少討論跨個體、跨任務和跨環(huán)境情況下方法和模型的適用性。在一般研究中,執(zhí)行不同任務時姿勢存在較大的差異性,例如用于評估汽車零件裝配姿勢任務時的方法和數(shù)據(jù)不能用于評估超市搬運貨姿勢,同時個體差異的不同也會導致不同的評估結果。理想條件下,人因與工效學的評估中更注重的是評估設備與人之間的交互姿勢是否會對人身體造成危害以及使工作環(huán)境中存在一些危險因素。根據(jù)現(xiàn)有研究來看,基于表面肌電信號的人因與工效學研究較為偏重于特定任務下的特定姿勢評估,弱化或忽略了評估方法與數(shù)據(jù)的通用性,沒有制定統(tǒng)一的評估標準。
4.1.2 實驗中理想條件與現(xiàn)實條件的差異性
前文對諸多應用領域的分析及相關研究方法的綜述表明,基于表面肌電信號的人因與工效學評估技術繁多,但目前的相關研究多數(shù)處于理想條件下,評估也多側(cè)重在理想條件下或無干擾的情況下如何識別更多類別,通過對比分析不同的噪聲處理、降維方法、特征與模型識別等環(huán)節(jié),以提高表面肌電信號識別的準確性和精準度。例如,在理想的實驗室環(huán)境中,排除掉許多現(xiàn)實環(huán)境的干擾因素,表面肌電監(jiān)測設備在實時分類器中可以達到95%以上的準確度,但在現(xiàn)實條件下的評估往往會受到諸多干擾因素(如電極偏移、個體性差異、肌肉疲勞、肢體姿態(tài)或其他綜合性干擾等)[98]的影響,表面肌電信號識別的準確性會大大降低。目前已有研究討論了基于表面肌電的意圖識別方法在現(xiàn)實中遇到的問題及解決方法,因此,基于表面肌電信號的人因與工效學評估的理想與現(xiàn)實條件差異性方面的研究在未來尚有較大的探討空間。
4.2.1 多模態(tài)數(shù)據(jù)融合
多模態(tài)數(shù)據(jù)結合了多個模態(tài)信息并汲取了不同模態(tài)的優(yōu)點,從而完成對信息的有效整合。由于表面肌電信號的非平穩(wěn)性和不確定性等特點,使用單一模態(tài)采集信息具有表達信息不完整的局限性,從而無法準確評估人的工作姿勢及工作環(huán)境中的風險因素,而多模態(tài)可以實現(xiàn)模態(tài)之間的信息互補,增強特征表示[99]。因此,目前多數(shù)研究使用多模態(tài)數(shù)據(jù)融合方法進行人因與工效學評估,將表面肌電信號與其他模態(tài)數(shù)據(jù),如肌音信號[100]、腦電信號[101]、心電信號等融合,以此來提高識別率和系統(tǒng)魯棒性,同時降低數(shù)據(jù)的不確定性。例如Kim等[102]提出了一種基于表面肌電信號轉(zhuǎn)移學習范式的二維輸入圖像特征多模態(tài)融合系統(tǒng),與傳統(tǒng)的單模態(tài)表面肌電信號訓練模型相比,該多模態(tài)融合系統(tǒng)的分類精度與準確率顯著提高。因此,基于多模態(tài)數(shù)據(jù)融合的表面肌電信號的人因與工效學評估是目前該領域的研究熱點及趨勢。
4.2.2 特征提取算法優(yōu)化
隨著人因與工效學評估的深入研究,需要評估的姿勢、任務與設備也越來越多,評估的精確性和精準性需求也在不斷提高,單電極采集肌電的方式已經(jīng)無法適應多樣化和復雜度更高的評估任務。多通道表面肌電采集技術可以捕獲高時空分辨率信號,是目前基于表面肌電信號的人因與工效學研究中的主流數(shù)據(jù)采集技術,該技術也已經(jīng)被廣泛應用于肌力估計、肌肉激活分析、運動模式分析等眾多領域,并取得了良好的成果,但多通道表面肌電在包含了豐富信息的同時也引入了大量的冗余信息和干擾信息,在實際應用中必須對該信號進行處理[103]。因此,如何對多通道表面肌電信號的預處理和特征提取方式進行優(yōu)化需要進一步地深入研究[104,105]。
4.2.3 融合多方法優(yōu)化分類模型
分類器的選擇決定了表面肌電信號分析與識別的有效性。如今的分類器有其各自的優(yōu)點及適用數(shù)據(jù),但很難找出一個在所有評估任務中都能取得有效結果的通用分類器。隨著人工智能和軟計算的發(fā)展,大量基于機器學習和深度學習的分類模型不斷推陳出新,如人工神經(jīng)網(wǎng)絡、卷積神經(jīng)網(wǎng)絡、遺傳算法、模糊邏輯、長短期記憶網(wǎng)絡、注意力模型等??梢詫F(xiàn)有分類器與多種算法融合,汲取多種算法學習方式的優(yōu)點,有利于優(yōu)化現(xiàn)有分類器性能[106,107],對后續(xù)構建基于表面肌電信號的人因與工效學評估通用數(shù)據(jù)集的研究奠定堅實基礎。
近年來,使用表面肌電信號評估人機環(huán)境成為了人因與工效學領域的重點研究內(nèi)容,許多實驗證明,表面肌電信號是一種監(jiān)測和評估不良工作場所風險因素的有效方法。但目前對于表面肌電的主要研究方向是提升表面肌電信號實驗流程中的技術與方法,對于跨個體、跨任務和跨環(huán)境情況下的研究還較少,同時表面肌電數(shù)據(jù)的標準性與通用性被忽略,使得許多數(shù)據(jù)和模型不能通用,限制了該領域的研究與發(fā)展。大規(guī)模可公開的數(shù)據(jù)集作為重要推動力,加速了以深度學習為核心的機器學習技術在自然語言處理、語音識別、圖像處理與識別等領域的發(fā)展,為該領域的研究人員挖掘新數(shù)據(jù)、創(chuàng)造新方法提供了便捷有效的途徑。然而,在基于表面肌電信號的人因與工效學評估領域中,公開通用的數(shù)據(jù)集非常少見,僅存在少量可公開的與表面肌電信號手勢識別相關的數(shù)據(jù)集,如Ninapro[108]、CapgMyo[109]等。因此,建立基于表面肌電信號的人因與工效學評估通用實驗范式,確定統(tǒng)一評估標準,構建可公開通用數(shù)據(jù)集是目前該領域的難題及挑戰(zhàn)。
人因與工效學評估的最終目的是改善工作中的不良因素,讓人處在一個健康、安全、舒適的工作環(huán)境中,以提升工作效率。大多數(shù)現(xiàn)有的人因與工效學評估方法在實驗室理想環(huán)境中可以做到實時評估和反饋人的疲勞狀態(tài),但在真實工作環(huán)境中監(jiān)測和評估儀器會干擾人的正常工作,而且一些監(jiān)測方法都是短時間監(jiān)測,反饋速度較慢。因此,基于表面肌電信號的人因與工效學評估需要結合其他的一些創(chuàng)新技術和設備(例如可穿戴技術、智能手機和平板電腦等),構建智能化評估系統(tǒng)以克服當前研究的局限性。該智能化評估系統(tǒng)可以在不干擾人正常工作的情況下,長期實時在線監(jiān)測人的工作姿勢與狀態(tài),并將監(jiān)測信息反饋到智能手機終端,動態(tài)調(diào)節(jié)人機任務工作姿勢,以實現(xiàn)最佳的人機舒適度,提高人機系統(tǒng)作業(yè)績效和安全性,從而預防和減少強迫體位、肌肉過度疲勞和人體過度負荷的情況發(fā)生。構建基于表面肌電信號的人因與工效學智能化評估系統(tǒng)對未來的工作場所、工作環(huán)境評估及人機系統(tǒng)的優(yōu)化設計具有重要的價值與意義。
在簡要介紹基于表面肌電信號的人因與工效學評估研究取得的階段性進展及應用成果的基礎上,詳細探討了該領域研究中存在的主要問題,并對該領域的未來研究趨勢進行了展望??傮w上來說,目前已經(jīng)在工作相關肌肉骨骼風險評估、工作場所與姿勢評估、設備與工具評估、界面交互優(yōu)化評估以及外骨骼等方面取得了突破性的進展,對許多行業(yè)中可能存在的不良工效學因素進行了評估。但目前基于表面肌電信號的人因與工效學研究在理想條件和現(xiàn)實條件下的研究差異性較大,并存在數(shù)據(jù)與方法不通用等問題,限制了表面肌電信號在人因與工效學研究中的發(fā)展與應用。因此,亟需基于現(xiàn)有的研究成果,面向人因與工效學評估與應用需求,重點開展多模態(tài)數(shù)據(jù)融合、特征提取算法優(yōu)化、融合多方法優(yōu)化分類模型等創(chuàng)新研究,為未來構建基于表面肌電信號的人因與工效學評估通用數(shù)據(jù)集和創(chuàng)新智能化評估系統(tǒng)提供夯實的理論依據(jù)與技術支撐。
[1] RITTER F E, BAXTER G D, CHURCHILL E F. Methodology I: Task Analysis[M]//Foundations for Designing User-Centered Systems. London: Springer, 2014: 309-333.
[2] OLMO M D, DOMINGO R. EMG Characterization and Processing in Production Engineering[J]. Materials, 2020, 13(24): 5815.
[3] WATERSON P. World War II and other Historical Influences on the Formation of the Ergonomics Rese-arch Society[J]. Ergonomics, 2011, 54(12): 1111-1129.
[4] TAYLOR F W. The Principles of Scientific Manage-ment[M]. New York: Harper & Brothers, 1911.
[5] 盧旭軍, 王藝. 科學管理時期的人員選拔與晉升思想——以泰勒和吉爾布雷斯夫婦為例[J]. 經(jīng)營管理者, 2016(25): 184-185.LU Xu-jun, WANG Yi. The Idea of Selection and Promotion of Personnel in the Period of Scientific Management: The Example of Taylor and Gilbreth[J]. Manager's Journal, 2016(25): 184-185.
[6] 張俐娜, 張紅娣, 萬松泉, 等. 三種行業(yè)工人職業(yè)性肌肉骨骼疾患調(diào)查分析[J]. 公共衛(wèi)生與預防醫(yī)學, 2006, 17(2): 74-75. ZHANG Li-na, ZHANG Hong-di, WAN Song-quan, et al. Research and Analysis of Occupational Musculoske-letal Disorders of Workers in Three Industries[J]. Public Health and Preventive Medicine, 2006, 17(2): 74-75.
[7] 劉偉達, 王忠旭. 肌肉骨骼損傷及其工效學[J]. 環(huán)境與職業(yè)醫(yī)學, 2008, 25(6): 605-608.LIU Wei-da, WANG Zhong-xu. Musculoskeletal Disorders and Ergonomics[J]. Journal of Environmen-tal and Occupational Medicine, 2008, 25(6): 605-608.
[8] PANJAITAN N, ALI A Y B. Clasification of Ergono-mics Levels for Research[J]. IOP Conference Series: Materials Science and Engineering, 2019, 505(1): 012040.
[9] AU E Y L, GOONETILLEKE R S. A Qualitative Study on the Comfort and Fit of Ladies’ Dress Shoes[J]. Applied Ergonomics, 2007, 38(6): 687-696.
[10] LIN C L, WANG M J J, DRURY C G, et al. Evalua-tion of Perceived Discomfort in Repetitive Arm Reaching and Holding Tasks[J]. International Journal of Industrial Ergonomics, 2010, 40(1): 90-96.
[11] LóPEZ-ARAGóN L, LóPEZ-LIRIA R, CALLEJóN- FERRE á J, et al. Applications of the Standardized Nordic Questionnaire: A Review[J]. Sustainability, 2017, 9(9): 1514.
[12] WATERSON P, ROBERTSON M M, COOKE N J, et al. Defining the Methodological Challenges and Opportunities for an Effective Science of Sociote-chnical Systems and Safety[J]. Ergonomics, 2015, 58(4): 565- 599.
[13] ALI M, MACHOT F A, MOSA A H, et al. CNN Based Subject-Independent Driver Emotion Recognition System Involving Physiological Signals for ADAS[C]// Schulze T, Müller B, Meyer G. Advanced Microsys-tems for Automotive Applications 2016. Cham: Springer, 2016: 125-138.
[14] SRIRAMPRAKASH S, PRASANNA V D, MURTHY O V R. Stress Detection in Working People[J]. Proce-dia Computer Science, 2017, 115: 359-366.
[15] REIMAN A, KAIVO-OJA J, PARVIAINEN E, et al. Human Factors and Ergonomics in Manufacturing in the Industry 4.0 Context - A Scoping Review[J]. Tech-nology in Society, 2021, 65: 101572.
[16] LAFERRIERE P, LEMAIRE E D, CHAN A D C. Surface Electromyographic Signals Using Dry Electro-des[J]. IEEE Transactions on Instrumentation and Measurement, 2011, 60(10): 3259-3268.
[17] BI Lu-zheng, Feleke A G, GUAN Cun-tai. A Review on EMG-Based Motor Intention Prediction of Continuous Human Upper Limb Motion for Human-Robot Collaboration[J]. Biomedical Signal Processing and Control, 2019, 51: 113-127.
[18] WANG Zhong-yan, LI Jun-shi, YU Bo-cheng, et al. Multi- Channel Flexible Microneedle Electrode Array (MNEA) for High-Density Surface EMG Recording[C]//2022 IEEE 35th International Conference on Micro Electro Mechanical Systems Conference (MEMS). Tokyo, Japan: IEEE, 2022: 345-348.
[19] LI Peng-fei, BAO Yuan, CHEN Bo-qian, et al. A Bioin-spired Sweat-Drainable Janus Electrophysiological Elec-trode for Scientific Sports Training[J]. Advanced Materials Technologies, 2022, 7(10): 2200040.
[20] VELASCO-BOSOM S, KARAM N, CARNICER-LO-M--BARTE A, et al. Conducting Polymer-Ionic Liquid Electrode Arrays for High-Density Surface Electromyography[J]. Advanced Healthcare Materials, 2021, 10(17): 2100374.
[21] CHANDRA S, LI Jing-hua, AFSHARIPOUR B, et al. Performance Evaluation of a Wearable Tattoo Elec-trode Suitable for High-Resolution Surface Electromyogram Recording[J]. IEEE Transactions on Biomedical Engineering, 2021, 68(4): 1389-1398.
[22] RODRIGUES M S, FIEDLER P, KüCHLER N, et al. Dry Electrodes for Surface Electromyography Based on Architectured Titanium Thin Films[J]. Materials, 2020, 13(9): 2135.
[23] ZENG Xiong, DONG Ying, WANG Xiao-hao. Flexible Electrode by Hydrographic Printing for Surface Elec-tromyography Monitoring[J]. Materials, 2020, 13(10): 2339.
[24] 薛博文. 基于肌電傳感器的頸部肌群評估關鍵技術研究[D]. 杭州: 浙江大學, 2020. XUE Bo-wen. Research on the Key Techniques of Cervical Muscle Group Evaluation Based on EMG Sensor[D]. Hangzhou: Zhejiang University, 2020.
[25] MERLETTI R, BOTTER A, TROIANO A. Technology and Instrumentation for Detection and Conditioning of the Surface Electromyographic Signal: State of the Art[J]. Clinical Biomechanics, 2009, 24(2): 122-134.
[26] LAVRY D. Sampling Theory for Digital Audio[EB/OL]. [2010-24-5]. http://www.lavryengineering.com/docu-ments/sampling_theory. pdf.
[27] CLANCY E A, MORIN E L, MERLETTI R. Sam-pling, Noise-Reduction and Amplitude Estimation Issues in Surface Electromyography[J]. Journal of Electromyography and Kinesiology, 2002, 12(1): 1-16.
[28] LUCA C J D, GILMORE L. D, KUZNETSOV M, et al. Filtering the Surface EMG Signal: Movement Artifact and Baseline Noise Contamination[J]. Journal of Biomechanics, 2010, 43(8): 1573-1579.
[29] PHINYOMARK A, PHUKPATTARANONT P, LIM-SA-KUL C. Feature Reduction and Selection for EMG Signal Classification[J]. Expert Systems With Applications, 2012, 39(8): 7420-7431.
[30] 賈淼. 面向地鐵低頭族的頸部疲勞評價及勸導設計研究[D]. 上海: 東華大學, 2019. JIA Miao. Research on Neck Fatigue Evaluation and Persuasion Design for Subway Low-Headed People[D]. Shanghai: Donghua University, 2019.
[31] 王琳, 付榮榮, 張陳, 等. 基于生物力學分析Q值對頸肌疲勞的反映效果[J]. 儀器儀表學報, 2017, 38(4): 878-885. WANG Lin, FU Rong-rong, ZHANG Chen, et al. Bio-mechanics-Based Investigation on the Relation between Index Q and Cervical Muscle Fatigue[J]. Chinese Journal of Scientific Instrument, 2017, 38(4): 878-885.
[32] HU Xiao, WANG Zhi-zhong, REN Xiao-mei. Classifi-ca-tion of Surface EMG Signal Using Relative Wavelet Packet Energy[J]. Computer Methods and Programs in Biomedicine, 2005, 79(3): 189-195.
[33] 李元石. 長期伏案工作人群肌肉表面肌電信號的特性研究[D]. 天津: 天津科技大學, 2015. LI Yuan-shi. Study on the Characteristics of Muscle Surface Electromyography Signals of People Working at Long-Term Desk[D]. Tianjin: Tianjin University of Science & Technology, 2015.
[34] YANG Li-fang, KANG Bo. Study on Human Neck Muscles’ Comfort of Different Height Levels Based on sEMG Method[M]//Proceedings of the 6th Inter-national Asia Conference on Industrial Engineering and Management Innovation. Paris: Atlantis Press, 2015: 563-574.
[35] MING Dong, WANG Xin, XU Rui, et al. SEMG Feature Analysis on Forearm Muscle Fatigue during Isometric Contractions[J]. Transactions of Tianjin University, 2014, 20(2): 139-143.
[36] FALLA D, RAINOLDI A, MERLETTI R, et al. Myoe-lec-tric Manifestations of Sternocleidomastoid and Anterior Scalene Muscle Fatigue in Chronic Neck Pain Patients[J]. Clinical Neurophysiology: Official Journal of the International Federation of Clinical Neuro-phy-siology, 2003, 114(3): 488-495.
[37] KIM J Y, PARK J S, KIM D J, et al. Evaluation of Fatigue Patterns in Individual Shoulder Muscles under Various External Conditions[J]. Applied Ergonomics, 2021, 91: 103280.
[38] CHOWDHURY S K, NIMBARTE A D, JARIDI M, et al. Discrete Wavelet Transform Analysis of Surface Electromyography for the Fatigue Assessment of Neck and Shoulder Muscles[J]. Journal of Electromyo-graphy and Kinesiology: Official Journal of the International Society of Electrophysiological Kinesiology, 2013, 23(5): 995-1003.
[39] KHEZRI M, JAHED M. An Inventive Quadratic Time- Frequency Scheme Based on Wigner-Ville Distri-bution for Classification of sEMG Signals[C]//2007 6th International Special Topic Conference on Information Technology Applications in Biomedicine. Tokyo, Japan: IEEE, 2007: 261-264.
[40] CHEN Biao, CHEN Chao-yang, HU Jie, et al. A Real- Time EMG-Based Fixed-Bandwidth Frequency-Do-main Embedded System for Robotic Hand[J]. Frontiers in Neurorobotics, 2022, 16: 880073.
[41] 紀守領, 李進鋒, 杜天宇, 等. 機器學習模型可解釋性方法、應用與安全研究綜述[J]. 計算機研究與發(fā)展, 2019, 56(10): 2071-2096. JI Shou-ling, LI Jin-feng, DU Tian-yu, et al. Survey on Techniques, Applications and Security of Machine Learning Interpretability[J]. Journal of Computer Resea-rch and Development, 2019, 56(10): 2071-2096.
[42] SUBASI A. Classification of EMG Signals Using PSO Optimized SVM for Diagnosis of Neuromuscular Disorders[J]. Computers in Biology and Medicine, 2013, 43(5): 576-586.
[43] KIM K S, CHOI H H, MOON C S, et al. Comparison of-Nearest Neighbor, Quadratic Discriminant and Linear Discriminant Analysis in Classification of Electromyogram Signals Based on the Wrist-Motion Directions[J]. Current Applied Physics, 2011, 11(3): 740-745.
[44] THARWAT A, GABER T, IBRAHIM A, et al. Linear Discriminant Analysis: A Detailed Tutorial[J]. AI Communications, 2017, 30(2): 169-190.
[45] CHU J U, MOON I, LEE Y J, et al. A Supervised Feature-Projection-Based Real-Time EMG Pattern Recognition for Multifunction Myoelectric Hand Control[J]. IEEE/ASME Transactions on Mechatronics, 2007, 12(3): 282-290.
[46] ZHANG Xu, CHEN Xiang, LI Yun, et al. A Framework for Hand Gesture Recognition Based on Accelerometer and EMG Sensors[J]. IEEE Transactions on Systems, Man, and Cybernetics - Part A: Systems and Humans, 2011, 41(6): 1064-1076.
[47] ZHAI Xiao-long, JELFS B, CHAN R H M, et al. Self-Recalibrating Surface EMG Pattern Recognition for Neuroprosthesis Control Based on Convolutional Neural Network[J]. Frontiers in Neuroscience, 2017, 11: 379.
[48] HU Yu, WONG Y, WEI Wen-tao, et al. A Novel Atten-tion-Based Hybrid CNN-RNN Architecture for SEMG- Based Gesture Recognition[J]. PLoS One, 2018, 13(10): e0206049.
[49] SIM?O M, NETO P, GIBARU O. EMG-Based Online Classification of Gestures with Recurrent Neural Networks[J]. Pattern Recognition Letters, 2019, 128: 45-51.
[50] WANG Jia-bin, PENG Kai. A Multi-View Gait Recog-nition Method Using Deep Convolutional Neural Network and Channel Attention Mechanism[J]. Computer Modeling in Engineering & Sciences, 2020, 125(1): 345- 363.
[51] ALKAN A, GüNAY M. Identification of EMG Signals Using Discriminant Analysis and SVM Classifier[J]. Expert Systems With Applications, 2012, 39(1): 44-47.
[52] 劉光達, 董夢坤, 張守偉, 等. 基于KPCA-SVM的表面肌電信號疲勞分類研究[J]. 電子測量與儀器學報, 2021, 35(10): 1-8. LIU Guang-da, DONG Meng-kun, ZHANG Shou-wei, et al. Research on Fatigue Classification of Surface EMG Signal Based on KPCA and SVM[J]. Journal of Electronic Measurement and Instrumentation, 2021, 35(10): 1-8.
[53] 陳思佳, 羅志增. 基于長短時記憶和卷積神經(jīng)網(wǎng)絡的手勢肌電識別研究[J]. 儀器儀表學報, 2021, 42(2): 162-170. CHEN Si-jia, LUO Zhi-zeng. Research on Gesture EMG Recognition Based on Long Short-Term Memory and Convolutional Neural Network[J]. Chinese Journal of Scientific Instrument, 2021, 42(2): 162-170.
[54] ATZORI M, COGNOLATO M, MüLLER H. Deep Learning with Convolutional Neural Networks App-lied to Electromyography Data: A Resource for the Classification of Movements for Prosthetic Hands[J]. Frontiers in Neurorobotics, 2016, 10: 9.
[55] 李沿宏, 江茜, 鄒可, 等. 融合注意力機制的多流卷積肌電手勢識別網(wǎng)絡[J]. 計算機應用研究, 2021, 38(11): 3258-3263. LI Yan-hong, JIANG Xi, ZOU Ke, et al. Multi-Stream Convolutional Myoelectric Gesture Recognition Net-works Fusing Attentional Mechanisms[J]. Application Research of Computers, 2021, 38(11): 3258-3263.
[56] 衛(wèi)文韜, 李亞軍. 基于雙流卷積神經(jīng)網(wǎng)絡的肌電信號手勢識別方法[J]. 計算機集成制造系統(tǒng), 2022, 28(1): 124-131. WEI Wen-tao, LI Ya-jun. Surface Electromyography Based Gesture Recognition Based on Dual-Stream CNN[J]. Computer Integrated Manufacturing Systems, 2022, 28(1): 124-131.
[57] 王斐, 魏曉童, 秦皞. 基于sEMG和LSTM的下肢連續(xù)運動估計[J]. 東北大學學報(自然科學版), 2020, 41(3): 305-310. WANG Fei, WEI Xiao-tong, QIN Hao. Estimation of Lower Limb Continuous Movements Based on sEMG and LSTM[J]. Journal of Northeastern University (Natural Science), 2020, 41(3): 305-310.
[58] GHISLIERI M, CERONE G L, KNAFLITZ M, et al. Long Short-Term Memory (LSTM) Recurrent Neural Network for Muscle Activity Detection[J]. Journal of Neuroengineering and Rehabilitation, 2021, 18(1): 1-15.
[59] MA Chen-fei, LIN Chuang, SAMUEL O W, et al. A Bi-Directional LSTM Network for Estimating Con-tinuous Upper Limb Movement from Surface Electromyography[J]. IEEE Robotics and Automation Letters, 2021, 6(4): 7217-7224.
[60] WANG Jun-hong, SUN Shao-ming, SUN Yi-ning. A Muscle Fatigue Classification Model Based on LSTM and Improved Wavelet Packet Threshold[J]. Sensors, 2021, 21(19): 6369.
[61] ZHOU Yang, CHEN Chao-yang, CHENG M, et al. Comparison of Machine Learning Methods in sEMG Signal Processing for Shoulder Motion Recognition[J]. Biomedical Signal Processing and Control, 2021, 68: 102577.
[62] BOOCOCK M G, TAYLOR S, MAWSTON G A. The Influence of Age on Spinal and Lower Limb Muscle Activity during Repetitive Lifting[J]. Journal of Electro-myography and Kinesiology, 2020, 55: 102482.
[63] SHAIR E F, AHMAD S A, MARHABAN M H, et al. EMG Processing Based Measures of Fatigue Assess-ment during Manual Lifting[J]. BioMed Research International, 2017, 2017: 3937254.
[64] GAUDEZ C, WILD P, AUBLET-CUVELIER A. A Better Way of Fitting Clips? A Comparative Study with Respect to Physical Workload[J]. Applied Ergonomics, 2015, 51: 236-243.
[65] SKOVLUND S V, BLáFOSS R, SKALS S, et al. Technical Field Measurements of Muscular Workload during Stocking Activities in Supermarkets: Cross- Sec-tional Study[J]. Scientific Reports, 2022, 12: 934.
[66] JIA B, NUSSBAUM M A. Development and Evalua-tion of an EMG-Based Model to Estimate Lumbosacral Loads during Seated Work[J]. International Journal of Industrial Ergonomics, 2016, 55: 96-102.
[67] CHEN Jing-tao, MITROUCHEV P, COQUILLART S, et al. Disassembly Task Evaluation by Muscle Fatigue Estimation in a Virtual Reality Environment[J]. The International Journal of Advanced Manufacturing Technology, 2017, 88(5): 1523-1533.
[68] GUO Fu, LIU Li, LV Wei. Biomechanical Analysis of Upper Trapezius, Erector Spinae and Brachioradialis Fatigue in Repetitive Manual Packaging Tasks: Evidence from Chinese Express Industry Workers[J]. International Journal of Industrial Ergonomics, 2020, 80: 103012.
[69] NISSER M, DERLIEN S, BEST N. überblick über aktuelle Erkenntnisse berufsbedingter muskuloskeletaler Beschwerden am Bildschirmarbeitsplatz hinsichtlich der Anwendung des Oberfl?chen-EMGs zur Beanspru-chung-smessung[J]. Physikalische Medizin, Rehabilitationsmedizin, Kurortmedizin, 2018, 28(3): 153-162.
[70] LEE C L, LU S Y, SUNG P C, et al. Working Height and Parts Bin Position Effects on Upper Limb Mus-cular Strain for Repetitive Hand Transfer[J]. International Journal of Industrial Ergonomics, 2015, 50: 178-185.
[71] ANTLE D M, VéZINA N, C?Té J N.. Comparing Standing Posture and Use of a Sit-Stand Stool: Anal-ysis of Vascular, Muscular and Discomfort Outcomes during Simulated Industrial Work[J]. International Journal of Industrial Ergonomics, 2015, 45: 98-106.
[72] DING Yi, CAO Ya-qin, DUFFY V G., et al. It is Time to Have Rest: How do Break Types Affect Muscular Activity and Perceived Discomfort during Prolonged Sitting Work[J]. Safety and Health at Work, 2020, 11(2): 207-214.
[73] SALMANZADEH H, DOROODI M. Analyzing Sur-face Electromyography Signals to Predict Fatigue in Longissimus Thoracis and Iliocostalis Cervicis Muscles: A Statistical Model[J]. Human Factors and Ergonomics in Manufacturing & Service Industries, 2022, 32(4): 335-344.
[74] KANG E, YU H, CHANG J. Effects of Weight Distri-bution in a Handle of a Cordless Stick-Type Vacuum Cleaner: Muscle Activity and Subjective Discomfort of the Upper Limb[J]. International Journal of Industrial Ergonomics, 2020, 80: 103054.
[75] GUO Bei-yuan, TIAN Lin-zhi, FANG Wei-ning. Effects of Operation Type and Handle Shape of the Driver Controllers of High-Speed Train on the Drivers' Comfort[J]. International Journal of Industrial Ergono-mics, 2017, 58: 1-11.
[76] REVILLA J A, PRIADYTHAMA I, LOH P Y, et al. Effects of Various Handle Shapes and Surface Profiles on the Hand-Arm Responses and Comfort during Short-Term Exposure to Handle Vibration[J]. Journal of Occupational and Environmental Hygiene, 2022, 19(6): 353-369.
[77] DONG Hui, LOOMER P, BARR A, et al. The Effect of Tool Handle Shape on Hand Muscle Load and Pinch Force in a Simulated Dental Scaling Task[J]. Applied Ergonomics, 2007, 38(5): 525-531.
[78] 李新宇. 顯微鏡目鏡高度對頸部舒適性的影響研究[D]. 哈爾濱: 哈爾濱工業(yè)大學, 2019. LI Xin-yu. Study on the Influence of Microscope Eyepiece Height on Neck Comfort[D]. Harbin: Harbin Institute of Technology, 2019.
[79] KIM J H, AULCK L, BARTHA M C, et al. Diffe--rences in Typing Forces, Muscle Activity, Comfort, and Typing Performance among Virtual, Notebook, and Desktop Keyboards[J]. Applied Ergonomics, 2014, 45(6): 1406-1413.
[80] WESTON E, LE P, MARRAS W S. A Biomechanical and Physiological Study of Office Seat and Tablet Device Interaction[J]. Applied Ergonomics, 2017, 62: 83-93.
[81] KANG H, SHIN G. Effects of Touch Target Location on Performance and Physical Demands of Computer Touchscreen Use[J]. Applied Ergonomics, 2017, 61: 159-167.
[82] HUANG Jing-hua, MAO Lu-jin, QI Meng-yao, et al. Differences in Muscle Activity, Kinematics, User Performance, and Subjective Assessment between Touchscreen and Mid-Air Interactions on a Tablet[J]. Behaviour & Information Technology, 2022, 41(14): 3028-3043.
[83] ALHAAG M H, RAMADAN M Z. Using Electromyo-graphy Responses to Investigate the Effects of the Display Type, Viewing Distance, and Viewing Time on Visual Fatigue[J]. Displays, 2017, 49: 51-58.
[84] COPPOLA S M, LIN M Y C, SCHILKOWSKY J, et al. Tablet Form Factors and Swipe Gesture Designs Affect Thumb Biomechanics and Performance during Two-Handed Use[J]. Applied Ergonomics, 2018, 69: 40-46.
[85] LEE D L, KUO P L, JINDRICH D L, et al. Computer Keyswitch Force-Displacement Characteristics Affect Muscle Activity Patterns during Index Finger Tap-ping[J]. Journal of Electromyography and Kinesio-logy, 2009, 19(5): 810-820.
[86] KIM M, KIM J, JEONG K, et al. Grasping VR: Presence of Pseudo-Haptic Interface Based Portable Hand Grip System in Immersive Virtual Reality[J]. International Journal of Human–Computer Interaction, 2020, 36(7): 685-698.
[87] TRUDEAU M B, UDTAMADILOK T, KARLSON A K, et al. Thumb Motor Performance Varies by Move--ment Orientation, Direction, and Device Size during Single-Handed Mobile Phone Use[J]. Human Factors, 2012, 54(1): 52-59.
[88] DE LOOZE M P, BOSCH T, KRAUSE F, et al. Exo-skeletons for Industrial Application and Their Poten-tial Effects on Physical Work Load[J]. Ergonomics, 2016, 59(5): 671-681.
[89] CHEN Bao-jun, GRAZI L, LANOTTE F, et al. A Real-Time Lift Detection Strategy for a Hip Exoskeleton[J]. Frontiers in Neurorobotics, 2018, 12: 17.
[90] GLINSKI A V, YILMAZ E, MROTZEK S, et al. Ef-fectiveness of an On-Body Lifting Aid (HAL? for Care Support) to Reduce Lower back Muscle Activity during Repetitive Lifting Tasks[J]. Journal of Clinical Neuroscience, 2019, 63: 249-255.
[91] WEI Wei, ZHA Shi-jia, XIA Yu-xuan, et al. A Hip Active Assisted Exoskeleton that Assists the Semi-Squat Lifting[J]. Applied Sciences, 2020, 10(7): 2424.
[92] WANG Zhuo, WU Xin-yu, ZHANG Yu, et al. A Semi-Active Exoskeleton Based on EMGs Reduces Muscle Fatigue when Squatting[J]. Frontiers in Neuro-robotics, 2021, 15: 625479.
[93] QU Xi-shuai, QU Chen-xi, MA Tao, et al. Effects of an Industrial Passive Assistive Exoskeleton on Muscle Activity, Oxygen Consumption and Subjective Respo-nses during Lifting Tasks[J]. Plos One, 2021, 16(1): e0245629.
[94] YAN Ze-feng, HAN Bin, DU Zi-hao, et al. Develop-ment and Testing of a Wearable Passive Lower-Limb Support Exoskeleton to Support Industrial Workers[J]. Biocybernetics and Biomedical Engineering, 2021, 41(1): 221-238.
[95] ANTWI-AFARI M F, LI Heng, ANWER S, et al. Assessment of a Passive Exoskeleton System on Spinal Biomechanics and Subjective Responses during Manual Repetitive Handling Tasks among Construc-tion Workers[J]. Safety Science, 2021, 142: 105382.
[96] LUGER T, B?R M, SEIBT R, et al. A Passive back Exoskeleton Supporting Symmetric and Asymmetric Lifting in Stoop and Squat Posture Reduces Trunk and Hip Extensor Muscle Activity and Adjusts Body Posture-A Laboratory Study[J]. Applied Ergonomics, 2021, 97: 103530.
[97] TETTEH E, M. HALLBECK S, MIRKA G A. Effects of Passive Exoskeleton Support on EMG Measures of the Neck, Shoulder and Trunk Muscles while Holding Simulated Surgical Postures and Performing a Simulated Surgical Procedure[J]. Applied Ergonomics, 2022, 100: 103646.
[98] 李自由, 趙新剛, 張弼, 等. 基于表面肌電的意圖識別方法在非理想條件下的研究進展[J]. 自動化學報, 2021, 47(5): 955-969. LI Zi-you, ZHAO Xin-gang, ZHANG Bi, et al. Review of SEMG-Based Motion Intent Recognition Methods in Non-Ideal Conditions[J]. Acta Automatica Sinica, 2021, 47(5): 955-969.
[99] LI Jing-jing, WANG Qiang. Multi-Modal Bioelectrical Signal Fusion Analysis Based on Different Acquisition Devices and Scene Settings: Overview, Challenges, and Novel Orientation[J]. Information Fusion, 2022, 79: 229-247.
[100] 李慶明. 基于多模態(tài)數(shù)據(jù)融合的人體肌肉疲勞研究及其檢測系統(tǒng)設計[D]. 鄭州: 鄭州大學, 2020. LI Qing-ming. Research on Human Muscle Fatigue Based on Multimodal Data Fusion and Design of Its Detection System[D]. Zhengzhou: Zhengzhou University, 2020.
[101] ALY H, YOUSSEF S M. Bio-Signal Based Motion Control System Using Deep Learning Models: A Deep Learning Approach for Motion Classification Using EEG and EMG Signal Fusion[J]. Journal of Ambient Intelligence and Humanized Computing, 2023, 14(2): 991-1002.
[102] KIM S, SHIN D Y, KIM T, et al. Enhanced Recogni-tion of Amputated Wrist and Hand Movements by Deep Learning Method Using Multimodal Fusion of Electromyography and Electroencephalography[J]. Sensors, 2022, 22(2): 680.
[103] 張聰. 多通道表面肌電信號特征提取關鍵技術研究[D]. 合肥: 中國科學技術大學, 2020. ZHANG Cong. Research on Key Technologies of Feature Extraction of Multi-Channel Surface EMG Signals[D]. Hefei: University of Science and Techno-logy of China, 2020.
[104] ISLAM I U, ULLAH K, AFAQ M, et al. Spatio-Tem-poral sEMG Image Enhancement and Motor Unit Action Potential (MUAP) Detection: Algorithms and Their Analysis[J]. Journal of Ambient Intelligence and Humanized Computing, 2019, 10(10): 3809-3819.
[105] OH D C, JO Y U. Classification of Hand Gestures Based on Multi-Channel EMG by Scale Average Wavelet Transform and Convolutional Neural Network[J]. International Journal of Control, Automation and Systems, 2021, 19(3): 1443-1450.
[106] BAYGIN M, BARUA P D, DOGAN S, et al. A Hand- Modeled Feature Extraction-Based Learning Network to Detect Grasps Using sEMG Signal[J]. Sensors, 2022, 22(5): 2007.
[107] ZHENG Nan, LI Yu-rong, ZHANG Wen-xuan, et al. User-Independent EMG Gesture Recognition Method Based on Adaptive Learning[J]. Frontiers in Neuros-cience, 2022, 16: 847180.
[108] CHANG J, PHINYOMARK A, SCHEME E. Assessment of EMG Benchmark Data for Gesture Recognition Using the NinaPro Database[J]. IEEE, 2020, 2020: 3339-3342.
[109] DU Yu, JIN Wen-guang, WEI Wen-tao, et al. Surface EMG-Based Inter-Session Gesture Recognition Enhanced by Deep Domain Adaptation[J]. Sensors (Basel, Switzerland), 2017, 17(3): 458.
Review on Assessment of Human Factors and Ergonomics Based on Surface Electromyography
FANG Ming-zhu1, HU Jie1,2, WANG Ling-yu2,3, LI Ying-chuan4
(1.Lanzhou University of Technology, Lanzhou 730050, China; 2.Shanghai Jiao Tong University, Shanghai 200240, China; 3.Wuhan Institute of Design and Sciences, Wuhan 430062, China; 4.Shanghai University, Shanghai 200444, China)
The work aims to analyze and review the research related to the use of surface electromyography (sEMG) techniques to assess human factors and ergonomic issues, in order to promote innovation and development of surface EMG techniques in the field of human factors and ergonomics. Firstly, the definition, development history and research methods of human factors and ergonomics were outlined. Then, the research methods and progress in surface EMG techniques were summarized in terms of four experimental processes, such as data acquisition methods, data pre-processing, feature selection and feature extraction, training and classifier selection, and a detailed summary of current research hotspots and research trends in the field was presented. The surface EMG techniques are still the important assessment methods in the field of human factors and ergonomics. With the continuous development of innovative technologies and deep learning algorithms, the construction of large scale publicly available data sets and innovative intelligent evaluation systems from a multimodal and multi-method cross-fertilisation perspective will become a key research direction for surface EMG in the field of human factors and ergonomics in the future.
surface electromyography; muscle fatigue; human factors and ergonomics; workload
TP18
A
1001-3563(2023)12-0098-13
10.19554/j.cnki.1001-3563.2023.12.010
2023–01–15
國家社科基金重大項目:《設計形態(tài)學研究》(17ZDA020);謝友柏設計科學研究基金:《物質(zhì)需求與精神需求耦合驅(qū)動的同一化設》(XYB-DS-202001);教育部高等教育司創(chuàng)新設計人因與工效學聯(lián)合實驗室項目(202002SJ)
方明珠(1998—),女,碩士生,主攻設計形態(tài)學、創(chuàng)新設計。
胡潔(1973—),男,博士,教授,主要研究方向為智能設計、創(chuàng)新設計、設計形態(tài)學。