楊俊　高凡承　王新龍　寧磊

摘要：漸凍癥患者隨著病情的發(fā)展會逐漸喪失語言功能，無法通過語言表達(dá)內(nèi)心需求，造成較大的心理壓力，為了幫助漸凍人能夠輕松地與外界交流，本文為漸凍人設(shè)計了一種人機交互系統(tǒng)。由于患者會逐漸喪失行動能力，本文設(shè)計了眨眼識別算法，該識別算法能夠識別出眨眼的面部動作，并且區(qū)分接收到的眨眼信號是否為患者有意識地眨眼。交互系統(tǒng)配以圖形界面，圖形界面內(nèi)置了虛擬軟鍵盤，用戶能夠不通過敲擊鍵盤實現(xiàn)打字輸出。設(shè)計的交互系統(tǒng)以眨眼作為人機交互方式，系統(tǒng)將接收到的眨眼信號傳入圖形界面，圖形界面通過虛擬軟鍵盤實現(xiàn)輸出功能。患者雖喪失了語言功能和行動能力，但可以通過該交互系統(tǒng)實現(xiàn)眨眼打字，舒緩心理壓力。

關(guān)鍵詞：人臉對齊;人臉特征點檢測;眨眼識別;人機交互

【Abstract】InordertohelpALSpatientscommunicatewiththeoutsideworldeasily，thisresearchdesignsaman-machineinteractionsystemforALSpatients.Becausethepatientwilllosetheabilityofaction，thispaperdesignsaneyeblinkrecognitionalgorithm，whichcanrecognizethefacialmovementsofblinkinganddistinguishwhetherthereceivedblinksignalisconscious.Theinteractivesystemisequippedwithagraphicalinterface，whichhasbuilt-invirtualkeyboard，userscantypewithouthittingthekeyboard.Theinteractivesystemtakesblinkashuman-computerinteractionmode，andtheinteractivesystemcanreceivetheblinksignalandsendittothegraphicinterface.Meanwhile，thegraphicinterfacerealizesexpressionfunctionthroughvirtualkeyboard.Althoughthepatientlostthelanguagefunctionandtheactionability，theinteractivesystemcanhelpthepatientrelievethepsychologicalpressure.

【Keywords】facealignment;facelandmarkdetection;blinkdetection;man-machineinteraction

作者簡介：楊俊（2000-），男，本科生，主要研究方向：計算機視覺、人機交互。

0引言

到2020年，全球已有超過一百萬的“漸凍癥”患者[1]。研究可知，罹病患者由于神經(jīng)損傷，喪失語言功能和行動能力，無法與外界交流以滿足自身需求，因此承受巨大的心理壓力和生理痛苦[2]。

為了能讓漸凍癥患者可以自主地與外界交流，本文為漸凍癥患者設(shè)計了一種人機交互系統(tǒng)，使用該系統(tǒng)患者將無需穿戴任何設(shè)備，只需面對攝像頭，通過眨眼與計算機交互，并通過圖形界面來完成打字輸出，輕松地實現(xiàn)與外界交流。

1交互方式的設(shè)計

由于漸凍癥患者隨著病情的加重會喪失語言和行動能力，所以無法通過控制手指敲擊鍵盤與計算機交互?；颊咄ǔＶ荒芸刂蒲劬Φ倪\動，因此有面向

漸凍人設(shè)計的人機交互系統(tǒng)是通過識別眼球來展開研究，將人眼眼球的位置作為輸入信號來與計算機進行交互[3]，但是這種交互方式存在一些不足。首先，計算機無法判斷輸入信號是否為患者有意識地交互，易造成誤判。其次，人眼眼球運動幅度較小，不易被計算機辨別，增加了交互難度。并且，患者的視線長時間注視在顯示器的同一位置，易造成視覺疲勞。

本次研究即以眨眼作為患者和計算機交互的方式，通過訓(xùn)練面部標(biāo)志模型，設(shè)計眨眼檢測算法和圖形界面，來實現(xiàn)人機交互。同時，眨眼檢測算法能夠辨別患者是否為有意識地眨眼，避免了誤判，提升了交互系統(tǒng)的穩(wěn)定性，降低了操作難度。

2眨眼識別算法的研究

2.1人臉特征點檢測模型的選擇

為了能夠辨別患者是否眨眼，研究時需要有能夠識別人眼關(guān)鍵點的深度學(xué)習(xí)模型，關(guān)鍵點包括左側(cè)眼角關(guān)鍵點、右側(cè)眼角關(guān)鍵點、左側(cè)上眼瞼關(guān)鍵點、右側(cè)上眼瞼關(guān)鍵點、左側(cè)下眼瞼關(guān)鍵點以及右側(cè)下眼瞼關(guān)鍵點[4]，如圖1所示。過程中還要考慮到患者頭部姿態(tài)的改變對識別精確度的影響，該模型也要能夠克服頭部姿態(tài)所帶來的噪聲，因此深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)模型采用深度對齊網(wǎng)絡(luò)[5]（DeepAlignmentNetwork）。深度對齊網(wǎng)絡(luò)的輸入為整張圖片，充分利用了人臉的全局信息，使得檢測人臉關(guān)鍵點時受頭部姿態(tài)的影響較小。深度對齊網(wǎng)絡(luò)每個階段均有3個輸入，分別是：被矯正過的圖片、關(guān)鍵點熱圖和全連接層生成特征圖。每個階段有一個輸出，是面部形狀。每階段的輸出要經(jīng)過連接層轉(zhuǎn)換，得到下個階段的3個輸入。網(wǎng)絡(luò)結(jié)構(gòu)示意圖如圖2所示。

同時，將圖片輸入全連接層，以線性整流函數(shù)作為激活函數(shù)，再進行上采樣，得到用于輸入的特征圖。

經(jīng)過多層網(wǎng)絡(luò)迭代訓(xùn)練，最終得到能識別人臉面部關(guān)鍵點的深度學(xué)習(xí)模型。經(jīng)由分析可知，深度對齊網(wǎng)絡(luò)加入了關(guān)鍵點熱圖，神經(jīng)網(wǎng)絡(luò)能以整張圖片作為輸入，提取人臉的全局信息，所以深度學(xué)習(xí)模型能夠較好地克服頭部姿態(tài)導(dǎo)致的干擾，識別效果如圖6所示。

2.2眨眼檢測算法的設(shè)計

在實現(xiàn)2.1節(jié)研發(fā)的基礎(chǔ)上，本文就能得到人臉中眼睛的6個關(guān)鍵點坐標(biāo)，如圖7所示。

在患者閉眼時，關(guān)鍵點坐標(biāo)會發(fā)生顯著變化，如圖8所示。

由于人臉與攝像頭之間的距離會影響圖片中2像素點之間坐標(biāo)的差值[6]，因此通過計算出上下眼瞼關(guān)鍵點距離之和與左右側(cè)眼角關(guān)鍵點距離的比值[7]，來判斷人眼的狀態(tài)，令函數(shù)DR如下式所示：

3人機交互界面的設(shè)計

人機交互系統(tǒng)以眨眼作為人機交互方式，圖形界面均勻地排布著26個英文字母按鍵[8]，作為虛擬軟鍵盤的界面。并且加入了便捷按鍵，能夠直接在顯示框中輸出常用的交流短語，例如：“Iwanttodrinkwater”，“Iamhungry”等，以提升交互界面的使用便捷度，交互界面如圖11所示。

研究中為了降低患者使用該系統(tǒng)的復(fù)雜度，減少眨眼次數(shù)，圖形交互界面會先循環(huán)選中每一行字母按鍵，每行選中時停留3s的時間，若在停留時間內(nèi)，圖形界面接受到眨眼輸入信號，則會退出行循環(huán)，開始循環(huán)選中該行中的每一個字母按鍵，每個按鍵選中時停留3s的時間，若在停留時間內(nèi)，圖形界面接收到眨眼輸入信號，則輸出框中會出現(xiàn)選中的字母，并退出該行的字母按鍵循環(huán)。此時交互系統(tǒng)完成一次輸出，開始進行下一輪行循環(huán)，等待眨眼信號的輸入。

該圖形界面自動循環(huán)選中按鍵，不需要患者通過眨眼來操縱選中按鍵的位置，極大程度上減少了眨眼操作的次數(shù)。并且圖形界面先循環(huán)選中每行按鍵，患者確認(rèn)某行按鍵后，再循環(huán)選中該行中的每一個字母按鍵，兼顧了眨眼交互的效率。

4結(jié)束語

本文提出了一種為漸凍人設(shè)計的有意識的眨眼交互系統(tǒng)。該交互系統(tǒng)采用眨眼作為人機交互的方式，并且患者的視線不需要長時間注視在屏幕上，提升了使用者的舒適度。漸凍癥患者可以通過眨眼來操控圖形界面的輸出框顯示出想要表達(dá)的內(nèi)容，從而幫助其及時與醫(yī)護人員溝通，該人機交互系統(tǒng)具有一定的創(chuàng)新性和實際應(yīng)用價值。

參考文獻

[1]BROWNRH，SWASHM，PASINELLIP.Amyotrophiclateralsclerosis[M].2nded.Florida：CRCPress，2006.

[2]劉曉陽.罕見病群體網(wǎng)絡(luò)社群的使用及其對心理健康的影響研究[D].廈門：廈門大學(xué)，2019.

[3]王浩沖，沈小鍵，賈磊，等.睿眼隨心—漸凍人腦電輔助交互系統(tǒng)[J].物聯(lián)網(wǎng)技術(shù)，2018，8（5）：13-14.

[4]張云，李嵐.基于級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的人臉特征點識別算法實現(xiàn)[J].蘭州理工大學(xué)學(xué)報，2020，46（3）：105-109.

[5]朱富麗，楊磊，姬波.基于增強并行級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的人臉檢測方法[J].計算機應(yīng)用與軟件，2020，37（11）：101-105，111.

[6]黃琬婷，胡小平.一種基于張氏標(biāo)定法的單目相機改進標(biāo)定算法[J].導(dǎo)航與控制，2019，18（1）：105-111.

[7]余貴珍，牛歡，張艷飛，等.一種基于單目攝像頭的前向物體橫向距離標(biāo)定方法：中國，CN109087361A[P].2018-12-25.

[8]董小龍，趙斯衎.基于手勢識別的人機交互技術(shù)的研究[J].電子制作，2020（19）：73-74，54.