楊小義

(重慶師范大學(xué)教育科學(xué)學(xué)院，重慶 401331)

一、引言

隨著網(wǎng)絡(luò)信息技術(shù)的飛速發(fā)展，3G生活已經(jīng)走進(jìn)了千家萬戶，4G技術(shù)也已經(jīng)開始嶄露頭角。這些高新技術(shù)使人們工作更加快捷，生活更為便利，同時(shí)對處于弱勢群體的聾啞人群體也更加關(guān)注。全世界的聽障人士共有5億多［1］，而且正呈現(xiàn)上升趨勢，估計(jì)到2016年全球可能會有7億多聽障人士。在中國，根據(jù)最新的人口普查統(tǒng)計(jì)，目前就有2 075萬人以上的聽障人群，約占中國人口總數(shù)的1.7%［2］。為使他們更好更快地融入到正常社會生活之中，消除健全人士與聾啞人士之間交流的障礙，聾人視覺識別研究已受到國內(nèi)越來越多的專家和學(xué)者關(guān)注。聾啞人主要通過手勢語言［3－4］、肢體動作、面部表情等肢體語言同他人進(jìn)行交流和溝通。然而，手語在健聽人群中的普及度較低，雖然有些健聽人可以看懂一些簡單的肢體語言，但卻遠(yuǎn)遠(yuǎn)達(dá)不到與聾人交流的程度，而在聾人群體中，肢體語言還存在地區(qū)差別［5］、年齡差別［6］等。因此，即使是聾人之間的交流也不十分順暢，這就直接導(dǎo)致了聽障人與其他人(包括健聽人和聽障人)之間的交流障礙，使他們孤立于正常的社會交流之外?；诨ヂ?lián)網(wǎng)思維，人們可借助現(xiàn)代高新的互聯(lián)網(wǎng)技術(shù)、計(jì)算機(jī)技術(shù)和信息技術(shù)，將聽障人的各種肢體語言(包括手形語言，各種面部表情信號等)轉(zhuǎn)換成有聲語音或者文字符號，從而促進(jìn)聽障人士更好更快地融入到正常社會生活，消除聾啞人士與他人之間交流的障礙，提高聾啞人的生活質(zhì)量，真正地實(shí)現(xiàn)融合共生，因此這種思路無疑對聾啞人教學(xué)改革具有重要的社會現(xiàn)實(shí)意義。

二、聾啞人教學(xué)中存在的問題

手語是聽障人士使用的一種肢體語言［7－9］。手語是包括了手勢語言、面部表情信號、眼神信號、頭部以及身體多個(gè)部位動作和姿態(tài)的一個(gè)統(tǒng)稱。真正聽障人士的手語，其自然手語的面部表情非常豐富，手勢的變化也非常復(fù)雜，比健聽人士伴隨說話而產(chǎn)生的簡單肢體語言更具有規(guī)律性、連續(xù)性和精確性，所傳遞給他人的信息也要多得多，具有與口語和書面語言相當(dāng)?shù)男畔⒈磉_(dá)和傳遞能力。此外，在某些場合，手語具有比口語和書面語言更廣泛的適用性，比如，在較遠(yuǎn)的距離，手語傳遞信息的效果更為理想。而且手語受區(qū)域、國度等的限制更小，兩個(gè)只懂自己母語的異地人，用口語交流可能會出現(xiàn)障礙，而用手語交流的聽障人士卻能較快地交換信息。在目前的聾人教育和教學(xué)過程中，存在諸多弊端，主要?dú)w結(jié)為以下幾類問題:

(1)教學(xué)內(nèi)容重點(diǎn)不突出，因手語本身及課堂教學(xué)的局限性，往往省略特殊教育課程用語而強(qiáng)化日常生活用語的教學(xué);

(2)教學(xué)方式單一，傳統(tǒng)手語教學(xué)以詞匯課堂講授為主，缺少多樣化的互動和練習(xí)，以及與聽力障礙人士間的交流實(shí)踐，死記硬背詞匯導(dǎo)致手語學(xué)習(xí)枯燥無味，溝通交流能力得不到提高;

(3)缺乏縱向和橫向銜接的教學(xué)組織模式，致使學(xué)生不知為何而學(xué)，不知如何為用而學(xué)，使手語工具失去生命力，難以用手語與人們進(jìn)行流暢的溝通;

(4)能力評價(jià)方式不科學(xué)，難以采取有效方式對手語應(yīng)用的綜合應(yīng)用能力進(jìn)行評估［10］。

針對上述存在的問題，基于“互聯(lián)網(wǎng)+”的思路，可以開發(fā)聾啞人教學(xué)輔助軟件系統(tǒng)，借助信息技術(shù)解決類似的問題。

三、互聯(lián)網(wǎng)思維的本質(zhì)及應(yīng)用

(一)互聯(lián)網(wǎng)思維本質(zhì)

在信息網(wǎng)絡(luò)時(shí)代，借助微博、微信、視頻等信息傳播工具與人們進(jìn)行交流溝通已經(jīng)成了部分人群的生活常態(tài)，實(shí)際上這也是一種互聯(lián)網(wǎng)思維的應(yīng)用?；ヂ?lián)網(wǎng)思維是一個(gè)多元性的概念，涉及到應(yīng)用的各個(gè)不同方面，互聯(lián)網(wǎng)思維包含了多個(gè)元素，不同的人使用互聯(lián)網(wǎng)思維概念時(shí)可能會有不同的側(cè)重點(diǎn)，它涉及到時(shí)間、空間、媒體與關(guān)系等諸多因素，因此至今也沒有人對互聯(lián)網(wǎng)思維給出一個(gè)完整的定義。一般認(rèn)為互聯(lián)網(wǎng)思維是由眾多點(diǎn)相互連接、非平面、立體化的，無中心與無邊緣的網(wǎng)狀結(jié)構(gòu)，類似于人的大腦神經(jīng)和血管組織的一種思維結(jié)構(gòu)。比如在電腦寫作中，信息載體幾乎沒有空間限制，完全可以突破時(shí)間和邏輯的線性軌道，自由翱翔于思維的廣闊天地，思維不再被強(qiáng)制地運(yùn)行在一個(gè)線性維面上，電子文本可利用“查找”或“定位”功能，超越時(shí)空順序，瞬間到達(dá)具體目標(biāo);超文本的鏈接功能，讓作者可以隨意地從電子文本的一點(diǎn)跳到另一點(diǎn)，從而打破了線性敘事的神圣規(guī)律?！盎ヂ?lián)網(wǎng)+”就是將互聯(lián)網(wǎng)技術(shù)和互聯(lián)網(wǎng)思維應(yīng)用于各個(gè)領(lǐng)域，使得該領(lǐng)域與互聯(lián)網(wǎng)相互結(jié)合形成聚合效應(yīng)，從而促進(jìn)各個(gè)領(lǐng)域與各行各業(yè)的快速發(fā)展。現(xiàn)在“互聯(lián)網(wǎng)+”已經(jīng)成為一種新的發(fā)展趨勢。比如，政府正在推動“互聯(lián)網(wǎng)+”的落實(shí)，“互聯(lián)網(wǎng)+”服務(wù)商正在崛起，最熱門的職業(yè)是“互聯(lián)網(wǎng)+”技術(shù)，“互聯(lián)網(wǎng)+”的職業(yè)培訓(xùn)正在興起，平臺(生態(tài))型電商一再受到熱捧，供應(yīng)鏈平臺更受到重視，O2O已經(jīng)成為“互聯(lián)網(wǎng)+”企業(yè)的首選，創(chuàng)業(yè)生態(tài)及孵化器正在深耕“互聯(lián)網(wǎng)+”，互聯(lián)網(wǎng)企業(yè)正在投資加速對傳統(tǒng)企業(yè)的并購與收購，政府正在促進(jìn)部分互聯(lián)網(wǎng)企業(yè)快速落地等等，上述表明，“互聯(lián)網(wǎng)+”已經(jīng)成為未來發(fā)展的思路與趨勢。

(二)互聯(lián)網(wǎng)思維的應(yīng)用思考

對聾啞人教學(xué)改革而言，互聯(lián)網(wǎng)思維無疑是值得借鑒的。因?yàn)椤盎ヂ?lián)網(wǎng)+”思維的本質(zhì)就是將互聯(lián)網(wǎng)技術(shù)、現(xiàn)代信息技術(shù)、軟件開發(fā)技術(shù)和互聯(lián)網(wǎng)思維等相融合，以實(shí)現(xiàn)具體的教學(xué)目標(biāo)。在聾啞人教學(xué)過程中，可借助“互聯(lián)網(wǎng)+”思維改進(jìn)聾啞人的教學(xué)模式、教學(xué)方法，以促進(jìn)教學(xué)效果的提高。人們常說“十聾九啞”，也就是說，90%的聾人在失去聽力的同時(shí)，也往往失去了言語功能，而人類在接收外界信息的過程中，有70%來源于視覺。因此，對于失去聽覺和言語功能的聾啞人來說，視覺信息的獲取對他們尤其重要。同時(shí)，為了補(bǔ)償聽覺的缺失，更好與外界進(jìn)行信息交流，聾人會從多個(gè)渠道，以多種方式獲取視覺信息，如手語、肢體語言、人臉表情等。針對聾人視覺識別的特點(diǎn)，可以開發(fā)相應(yīng)的聾啞人輔助視覺識別應(yīng)用軟件系統(tǒng)，以解決手語、肢體語言、人臉表情等因環(huán)境復(fù)雜而導(dǎo)致的難于識別的技術(shù)瓶頸，彌補(bǔ)聾啞人的視覺缺陷。與通常視覺識別相比較，聾人的視覺識別主要具有以下特點(diǎn):

(1)聾人視覺識別具有綜合性和多通道獲取信息的特性。聾人的視覺識別包括了手語語言、肢體語言、人臉面部表情等多方面的視覺識別。僅僅只靠其中某種視覺，如手語或肢體語言等的識別，難以幫助聾人較好地理解對方的信息，有時(shí)還可能會生產(chǎn)歧義。

(2)聾人的視覺識別具有區(qū)域性。聾人視覺識別的地方性可能與健聽人在言語交流中交流具有地方性類似。健聽人在言語交流方面具有地方特點(diǎn)，如北京話、廣東話等，聾人由于生長環(huán)境的區(qū)別，作為與外界交流的主要工具，手語也具有典型的地方特點(diǎn)，每個(gè)國家、地區(qū)的手語也具有一定的差異，只是這種差異較健聽人的語言更少一些。

(3)聾人視覺識別具有更多的多義性。由于手語表達(dá)具有一定的局限性，手語的主義單元較之語言來說是相對較少的。手語主要是通過事物形狀，特征或動作的模擬來描述事物或交流信息，但對一些外形較為相似，動作差異較小的事物的描述就存在一定的多義性，可能會導(dǎo)致交流中的歧義。

(4)聾人視覺識別更重視手語與人臉面部表情的融合識別。聾人在交流的過程中，他們的面部表情非常豐富，這有助于讓對方更好地理解他們手語所表達(dá)的含義，尤其是在描述如驕傲、膽怯、勇敢等一些抽象詞匯的交流中，他們會帶有非常強(qiáng)烈的面部表情，讓對方能較好地接收到他們所傳遞的信息，在聾人之間的交流中，讓人真正能體會到“眉飛色舞”的含義。

盡管聾人視覺識別還涉及到心理學(xué)、行為認(rèn)知等多方面的特性，針對聾人視覺識別的典型特點(diǎn)，應(yīng)用現(xiàn)代信息技術(shù)，借助開發(fā)新的聾人輔助識別軟件系統(tǒng)，這些問題還是可以逐步解決的。事實(shí)上，“互聯(lián)網(wǎng)+”思維的研究成果往往體現(xiàn)在具體應(yīng)用對象的軟件開發(fā)上，就聾人視覺識別軟件開發(fā)而言，國內(nèi)外學(xué)者已經(jīng)取得了許多階段性的研究成果。在國外，代表性的有數(shù)據(jù)手套［11］，借助數(shù)據(jù)手套的聾人視覺識別方法，可對手語進(jìn)行識別［12－13］，基于計(jì)算機(jī)視覺和的數(shù)字圖象處理聾人視覺識別［14－16］，以及其他聾人視覺識別方法［17－21］。國內(nèi)研究起步較晚，同樣也取得了不少研究成果，如連續(xù)動態(tài)手勢的時(shí)空表現(xiàn)建模及識別方法，基于多模式接口技術(shù)的聾人與正常人交流系統(tǒng)［22］，基于Hausdorff距離的手勢識別［23］，基于 VRML的中國手語三維顯示［24］，多模式行為協(xié)同韻律模型［25］，虛擬人行為交互方法研究［26］，基于WEB的手語新聞虛擬主持人的研究與實(shí)現(xiàn)［27］，以及基于虛擬人合成技術(shù)的中國手語合成方法［28］等，這些研究成果為聾人手語視頻或圖像識別奠定了良好的基礎(chǔ)。

四、聾人教學(xué)軟件開發(fā)實(shí)例

為了適應(yīng)現(xiàn)代聾人教育教學(xué)改革的新要求，筆者開發(fā)了一套隨堂教學(xué)手語輔助軟件。該軟件可充當(dāng)同聲翻譯角色，或者將手語實(shí)時(shí)地轉(zhuǎn)化為文字符號或語音信息，以彌補(bǔ)手語理解的差異性與某些教師或聽障學(xué)生手語理解與表達(dá)不充分的不足。該系統(tǒng)基于Win7系統(tǒng)，借助matlab2009平臺通過編程實(shí)現(xiàn)，其中手形庫基于《中國手語》中的30個(gè)漢語手指字母語和2 000多個(gè)常用詞匯建立，表情庫建立基于《中國手語》中常用詞匯的表情和用傳感器進(jìn)行自行采用的表情實(shí)現(xiàn)?，F(xiàn)以手語“勇敢”的兩幅人臉表情圖像為例，這兩幅圖像具有不同的光照條件，因此圖像中存在不同程度的扭曲。為了較好地消除光照產(chǎn)生的圖像扭曲，系統(tǒng)對采集到的人臉表情圖像首先進(jìn)行預(yù)處理，計(jì)算圖像的ALBP特征值，進(jìn)行相應(yīng)的表情識別;再將表情識別結(jié)果與手形識別結(jié)果進(jìn)行融合識別，從而得出手語的識別結(jié)果，再與后臺手語模板進(jìn)行匹配，從而將識別結(jié)果轉(zhuǎn)化成手語信息或文字符號。圖1為手語“勇敢”表情經(jīng)教學(xué)手語輔助軟件系統(tǒng)處理后的結(jié)果圖像。從處理結(jié)果可知，它可較好地消除復(fù)雜光照的影響，使兩張?jiān)诓煌庹諚l件的圖像識別結(jié)果視覺差異不大，為系統(tǒng)的初步試驗(yàn)奠定了可靠的應(yīng)用基礎(chǔ)。

圖1 “勇敢”ALBP處理結(jié)果

五、結(jié)束語

在“互聯(lián)網(wǎng)+”思維的啟發(fā)下，手語輔助軟件系統(tǒng)可在聽障人士之間、聽障人士和健聽人士之間搭建立起一個(gè)良好溝通交流的橋梁。輔助軟件可將手語方便地轉(zhuǎn)換為健聽教師或健聽學(xué)生便于彼此理解的語音信息、圖像信息或文字符號，也可將語音信息轉(zhuǎn)換為聽障學(xué)生能理解的手語序列，從而消除教學(xué)過程中的交流溝通障礙。因此，在聾啞人教學(xué)改革中，引入“互聯(lián)網(wǎng)+”的思想有助于提高對聾啞人的教學(xué)效果，這正是聾啞人教學(xué)改革的方向。

［1］ YOOK Y D．Automatic Sound Recognition for the Hearing Impaired［J］．IEEE Transactions on Consumer Electronics，2008，54(4):2029 －2036．

［2］ Http://www．cdpf．com．cn/ggtz/content/2008 － OS/04/content_25053452．htm．

［3］ 游順釗．視覺語言學(xué)論集［C］．北京:語文出版社，1994．

［4］ 趙錫安．中國手語研究［M］．北京:華夏出版社，1999．

［5］ Gestures for Human-Computer Interaction:A Review．IEEE Transactions on Pattern Analysis and Machine Intelligence，1997，19(7):677 － 695．

［6］ 洪卡娜．上海手語類標(biāo)記手形調(diào)查報(bào)告［D］．上海:復(fù)旦大學(xué)，2008．

［7］ 薛玲．上海手語基本手勢的年齡差異［D］．上海:復(fù)旦大學(xué)，2004．

［8］ VASILIKI E，LEONTIOS I．Using sample entropy for automated sign language recognition on SEMG and accelerometer data［J］．Medical and Biological Engineering and Computing，2010，48(3):255 －267．

［9］ 衣玉敏．上海手語語音調(diào)查報(bào)告［D］．上海:復(fù)旦大學(xué)，2008．

［10］張墨．高職院?！笆终Z會話”教學(xué)改革思考與實(shí)踐［J］．職業(yè)與教育，2013(36):132－133．

［11］ GRIMES G J．Digital Data Entry Glove Interface Device［J］．Technical Report US Patent 4，414，537，Bell Telephone Laboratories，1983:1 －10．

［12］ KONG W，RANGANATH S．Signing Exact English(SEE):Modeling and Recognition［J］．Pattern Recognition，2008，41(5):1655 －1669．

［13］ BUI T，NGUYEN L．Recognizing Postures in Vietnamese Sign Language with Mems Accelerometers［J］．IEEE Sensors Journal，2007，7(5):707 －712．

［14］ BAUER B，HIENZ H．Relevant features for video－based continuous sign language recognition［C］．Proceedings of the Fourth International Conference on Automatic Face and Gesture Recognition，2000:440 －445．

［15］ BAUER B，KRAISS K F．Towards an automatic sign language recognition system using subunits［C］//Proc．of the Gesture Workshop．London:ACM Press，2001:64 －75．

［16］ DENG J W，TSUI H T．A two-step approach based on PaHMM for the recognition of ASL［C］．The 5thAsian Conf．Computer Vision，Melbourne，Australia，2002．

［17］ MEKALA Y G，F(xiàn)AN J，DAVARI A．Real-time Sign Language Recognition based on Neural Network Architecture［J］．System Theory，2011:195 －199．

［18］ MUNIB Q，HABEEBA M B，TAKRURIA H A．Al-Maltka．American sign language(ASL)recognition based on Hough transform and neural networks［J］．Expert Syst．App1，2007，32(1):24 －37．

［19］ YANG Q，PENG J．Application of Improved Sing Language Recognition and Synthesis Technology in IB［C］．The 3rd IEEE Conference on Industrial Electronic and Applications，June 2008．

［20］楊全．基于基于7Hu不變矩特征量的中國手指語字母識別算法［D］．西安:西安建筑科技大學(xué)，2007．

［21］ Oya Aran，Thomas Burger，Alice Caplier，Lale Akarun，A belief-based sequential fusion approach for fusing manual signs and non-manual signals［J］．Pattern Recognition，2009，42(5):812 －822．

［22］WEN GAO，JI-YONG MAETAL，HAND TALKER．A multimodal dialog system using sign language and 3-D virtual human［C］．Advances in Multimodal Interfaces，Beijing，China，2000，565 －71．

［23］張良國，吳江琴，高文，等．基于Hausdorff距離的手勢識別［J］．中國圖像圖形學(xué)報(bào)，2002，7(11):1 －7．

［24］ FELS，GLOVE TALK II．Mapping hand gestures to speeeh using neural networks-an approach to building adaptive interfaces［D］．Computer Science Department，University of Torono，Torono 1994．

［25］王兆其，高文．基于虛擬人合成技術(shù)的中國手語合成方法［J］．軟件學(xué)報(bào)，2002，13(10):2051 －2056．

［26］王兆其，高文，陳益強(qiáng)，等．虛擬人行為交互方法研究［J］．系統(tǒng)仿真學(xué)報(bào)，2001，13(4):45 －48．

［27］楊長水，王兆其，高文．基于WEB的手語新聞虛擬主持人的研究與實(shí)現(xiàn)［J］．系統(tǒng)仿真學(xué)報(bào)，2001(13):408－411．

［28］ HAN J，AWAD G，SUTHERLAND A．Modelling and Segmenting Subunits for Sign Language Recognition Based on Hand Motion Analysis［J］．Pattern Recognition Letters，2009，30(6):623 －633．