為了幫助失語者解決溝通障礙,來自北京航空航天大學和清華大學的研究生王娜娜、黃爽,用業(yè)余時間為失語者研制了一款直接將手語轉(zhuǎn)化成語音的翻譯臂環(huán)—“手音”。
這種溝通方式很簡單,比如,演示者用手指向前方,又做出點贊的手勢,文字“你好”就會快速出現(xiàn)在App“手音”的界面上。捕捉手部運動肌電信號的是演示者手臂上戴的黑色臂環(huán),看上去像跑步時用的護腕。
如今,“手音”涵蓋了200個手語動作。為了保證精確度,每一個動作錄制了1000人次。在有了自己的手勢數(shù)據(jù)庫后,團隊還搭建了一個7層BP神經(jīng)網(wǎng)絡(luò)(一種按誤差逆?zhèn)鞑ニ惴ㄓ柧毜亩鄬忧梆伨W(wǎng)絡(luò),是目前廣泛應(yīng)用的神經(jīng)網(wǎng)絡(luò)模型之一)對數(shù)據(jù)速度進行訓練,目前識別準確度已達到95%。
團隊對未來有很多設(shè)想,比如“手音”可以實現(xiàn)面對面聊天和長時間對話的功能;還可以推出手語教學、手語字母和智能臂環(huán),解決手語教師缺乏等問題。