孫亞鵬,海源,徐文權
(1.湖南科技大學,湘潭 411201;2.湖南理工職業(yè)技術學院,湘潭 411104;3.安慶師范大學,安慶 246133)
基于Android移動智能終端的普通話評測App的設計與實現(xiàn)
孫亞鵬1,海源2,徐文權3
(1.湖南科技大學,湘潭 411201;2.湖南理工職業(yè)技術學院,湘潭 411104;3.安慶師范大學,安慶 246133)
開發(fā)一個普通話語音評測App,利用訊飛語音的接口,實現(xiàn)對普通話的智能評測,對每段經過預處理去噪增強的普通話語音進行評測打分,讓普通話學習者能夠在任何時間任何地點無限制的學習普通話,并獲得實時評價和反饋,這將極大地方便廣大普通話的學習者,使得學習者能方便地在有指導、有反饋的狀態(tài)下學習普通話,對個人來說學習效率更加事半功倍,對推廣和普及普通話也有著很大的幫助效果,是一件非常有意義的工作。
湖南省2015年語言文字應用研究專項課題(No.XYJ2015GA01)、湖南省普通高等學校教學改革研究項目(No.2014-281)
普通話的推廣和普及是國家的一項重要工作,如何利用現(xiàn)在大量的智能設備與無線網絡等科技產品來進行普通話的學習和推廣是一項十分有意義的工作[1]。筆者結合自己多年教學管理和計算機教學的經驗,利用無線網絡和智能技術,開發(fā)了一個基于Android移動終端的普通話評測App。
該App通過調用訊飛語音的語言評測接口,使得每次發(fā)音練習可以給出具體的評測分數(shù),給出一個總體評價和每一個音節(jié)的情況,例如多讀了,少讀了,讀錯了等。這些功能對于用戶來說是非常有幫助的,一方面可以了解自己發(fā)音的不足,另一方面又可以根據其進行矯正發(fā)音。每次評測的單詞或句子可以自己設置,句子或單詞的來源是文件,只需要編輯好文件就可以實現(xiàn)特定的單詞句子的評測。有效利用了現(xiàn)今大數(shù)據無線網絡的有利條件來學習和推廣普通話。
利用MyEclipse2014開發(fā),使用Genymotion作為模擬器。MyEclipse是由Eclipse擴展而來,集成了很多的開發(fā)工具,如Java EE、Java SE、C、Maven等[2-3]。功能十分強大,包括可視化開發(fā),所見即所得,代碼自動生成,自動格式化等功能。
科大訊飛語音,語音識別領域的專家,致力于解決人機交互的最佳方案[4-5]。只要能聯(lián)網,就可以通過移動互聯(lián)網,或者互聯(lián)網,在任意地點,任意時間段,使用任意的設備,享受訊飛公司提供的“聽,說,讀,寫……”等多個智能服務?,F(xiàn)在,訊飛開放了多種功能接口給開發(fā)者,包括,語音合成接口,語音喚醒接口,語音識別接口,移動應用接口等多種服務[6-7]。筆者開發(fā)的App在語音識別時調用科大訊飛語音免費接口。
首先通過移動智能終端設備的麥克風,接受語音輸入,考慮到語音輸入時環(huán)境一般不是安靜的,存在噪聲,所以先進行預處理,進行濾波去噪,語音增強,然后將經過預處理的語音文件根據需要,進行普通話評測[8-10]。調用了訊飛提供的免費普通話語音評測接口,將經過預處理的語音文件和文字信息發(fā)送給訊飛免費語音識別接口,訊飛通過對比文字的標準發(fā)音和評測發(fā)音給出反饋評價并發(fā)送回移動智能終端。普通話學習者可以根據反饋回的評價對自己的發(fā)音進行糾正,通過移動網絡,可以在任何時間任何地點獲得實時的輔導。如下圖1所示。
圖1 系統(tǒng)框架圖
在人們進行語言交談溝通的時候,往往大部分時候不是在安靜的場所,一般受到噪聲干擾的影響,這類是場景性的噪聲;另外在語音進行處理、傳送等時候,人們往往都是采取的電子設備,這類設備本身的特性也不是完全理想化的設備,往往帶來一些波動,這也給語音文件帶來了噪聲。這樣語音技術的去噪增強就一一項很有必要和意義的工作。
語音信號的去噪增強技術已經有很多學者專家提出了很多種有效的方法,根據本文所述系統(tǒng)的功能需求和特點,考慮到去噪增強處理的效率和實時性要求,本文選擇使用改進的卡爾曼濾波器進行語音的去噪增強。
當用戶進入到語音識別的功能后,系統(tǒng)加載默認的用來朗讀的評測文字。用戶可以重新選擇加載的文字,再進行評測。
點擊閱讀后系統(tǒng)開始錄音,再次點擊就開始評測,完成后會有詳細的結果給出。詳細的結果在App的中間輸出,對于每個音素都有評價,一個音素占一個格子。不同的評價結果用不同的顏色標注。一次評測結束后,重新選擇源文件。改變待測試的單詞或句子,進行下一次評測。流程圖如圖2所示。
圖2 普通話評測流程圖
按照設計的方案,編寫代碼,實現(xiàn)App。進入普通話評測后,即可對發(fā)送語音進行標準普通話發(fā)音的對比和評價,并且將反饋結果通過移動無線網絡發(fā)回用戶終端,保存顯示。以下是準確、多讀、漏讀、重復度等幾種典型的普通話發(fā)音評測結果的展示:
圖3 準確朗讀 的顯示
圖4 多讀 的顯示
圖5 漏讀 的顯示
圖6 重復讀 的顯示
準確朗讀的情況,在給定的文字的朗讀過程中,正確的朗讀,訊飛語音識別時,將根據情況給出較高的分數(shù)或者滿分,通過無線網絡反饋給智能移動終端,最終在屏幕上反饋給用戶,如圖3。若干個字多讀的情況,在語音識別的過程中,將被識別發(fā)現(xiàn),導致評分降低,如圖4。若干個字漏讀的情況,訊飛語音識別時,將會識別出這種錯誤,導致評分降低,最終在屏幕上反饋給用戶,如圖5。若干個字重負讀的情況,訊飛語音識別時,將會識別出這種錯誤,導致評分降低,通過無線網絡反饋給智能移動終端,最終在屏幕上反饋給用戶,如圖6。根據App的評價,普通話學習者可以及時得到指導和評價,糾正自己的發(fā)音,有利于學習效率的提高。
首先,對App進行分析、研究,制定測試方案和計劃;其次,對測試用例進行設計,設計過程中要考慮配合開發(fā)的整個進度,還有成本等等因素;再次,確認系統(tǒng)錯誤和缺陷,對發(fā)現(xiàn)的錯誤和缺陷形成文本檔案;然后,修改去除錯誤和缺陷,并對修改的部分進行核實和再測試;最后,形成測試報告。
結合本系統(tǒng)的特點和各項實際情況,安排進行了如下測試。以軟件內部邏輯和結構以及具體實現(xiàn)細節(jié)方面為側重的進行了白盒和黑盒測試。以構件和集成功能為側重的進行了單元、集成和系統(tǒng)測試。還有考慮輸入的合法性方面為側重的進行了邊界值的合法性測試。受到筆者個人水平和實際條件的限制,一些測試方法未能進行,已安排和計劃的測試也可能存在不夠完善的地方。測試內容表如表1。
表1 測試內容表
由于在App開發(fā)設計的早期就有了測試的安排,所以在需求分析階段,對形成的需求進行了核查,經過這項工作,發(fā)現(xiàn)了需求分析過程中收集的一些不是太符合現(xiàn)階段國家普通話考試要求和形式的要求,經過修改和再核實后,新的需求更加符合國家普通話考試的培訓和練習。
對各個小功能模塊進行測試的時候,發(fā)現(xiàn)的小問題比較多,但是都不是嚴重的錯誤,基本都是類似數(shù)據格式定義不一致、條件語句邏輯不嚴密、邊界值控制不嚴格等這類問題,在開發(fā)過程中,進行了調試和修改。但是不好的影響是,這類錯誤由于隨手修改好了,并未歸入文檔進行記錄。
在整體測試系統(tǒng)測試階段,集成無線通信和監(jiān)聽通信端口的時候,發(fā)生了一些錯誤,經過查實后發(fā)現(xiàn)是對訊飛的接口調用格式不夠了解所致,經過查閱資料后對格式進行修改后正確,并在修改后再次測試通過。
另外在最后的整體測試中還發(fā)現(xiàn)了一些人機交互不夠人性化的問題,例如在屏幕上顯示的字體過小,看起來比較費力。一些界面沒有返回功能等,這類問題亦經過多次調整修改完善。
在測試過程中發(fā)生的錯誤主要包括了這些方面,需求分析不夠深入全面,對國家普通話考試形式和普通話學習者的學習習慣還沒有全面足夠的掌握;部分模塊的輸入值邊界檢查和控制不夠嚴格;代碼編寫過程當中邏輯思維不夠嚴密,以及編寫的代碼可讀性不夠好;人性化的理念沒有貫穿整個開發(fā)過程當中,造成一些界面編程完畢后又推倒重寫等??偟膩碚f該App基本完成了預期要達到的功能和目的,一些地方還有帶完善和優(yōu)化。
使用Android開發(fā)技術,結合免費的訊飛語音評測和語音輸入接口,完成了這個App的編碼和功能開發(fā)。按照預期,先對錄入的語音信號進行卡爾曼濾波的去噪增強預處理,然后實現(xiàn)了普通話的評測功能,幫助人們糾正發(fā)音,實現(xiàn)了對普通話的評測,打分。具體到每個音節(jié)。包括多讀,少讀,漏讀等。系統(tǒng)完成了預期的功能,但是還有很多改善的地方。第一,可以添加歷史評測記錄,以及錯誤發(fā)音字的準確發(fā)音提示。第二,在使用調查中發(fā)現(xiàn),普通話測試是有一定的固定范圍的,一般是在五十套題目中進行隨機抽取組合,形成一套正式考試的試卷。在國家出版發(fā)行的普通話培訓訓練輔導教材上,大量的講述和覆蓋了這五十套題目。這樣可以考慮在練習過程中加入考試原題,并且模仿考試的隨機抽題組卷模式,在智能終端的題庫中,將五十套題目全部錄入題庫中去。這樣普通話的使用者可以更好地更加真實地進行考試訓練。筆者將在后續(xù)的工作中針對上述問題進一步進行改進,以期更好地滿足用戶需求。
參考文獻:
[1]鄭世杰,張瓏,趙云雪,趙松.基于語音自動評測的普通話學習系統(tǒng)研究[N].哈爾濱師范大學計算機科學與信息工程學院,2014,12.
[2]祖漪清.漢語連續(xù)語音數(shù)據庫的語料設計[N].中國社會科學院語言研究所,1998,3.
[3]文林.基于改進MFCC的語音識別系統(tǒng)研究及設計[D].碩士學位論文,2011,05.
[4]李金領.基于語音評測技術的普通話網絡考試系統(tǒng)實現(xiàn)[D].碩士學位論文,2011,10.
Design and Im p lementation of Mandarin E valuation B ased on Android Mobile I ntelligent T erm inal
SUN Ya-peng1,H AI Yuan2,X U Wen-quan3
(1.Hunan University of Science and Technology,Xiangtan 411201;2.Hunan Polytechnic Vocational College,Xiangtan 411104;3.Anqing Normal University,Anhui,Anqing 246133)
Develops a Mandarin speech evaluation App,uses the speech interface,realizes the intelligent evaluation of Mandarin,Mandarin speech to each section after preprocessing denoising and enhancement of evaluation score,makes Mandarin learners can atany time without lim鄄itation any place of learning Mandarin,and obtains real-time evaluation and feedback,thiswill greatly facilitate themajority of Mandarin learners,so that learners can easily in the guidance,feedback under the condition of learning Mandarin,for the individual learning effi鄄ciency ismore effective,for the promotion and popularization of Putonghua is also a great help,is a verymeaningful job.
孫亞鵬(1981-),男,湖南邵陽人,講師,博士生,從事領域為復雜系統(tǒng)建模與優(yōu)化以及教學信息化
2017-03-21
2017-04-20
1007-1423(2017)13-0055-04
10.3969/j.issn.1007-1423.2017.13.013
卡爾曼濾波;Android;語音識別;普通話評測
Calman Filter;Android;Speech Recognition;Mandarin Evaluation