張 巍，賈玉輝，張志楠

（中國海洋大學(xué)信息科學(xué)與工程學(xué)院，山東 青島 266100）

語音識別始于1950年代初，當(dāng)時，貝爾實驗室的Davis等人研究成功了第一個可識別10個英文數(shù)字的語音識別系統(tǒng)-Adudry。1980年代末，美國卡內(nèi)基·梅隆大學(xué)用VQ/HMM方法實現(xiàn)了世界上第一個高性能的非特定人、大字表、連續(xù)語音識別系統(tǒng)—SPHINX［1］。在此期間語音識別處于實驗室研究階段，市場上沒有成型的產(chǎn)品。直到1990年代初，隨著在系統(tǒng)的自適應(yīng)性、參數(shù)提取及優(yōu)化等技術(shù)上取得了一些關(guān)鍵性的進(jìn)展，語音識別技術(shù)進(jìn)一步成熟，并開始向市場提供產(chǎn)品［2］。從此語音識別開始從實驗室逐步走向?qū)嵱谩２⑶?，在一些?yīng)用領(lǐng)域，它正迅速地成為一個關(guān)鍵的、而且具有競爭力的技術(shù)。

從產(chǎn)品的實現(xiàn)平臺上來看，當(dāng)前市場上的語音識別系統(tǒng)主要分為3種：嵌入式的語音識別系統(tǒng)、服務(wù)器模式的語音識別系統(tǒng)及云計算模式的語音識別系統(tǒng)。嵌入式語音識別系統(tǒng)［3］是指應(yīng)用各種先進(jìn)的的微處理器在板級或是芯片級用軟件或硬件實現(xiàn)語音識別技術(shù)。由于嵌入式平臺存儲資源少、性能低、實時性要求高，嵌入式語音識別系統(tǒng)只適合做算法要求相對簡單，對資源的需求較少的語音識別，比如中小詞匯量的命令詞識別等。在服務(wù)器模式的語音識別系統(tǒng)中，終端只負(fù)責(zé)收集和傳導(dǎo)語音信號，由服務(wù)器負(fù)責(zé)完成識別。這種模式可以做高性能的大詞匯量連續(xù)語音識別。并且對于大規(guī)模、多用戶和有大量識別需求的系統(tǒng)，服務(wù)器模式提供了較為有效的解決方法。在一般情況下，服務(wù)器都選擇價格昂貴的巨型機(jī)或者大型機(jī)來充當(dāng)，當(dāng)用戶訪問量較少時，傳統(tǒng)的服務(wù)器模式，完全可以應(yīng)對。但隨著用戶訪問量的增加，所需服務(wù)器數(shù)量也會相應(yīng)增加，在這種情況下，公司的運(yùn)營成本就會急劇攀升。隨著服務(wù)器數(shù)量的增加，服務(wù)器的管理就會變得非常復(fù)雜，并且服務(wù)器數(shù)目擴(kuò)充到一定數(shù)目，就可能會達(dá)到性能瓶頸，使得單純的增加服務(wù)器，對系統(tǒng)性能提升收效甚微。云計算模式的語音識別系統(tǒng)和服務(wù)器模式的語音識別系統(tǒng)類似，主要是有云端負(fù)責(zé)完成識別。相對于傳統(tǒng)的服務(wù)器架構(gòu)，云［4］具有更好的擴(kuò)展性，成本更加低廉，并且可以具有超大規(guī)模，給用戶提供前所未有的計算能力。且不難得知，用來學(xué)習(xí)、訓(xùn)練的樣本數(shù)據(jù)集越大，語音識別系統(tǒng)的性能越好。這就需要解決大數(shù)據(jù)存儲及處理的問題。而云計算恰好能很好的解決這2個問題。云計算技術(shù)和語音識別相融合是1種新的趨勢。但現(xiàn)在基于云計算的語音識別技術(shù)正處于發(fā)展初期，技術(shù)仍未成熟，并且市場上的產(chǎn)品只提供面向通用領(lǐng)域的語音識別服務(wù)。無法對語音識別服務(wù)進(jìn)行定制。

由上可知，嵌入式的語音識別系統(tǒng)功能極其簡單，并且應(yīng)用范圍較窄；服務(wù)器模式的語音識別系統(tǒng)能提供較為復(fù)雜的功能，且可以應(yīng)對較多用戶的請求，但面對海量用戶請求卻無能為力；云計算模式的語音識別系統(tǒng)可以應(yīng)對海量用戶請求，且可以利用海量用戶數(shù)據(jù)優(yōu)化語音識別系統(tǒng)的性能，但由于其尚處于發(fā)展初期，基于云的語音識別服務(wù)提供商尚未提供可定制的語音識別服務(wù)，他們的語音識別模型不能按照用戶的需求而更改，用戶不可根據(jù)自己的實際情況對語音識別模型進(jìn)行定制。如果模型可以定制，就可以提供針對特定領(lǐng)域的語音識別服務(wù)，而無需關(guān)注其他領(lǐng)域，顯然這樣更容易獲取高識別率，更容易滿足特定用戶。針對以上情形，本文提出了1種面向特定領(lǐng)域的云計算方法，并簡單實現(xiàn)了1個云計算架構(gòu)的語音識別系統(tǒng)（Speech Recognition System Based on Cloud Computing，SRSCC），可以對這些領(lǐng)域的用戶提供可定制的語音識別服務(wù)，滿足用戶的個性化需求，改善用戶的使用體驗。

本文首先研究了MapReduce模型，并給出了語音識別的MapReduce流程。然后通過使用開源的流式MapReduce工具-Sector/Sphere［6－8］及主要用于語音識別研究的HTK［9］工具包，實現(xiàn)了語音識別技術(shù)與云計算技術(shù)的融合，即SRSCC系統(tǒng)。并在此基礎(chǔ)之上，給出了語音識別的可定制性方法，使得該系統(tǒng)能為特定領(lǐng)域的用戶提供可定制的服務(wù)。最后，通過實驗評估了系統(tǒng)的性能及系統(tǒng)的可擴(kuò)展性。

1 MapReduce編程模型

1.1 模型介紹

MapReduce［5］是 Google提出的1個編程模型，主要用于大規(guī)模數(shù)據(jù)的并行運(yùn)算，通過將MapReduce模型應(yīng)用到語音識別系統(tǒng)，能加快系統(tǒng)對用戶請求的處理速度。MapReduce是1種處理大規(guī)模數(shù)據(jù)集的編程模型，同時它也是1種高效的任務(wù)調(diào)度模型，它主要有“Map（映射）”和“Reduce（化簡）”2個過程組成，這2個過程構(gòu)成了運(yùn)算基本單元［10－11］。Map函數(shù)用來指定對各分塊數(shù)據(jù)的每一個元素所進(jìn)行的操作，而reduce函數(shù)用來對各分塊數(shù)據(jù)處理的中間結(jié)果進(jìn)行歸約。用戶在設(shè)計分布式程序時，只要實現(xiàn)map和reduce 2個函數(shù)，至于其他細(xì)節(jié)，比如如何將輸入的數(shù)據(jù)分塊、任務(wù)調(diào)度、機(jī)器容錯以及節(jié)點間通信的管理等，都可交由MapReduce框架處理。

MapReduce模型具有具有極強(qiáng)的容錯性。集群中的每個worker節(jié)點會周期性的把完成的工作及狀態(tài)的更新報告發(fā)給master節(jié)點，如果1個worker節(jié)點保持沉默超過1個預(yù)設(shè)的時間間隔，master節(jié)點就會把這個節(jié)點的狀態(tài)改為死亡，并把該worker節(jié)點上執(zhí)行的程序及數(shù)據(jù)遷移到其他worker節(jié)點上重新執(zhí)行。而當(dāng)master節(jié)點出錯時，可以根據(jù)最近的1個檢查點重新選擇1個節(jié)點作為master，并由此檢查點位置繼續(xù)運(yùn)行。

1.2 語音識別的MapReduce過程

隨著語音識別技術(shù)的廣泛應(yīng)用，語音識別必然會面臨海量請求所帶來的挑戰(zhàn)。比如面對億萬用戶的請求如何更快的進(jìn)行處理、響應(yīng)；如何存儲海量用戶數(shù)據(jù)；如何使語音識別模型能處理更大的訓(xùn)練集，以獲得更高的識別率等等。MapReduce是1個可靠地容易進(jìn)行編程操作的大數(shù)據(jù)并行計算模型。如果把MapReduce模型應(yīng)用到語音識別上面，則可以輕松應(yīng)對這些挑戰(zhàn)。

圖1給出了語音識別的1種MapReduce處理過程，圖中的wav11是用戶一上傳的第一個語音文件，wav12是用戶一上傳的第二個語音文件，result11和result22分別是2個語音文件對應(yīng)的識別結(jié)果，user1是用戶一，其他的雷同。這個處理過程顯示的是不同用戶上傳文件，通過MapReduce過程，生成該用戶所上傳語音的結(jié)果集，然后把這個結(jié)果集返給用戶。單個語音的識別結(jié)果在映射這一環(huán)節(jié)得出，然后在化簡環(huán)節(jié)，按照語音文件識別結(jié)果所對應(yīng)的用戶進(jìn)行規(guī)約，最終得到各個用戶所上傳語音的識別結(jié)果集。

圖1 語音識別的MapReduce處理過程Fig.1 MapReduce process of speech recognition

2 SRSCC語音識別系統(tǒng)

2.1 系統(tǒng)組成

SRSCC云端系統(tǒng)架構(gòu)主要包括3個部分：安全服務(wù)器、管理服務(wù)器、及奴隸節(jié)點。安全服務(wù)器主要負(fù)責(zé)維護(hù)用戶賬號、密碼、以及對每個文件或目錄的操作權(quán)限等。它也維護(hù)了1個IP地址列表，用來指出哪些奴隸節(jié)點可以加入系統(tǒng)，從而使非法節(jié)點無法訪問和干擾系統(tǒng)，保證整個系統(tǒng)的安全性。管理服務(wù)器主要主要負(fù)責(zé)維護(hù)存儲文件的元數(shù)據(jù)以及控制所有奴隸節(jié)點的運(yùn)行并且對用戶的請求作出響應(yīng)。管理服務(wù)器可以直接與安全服務(wù)器進(jìn)行通信，從而驗證奴隸節(jié)點和用戶的合法性。奴隸節(jié)點上部署有語音識別環(huán)境，用戶上傳的錄音文件存儲在奴隸節(jié)點上，并且奴隸節(jié)點負(fù)責(zé)識別這些文件，生成識別結(jié)果。

2.2 語音識別的Sphere處理流程

Sphere被用來設(shè)計執(zhí)行用戶自定義函數(shù)。這些函數(shù)并行的以1種流的方式來處理Sector管理的數(shù)據(jù)。這意味著同一個用戶自定義函數(shù)會應(yīng)用到1個數(shù)據(jù)集的每一個數(shù)據(jù)記錄。這個過程是并行的，并且對數(shù)據(jù)集的每一段數(shù)據(jù)記錄的處理是獨立完成的（假若有足夠的處理器可以用）。

圖2 語音識別的Sphere計算范式Fig.2 Computing paradigm of speech recognition

語音識別的Sphere計算范式見圖2，識別請求和Sphere客戶端進(jìn)行通信，Sphere客戶端首先收集有關(guān)輸入流的信息，包括總的大小，文件的數(shù)目等等。其次Sphere客戶端通過尋找和處理函數(shù)同名的動態(tài)鏈接庫文件的方式定位所需服務(wù)的提供者，或者SPEs（Sphere Process Engines，SPE數(shù)據(jù)處理邏輯單位，可以處理1個數(shù)據(jù)段，1組數(shù)據(jù)或者整個文件）。語音識別的動態(tài)鏈接庫文件也存放在Sector系統(tǒng)中?；谶@些信息，Sphere客戶端把輸入流分割成數(shù)據(jù)段（本文中整個語音文件作為1個數(shù)據(jù)段來處理）。通常情況下數(shù)據(jù)段的數(shù)目要遠(yuǎn)大于SPEs的數(shù)目。在開始的作業(yè)中，給每一個SPE分配1個數(shù)據(jù)段并開始進(jìn)行處理。一旦處理過程完成，得出結(jié)果，再給這個SPE分配一個新的數(shù)據(jù)片段來處理。這個結(jié)果流（輸出數(shù)據(jù)）或者返回給用戶，或者寫入存放在Sector的文件中，等待進(jìn)行下一步處理。

2.3 SRSCC系統(tǒng)整體架構(gòu)

在該系統(tǒng)中，用戶不與云端服務(wù)器直接交互，由Sphere客戶端充當(dāng)中間媒介。當(dāng)錄好音生成的文件上傳到客戶端時，該客戶端就會登錄到Sector/Sphere云，把文件交予云端服務(wù)器的slave節(jié)點處理。雖然當(dāng)用戶較少時，該架構(gòu)顯得有點繁瑣，但用戶訪問量較大時，它就會發(fā)揮出高效的性能。在master的管理下，云客戶端直接與slave進(jìn)行交互，上傳數(shù)據(jù)。SRSCC語音識別系統(tǒng)整體架構(gòu)流程圖見圖3。

3 可定制性實現(xiàn)

3.1 語音識別的可定制性

圖3 CCSR系統(tǒng)架構(gòu)流程圖Fig.3 Architecture flowchart of CCSR system

所謂可定制性是指用戶可根據(jù)自身的需求，來定制自己所需要的產(chǎn)品和服務(wù)，以滿足自己的個性化需要。比如軟件的可定制性就是指可根據(jù)用戶的具體情況，具體要求來設(shè)計軟件系統(tǒng)，提供相應(yīng)服務(wù)。而語音識別的可定制性，在這里是指，用戶可以根據(jù)自己的實際需要來定制語音識別模型。通用的語音識別器，例如Google的語音搜索，用戶只能用來做識別，而不可能更改它的語言模型（Language Model）和聲學(xué)模型（Acoustic Model）。但可定制的語音識別器，可以更改語音模型和聲學(xué)模型。比如一些特定領(lǐng)域的用戶，只需使用自己特定領(lǐng)域的語音來進(jìn)行訓(xùn)練，無需關(guān)注其他領(lǐng)域的語音。這樣可使語音識別模型的生成變得更加簡單和高效。并且在一般情況下比通用領(lǐng)域的語音識別識別模型具有更高的識別率。先前做過1個實驗。只針對菜名進(jìn)行訓(xùn)練，得到1個只識別菜名的模型。經(jīng)過測試發(fā)現(xiàn)，這個只面向菜名的語音識別器對菜名語音的識別正確率為87%，而Google語音搜索對菜名的識別正確率只有44%。

3.2 實現(xiàn)方法

針對有特殊需求，需要定制語音識別模型的用戶，本文在Sector系統(tǒng)中為其創(chuàng)建對應(yīng)的文件夾，以存放用戶自己的語音識別模型?？梢酝ㄟ^以下2個途徑來實現(xiàn)語音識別模型的可定制性。一是用戶可以自己上傳語音識別模型到指定的文件夾下。由于本系統(tǒng)的語音識別環(huán)境是用HTK搭建的，而使用HTK生成語音識別模型有相對統(tǒng)一的規(guī)范。所以用戶可以使用HTK來錄制自己本領(lǐng)域的錄音訓(xùn)練樣本，并訓(xùn)練生成用來做語音識別的隱馬爾科夫模型，然后上傳到云端。當(dāng)用戶進(jìn)行語音識別時，云端可根據(jù)用戶的IP地址找到其對應(yīng)文件夾下的語音識別模型進(jìn)行識別。二是用戶可以指定自己語音識別模型的識別范圍。當(dāng)使用語音識別模型進(jìn)行識別時只針對識別范圍內(nèi)的語音進(jìn)行加強(qiáng)，從而逐步達(dá)到用戶對特定領(lǐng)域語音進(jìn)行識別的要求。

4 實驗評估

實驗室先前實現(xiàn)了1個C/S架構(gòu)的語音識別系統(tǒng)。下面做了2個實驗，一個是云架構(gòu)的語音識別系統(tǒng)和傳統(tǒng)的C/S架構(gòu)的語音識別系統(tǒng)進(jìn)行對比，證明云架構(gòu)的語音識別系統(tǒng)在用戶請求數(shù)較大時有更好的表現(xiàn)；另一個是云架構(gòu)語音識別系統(tǒng)內(nèi)的對比，通過運(yùn)行不同的slave節(jié)點數(shù)，證明云架構(gòu)語音識別系統(tǒng)具有一定的可擴(kuò)展性。由于錄音環(huán)節(jié)，會花費大量時間，且在錄音的過程中，云端和服務(wù)端都處于閑置狀態(tài)，而本實驗的主要目的是測試云端和服務(wù)端的性能。所以為了使云端和服務(wù)端一直運(yùn)行，達(dá)到性能極限，本實驗去掉了錄音環(huán)節(jié)，改為直接上傳已經(jīng)錄好的語音文件。

4.1 實驗環(huán)境

為了驗證SRSCC語音識別系統(tǒng)性能，本文選擇了4臺一般的PC機(jī)搭建了1個較小的Sector/Sphere云計算平臺，詳細(xì)配置見表1。

由表1可知，集群中部署了1個Security Server節(jié)點，1個Master節(jié)點，11個slave節(jié)點。對于C/S架構(gòu)的語音識別系統(tǒng)的服務(wù)器，本文選擇配置最高的PC1來充當(dāng)。

表1 Sector/Sphere集群環(huán)境Table1 Sector/sphere cluster environment

4.2 性能對比

本實驗主要對SRSCC語音識別系統(tǒng)和傳統(tǒng)的C/S架構(gòu)的語音識別系統(tǒng)進(jìn)行對比。所用實驗數(shù)據(jù)為實驗室人員錄制的12 000個菜名錄音文件。實驗場景為每個系統(tǒng)有10個用戶連續(xù)上傳錄音文件，系統(tǒng)對錄音文件進(jìn)行處理，然后返回結(jié)果。通過改變用戶上傳的文件數(shù)量，來得到每個系統(tǒng)對不同數(shù)目請求的時間變化趨勢。然后對這種趨勢進(jìn)行對比，得出最終結(jié)論，具體結(jié)果見圖4。圖中橫軸為每個用戶上傳的文件數(shù)，縱軸為總的處理時間（從上傳第一個文件，到最后一個文件返回結(jié)果）。TRA代表傳統(tǒng)C/S架構(gòu)的語音識別系統(tǒng)，NCC代表云計算架構(gòu)的語音識別系統(tǒng)，即SRSCC語音識別系統(tǒng)。由圖可知，雖然剛開始用戶請求量較少時兩者所用時間相差不大，但SRSCC語音識別系統(tǒng)的處理時間增長速率要低于傳統(tǒng)服務(wù)器模式的語音識別系統(tǒng)。并且從圖中可以看出當(dāng)每個用戶的上傳量達(dá)到1 200個時，傳統(tǒng)語音識別系統(tǒng)就遇到了性能瓶頸，時間增長速率出現(xiàn)了拐點。可見看出云架構(gòu)的語音識別系統(tǒng)有效的推遲了拐點的到來。從而可以得出，SRSCC語音識別系統(tǒng)具有更好的性能，更有能力面對大用戶請求挑戰(zhàn)，更符合語音識別的發(fā)展趨勢。

4.3 節(jié)點數(shù)對性能的影響

實驗的數(shù)據(jù)集是12 000個錄音文件，并且只對這些錄音文件進(jìn)行簡單的識別操作。圖5顯示的是識別這12 000個錄音文件所花費的時間受集群節(jié)點數(shù)影響的情況。有圖5可知隨著節(jié)點數(shù)量的增加，識別這12 000個文件所花費的時間在逐漸減少。雖然隨著節(jié)點的增加所用時間減少的速率逐步趨緩，但可以得出隨著數(shù)據(jù)集量的增加，可以通過增加節(jié)點數(shù)來提高語音系統(tǒng)的性能。這也從側(cè)面說明了云計算架構(gòu)的語音識別系統(tǒng)具有一定的可擴(kuò)展性。

圖4 傳統(tǒng)架構(gòu)和云計算架構(gòu)在語音識別上的性能對比Fig.4 Comparison between traditional architecture and cloud architecture in speech recognition

圖5 集群節(jié)點數(shù)量的影響Fig.5 Effect of number of nodes

5 結(jié)語

本文結(jié)合 MapReduce編程模型，利用Sector/Sphere工具實現(xiàn)了SRSCC語音識別系統(tǒng)，并給出了語音識別模型的可定制性方法。實驗表明，SRSCC語音識別系統(tǒng)與傳統(tǒng)服務(wù)器模式的語音識別系統(tǒng)相比，具有更好的性能，更有能力面對大用戶請求所帶來的挑戰(zhàn)。并且該系統(tǒng)具有一定的可擴(kuò)展性。但本文所搭建的云計算系統(tǒng)規(guī)模較小，功能比較簡單，下一步要完善系統(tǒng)的功能，擴(kuò)大系統(tǒng)規(guī)模，從而得到更好的結(jié)果。

［1］Lee K F.Automatic Speech Recognition：The Development of the Sphinx System［M］.Boston：Kluwer Academic Publishers，1989.

［2］劉加.漢語大詞匯量連續(xù)語音識別系統(tǒng)研究進(jìn)展［J］.電子學(xué)報，2000，28（1）：85-91.

［3］方敏，浦劍濤.嵌入式語音識別系統(tǒng)的研究和實現(xiàn)［J］.中文信息學(xué)報，2004（6）：73-75.

［4］Michael Armbrust，Armando Fox，Rean Grith，et al.Above the clouds：A berkeley view of cloud computing［R］.Technical Report UCB/EECS-2009-28，EECS Department，University of California，Berkeley，2009.

［5］Dean J，Ghemawat S.MapReduce：Simplified data processing on large clusters［C］.//Proc of the 6th Symp on Operating System Design and Implementation，Berkeley：USENIX Association，2004：137-150.

［6］Robert Grossman，Yunhong Gu.Data Mining Using High Performance Data Clouds：Experimental Studies Using Sector and Sphere［C］.SIGKDD 2008，Las Vegas：NV，2008.

［7］Yunhong Gu，Li Lu，Robert Grossman，et al.Processing Massived Sized Graphs using Sector/Sphere，3rd Workshop on Many－Task Computing on Grids and Supercomputers［C］.co-located with SC10，LA：New Orleans N，2010：15.

［8］Yunhong Gu，Robert Grossman.Sector and Sphere：The design and implementation of a high performance data cloud［J］.Theme Issue of the Philosophical Transactions of the Royal Society A：Crossing Boundaries：Computational Science，E-Science and Global E-Infrastructure，2009，v 367（1897）：2429-2445.

［9］Young S J，Evermann G，Gales M J F，et al.PC （2006）The HTK Book Version 3.4［M］.Cambridge：Cambridge University Engineering Department，2006.

［10］Dean J，Ghemawat S.Distributed Programming With MapReduce［M］.//Oram A，Wilson G，eds.Beautiful Code，Sebastopol：O’Reilly Media Inc，2007：371-384.

［11］Dean J，Ghemawat S.MapReduce：a flexible data processing tool［J］.Communications of the ACM，2010，53（1）：72-77.