陳 艷，李圖雅，馬志強，2，謝秀蘭，王洪彬

(1.內(nèi)蒙古工業(yè)大學(xué) 數(shù)據(jù)科學(xué)與應(yīng)用學(xué)院,內(nèi)蒙古 呼和浩特 010080；2.內(nèi)蒙古工業(yè)大學(xué) 內(nèi)蒙古自治區(qū)基于大數(shù)據(jù)的軟件服務(wù)工程技術(shù)研究中心,內(nèi)蒙古 呼和浩特 010080)

0 引言

基于深度神經(jīng)網(wǎng)絡(luò)-隱馬爾可夫聲學(xué)模型(Deep Neural Network-Hidden Markov Model，DNN-HMM)是一種主流的語音識別聲學(xué)模型建模方法。基于DNN-HMM聲學(xué)模型訓(xùn)練，首先需要使用傳統(tǒng)混合高斯-隱馬爾可夫模型(Gaussian Mixture-Hidden Markov Model，GMM-HMM)獲取聲學(xué)特征向量對應(yīng)標注狀態(tài)的概率值，即對齊數(shù)據(jù)，然后才能對標注數(shù)據(jù)進行建模，建立標注數(shù)據(jù)與不同狀態(tài)之間的關(guān)系[1-3]。然而，由于GMM模型是多個單高斯模型并排組合形成的淺層網(wǎng)絡(luò)模型[4]，所以在對時域和頻域上分布復(fù)雜的語音數(shù)據(jù)進行建模時，會導(dǎo)致對齊數(shù)據(jù)存在一定的誤差。同時，DNN-HMM聲學(xué)模型的輸入數(shù)據(jù)是語音的切片信息[5-6]，并不是完整的語音信息，沒有考慮到語音的完整性。

近年來，基于端到端(End-to-End)語音識別模型的提出，簡化了DNN-HMM聲學(xué)模型的訓(xùn)練過程，因此基于端到端的語音識別模型成為了研究的熱點模型。Alex Graves 等人使用時序類分類(Connectionist Temporal Classification，CTC)作為目標函數(shù)訓(xùn)練了雙向長短時記憶循環(huán)神經(jīng)網(wǎng)絡(luò)(Bi-directional Long Short-Term Memory, Bi-LSTM)，直接對語音句子進行建模，通過插入blank幀和blank標簽實現(xiàn)聲學(xué)特征到標注數(shù)據(jù)的對齊，完整地實現(xiàn)了從音頻到標注序列的計算過程[7-9]?；贑TC的端到端識別模型主要是對輸入的語音按標注信息進行分類，建模粒子的選擇將會影響識別的性能。

蒙古語語音識別系統(tǒng)聲學(xué)建模過程仍是一個構(gòu)建蒙古語發(fā)音數(shù)據(jù)與標注數(shù)據(jù)之間關(guān)系的過程。然而，在蒙古語中存在著一種異形同音詞的發(fā)音現(xiàn)象。在蒙古語聲學(xué)建模中，由于蒙古語不同詞發(fā)音相同現(xiàn)象，當(dāng)以音素作為建模粒子時，造成蒙古語相同發(fā)音對應(yīng)的標注數(shù)據(jù)相同的結(jié)果，所以，在基于CTC端到端蒙古語聲學(xué)模型訓(xùn)練時很難區(qū)分異形同音詞。同時，在進行蒙古語語音識別的解碼時，通過標注數(shù)據(jù)尋找對應(yīng)的蒙古語詞，也會出現(xiàn)一種一對多的映射現(xiàn)象，造成解碼出的蒙古語文本與原始蒙古語發(fā)音句子文本不匹配，降低了蒙古語語音識別系統(tǒng)的識別率。

本文根據(jù)蒙古語的發(fā)音特點，采用蒙古語字母作為蒙古語聲學(xué)模型的建模粒子，提出了基于端到端的蒙古語異形同音詞聲學(xué)模型建模方法，在建模過程中實現(xiàn)了自動對齊語音數(shù)據(jù)，保證了蒙古語句子的完整性，解決了蒙古語語音識別中的異形同音詞的問題。

1 蒙古語異形同音詞建模粒子

對于蒙古語語音識別中的異形同音詞而言，以蒙古語音素為建模粒子時，構(gòu)成該蒙古語詞的音素序列就會相同，即該蒙古語詞的標注數(shù)據(jù)是相同的，建模過程中蒙古語異形同音詞存在一對多的問題，就無法對異形同音詞進行區(qū)分，如圖1所示。

圖1 以音素標注的蒙古語異形同音詞

圖2 以蒙古語字母為標注的異形同音詞

2 端到端蒙古語聲學(xué)模型

2.1 BLSTM-CTC蒙古語聲學(xué)模型

BLSTM-CTC蒙古語聲學(xué)模型可以直接對原始蒙古語句子進行建模，在建模過程中實現(xiàn)了對語音數(shù)據(jù)的對齊，并且保證了蒙古語句子的完整性。BLSTM-CTC 蒙古語聲學(xué)模型由三層的模型結(jié)構(gòu)M=(TI,TH,TO)組成，其中，TI表示模型輸入層的層模型結(jié)構(gòu)，TH表示隱含層的層模型結(jié)構(gòu)，TO表示模型輸出層的層模型結(jié)構(gòu)，如圖3所示。

圖3 BLSTM-CTC蒙古語聲學(xué)模型

對端到端蒙古語聲學(xué)模型進行設(shè)計。首先是對TI層模型結(jié)構(gòu)進行設(shè)計，由于端到端蒙古語聲學(xué)模型是對整個蒙古語句子進行建模，所以將TI層模型結(jié)構(gòu)中的網(wǎng)絡(luò)節(jié)點設(shè)置為最長蒙古語句子的FBANK蒙古語聲學(xué)特征幀的個數(shù)。其次，是對TH隱含層的層模型結(jié)構(gòu)進行設(shè)計，采用多個BLSTM層堆疊形成TH層模型結(jié)構(gòu)TH=(N,F,P,L)。其中，TH·N表示TH層模型結(jié)構(gòu)中的網(wǎng)絡(luò)節(jié)點，決定存儲著語音的上下文信息的長度；TH·F表示TH層模型結(jié)構(gòu)中的激活函數(shù)，能夠?qū)⑸窠?jīng)網(wǎng)絡(luò)中權(quán)值傳遞進去的結(jié)果轉(zhuǎn)化為分類結(jié)果；TH·P表示TH層模型結(jié)構(gòu)中的參數(shù)矩陣；TH·L表示BLSTM堆疊的層數(shù)，能有效地提取出深層次的蒙古語語音。最后是對TO模型輸出層的層模型結(jié)構(gòu)的設(shè)計，其中，TO層模型結(jié)構(gòu)中的網(wǎng)絡(luò)節(jié)點有兩層設(shè)計，一是將輸入的蒙古語語音特征轉(zhuǎn)化成標注數(shù)據(jù)的后驗概率，該后驗概率是蒙古語語音幀級別的后驗概率；二是整合標注數(shù)據(jù)的后驗概率，形成蒙古語句子標注序列的后驗概率；所以，TO層模型結(jié)構(gòu)中的網(wǎng)絡(luò)節(jié)點的設(shè)計與標注數(shù)據(jù)有關(guān)。

圖3中，BLSTM 模型結(jié)構(gòu)中每一個BLSTM層為一層隱含層，隱含層是由多個BLSTM層堆疊而成的。對于給定輸入的蒙古語聲學(xué)特征數(shù)據(jù)向量x=(x1,x2,…,xt-1,xt)，BLSTM 模型結(jié)構(gòu)通過t=1到t迭代計算隱式向量c=(c1,c2,…,ct)和輸出向量d=(d1,d2,…,dt)，如式(1)、式(2)所示。

其中，xt-1表示t-1時刻的網(wǎng)絡(luò)輸入，dt-1表示t-1時刻的網(wǎng)絡(luò)輸出，F(xiàn)out表示網(wǎng)絡(luò)輸出層，Wic、Wcc、Wco表示權(quán)重矩陣，bc、bo表示偏置向量，σ()表示隱藏層激活函數(shù)。每個隱式cn分別經(jīng)過一個正向的隱含層以及一個反向的隱含層的計算，得到一個匯總的向量結(jié)果，完成一層的 BLSTM層的計算，將計算得到的結(jié)果作為下一層BLSTM的輸入進行計算，以此類推。

2.2 異形同音詞下BLSTM-CTC蒙古語聲學(xué)模型訓(xùn)練

本文將異形同音詞中端到端蒙古語聲學(xué)模型分為兩種，一種是以蒙古語音素為建模粒子構(gòu)建的端到端蒙古語聲學(xué)模型(命名為YBLSTM-CTC蒙古語聲學(xué)模型)，另一種是以蒙古語字母為建模粒子構(gòu)建的端到端蒙古語聲學(xué)模型(命名為ZBLSTM-CTC蒙古語聲學(xué)模型)。

圖4 BLSTM-CTC蒙古語聲學(xué)模型的訓(xùn)練過程

其中，X1與X2是一組蒙古語異形同音詞，{X1,X2,…,Xn}表示輸入BLSTM-CTC蒙古語聲學(xué)模型的訓(xùn)練序列，{Y1,Y2,…,Yn}表示訓(xùn)練序列的標注數(shù)據(jù)，{y1,y2,…,yn}表示訓(xùn)練序列通過BLSTM-CTC蒙古語聲學(xué)模型得到的預(yù)測序列，Um、Vm、Wm分別表示BLSTM-CTC蒙古語聲學(xué)模型經(jīng)過第m次迭代更新后輸入層的權(quán)值、輸出層的權(quán)值和隱含層的權(quán)值，hi表示第i層的BLSTM層。實線表示的是模型訓(xùn)練過程中的正向傳播計算，虛線表示的是模型訓(xùn)練過程中的反向傳播計算。

在YBLSTM-CTC蒙古語聲學(xué)模型的訓(xùn)練過程中，對于給定蒙古語異形同音詞X1與X2而言，可以表示為X1=X2，Y1=Y2。當(dāng)預(yù)測值y1與y2逐漸逼近Y1與Y2，由于Y1=Y2，所以，y1與y2的值幾乎相同；通過預(yù)測值y1與y2反向搜索得到的X1與X2序列對應(yīng)的文本序列就會相同，因此模型無法區(qū)分發(fā)音序列X1與X2所對應(yīng)的文本序列。在對ZBLSTM-CTC蒙古語聲學(xué)模型訓(xùn)練時，對于給定的異形同音詞X1與X2而言，可以表示為X1=X2，Y1≠Y2。因為X1=X2，Y1≠Y2，所以預(yù)測值y1≠y2，通過y1和y2搜索得到發(fā)音序列X1和X2所對應(yīng)的蒙古語文本就不同。

使用ZBLSTM-CTC蒙古語聲學(xué)模型對蒙古語句子建模，可以充分考慮到蒙古語中異形同音詞的上下文信息，在對蒙古語異形同音詞的發(fā)音建模時，很容易生成蒙古語異形同音詞發(fā)音所對應(yīng)的蒙古語字母序列，而這一點對于YBLSTM-CTC蒙古語聲學(xué)模型而言，生成蒙古語異形同音詞發(fā)音所對應(yīng)的蒙古語音素序列仍然相同。所以，ZBLSTM-CTC蒙古語聲學(xué)模型更有利于異形同音詞的識別。

BLSTM-CTC蒙古語聲學(xué)模型的訓(xùn)練算法是采用動量和小批量梯度下降算法結(jié)合的算法，動量的加入能夠加快端到端蒙古語聲學(xué)模型訓(xùn)練的速度，具體訓(xùn)練算法如表1所示。

表1 動量梯度下降算法

3 實驗設(shè)置與評價指標

3.1 實驗設(shè)置

本文實驗中語音數(shù)據(jù)均為8 kHz采樣率、16 bit、單通道的格式，蒙古語文本的存儲格式為UTF-8。本文設(shè)計兩個不同規(guī)模的蒙古語訓(xùn)練集語料庫，一個是句子中含有異形同音詞的蒙古語句子，一共是1 255句(命名為IMUT1255)，另一個語料庫是含有異形同音詞的3 765句蒙古語句子的語料庫，即IMUT3765。其中，IMUT3765是IMUT1255的擴展語料庫。蒙古語測試集采用含有異形同音詞的378句蒙古語語句，命名為IMUT378。IMUT1255、IMUT3765和IMUT378中含有的蒙古語異形同音詞如表2所示。

表2 IMUT1255、IMUT3765、IMUT378蒙古語語料下異形同音詞

實驗中聲學(xué)特征采用的是 40 維的 FBANK 蒙古語聲學(xué)特征。模型訓(xùn)練的epoch =15，batch_size=256，momentum =0.5，初始化學(xué)習(xí)率為0.001 5，采用Relu激活函數(shù)。實驗中BLSTM-CTC蒙古語聲學(xué)模型采用3層雙向BSTM，均包含160個隱藏單元。

為了增加實驗的對比性，本文將DNN-HMM蒙古語聲學(xué)模型、YBLSTM-CTC蒙古語聲學(xué)模型和ZBLSTM-CTC蒙古語聲學(xué)模型進行對比，通過準確性和穩(wěn)定性兩個方面的實驗，驗證本文提出的基于端到端的蒙古語異形同音詞聲學(xué)模型建模方法對蒙古語語音識別中異形同音詞的有效性。

3.2 評價指標

本文使用詞錯率來評價蒙古語語音識別系統(tǒng)識別的準確性，并且使用平均絕對誤差和F1-score評價蒙古語語音識別系統(tǒng)識別的穩(wěn)定性。

詞錯率(wer): 指的是解碼出來的詞與原真實文本做對比，解碼出來正確的句子的個數(shù)占總句子數(shù)的百分比，詞錯率計算如式(3)所示。

wer=(S+I+D)/N*100%

(3)

其中，S表示詞替代(Substitution，S)錯誤、I表示詞的插入(Insertion，I)錯誤和D表示詞的刪除(Deletion，D)錯誤，N表示總蒙古詞的個數(shù)。

異形同音詞的詞錯率(hwer): 指的是解碼出來的異形同音詞本文與原真實文本作對比，解碼出來正確的句子的個數(shù)占總句子數(shù)的百分比，異形同音詞詞錯率計算如式4所示。

hwer=[(HS+HI+HD)/HN]*100%

(4)

其中，HS表示異形同音詞詞替代(Homophone Substitution，HS)錯誤、HI表示異形同音詞詞的插入(Homophone Insertion，HI)錯誤和HD表示異形同音詞詞的刪除(Homophone Deletion，HD)錯誤，HN表示總異形同音詞的個數(shù)。

平均絕對誤差(MAE): 計算解碼出來的詞與原真實值的絕對誤差，從而評價預(yù)測值相對于真實值的波動程度，絕對誤差值越小表示系統(tǒng)識別越穩(wěn)定。平均絕對誤差的計算如式(5)所示。

(5)

其中，N為樣本數(shù)量，Xi為第i個蒙古語樣本的預(yù)測值，X′i為第i個蒙古語樣本的真實值。

F1-score: 是統(tǒng)計學(xué)中的一種評價指標。它可以通過統(tǒng)計出的異形同音詞計算出模型對異形同音詞的識別結(jié)果。F1-score的計算如式(6)所示。

F1=2*TP/(2*TP+FP+FN)

(6)

其中，TP表示預(yù)測值為正，實際值也為正；FP表示預(yù)測值為正，實際值為負；FN表示預(yù)測值為負，實際值為正。

3.3 實驗結(jié)果與分析

本文通過對比DNN-HMM蒙古語聲學(xué)模型、以蒙古語音素為建模粒子的端到端蒙古語聲學(xué)模型(即YBLSTM-CTC)和以蒙古語字母為建模粒子的端到端蒙古語聲學(xué)模型(即ZBLSTM-CTC)的語音識別系統(tǒng)識別效果來說明端到端蒙古語聲學(xué)模型的有效性。

3.3.1 模型準確率分析

本文對比DNN-HMM蒙古語聲學(xué)模型、YBLSTM-CTC蒙古語聲學(xué)模型和ZBLSTM-CTC蒙古語聲學(xué)模型的蒙古語語音識別詞錯率以及異形同音詞的詞錯率，具體實驗結(jié)果如表3、表4所示。

表3 不同聲學(xué)模型下蒙古語語音識別的詞錯率 (單位: %)

表4 不同聲學(xué)模型下蒙古語語音識別異形同音詞的詞錯率 (單位: %)

從表3、表4可以看出，DNN-HMM蒙古語聲學(xué)模型隨著訓(xùn)練集數(shù)據(jù)的增加wer、hwer均降低，但是仍高于端到端聲學(xué)模型下的wer、hwer，表明端到端蒙古語聲學(xué)模型對于語音識別任務(wù)有較好的識別效果。另外，從表3可以看出，在IMUT1255蒙古語語料下，ZBLSTM-CTC蒙古語聲學(xué)模型的wer高于YBLSTM-CTC蒙古語聲學(xué)模型的wer，而在IMUT3765蒙古語語料下，ZBLSTM-CTC蒙古語聲學(xué)模型的wer低于YBLSTM-CTC蒙古語聲學(xué)模型的wer，說明隨著數(shù)據(jù)集的增大ZBLSTM-CTC蒙古語聲學(xué)模型的識別效果更好。從表4可以看出，在IMUT1255和IMUT3765蒙古語語料下，ZBLSTM-CTC蒙古語聲學(xué)模型的hwer均低于YBLSTM-CTC蒙古語聲學(xué)模型，說明ZBLSTM-CTC蒙古語聲學(xué)模型對異形同音詞的識別效果要更好一些。綜合來說，異形同音詞的存在影響了蒙古語語音識別的wer，也說明ZBLSTM-CTC蒙古語聲學(xué)模型更適合對異形同音詞進行建模。

為了說明DNN-HMM、YBLSTM-CTC和ZBLSTM-CTC蒙古語聲學(xué)模型的異形同音詞識別效果對整個蒙古語語音識別效果的影響，本文定義了詞錯誤下降率，如式(7)所示。

詞錯誤下降率=詞錯誤率-異形同音詞的詞錯率

(7)

具體結(jié)果如圖5所示。

圖5 不同蒙古語聲學(xué)模型下異形同音詞識別效果對整個蒙古語語音識別效果的影響

從圖5可以看出，①在IMUT1255蒙古語語料下，在DNN-HMM、YBLSTM-CTC和ZBLSTM-CTC蒙古語聲學(xué)模型下蒙古語的詞錯誤下降率皆為正數(shù)，說明DNN-HMM、YBLSTM-CTC和ZBLSTM-CTC蒙古語聲學(xué)模型的異形同音詞的識別效果對蒙古語語音識別效果產(chǎn)生的是正面影響；②在IMUT3765蒙古語語料下，YBLSTM-CTC蒙古語聲學(xué)模型的詞錯誤下降率為負值，說明YBLSTM-CTC蒙古語聲學(xué)模型的蒙古語語音識別對異形同音詞識別提高了蒙古語語音識別的詞錯率，此時，異形同音詞的識別效果對蒙古語語音識別效果產(chǎn)生的是負面影響。③在不同規(guī)模的蒙古語語料下，ZBLSTM-CTC蒙古語聲學(xué)模型的蒙古語詞錯誤下降率都高于YBLSTM-CTC蒙古語聲學(xué)模型的蒙古語詞錯誤下降率，說明ZBLSTM-CTC蒙古語聲學(xué)模型的蒙古語語音識別在異形同音詞的識別效果方面要優(yōu)于YBLSTM-CTC蒙古語聲學(xué)模型。

3.3.2 模型穩(wěn)定性分析

本文將蒙古語測試集IMUT378整體混洗打亂后，劃分為三個測試集(即IMUT378-1，IMUT378-2，IMUT378-3)，并且分別對測試集IMUT378-1，IMUT378-2，IMUT378-3進行了實驗。實驗結(jié)果如表5所示。

表5 不同聲學(xué)模型下蒙古語語音識別的MAE結(jié)果對比

表5使用MAE評價指標分別對比了不同模型的效果，實驗結(jié)果表明: ①端到端蒙古語聲學(xué)模型在3個測試集上均取得了最優(yōu)的MAE結(jié)果，說明了端到端蒙古語聲學(xué)模型在蒙古語語音識別的穩(wěn)定性方面具有優(yōu)勢；②ZBLSTM-CTC聲學(xué)模型，雖然在IMUT378-1上的MAE值上升，但顯著降低了IMUT378-2、IMUT378-3的MAE值，表明YBLSTM-CTC蒙古語聲學(xué)模型的語音識別系統(tǒng)的穩(wěn)定性遜色于ZBLSTM-CTC蒙古語聲學(xué)模型的語音識別系統(tǒng)。

為進一步說明蒙古語聲學(xué)模型的穩(wěn)定性，采用不同規(guī)模蒙古語數(shù)據(jù)集進行訓(xùn)練，統(tǒng)計IMUT378數(shù)據(jù)集中蒙古語異形同音詞識別的個數(shù)，并對統(tǒng)計結(jié)果使用F1-score進行打分。具體統(tǒng)計結(jié)果如表6所示。

表6 不同規(guī)模訓(xùn)練集下IMUT378數(shù)據(jù)集中異形同音詞的識別結(jié)果

根據(jù)表6，對統(tǒng)計結(jié)果使用F1-score進行打分，結(jié)果如表7所示。

通過表7可以看出: ①采用訓(xùn)練集IMUT3765蒙古語語料庫訓(xùn)練的蒙古語聲學(xué)模型F1-score 始終高于采用訓(xùn)練集IMUT1255訓(xùn)練的蒙古語聲學(xué)模型的F1-score, 說明語料庫規(guī)模越大，蒙古語語音識別系統(tǒng)性能越好；②不論采用哪個語料庫進行訓(xùn)練，ZBLSTM-CTC模型的F1-score值都始終高于YBLSTM-CTC的F1-score值，說明在蒙古語異形同音詞的識別效果方面，ZBLSTM-CTC蒙古語聲學(xué)模型的性能高于YBLSTM-CTC蒙古語聲學(xué)模型。

表7 不同規(guī)模蒙古語數(shù)據(jù)集下蒙古語聲學(xué)模型異形同音詞的F1-score

通過以上實驗結(jié)果可以看到，ZBLSTM-CTC蒙古語聲學(xué)模型穩(wěn)定性明顯高于YBLSTM-CTC蒙古語聲學(xué)模型，說明基于ZBLSTM-CTC蒙古語聲學(xué)模型對異形同音詞的建模能力更為穩(wěn)定。采用蒙古語字母作為端到端蒙古語聲學(xué)模型的建模粒子，可以解決蒙古語語音識別中異形同音詞的識別問題。

4 結(jié)論

針對以蒙古語音素為建模粒子時蒙古語異形同音詞在建模過程中存在一對多的問題，該文提出使用蒙古語字母作為蒙古語聲學(xué)模型的建模粒子，結(jié)合BLSTM-CTC蒙古語聲學(xué)模型、蒙古語字母考慮蒙古語標注信息上的唯一性，使得模型訓(xùn)練過程中實現(xiàn)訓(xùn)練序列和標注序列上的一對一映射。

實驗結(jié)果表明: ①通過對實驗進行對比，ZBLSTM-CTC 蒙古語聲學(xué)模型的F1-score 要更高，且異形同音詞的詞錯誤率要更低，證明了ZBLSTM-CTC 蒙古語聲學(xué)模型對蒙古語異形同音詞的建模效果更好；②在蒙古語識別的準確性和穩(wěn)定性方面，ZBLSTM-CTC蒙古語聲學(xué)模型比YBLSTM-CTC 蒙古語聲學(xué)模型、DNN-HMM蒙古語聲學(xué)模型取得了更好的識別效果，證明了ZBLSTM-CTC在蒙古語語音識別中對異形同音詞識別任務(wù)的優(yōu)越性。綜合可得，ZBLSTM-CTC 蒙古語聲學(xué)模型對蒙古語異形同音詞的建模能力要比 YBLSTM-CTC 蒙古語聲學(xué)模型更好。

然而，目前蒙古語語音識別中異形同音詞識別任務(wù)使用蒙古語字母作為蒙古語聲學(xué)模型建模粒子的BLSTM-CTC蒙古語聲學(xué)模型仍然不能取得很好的識別效果。未來可針對提高識別準確率做進一步研究，提高異形同音詞蒙古語語音識別系統(tǒng)的準確率。