王 輝，努爾麥麥提·尤魯瓦斯,2，吾守爾·斯拉木,2

(1. 新疆大學(xué) 信息科學(xué)與工程學(xué)院，新疆 烏魯木齊 830046;2. 新疆多語(yǔ)種信息技術(shù)重點(diǎn)實(shí)驗(yàn)室，新疆 烏魯木齊 830046)

1 引言

維吾爾語(yǔ)屬阿爾泰語(yǔ)系突厥語(yǔ)族，是維吾爾人所說(shuō)的語(yǔ)言?，F(xiàn)在中國(guó)境內(nèi)官方的維吾爾文是以阿拉伯字母為基礎(chǔ)的，同時(shí)以拉丁維吾爾文作為補(bǔ)充。維吾爾語(yǔ)音素包括8個(gè)元音[a,e,i,o,u,?,ü,?]，及24個(gè)輔音[n,m,l,k,j,h,,g,f,d,,b,?,z,y,x,w,t,?,s,r,q,p,]。隨著維吾爾語(yǔ)語(yǔ)言語(yǔ)音聲學(xué)參數(shù)數(shù)據(jù)庫(kù)的建立，為維吾爾語(yǔ)語(yǔ)音識(shí)別提供了研究基礎(chǔ)，而在維吾爾語(yǔ)語(yǔ)音聲學(xué)特性研究上，已取得一定進(jìn)展，但大都以孤立詞作為研究語(yǔ)料。孤立詞發(fā)音語(yǔ)譜圖清晰，各音素邊界、重音、韻律特征明顯，語(yǔ)速較緩且一致，分析結(jié)果對(duì)大詞匯量連續(xù)語(yǔ)音識(shí)別研究指導(dǎo)意義不大。

本文進(jìn)行維吾爾語(yǔ)連續(xù)語(yǔ)音條件下依照語(yǔ)速分類(lèi)的音素聲學(xué)特征的分析，并將美爾頻率倒譜系數(shù)、共振峰特征、能量特征、特征差分的融合做音素識(shí)別對(duì)比研究，實(shí)驗(yàn)表明，融入共振峰特征后濁音音素的識(shí)別率有了一定的提高，而通過(guò)時(shí)長(zhǎng)的統(tǒng)計(jì)分析并結(jié)合實(shí)驗(yàn)結(jié)果確定的聲學(xué)模型狀態(tài)數(shù)，使得識(shí)別精確率與基線系統(tǒng)相比有了1%以上的提高。不同聲學(xué)特征的分析、融合及模型狀態(tài)數(shù)的確定對(duì)維吾爾語(yǔ)連續(xù)語(yǔ)音識(shí)別聲學(xué)模型的構(gòu)建有著重要的意義。

2 維吾爾語(yǔ)語(yǔ)料庫(kù)

2.1 錄音及數(shù)據(jù)采集方法

一般環(huán)境下(如無(wú)人的教室、辦公室等)錄制朗讀式連續(xù)語(yǔ)音。發(fā)音人是以高中以上學(xué)歷為主的18～30歲男女性成年人，發(fā)音人配置高寶立式麥克風(fēng)，阻抗160om、靈敏度56±3dB、頻率范圍100～16 000Hz。采樣率選擇16KHz，采樣位選擇16Bit。語(yǔ)音數(shù)據(jù)以wav文件格式存儲(chǔ),其音頻格式為PCM。

2.2 手工標(biāo)注語(yǔ)料組成

維吾爾語(yǔ)手工標(biāo)注語(yǔ)料包含400句朗讀式連續(xù)語(yǔ)音，350句女聲，50句男聲，4 477個(gè)單詞，29 030個(gè)音素。400句語(yǔ)音的語(yǔ)速均值為每秒12.27±2.29個(gè)音素。語(yǔ)料中，元音[i]、[a]、[?]出現(xiàn)頻次較高，分別占音素總數(shù)的16.1%、8.62%和6.59%，而[e]、[ü]、[o]在2%左右，[?]最少，占0.84%。輔音中以[l]、[n]、[r]、[t]、[q]出現(xiàn)頻次較高，在3.6%～6.2%之間，[?]、[f]最少，分別占0.04%和0.17%。

2.3 音素標(biāo)注

維吾爾語(yǔ)連續(xù)語(yǔ)音語(yǔ)料庫(kù)的標(biāo)注采用手工標(biāo)注的方式。選用Praat軟件,進(jìn)行詞和音素兩個(gè)層級(jí)的標(biāo)注。元音發(fā)音在語(yǔ)譜圖上呈現(xiàn)出粗黑的橫杠，表明此區(qū)域語(yǔ)音能量較為聚集，故與相鄰區(qū)域有明顯的界限，便于做標(biāo)注。輔音的發(fā)音過(guò)程分為“成阻”、“持阻”、“除阻”三個(gè)階段，塞音和塞擦音音長(zhǎng)包括這三個(gè)階段。而擦音在持阻過(guò)程中發(fā)出聲音。擦音在語(yǔ)譜圖上沒(méi)有除阻的沖直條，從持阻開(kāi)始就表現(xiàn)為送氣形成的亂紋，故沒(méi)有明顯的持阻與除阻的分界點(diǎn)。在標(biāo)注時(shí),輔音將這三個(gè)階段都包括在一個(gè)輔音音素時(shí)長(zhǎng)內(nèi)，而不是只標(biāo)注除阻部分。

3 維吾爾語(yǔ)音素的聲學(xué)特征

3.1 維吾爾語(yǔ)音素共振峰分析

通過(guò)朗讀式連續(xù)語(yǔ)音的標(biāo)注，對(duì)維吾爾語(yǔ)元音和部分濁輔音第一、第二、第三、第四共振峰頻率[1](單位： Hz)進(jìn)行均值、標(biāo)準(zhǔn)差、離散度[2]的統(tǒng)計(jì)分析。傳統(tǒng)語(yǔ)音學(xué)中將一切不帶音的噪音，帶樂(lè)音成分的噪音稱(chēng)為清輔音，將先有阻礙而跟上樂(lè)音的音稱(chēng)為濁輔音。若按音系學(xué)的區(qū)別特征來(lái)分類(lèi)，前者定為“輔音性”，后者定位“元音性”[3]。語(yǔ)譜圖上元音前三共振峰比較清晰，頻率固定。濁輔音只有第一共振峰最清晰，二峰以上較淡。濁輔音是具有共振峰特征的，故本文對(duì)元音及具有“元音性”的濁輔音共振峰頻率做統(tǒng)計(jì)分析(表1)。

由表1可知，元音[u]、[o]舌位靠后且較高，并為圓唇音，故其第一、第二共振峰靠的較近，而第二、第三距離較大。通過(guò)以上統(tǒng)計(jì)結(jié)果，繪制Joos型(F1、F2分別與舌位的高低、前后對(duì)應(yīng))聲學(xué)元音圖。

元音共振峰中[i](圖1陰影區(qū)域)、[ü]、[u]離散度較高，[i]幾乎覆蓋了[e]、[?]、[?]的分布區(qū)域。濁輔音中[l] (圖2陰影區(qū)域)，[y]各共振峰離散度較高，邊音[l]、鼻音[n]、[m]，半元音[w]、鼻音[]重疊程度較高。

圖1 元音Joos型共振峰分布圖

圖2 部分濁輔音Joos型共振峰分布圖

為了探知連續(xù)語(yǔ)音環(huán)境下，語(yǔ)速變化對(duì)各音素聲學(xué)特征的影響， 本文將400句語(yǔ)音分別統(tǒng)計(jì)出其朗讀語(yǔ)速(每秒發(fā)音音素個(gè)數(shù))，通過(guò)K-means做聚類(lèi)，劃分出4個(gè)集合(集合1:每秒發(fā)音個(gè)數(shù)為9.50±0.73，共100句，5 902個(gè)音素；集合2:每秒發(fā)音個(gè)數(shù)為11.33±0.54，共107句，7 575個(gè)音素；集合3:每秒發(fā)音個(gè)數(shù)為13.21±0.59，共118句，9 292個(gè)音素；集合4:每秒發(fā)音個(gè)數(shù)為15.84±0.83，共75句，6 261個(gè)音素)，并選出出現(xiàn)頻次較高、且離散度較低的元音做不同語(yǔ)速下的F1、F2均值分析，結(jié)果如圖3所示。

圖3 不同語(yǔ)速下的元音F1、F2均值

在連續(xù)發(fā)音條件下，當(dāng)語(yǔ)速加快時(shí)，發(fā)音器官的發(fā)音動(dòng)作并未完全到位，便進(jìn)入到下一音素的發(fā)音過(guò)程之中，加之F1與發(fā)音開(kāi)口度成正比關(guān)系、F2與前共振腔面積大小成反比關(guān)系[4]，故如圖3所示，高語(yǔ)速導(dǎo)致了大部分元音F1的降低與F2的升高。

3.2 維吾爾語(yǔ)音素音長(zhǎng)、音強(qiáng)分析

維吾爾語(yǔ)音長(zhǎng)是以10ms為單位，求取音素發(fā)音過(guò)程起止時(shí)間之差，而語(yǔ)音強(qiáng)統(tǒng)計(jì)是以能量均值的方法來(lái)求取發(fā)音時(shí)長(zhǎng)內(nèi)的音強(qiáng)，單位為dB(表2)。

表2 維吾爾語(yǔ)音素的音強(qiáng)及音長(zhǎng)分析

在維吾爾語(yǔ)中，元音音強(qiáng)普遍強(qiáng)于輔音。音長(zhǎng)低于輔音中的送氣音及擦音，與半元音、邊音、鼻音音長(zhǎng)相近，其中[ü]的音長(zhǎng)最短。非爆破輔音中，擦音音強(qiáng)較弱。發(fā)音時(shí)長(zhǎng)與發(fā)音人性別、發(fā)音習(xí)慣及上下文(音素過(guò)渡)有一定關(guān)系，故音長(zhǎng)離散度較大。由統(tǒng)計(jì)結(jié)果可知，元音音強(qiáng)較輔音音強(qiáng)強(qiáng)且與半元音、邊音、鼻音相近。

如圖4所示，通過(guò)對(duì)不同語(yǔ)速下的音素音強(qiáng)離散度分析發(fā)現(xiàn)， 隨著語(yǔ)速的加快音強(qiáng)離散度值呈上升趨勢(shì)，這表明語(yǔ)速越高， 音素音強(qiáng)越不穩(wěn)定，最終可能導(dǎo)致識(shí)別錯(cuò)誤率的提升。

圖4 不同語(yǔ)速下的音強(qiáng)離散度

根據(jù)維吾爾語(yǔ)連續(xù)語(yǔ)音下各元音及部分輔音音素(不包括塞音、塞擦音)共振峰、音強(qiáng)、音長(zhǎng)的不同語(yǔ)速的離散度分析，發(fā)現(xiàn)各音素共振峰、音強(qiáng)、音長(zhǎng)的離散度變化情況基本一致，且在元音范圍內(nèi)表現(xiàn)得尤為明顯。

3.3 維吾爾語(yǔ)塞音、塞擦音的聲學(xué)特征分析

連續(xù)語(yǔ)音環(huán)境下，當(dāng)語(yǔ)速較快時(shí)，語(yǔ)音的緊縮、脫落現(xiàn)象[5]較為嚴(yán)重，造成語(yǔ)譜圖的各音素之間界限模糊，且清輔音與[i]、[u]、[ü]連用時(shí)易產(chǎn)生清化現(xiàn)象。本文從低語(yǔ)速集合1中的100句語(yǔ)音，做輔元(輔音+[a])結(jié)構(gòu)下，依照語(yǔ)譜圖中爆破音沖直條為界限的輔音無(wú)聲空間(GAP)與嗓音起始時(shí)間(VOT)標(biāo)注，并統(tǒng)計(jì)輔音其后接元音F2、F3的均值。

由表3所列統(tǒng)計(jì)結(jié)果發(fā)現(xiàn)，輔音中，濁塞音[b]、[d]比清塞音音強(qiáng)強(qiáng)，但濁塞音[g]較清塞音音強(qiáng)弱。送氣音比不送氣音長(zhǎng)長(zhǎng)，清塞音[p]的GAP最長(zhǎng)，濁塞音[d]的GAP最短，且VOT內(nèi)音強(qiáng)值最大。輔元結(jié)構(gòu)中，清輔音VOT一般為非負(fù)值，而濁輔音VOT為負(fù)值，這與聲帶振動(dòng)產(chǎn)生的濁音流出現(xiàn)在沖直條前后有關(guān)。塞擦音[]、[j]的|VOT|較長(zhǎng)，當(dāng)此二者后接元音[a]時(shí)，導(dǎo)致[a]的F2值，較與其他輔音連用時(shí)高。由輔音第一強(qiáng)頻區(qū)與后接元音第二共振峰的關(guān)系可知，塞擦音[]、[j]的強(qiáng)頻集中區(qū)頻率較高，其過(guò)渡音征為降渡。濁塞音[d]后接元音[a]的F2最低，故此過(guò)渡音征為升渡。

4 音素識(shí)別實(shí)驗(yàn)及結(jié)果分析

表3 維吾爾語(yǔ)塞音、塞擦音聲學(xué)特征分析

本文利用基于隱馬爾可夫模型(HMM)的HTK (HMMToolKit)[1]工具，提取美爾頻率倒譜系數(shù)(MFCC)，幀能量及其一階、二階差分，共39維的聲學(xué)特征，并以 400句手工標(biāo)注語(yǔ)料生成種子模型[6]，之后加入1 200非手工標(biāo)注的語(yǔ)料做聲學(xué)模型訓(xùn)練，測(cè)試數(shù)據(jù)包括400句朗讀式連續(xù)語(yǔ)音，構(gòu)建5狀態(tài)HMM基線系統(tǒng)。其中，詞典由32個(gè)音素構(gòu)成，且以基于二元文法的音素網(wǎng)絡(luò)做語(yǔ)言模型，以使識(shí)別時(shí)進(jìn)行音素間競(jìng)爭(zhēng)，而非詞間競(jìng)爭(zhēng)。

4.1 語(yǔ)速對(duì)音素識(shí)別的影響

在連續(xù)發(fā)音的情況下，并不是語(yǔ)速越低，識(shí)別正確率就越高。本文使用四個(gè)不同語(yǔ)速的訓(xùn)練做集內(nèi)測(cè)試集合1、集合2、集合3、集合4的識(shí)別率分別為53.17%、54.3% 48.9%、44.29%。由此可見(jiàn)，每秒發(fā)音個(gè)數(shù)為11.33±0.54的集合2獲得了最高的識(shí)別率。由圖5知，置換錯(cuò)誤(置換錯(cuò)誤=1-刪除錯(cuò)誤-正確率)變化不顯著，但有下降趨勢(shì)，而圖中語(yǔ)速與刪除錯(cuò)的正比關(guān)系，與插入錯(cuò)誤的反比關(guān)系較為明顯。

圖5 不同語(yǔ)速測(cè)試集下的錯(cuò)誤率

4.2 共振峰特征融合

共振峰特征作為反映聲帶振動(dòng)特性的主要特性，對(duì)元音及濁輔音的識(shí)別應(yīng)有一定影響。本文采用線性預(yù)測(cè)編碼(LPC)算法提取語(yǔ)音共振峰特征，包括四維共振峰頻率F1、F2、F3、F4及四維共振峰帶寬B1、B2、B3、B4。連續(xù)語(yǔ)音識(shí)別中常用的美爾頻率倒譜系數(shù)是從人耳的聽(tīng)覺(jué)特征來(lái)考慮的，在有信道噪聲和頻譜失真情況下，MFCC參數(shù)比較穩(wěn)健。特征參數(shù)的一階差分(D)、二階差分(A)反映連續(xù)語(yǔ)音的動(dòng)態(tài)特征，同時(shí)可以抑制平穩(wěn)噪聲。

特征融合是將各種特征(比如MFCC、能量特征(C0)、差分、共振峰特征等)融合成單一矢量，然后送入分類(lèi)器進(jìn)行識(shí)別。通過(guò)將共振峰特征、幀能量特征、靜態(tài)倒譜特征與動(dòng)態(tài)差分特征信息的互補(bǔ)融合，來(lái)驗(yàn)證加入共振峰特征后，對(duì)元音及濁輔音音素識(shí)別的影響(表4)。

4.3 動(dòng)態(tài)特征融合及狀態(tài)數(shù)確定

表4 共振峰特征融合后部分濁音識(shí)別率

由上文表2知維吾爾語(yǔ)音素的發(fā)音時(shí)長(zhǎng)特征長(zhǎng)短不一，且離散度較高，故有一定的區(qū)分性，本文通過(guò)HMM狀態(tài)數(shù)的改變將時(shí)長(zhǎng)特征融入語(yǔ)音識(shí)別過(guò)程中，通過(guò)表2的統(tǒng)計(jì)分析，確定了初始狀態(tài)數(shù)的分布。之后通過(guò)識(shí)別結(jié)果的混淆矩陣中，音素刪除錯(cuò)誤及插入錯(cuò)誤發(fā)生的概率，進(jìn)行了部分調(diào)整，識(shí)別率最高時(shí)各音素的狀態(tài)數(shù)見(jiàn)表5。本文還通過(guò)對(duì)共振峰頻率及帶寬求取動(dòng)態(tài)差分特征，并以不同的組合形式進(jìn)行特征融合，結(jié)果見(jiàn)表6，其后三列為修改狀態(tài)數(shù)后的特征融合識(shí)別結(jié)果。

表5 維吾爾語(yǔ)易混淆音素對(duì)

續(xù)表

表6 加入共振峰動(dòng)態(tài)特征及狀態(tài)數(shù)修改后實(shí)驗(yàn)結(jié)果

基于MFCC_C0_D_A特征的音素識(shí)別，在改變各音素模型狀態(tài)數(shù)后，音素識(shí)別精確率(考慮插入錯(cuò)誤對(duì)識(shí)別結(jié)果的影響)由49.92%提高至51.78%。而基于MFCC_C0_D_A_F1～F2的音素識(shí)別精確率由48.40%提高至50.40%。特征的融合從某種程度上可提高語(yǔ)音識(shí)別率，但是隨著特征維數(shù)的增多，帶來(lái)的運(yùn)算量和復(fù)雜性是不可避免的，特征的直接疊加會(huì)使特征維數(shù)、冗余性增加，可能導(dǎo)致識(shí)別性能的降低。

4.4 混淆矩陣分析

在狀態(tài)數(shù)確定后，做基于MFCC_C0_D_A_F1～F4特征的識(shí)別實(shí)驗(yàn)。通過(guò)產(chǎn)生的混淆矩陣，提取出誤識(shí)別音素?cái)?shù)量所占此音素總數(shù)的百分比值較高的音素(誤識(shí)率3%以上)做統(tǒng)計(jì)分析。

由表5所列，音素[ü]易被誤識(shí)別為[i]，發(fā)音舌位靠前且偏高，[ü]和[i]的F1、F2離散度較高且共振峰分布圖上分布區(qū)域重疊面積較大，表明此二者音位變體較多；音素[?]易被誤識(shí)別為[?]，舌位較低，音強(qiáng)相近；音素[e]易被誤識(shí)別為[i]，展唇音且舌位非低靠前，共振峰分布圖上[e]幾乎被包含在[i]的分布區(qū)域內(nèi)，[e]也會(huì)因?yàn)槿趸F(xiàn)象而被識(shí)別為[i]；音素[o]易被誤識(shí)別為[u]，圓唇音且舌位靠后，共振峰分布圖上分布區(qū)域重疊面積較大。[i]因?yàn)榘l(fā)音脫落及清化現(xiàn)象，而造成刪除錯(cuò)誤率較高。此外，高元音因?yàn)榘l(fā)音時(shí)舌位較高，且要盡量緊閉，頂住齒齦，造成一定程度發(fā)音阻礙，可能會(huì)被誤識(shí)為輔音。輔音音素中， [m]易被誤識(shí)別為[n]， [b]易被誤識(shí)別為[d]，此二對(duì)發(fā)音方式及部位相似度較高。音素[j]易被誤識(shí)別為[]，同為清擦音，發(fā)音方法相似。輔音弱化現(xiàn)象比較普遍，塞音和塞擦音都有弱化現(xiàn)象或向擦音化發(fā)展的趨勢(shì)[7]。維吾爾輔音音素[r]、[l]、[t]的脫落現(xiàn)象，導(dǎo)致[r]、[l]、[t]識(shí)別結(jié)果中刪除錯(cuò)誤較多。刪除錯(cuò)誤率由大到小依次為[w]，[l]，[ü]，[h]，[r]，[i]，[e]，[]，[p]，[u]，[b]，[o]，[y]，[t]，[k]，[n]，[q]，[]，[m]，[d]，[g]，[s]。

綜上，音素的誤識(shí)別與音素發(fā)音部位，發(fā)音方法的相似程度、語(yǔ)速有關(guān)，還與維吾爾語(yǔ)中音節(jié)的重清讀、元音和諧、輔音的同化及脫落等語(yǔ)音現(xiàn)象有關(guān)。

5 結(jié)論

通過(guò)對(duì)維吾爾語(yǔ)元、輔音，根據(jù)不同語(yǔ)速下聲學(xué)特性的統(tǒng)計(jì)分析，揭示語(yǔ)速的快慢對(duì)音素特征及離散度的影響。在連續(xù)語(yǔ)音條件下，進(jìn)行基于不同聲學(xué)特征的融合及模型狀態(tài)數(shù)修改識(shí)別實(shí)驗(yàn)，其中加入音素發(fā)音時(shí)長(zhǎng)特征的模型狀態(tài)數(shù)確定方法，使維吾爾語(yǔ)音素識(shí)別精確率有了1.86%的提高，加入共振峰特征的濁音音素識(shí)別也有了一定提高。本文還通過(guò)混淆矩陣得到易混淆音素，并做了誤識(shí)別原因分析，為不同語(yǔ)速下MFCC、共振峰、能量、動(dòng)態(tài)聲學(xué)特征的融合改進(jìn)及系統(tǒng)識(shí)別率的提高提供依據(jù)。

[1] Young S, Evermann G, Gales M. The HTK Book [EB/OL]. 2009, http://htk.eng.cam.ac.uk/.

[2] 鮑懷翹，阿西木. 維吾爾語(yǔ)元音的聲學(xué)語(yǔ)音學(xué)分析[J]. 民族語(yǔ)文，1988,(5):4-13.

[3] 吳宗濟(jì)，林茂燦. 實(shí)驗(yàn)語(yǔ)音學(xué)概要[M]. 北京:高等教育出版社， 1989:87-124.

[4] 林燾，王理嘉. 語(yǔ)音學(xué)教程[M]. 北京:北京大學(xué)出版，1992:64-87.

[5] 麥熱哈巴·艾力,姜文斌,吐?tīng)柛ひ啦祭? 維吾爾語(yǔ)詞法中音變現(xiàn)象的自動(dòng)還原模型[J]. 中文信息學(xué)報(bào)，2012，26(1):91-95.

[6] 伊·達(dá)瓦，匂坂芳典，中村哲. 語(yǔ)料資源缺乏的連續(xù)語(yǔ)音識(shí)別方法的研究[J]. 自動(dòng)化學(xué)報(bào)，2010,36(4):550-557.

[7] 趙相如，朱志寧. 維吾爾語(yǔ)簡(jiǎn)志[M]. 民族出版社，1983:4-33.

[8] 那斯?fàn)柦ね聽(tīng)栠d，吾守爾·斯拉木. 基于隱馬爾科夫模型的維吾爾語(yǔ)連續(xù)語(yǔ)音識(shí)別系統(tǒng)[J]. 計(jì)算機(jī)應(yīng)用，2009,29(7):2009-2012.

[9] 祖麗皮亞·阿曼，艾斯卡爾·艾木都拉. 基于音素及其特征參數(shù)的維吾爾語(yǔ)音合成技術(shù)[J]. 中文信息學(xué)報(bào)，2008，22(4):100-104.