国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

基于深度學(xué)習(xí)的地空通信文本命名實(shí)體識(shí)別研究

2021-03-24 09:12:44張興明
現(xiàn)代計(jì)算機(jī) 2021年2期
關(guān)鍵詞:短時(shí)記憶字符命名

張興明

(四川大學(xué)視覺合成圖形圖像技術(shù)國(guó)防重點(diǎn)學(xué)科實(shí)驗(yàn)室,成都610065)

根據(jù)實(shí)際的空中交通管制指令解析任務(wù)需求,進(jìn)行地空通信文本命名實(shí)體識(shí)別研究,用以輔助指令解析任務(wù)。該模型構(gòu)建方法采用雙向的長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)結(jié)合注意力機(jī)制與條件隨機(jī)場(chǎng)模型。雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)進(jìn)行文本的上下文特征信息提??;注意力機(jī)制能夠更多地關(guān)注到與當(dāng)前輸出有關(guān)的信息;條件隨機(jī)場(chǎng)模型能夠?qū)W習(xí)標(biāo)簽之間的約束關(guān)系。在少量的地空通信文本標(biāo)注數(shù)據(jù)上進(jìn)行多組對(duì)比試驗(yàn),實(shí)驗(yàn)結(jié)果證明該方法的有效性,取得較好的識(shí)別結(jié)果,F(xiàn)1值達(dá)到96.61%,可以為指令解析任務(wù)提供輔助信息。

命名實(shí)體識(shí)別;地空通信;深度學(xué)習(xí);注意力機(jī)制

0 引言

在空中交通管制(Air Traffic Control,ATC)中,地空通信(Air-Ground Communication)是管制員對(duì)飛行器進(jìn)行指揮與調(diào)度的唯一途徑,其重要程度不言而喻。對(duì)通信內(nèi)容進(jìn)行實(shí)時(shí)監(jiān)控,及時(shí)發(fā)現(xiàn)錯(cuò)誤指令,能夠有效避免險(xiǎn)情事故發(fā)生。近年來(lái),隨著深度學(xué)習(xí)技術(shù)不斷發(fā)展,國(guó)內(nèi)外都已經(jīng)有研究機(jī)構(gòu)將語(yǔ)音識(shí)別技術(shù)應(yīng)用于空中交通管制語(yǔ)音識(shí)別中[1]。在空中交通管制語(yǔ)音識(shí)別文本基礎(chǔ)上做進(jìn)一步的語(yǔ)義分析與指令提取,可為空中交通管制提供預(yù)警信息,如指令復(fù)誦一致性檢查、相似航班號(hào)檢測(cè)、跑道入侵檢測(cè)等。

命名實(shí)體識(shí)別(Named Entity Recognition,NER)[2]是自然語(yǔ)言處理中一項(xiàng)基礎(chǔ)性關(guān)鍵任務(wù),可為后續(xù)的關(guān)系抽取、事件抽取,語(yǔ)義解析提供關(guān)鍵信息。命名實(shí)體一般指的是文本中具有特定意義或者指代性強(qiáng)的實(shí)體,在地空通信文本中可以將命名實(shí)體類型分為三大類,分別是實(shí)體類、數(shù)字類、指令類。通過(guò)自動(dòng)識(shí)別文本中的相關(guān)實(shí)體,可以為后續(xù)的語(yǔ)義分析和指令提取提供輔助信息。

近年來(lái),基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法在命名實(shí)體識(shí)別任務(wù)中逐漸成為主流方法,相比于另外兩種傳統(tǒng)的識(shí)別方法,它不需要人工制定規(guī)則或人工選取文本特征,可以自動(dòng)學(xué)習(xí)到文本的特征信息。命名實(shí)體識(shí)別可以看做序列標(biāo)注問(wèn)題,Hochreiter等人[3]在1997年提出長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(Long Short-Term Memory,LSTM)在由Alex Graves等人[4]改良后成為一種有效解決序列相關(guān)問(wèn)題的循環(huán)神經(jīng)網(wǎng)絡(luò)模型,被研究人員廣泛應(yīng)用在解決各類序列相關(guān)的問(wèn)題中。同樣,LSTM網(wǎng)絡(luò)也被學(xué)者們廣泛運(yùn)用在命名實(shí)體識(shí)別的任務(wù)中,在不同領(lǐng)域的命名實(shí)體識(shí)別中都取得了較好的識(shí)別效果。Huang等人[5]將雙向的長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)和條件隨機(jī)場(chǎng)模型進(jìn)行結(jié)合,組成BI-LSTM-CRF模型,并與LSTM模型、BI-LSTM模型、LSTM-CRF模型在不同數(shù)據(jù)集上對(duì)比實(shí)驗(yàn),均取得了最優(yōu)的F1分值;Guillaume Lample等人[6]使用基于LSTM-CRF的識(shí)別模型,結(jié)合詞向量的表示方式,在英語(yǔ)、荷蘭語(yǔ)、德語(yǔ)以及西班牙語(yǔ)上都取得了較好的識(shí)別結(jié)果;單義棟等人[7]采用字符向量和詞向量相結(jié)合作為輸入層,隱藏層使用雙向的長(zhǎng)短時(shí)記憶網(wǎng)絡(luò),以此構(gòu)建了軍事文本的命名實(shí)體識(shí)別模型。

1 命名實(shí)體識(shí)別模型構(gòu)建

本文構(gòu)建的地空通信命名實(shí)體識(shí)別模型如圖1所示。該模型主要包括:字符級(jí)輸入層、雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)隱藏層、注意力機(jī)制層、條件隨機(jī)場(chǎng)層。首先將輸入語(yǔ)句按照字符拆分進(jìn)行輸入,在字符級(jí)詞向量輸入層通過(guò)查詢預(yù)訓(xùn)練的字符級(jí)詞向量將其轉(zhuǎn)換為模型的輸入,再通過(guò)隱藏層和注意力機(jī)制層進(jìn)行特征信息提取,最后通過(guò)條件隨機(jī)場(chǎng)進(jìn)行輸出結(jié)果校正得到模型最終的輸出結(jié)果。

圖1 地空通信命名實(shí)體識(shí)別模型

1.1 字符級(jí)輸入層

文獻(xiàn)[8]中提出的Word2Vec工具,讓自然語(yǔ)言處理向前邁了一大步。本文使用的是基于字符的詞向量編碼方式來(lái)表示輸入的語(yǔ)句,即將單個(gè)漢字字符或單個(gè)英文單詞用詞向量的方式來(lái)表示,以此做為命名實(shí)體識(shí)別模型的輸入。

這樣做主要是基于地空通信文本的特點(diǎn)考慮:

(1)地空通信文本中存在大量的漢字?jǐn)?shù)字字符,而這些連續(xù)數(shù)字字符的組合可能表示實(shí)體,若是將數(shù)字組合在一起作為一個(gè)單獨(dú)的詞來(lái)進(jìn)行詞向量表示,則會(huì)在識(shí)別階段出現(xiàn)大量的未登錄詞組,影響模型的識(shí)別性能;

(2)由于地空通信受通信規(guī)則的約束,在地空通信中所用到漢字字符與英文詞匯的總數(shù)量相對(duì)有限,而詞組數(shù)量確是非常龐大的,以字符向量作為輸入能大幅降低對(duì)計(jì)算性能的需求,同時(shí)也能較好地解決未登錄詞組的問(wèn)題。

具體處理過(guò)程如下,將一個(gè)含有n個(gè)字符的語(yǔ)句記做X=(x1,x2,x3,…,xn),其中xi為單個(gè)字符。在大量未標(biāo)注的數(shù)據(jù)集上訓(xùn)練出字符向量Em×d=[e1,e2,e3,…,em],其中m為字典大小,d為字符向量的維度。在輸入句子X=(x1,x2,x3,…,xn)時(shí)通過(guò)查詢xi在Em×d=[e1,e2,e3,…,em]中對(duì)應(yīng)的字符向量ei作為該字符的輸入,對(duì)于那些未出現(xiàn)在字符向量Em×d中的字符,采用隨機(jī)初始化生成。

1.2 Bi-LSTM隱藏層

在地空通信文本命名實(shí)體識(shí)別中,需要識(shí)別的實(shí)體類型較多,且前后字符之間有較強(qiáng)的相關(guān)性。在預(yù)測(cè)當(dāng)前輸入字符的標(biāo)記類型時(shí),正向的LSTM網(wǎng)絡(luò)模型只能捕獲到當(dāng)前輸入字符的前文信息,而無(wú)法獲取到后文信息,這些信息對(duì)預(yù)測(cè)當(dāng)前字符的標(biāo)記類型是不充分的。文獻(xiàn)[9]提出雙向的LSTM網(wǎng)絡(luò)模型(Bidi?rectional LSTMnetworks,Bi-LSTM),該網(wǎng)絡(luò)模型能夠同時(shí)捕獲前后文信息,它相比于正向的LSTM網(wǎng)絡(luò)模型獲取的信息更加充分,理論上Bi-LSTM網(wǎng)絡(luò)模型對(duì)地空通信文本命名實(shí)體識(shí)別是有正向作用的。Bi-LSTM模型結(jié)構(gòu)如圖2所示。

圖2 Bi-LSTM模型結(jié)構(gòu)

1.3 注意力機(jī)制層

在地空通信文本命名實(shí)體識(shí)別中,雖然通過(guò)雙向的長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)已經(jīng)能獲取到前后文信息,但是不是所有的信息都有作用,如“國(guó)航四幺八九成都聯(lián)系地面幺幺九點(diǎn)兩五”,其中“聯(lián)系”一詞的信息對(duì)頻率值“幺幺九點(diǎn)兩五”的識(shí)別更為重要,而“國(guó)航”、“成都”等信息對(duì)頻率值“幺幺九點(diǎn)兩五”的識(shí)別就不是特別的重要,因此引入注意力機(jī)制到別模型中,理論上有助于提高模型識(shí)別效果。

借鑒文獻(xiàn)[10]中所提出的注意力機(jī)制并針對(duì)命名實(shí)體識(shí)別任務(wù)做相應(yīng)的改變,具體結(jié)構(gòu)如圖3所示。

圖3 注意力機(jī)制層結(jié)構(gòu)

注意力機(jī)制層在各時(shí)刻計(jì)算出一個(gè)對(duì)應(yīng)的特征向量Ci,用于表示與當(dāng)前時(shí)刻相關(guān)的記憶信息,其中包含更多與當(dāng)前時(shí)刻有關(guān)聯(lián)的信息,其計(jì)算公式如下:

其中,vij、wij為權(quán)重參數(shù),bij為偏置參數(shù),各時(shí)刻的特征向量Ci由隱藏層輸出結(jié)果[h=[h1,h2,h3,…,hT]和對(duì)應(yīng)時(shí)刻的注意力權(quán)值分布矩陣ai=[ai1,ai2,ai3,…,aiT]進(jìn)行加權(quán)求和所得。最終,在注意力機(jī)制層輸出的結(jié)果為C=[C1,C2,C3,…,CT]。

1.4 CRF解碼層

通過(guò)隱藏層和注意力機(jī)制層的計(jì)算得到了特征張量C=[C1,C2,C3,…,CT],若直接使用特征張量C來(lái)計(jì)算各標(biāo)簽的概率分布,是可以計(jì)算出各時(shí)刻概率最高的的一個(gè)標(biāo)簽,從而得到一個(gè)標(biāo)簽序列,然而這樣的標(biāo)簽序列并不一定是全局最優(yōu)的序列。在命名實(shí)體識(shí)別中各標(biāo)簽之間存在一定的約束關(guān)系,如標(biāo)簽“B-ACID”之后不可能跟的是標(biāo)簽“I-LOC”,同理,標(biāo)簽“B-CODE”之后不可能跟的是標(biāo)簽“I-FREQ”,而條件隨機(jī)場(chǎng)模型(Conditional Random Field,CRF)是可以通過(guò)訓(xùn)練學(xué)習(xí)到這種約束信息,即標(biāo)簽之間的轉(zhuǎn)移概率分布。

為了讓地空通信文本命名實(shí)體識(shí)別模型表現(xiàn)的更好,將條件隨機(jī)場(chǎng)模型作為整個(gè)識(shí)別模型最終的解碼輸出層。條件隨機(jī)場(chǎng)算法對(duì)注意力機(jī)制層輸出的特征張量C進(jìn)行建模,學(xué)習(xí)標(biāo)簽之間的轉(zhuǎn)移概率得分矩陣An×n,其中n為標(biāo)簽類型個(gè)數(shù)。CRF解碼層的具體結(jié)構(gòu)如圖4所示。

圖4 CRF解碼層結(jié)構(gòu)

由CRF解碼層結(jié)構(gòu)可知,預(yù)測(cè)結(jié)果的概率得分可以量化定義如公式(4)所示:

該量化公式由兩部分組成,其中,A表示標(biāo)簽之間的轉(zhuǎn)移概率得分,P表示由特征向量Ci得出標(biāo)簽si的概率得分。記所有的標(biāo)記序列為S,則標(biāo)注序列為s的概率可以采用Softmax函數(shù)進(jìn)行計(jì)算相應(yīng)的概率值,具體計(jì)算公式如公式(5)所示:

訓(xùn)練時(shí),利用訓(xùn)練數(shù)據(jù)集通過(guò)對(duì)數(shù)極大似然估計(jì)得到條件概率模型P(S|C),其損失函數(shù)如公式(6)所示:

預(yù)測(cè)時(shí),給定輸入序列X=(x1,x2,x3,…,xn),首先通過(guò)隱藏層和注意力機(jī)制層計(jì)算得到其特征張量C=[C1,C2,C3,…,CT],然后將其輸入到 條 件 概率模型P(S|C)中使用維特比算法(Viterbi Algorithm)[11]求出概率最大的輸出序列s*=[s1,s2,s3,…,sT],即為最終的標(biāo)注序列。

2 實(shí)驗(yàn)及結(jié)果分析

為驗(yàn)證本文所構(gòu)建的地空通信命名實(shí)體識(shí)別模型的識(shí)別效果,首先采用人工標(biāo)注與核驗(yàn)的方式構(gòu)建實(shí)驗(yàn)數(shù)據(jù)集,確保數(shù)據(jù)集的準(zhǔn)確性;接著搭建對(duì)比模型與地空通信命名實(shí)體識(shí)別模型進(jìn)行對(duì)比試驗(yàn);最后對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行分析。

2.1 實(shí)驗(yàn)數(shù)據(jù)

本文所用實(shí)驗(yàn)數(shù)據(jù)來(lái)源于真實(shí)的中文地空通信語(yǔ)音標(biāo)注文本。本文所采用的標(biāo)注格式為:BIO格式。經(jīng)過(guò)預(yù)處理、人工標(biāo)注、人工核驗(yàn)后得到實(shí)驗(yàn)所用的數(shù)據(jù)集。為準(zhǔn)確有效驗(yàn)證模型的識(shí)別效果,將數(shù)據(jù)集按照7:3的比例隨機(jī)劃分為訓(xùn)練集和測(cè)試集。訓(xùn)練集和測(cè)試集的實(shí)體個(gè)數(shù)統(tǒng)計(jì)如表1所示。

表1 數(shù)據(jù)集中實(shí)體個(gè)數(shù)統(tǒng)計(jì)結(jié)果

2.2 實(shí)驗(yàn)評(píng)價(jià)標(biāo)準(zhǔn)

實(shí)驗(yàn)采用精準(zhǔn)率(P)、召回率(R)和F1值對(duì)識(shí)別結(jié)果進(jìn)行評(píng)價(jià),3種評(píng)價(jià)指標(biāo)的具體計(jì)算公式如下:

其中,m為模型識(shí)別結(jié)果與標(biāo)注一致的實(shí)體個(gè)數(shù),即識(shí)別正確的實(shí)體個(gè)數(shù),n為模型識(shí)別為實(shí)體的總個(gè)數(shù),s為數(shù)據(jù)集中標(biāo)注為實(shí)體的總個(gè)數(shù)。

由于數(shù)據(jù)集中不同類型實(shí)體的數(shù)量分布不均,若是直接采用上述計(jì)算方式得出精準(zhǔn)率(P)和召回率(R),則結(jié)果會(huì)受到某類較多實(shí)體個(gè)數(shù)識(shí)別結(jié)果的影響。為了真實(shí)準(zhǔn)確地評(píng)價(jià)模型識(shí)別結(jié)果,本文采用對(duì)每類實(shí)體賦予相同權(quán)重的方式,用于計(jì)算模型的精準(zhǔn)率(P)、召回率(R)。首先采用公式(7)、(8)計(jì)算出各類型實(shí)體識(shí)別的精準(zhǔn)率(Pi)與召回率(Ri),再進(jìn)行相加求和得到最終結(jié)果。其中n為實(shí)體類型個(gè)數(shù),具體計(jì)算公式如下:

2.3 實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)采用TensorFlow深度學(xué)習(xí)框架搭建識(shí)別模型,總共搭建了4個(gè)模型進(jìn)行實(shí)驗(yàn)。第一組模型以雙向的長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)構(gòu)建而成,作為基準(zhǔn)模型,記為:BiLSTM;第二組模型以雙向的長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)結(jié)合注意力機(jī)制構(gòu)建而成,記為:BiLSTM_ATT;第三組模型以雙向的長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)結(jié)合條件隨機(jī)場(chǎng)模型構(gòu)建而成,記為:BiLSTM_CRF;最后一組是本文所構(gòu)建的識(shí)別模型,記為:BiLSTM_ATT_CRF。

在訓(xùn)練參數(shù)設(shè)置上,為了真實(shí)準(zhǔn)確地對(duì)比四個(gè)模型的識(shí)別效果,公共的訓(xùn)練參數(shù)配置采用相同的參數(shù)大小進(jìn)行試驗(yàn)。具體配置如表2所示。

表2 實(shí)驗(yàn)參數(shù)配置

2.4 實(shí)驗(yàn)結(jié)果及分析

模型訓(xùn)練完成之后,分別在測(cè)試集上進(jìn)行測(cè)試,采用2.2中所提到的公式計(jì)算模型識(shí)別的精準(zhǔn)率(P)、召回率(R)和F1值,各模型整體識(shí)別結(jié)果如表3所示。

表3 模型對(duì)比試驗(yàn)結(jié)果

本文使用BiLSTM模型的測(cè)試結(jié)果作為基準(zhǔn)。BiLSTM_ATT模型與BiLSTM模型相比,在精準(zhǔn)率上提高了0.13%,在召回率上提高了0.49%,相應(yīng)的在綜合性能F1值上有0.31%的提升,說(shuō)明注意力機(jī)制在識(shí)別過(guò)程中是關(guān)注了更多與當(dāng)前輸入有關(guān)的記憶信息,可以將其運(yùn)用到地空通信文本命名實(shí)體識(shí)別模型中,有助于提升模型的識(shí)別效果。

BiLSTM_CRF模型與BiLSTM模型相比,在精準(zhǔn)率上提高了1.01%,在召回率上提高了0.44%,相應(yīng)的在綜合性能F1值上有0.72%的提升,說(shuō)明條件隨機(jī)場(chǎng)模型是學(xué)習(xí)到了標(biāo)簽之間的一定的約束信息,在解碼輸出過(guò)程中使用條件隨機(jī)場(chǎng)模型是有助于進(jìn)一步提升模型的識(shí)別效果。同時(shí),也可以觀察到BiLSTM_CRF在精準(zhǔn)率、F1值兩項(xiàng)指標(biāo)上的提升高于BiLSTM_ATT在這兩項(xiàng)指標(biāo)上的提升,而兩者在召回率上相差不大,說(shuō)明條件隨機(jī)場(chǎng)模型對(duì)提升模型識(shí)別效果所發(fā)揮的作用是大于注意力機(jī)制所發(fā)揮的作用。

本文所構(gòu)建的BiLSTM_ATT_CRF模型與BiLSTM模型相比,在精準(zhǔn)率上提高了0.63%,在召回率上提高了1.28%,相應(yīng)的在綜合性能F1值上有0.96%的提升。BiLSTM_ATT_CRF在精準(zhǔn)率、召回率、F1值三項(xiàng)指標(biāo)上均高于BiLSTM_ATT模型;BiLSTM_ATT_CRF在精準(zhǔn)率上略低于BiLSTM_CRF模型,但在召回率、F1值上均優(yōu)于BiLSTM_CRF模型。F1值是一項(xiàng)綜合反映模型識(shí)別效果的評(píng)價(jià)指標(biāo),故可以表明BiL?STM_ATT_CRF模型的識(shí)別效果是優(yōu)于BiLSTM_ATT模型和BiLSTM_CRF模型。

從以上的分析,可以得出如下結(jié)論:①將注意力機(jī)制引與件隨機(jī)場(chǎng)模型引入到模型中能夠提升模型的識(shí)別效果;②將條件隨機(jī)場(chǎng)與注意力機(jī)制進(jìn)行結(jié)合構(gòu)建的模型識(shí)別效果是最優(yōu)的。從而,說(shuō)明本文構(gòu)建的地空通信命名實(shí)體識(shí)別模型的效果最優(yōu),它能夠提升識(shí)別效果。

3 結(jié)語(yǔ)

本文以雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)模型為基礎(chǔ)結(jié)合注意力機(jī)制與條件隨機(jī)場(chǎng)模型所構(gòu)建的地空通信文本命名實(shí)體識(shí)別模型,考慮了不同位置的字符對(duì)實(shí)體識(shí)別的影響以及前后標(biāo)簽之間的約束關(guān)系,使得模型識(shí)別效果較優(yōu)。在少量的標(biāo)注數(shù)據(jù)就取得了較好的識(shí)別效果。通過(guò)實(shí)驗(yàn)證明了該模型能夠有效解決地空通信文本中命名實(shí)體識(shí)別任務(wù),可以將其運(yùn)用到關(guān)鍵指令信息提取中,輔助指令解析任務(wù)。但目前仍存在以下不足:

(1)根據(jù)實(shí)驗(yàn)結(jié)果顯示,目前在某些實(shí)體類型的識(shí)別上效果并不理想,例如地點(diǎn)(LOC)、速度指令(INS)和航跡指令(INT)等實(shí)體上F1值均低于95%。

(2)在地空通話領(lǐng)域中,某些實(shí)體類型出現(xiàn)頻率較高,某些實(shí)體類型出現(xiàn)頻率較低,導(dǎo)致數(shù)據(jù)集中各類實(shí)體分布不均,訓(xùn)練出的模型也可能受到一定影響。

后續(xù)將針對(duì)以上問(wèn)題,擴(kuò)充數(shù)據(jù)集數(shù)量,并對(duì)數(shù)據(jù)集進(jìn)行優(yōu)化處理,進(jìn)一步改進(jìn)模型結(jié)構(gòu),以到達(dá)實(shí)際應(yīng)用水平。

猜你喜歡
短時(shí)記憶字符命名
基于長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)的動(dòng)力電池剩余容量預(yù)測(cè)方法
尋找更強(qiáng)的字符映射管理器
命名——助力有機(jī)化學(xué)的學(xué)習(xí)
字符代表幾
一種USB接口字符液晶控制器設(shè)計(jì)
電子制作(2019年19期)2019-11-23 08:41:50
消失的殖民村莊和神秘字符
有一種男人以“暖”命名
東方女性(2018年3期)2018-04-16 15:30:02
為一條河命名——在白河源
短時(shí)記憶、長(zhǎng)時(shí)記憶對(duì)英語(yǔ)聽力的影響
短時(shí)記憶理論的影響
资中县| 平阳县| 根河市| 鲁甸县| 济南市| 彭阳县| 泸定县| 和平区| 来凤县| 宜君县| 唐海县| 富裕县| 绥化市| 独山县| 通道| 和林格尔县| 两当县| 江津市| 新宁县| 远安县| 永嘉县| 曲阳县| 呼图壁县| 清河县| 区。| 江门市| 新泰市| 元江| 乐山市| 清河县| 蕲春县| 玛多县| 白城市| 雷山县| 鸡泽县| 图们市| 宜城市| 万盛区| 武城县| 朝阳市| 满城县|