国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

基于MGCNN 的商品評(píng)論情感分析

2020-10-30 07:58:36徐國(guó)慶程志宇
關(guān)鍵詞:文檔注意力節(jié)點(diǎn)

許 犇,徐國(guó)慶,程志宇,羅 京

武漢工程大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院,湖北 武漢 430205

商品評(píng)論情感分析的主要方法是文本情感分析,文本情感分析[1]又稱(chēng)意見(jiàn)挖掘,是對(duì)大量的個(gè)人發(fā)表的關(guān)于商品、服務(wù)、熱點(diǎn)話(huà)題及社會(huì)事件的觀點(diǎn)進(jìn)行分析,并處理、歸納和推理這些觀點(diǎn)的屬性、情緒、評(píng)價(jià)和態(tài)度。情感分析通過(guò)分析文本中所表達(dá)的不同情緒,根據(jù)它的情感極性進(jìn)行分類(lèi)[2]。情感分析應(yīng)用領(lǐng)域廣泛,例如在商業(yè)領(lǐng)域,公司可以通過(guò)分析用戶(hù)在社交媒體上的反饋和評(píng)論,來(lái)了解用戶(hù)對(duì)產(chǎn)品的評(píng)價(jià)。

文本情感分析的研究方法主要有兩大類(lèi),分別是基于情感詞典的方法和基于機(jī)器學(xué)習(xí)的方法[3]。深度學(xué)習(xí)是一項(xiàng)學(xué)習(xí)數(shù)據(jù)的多層特征或表征的機(jī)器學(xué)習(xí)技術(shù),其在計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別、自然語(yǔ)言處理等諸多領(lǐng)域都有目前最好的成果。近年來(lái),深度學(xué)習(xí)具有諸多領(lǐng)域的應(yīng)用案例,許多學(xué)者也將其應(yīng)用于情感分析問(wèn)題的研究[4]。Mikolov等[5]在文本分類(lèi)的研究中側(cè)重于基于詞嵌入的深度學(xué)習(xí)模型,提出了Word2vec 模型。最近的研究表明,一個(gè)有效的詞嵌入可以使基于深度學(xué)習(xí)的文本分類(lèi)方法的準(zhǔn)確率得到很大的提升[6]。Kim 等[7]使用卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)進(jìn)行句子分類(lèi),將計(jì)算機(jī)視覺(jué)中的CNN 應(yīng)用到了文本分類(lèi)上。Zhang 等[8]設(shè)計(jì)了字符級(jí)CNN,提出一種新的文本處理體系結(jié)構(gòu)并取得良好的效果。Wang 等[9]提出深度耦合形容詞與名詞神經(jīng)網(wǎng)絡(luò)(deep coupled adjective and noun neural network,DCAN)。DCAN 分別將形容詞性文本描述和名詞性文本描述看作兩個(gè)弱監(jiān)督信號(hào),學(xué)習(xí)兩個(gè)中間情感表征,并結(jié)合學(xué)習(xí)的情感表征進(jìn)行情感分類(lèi)。Liu 等[10]使用循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network,RNN)的變種,長(zhǎng)短期記憶網(wǎng)絡(luò)(long short-term memory,LSTM)來(lái)學(xué)習(xí)文本表示。Bahdanau 等[11]最早提出了注意力機(jī)制理論,后續(xù)的研究將注意力機(jī)制作為一個(gè)組成部分添加到各種文本分類(lèi)模型中,使得這類(lèi)模型的表示靈活性和準(zhǔn)確率得到了進(jìn)一步提高。此后Johnson 等[12]提出的基于CNN 的深度金字塔卷積神經(jīng)網(wǎng)絡(luò)(deep pyramid convolutional neural network,DPCNN)和Vaswani等[13]提出的基于注意力機(jī)制的Transformer模型均在文本分類(lèi)問(wèn)題上有突出的表現(xiàn)。盡管上述這些方法可以有效地提取文本局部連續(xù)詞序列的信息,但是容易忽視語(yǔ)料庫(kù)中詞共現(xiàn)信息。

基于圖數(shù)據(jù)的深度學(xué)習(xí)方法也有了較大的發(fā)展。Kipf 和Wlling[14]提出圖卷積網(wǎng)絡(luò)(graph convolutional network,GCN),GCN 與其他圖神經(jīng)網(wǎng)絡(luò)相比會(huì)更加簡(jiǎn)潔高效。許多研究者已將GCN 應(yīng)用于自然語(yǔ)言處理領(lǐng)域,例如Bastings 等[15]將GCN 層合并到標(biāo)準(zhǔn)編碼器中,用于機(jī)器翻譯工作。在最近的研究中,Yao 等[16]將GCN 應(yīng)用到了文本分類(lèi)問(wèn)題上,其結(jié)果相較于其他優(yōu)秀的方法有著顯著的提升。

在使用圖神經(jīng)網(wǎng)絡(luò)處理文本問(wèn)題時(shí),通常是將語(yǔ)料庫(kù)中的單個(gè)文檔或句子當(dāng)作圖的節(jié)點(diǎn)[17]。相反,在構(gòu)建語(yǔ)料庫(kù)圖時(shí),將文檔和單詞都當(dāng)作節(jié)點(diǎn),且沒(méi)有建立文檔和文檔之間的關(guān)系,將其構(gòu)造成一個(gè)大型異構(gòu)文本圖來(lái)利用語(yǔ)料庫(kù)中詞共現(xiàn)信息。首先利用GCN 對(duì)建模好的文本異構(gòu)圖進(jìn)行特征提取,然后在樣本標(biāo)簽的監(jiān)督下,同時(shí)學(xué)習(xí)詞和文檔的分布式表示。在其基礎(chǔ)上添加LSTM 層,可有效地捕捉文本局部連續(xù)詞序列信息。再引入注意力機(jī)制,抓取重要特征并剔除不重要的信息。

本文工作有以下幾點(diǎn):1)探索了在使用GCN利用詞共現(xiàn)信息的基礎(chǔ)上添加傳統(tǒng)的LSTM 并引入注意力機(jī)制以提高模型捕捉文本局部詞序列信息的思路。2)使用該方法進(jìn)行商品評(píng)論情感分析,采用網(wǎng)上公開(kāi)的關(guān)于洗發(fā)水的評(píng)論數(shù)據(jù)集,在正確率和F1值這2 個(gè)指標(biāo)上相較于LSTM 分別提高了2.57% 和2.59% ,與GCN 相比分別提高了0.77% 和0.77% 。

1 MGCNN 引入注意力模型

為了提高文本情感分析的準(zhǔn)確率,本文通過(guò)構(gòu)造文本異構(gòu)圖的方式利用語(yǔ)料庫(kù)中的容易被忽略的全局詞共現(xiàn)信息,提出了記憶圖卷積神經(jīng)網(wǎng)絡(luò)(memory graph convolutional neural network,MGCNN)引入注意力的模型。其網(wǎng)絡(luò)結(jié)構(gòu)圖如圖1 所示。

圖1 模型網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 Network structure diagram of model

整個(gè)模型框架主要由構(gòu)建文本異構(gòu)圖、MGCNN 和注意力機(jī)制3 個(gè)部分構(gòu)成。其中,異構(gòu)文本圖包括文檔節(jié)點(diǎn)和詞節(jié)點(diǎn),這樣的結(jié)構(gòu)可以顯式地表達(dá)語(yǔ)料庫(kù)中的詞共現(xiàn)信息。為了提高網(wǎng)絡(luò)模型捕捉文本中的上下文特征的能力,本文在GCN 的基礎(chǔ)上引入了LSTM,將GCN 層和LSTM 層通過(guò)類(lèi)似殘差網(wǎng)絡(luò)的結(jié)構(gòu)組成了MGCNN,將多層網(wǎng)絡(luò)設(shè)計(jì)成一個(gè)殘差塊可以有效地避免像多層GCN 和LSTM 直接串聯(lián)這種結(jié)構(gòu)產(chǎn)生冗余層,這樣在訓(xùn)練過(guò)程中網(wǎng)絡(luò)可以自行判斷出是冗余層并使其進(jìn)行恒等映射,實(shí)驗(yàn)結(jié)果證明這樣的結(jié)構(gòu)十分有效。引入注意力機(jī)制可以有效地篩選出重要信息。在實(shí)驗(yàn)過(guò)程中,使用Dropout 方法防止過(guò)擬合,提高模型的泛用性。最后通過(guò)Softmax 分類(lèi)器進(jìn)行情感分類(lèi)。

1.1 異構(gòu)文本圖

圖1 中的異構(gòu)文本圖是由文檔節(jié)點(diǎn)(以“S”開(kāi)頭的節(jié)點(diǎn))和詞節(jié)點(diǎn)以及它們間的關(guān)系組成的邊所構(gòu)成的。其中節(jié)點(diǎn)的數(shù)目為語(yǔ)料庫(kù)中的文檔數(shù)目和詞匯量的總和,邊包括詞-文檔邊和詞-詞邊。詞節(jié)點(diǎn)與文檔節(jié)點(diǎn)是根據(jù)某個(gè)詞是否在某個(gè)文檔中出現(xiàn)來(lái)確定是否連接,詞節(jié)點(diǎn)與詞節(jié)點(diǎn)間的邊是根據(jù)某兩個(gè)詞有沒(méi)有同時(shí)出現(xiàn)在同一個(gè)文檔中(詞共現(xiàn)信息)來(lái)確定的。

當(dāng)詞節(jié)點(diǎn)和文檔節(jié)點(diǎn)之間的邊存在時(shí),它們間的權(quán)重設(shè)置為詞頻與逆向文件頻率的乘積。詞頻表示是某一個(gè)給定的詞語(yǔ)在該文檔中出現(xiàn)的頻率:

其中,nij表示詞ti在文檔dj中出現(xiàn)的次數(shù)表示文檔dj中所有詞的數(shù)量之和。

逆向文件頻率是衡量一個(gè)詞語(yǔ)普遍重要性的指標(biāo)。一個(gè)詞語(yǔ)的逆向文件頻率值,由文檔的總數(shù)目除以包含該詞語(yǔ)的文檔的總數(shù)目,再對(duì)其商取對(duì)數(shù)求得:

逆向文件頻率與詞頻的乘積可以用來(lái)量化一個(gè)詞在文檔中的重要程度,其值為:

計(jì)算兩個(gè)詞節(jié)點(diǎn)之間的權(quán)重時(shí)使用點(diǎn)互信息,統(tǒng)計(jì)兩個(gè)詞語(yǔ)在文本中同時(shí)出現(xiàn)的概率,概率越大,其關(guān)聯(lián)度越高:

其中,pi是詞語(yǔ)i出現(xiàn)在語(yǔ)料庫(kù)中的概率;pj是詞語(yǔ)j出現(xiàn)在語(yǔ)料庫(kù)中的概率;pij是詞語(yǔ)i和詞語(yǔ)j在語(yǔ)料庫(kù)中共同出現(xiàn)在同一個(gè)文檔中的概率。

除此之外,這里設(shè)相同點(diǎn)之間的權(quán)重值為1,沒(méi)有連接的點(diǎn)之間的權(quán)重值為0,可得到包含異構(gòu)文本圖中所有節(jié)點(diǎn)關(guān)系的鄰接矩陣A,A∈Rn×n,其中n為文本異構(gòu)圖的節(jié)點(diǎn)數(shù):

1.2 MGCNN 模型

Kipf 等對(duì)GCN 的深入研究表明增加GCN 的層數(shù)并對(duì)文本分類(lèi)效果不佳,本文方法使用了2~3 層GCN。構(gòu)建的文本異構(gòu)圖有n個(gè)節(jié)點(diǎn),每個(gè)節(jié)點(diǎn)都有自己的特征,用一個(gè)d維向量表示,得到特征矩陣X,X∈Rn×d。

將A和X作為輸入通過(guò)GCN,就會(huì)得到

其中,?是A的度矩陣,對(duì)角線(xiàn)上元素依次為各個(gè)頂點(diǎn)的度;H是每一層提取的特征,對(duì)于輸入層,H就是X;σ是非線(xiàn)性激活函數(shù)。

根據(jù)上述公式,第一層GCN 的輸出為H1。接下來(lái)分別將H1作為輸入通過(guò)GCN 層和LSTM 層。

LSTM 有3 個(gè)門(mén),分別稱(chēng)為忘記門(mén)、輸入門(mén)和輸出門(mén)。LSTM 可以通過(guò)這3 個(gè)門(mén)完成刪除信息或者添加信息的功能。LSTM 首先通過(guò)忘記門(mén)來(lái)處理需要丟棄的信息:

下一步是決定添加哪些新的信息。利用ht-1和xt通過(guò)輸入門(mén)來(lái)完成:

根據(jù)上一時(shí)刻的記憶狀態(tài)Ct-1,計(jì)算當(dāng)前的記憶狀態(tài)Ct:

最后計(jì)算輸出門(mén)ot,用來(lái)判斷輸出哪些狀態(tài)特征:

由此,最終的輸出ht:

其中,w f,wi,wc,wo均為權(quán)值矩陣;b f,bi,bc,bo均為偏置向量。

最終,H1通過(guò)第二層GCN 層得到特征H2,H1通過(guò)LSTM 層得到特征ht,兩者維度大小相同,將這兩組特征相加,得到高級(jí)文本特征H。

1.3 注意力模型

在深度學(xué)習(xí)中,注意力機(jī)制的核心目標(biāo)是從大量信息中篩選出對(duì)當(dāng)前任務(wù)目標(biāo)來(lái)說(shuō)更為關(guān)鍵的信息。在MGCNN 提取文本特征后,注意力模型通過(guò)對(duì)不同的文本特征分配不同的注意力權(quán)重來(lái)實(shí)現(xiàn)對(duì)重要信息的篩選,以此提高文本分類(lèi)的準(zhǔn)確率。

注意力層的具體流程如下:

式(13)~(15)中,ut是H的隱層表示;αt是經(jīng)Softmax 函數(shù)處理后的歸一化權(quán)重系數(shù);uw是一個(gè)隨機(jī)初始化的向量;si是第i 個(gè)句子或詞語(yǔ)的向量表示。

2 實(shí)驗(yàn)部分

在實(shí)驗(yàn)中,本文使用標(biāo)記好的商品評(píng)論信息對(duì)MGCNN 模型進(jìn)行測(cè)試。將實(shí)驗(yàn)結(jié)果與現(xiàn)有的一些深度學(xué)習(xí)方法相比較。

2.1 實(shí)驗(yàn)數(shù)據(jù)

實(shí)驗(yàn)所用的數(shù)據(jù)集采用網(wǎng)上公開(kāi)數(shù)據(jù)集,包括在京東網(wǎng)和攜程網(wǎng)上爬取的用戶(hù)對(duì)于衣服和洗發(fā)水的評(píng)論,根據(jù)評(píng)論內(nèi)容中所帶的情感色彩,將其分別打上兩類(lèi)情感標(biāo)簽,積極情感的標(biāo)簽為1,消極情感的標(biāo)簽為0。最終每類(lèi)實(shí)驗(yàn)數(shù)據(jù)都包含5 000 條積極情感文檔和5 000 條消極情感文檔。數(shù)據(jù)集的匯總統(tǒng)計(jì)信息如表1 所示。

表1 實(shí)驗(yàn)數(shù)據(jù)設(shè)置Tab.1 Experimental data setting

2.2 參數(shù)設(shè)置

模型中各層網(wǎng)絡(luò)的超參數(shù)設(shè)置如表2 所示,其中GCN_layer1 層的輸入向量維度為文本圖的總節(jié)點(diǎn)數(shù),表中的12 098 維是衣服評(píng)論數(shù)據(jù)集的輸入向量維度。訓(xùn)練中使用Adam 優(yōu)化器來(lái)對(duì)本模型進(jìn)行最多200 epochs 的訓(xùn)練,如果Loss 連續(xù)20 epochs 都沒(méi)有減小,則提前停止訓(xùn)練。Adam 優(yōu)化器中的超參數(shù)學(xué)習(xí)率設(shè)置為0.02。

表2 模型參數(shù)設(shè)置Tab.2 Model parameters setting

2.3 實(shí)驗(yàn)結(jié)果分析

實(shí)驗(yàn)針對(duì)用戶(hù)對(duì)于衣服和洗發(fā)水的評(píng)論進(jìn)行情感分析,將本文的方法與多種常見(jiàn)的深度學(xué)習(xí)方法相比較。將經(jīng)過(guò)Word2vec 訓(xùn)練的詞向量作為這些網(wǎng)絡(luò)的輸入,設(shè)置以下多組對(duì)比試驗(yàn)。本文在實(shí)驗(yàn)中設(shè)置了固定的隨機(jī)種子,保證每次實(shí)驗(yàn)結(jié)果都是一致的。實(shí)驗(yàn)主要以情感分析結(jié)果的正確率Acc(accuracy)、精度P(precision)、召回率R(recall)和F1值作為評(píng)價(jià)指標(biāo)。

TextCNN[7]:?jiǎn)我坏腡extCNN。

LSTM[10]:?jiǎn)我坏腖STM。

DPCNN[12]:?jiǎn)我坏腄PCNN。

Transformer[13]:基于Google 提出的模型框架。

GCN[16]:兩層GCN。

多組對(duì)比試驗(yàn)如表3 所示,從正確率Acc和F1值兩組數(shù)據(jù)來(lái)看,在衣服評(píng)論數(shù)據(jù)集上,GCN 比DPCNN 的Acc高 約1.31%,與LSTM 相 比,Acc高 約0.52%,F(xiàn)1值達(dá)94.15%,均優(yōu)于這兩個(gè)模型;而TextCNN 和Transformer 網(wǎng)絡(luò)的表現(xiàn)比DPCNN 和LSTM 更差一點(diǎn)。在洗發(fā)水評(píng)論數(shù)據(jù)集上,GCN 比LSTM 的Acc高 約1.80%,比DPCNN 的Acc高 約1.23%,F(xiàn)1值達(dá)93.33%,其精度P 和召回率R 也均比其他傳統(tǒng)方法更優(yōu)。由此可見(jiàn),GCN 在處理商品評(píng)論情感分析問(wèn)題上的效果更好,這是因?yàn)镚CN 對(duì)于文本的全局詞共現(xiàn)信息的利用更加充分。由于GCN 在將數(shù)據(jù)集構(gòu)造成文本異構(gòu)圖的時(shí)候就已經(jīng)對(duì)文本的信息進(jìn)行了歸納和提取,因此GCN的訓(xùn)練時(shí)間也要比傳統(tǒng)深度學(xué)習(xí)方法短很多。

本文的方法與原始的GCN 相比,在衣服評(píng)論數(shù)據(jù)集上,Acc高約0.49%,F(xiàn)1值高約0.50%;在洗發(fā)水評(píng)論數(shù)據(jù)集上,Acc高約0.77%,F(xiàn)1值高約0.77%;本方法在兩個(gè)數(shù)據(jù)集上的精度P 和召回率R 也都比GCN 有提高。從表3 中可以發(fā)現(xiàn)傳統(tǒng)深度學(xué)習(xí)方法中的LSTM 在兩個(gè)數(shù)據(jù)集上均有較好的表現(xiàn),LSTM 可以很好地捕捉文本中的上下文特征,這是GCN 所不擅長(zhǎng)的。本文的方法就是在GCN 的基礎(chǔ)之上巧妙地整合了LSTM 的優(yōu)點(diǎn),同時(shí)引入注意力機(jī)制模型,給所提取到的特征信息分配不同的權(quán)重,來(lái)獲得更重要的局部特征信息。即在網(wǎng)絡(luò)模型分析文本信息時(shí),重點(diǎn)利用文本中可以表現(xiàn)情感的詞語(yǔ)的特征信息,從而達(dá)到提高情感分析準(zhǔn)確率的目的。

表3 對(duì)比實(shí)驗(yàn)結(jié)果Tab.3 Comparison of experimental results

2.4 小數(shù)據(jù)測(cè)試

為了驗(yàn)證在只能夠收集到少量的商品評(píng)論作為數(shù)據(jù)集的情況下,該方法仍有較好的效果。本文設(shè)置了逐漸減少訓(xùn)練集數(shù)量的對(duì)比試驗(yàn),從總數(shù)據(jù)集中隨機(jī)取出1%、5%、10%、20%的樣本作為實(shí)驗(yàn)數(shù)據(jù)集,分別對(duì)應(yīng)4 種不同大小數(shù)據(jù)集的情況。其中,每組都是以實(shí)驗(yàn)數(shù)據(jù)集的80%為訓(xùn)練集,20%為驗(yàn)證集,其余的總數(shù)據(jù)集中的樣本全部作為測(cè)試集。

以衣服評(píng)論數(shù)據(jù)集為基礎(chǔ)的實(shí)驗(yàn)結(jié)果如圖2(a)所示。從驗(yàn)證集的正確率Acc上來(lái)看,在20%數(shù)據(jù)集的情況下,本文方法的Acc比GCN 稍高,與其他方法已經(jīng)拉開(kāi)了差距。并且隨著數(shù)據(jù)集的減少,其正確率下降的趨勢(shì)要更加緩慢。當(dāng)只有1%數(shù)據(jù)集時(shí),本文方法仍有90%左右的正確率。圖2(b)是洗發(fā)水評(píng)論數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果,其中5%數(shù)據(jù)集時(shí),本文方法比GCN 稍低。其余情況下的正確率均要高于其它模型,且更加穩(wěn)定。

總體而言,本文方法在兩個(gè)數(shù)據(jù)集上,使用少量的訓(xùn)練集來(lái)訓(xùn)練就能夠取得較好的分類(lèi)效果。尤其在只有1%數(shù)據(jù)集,約100 個(gè)樣本的情況下,本文方法的正確率要明顯地優(yōu)于其他方法,有較高的實(shí)用性。

圖2 評(píng)論數(shù)據(jù)集小數(shù)據(jù)測(cè)試:(a)衣服,(b)洗發(fā)水Fig.2 Small data test of comment dataset:(a)cloths,(b)shampoos

3 結(jié) 論

本文提出了一種MGCNN 引入注意力機(jī)制的商品評(píng)論文本情感分析方法。將文本信息構(gòu)建成一個(gè)大型的文本異構(gòu)圖,讓LSTM 學(xué)習(xí)GCN 從文本異構(gòu)圖中提取的特征,從而解決了傳統(tǒng)深度學(xué)習(xí)模型無(wú)法較好利用全局詞共現(xiàn)信息所包含的非連續(xù)和長(zhǎng)距離語(yǔ)義的問(wèn)題,同時(shí)也補(bǔ)充了GCN 捕捉文本中的上下文特征能力的不足,并引入注意力模型來(lái)篩選重要特征,以達(dá)到提高情感分析準(zhǔn)確率的目的。通過(guò)實(shí)驗(yàn)證明了MGCNN 引入注意力機(jī)制模型在商品評(píng)論情感分析問(wèn)題中的有效性和實(shí)用性,同時(shí)發(fā)現(xiàn)在小樣本學(xué)習(xí)中,本方法的準(zhǔn)確率仍有很大的提升空間,因此,下一步的工作重點(diǎn)就是將改進(jìn)的本方法運(yùn)用到小樣本學(xué)習(xí)中。

猜你喜歡
文檔注意力節(jié)點(diǎn)
CM節(jié)點(diǎn)控制在船舶上的應(yīng)用
讓注意力“飛”回來(lái)
Analysis of the characteristics of electronic equipment usage distance for common users
有人一聲不吭向你扔了個(gè)文檔
基于AutoCAD的門(mén)窗節(jié)點(diǎn)圖快速構(gòu)建
“揚(yáng)眼”APP:讓注意力“變現(xiàn)”
基于RI碼計(jì)算的Word復(fù)制文檔鑒別
A Beautiful Way Of Looking At Things
Persistence of the reproductive toxicity of chlorpiryphos-ethyl in male Wistar rat
抓住人才培養(yǎng)的關(guān)鍵節(jié)點(diǎn)
桃江县| 综艺| 安新县| 娱乐| 松滋市| 延安市| 宿迁市| 焦作市| 谢通门县| 海宁市| 临澧县| 景泰县| 临漳县| 卢龙县| 嘉荫县| 巴林左旗| 河曲县| 洮南市| 泽州县| 华亭县| 德格县| 儋州市| 固镇县| 玛多县| 新安县| 墨玉县| 鹰潭市| 边坝县| 上杭县| 明星| 东阳市| 峨眉山市| 福清市| 榆中县| 抚松县| 定日县| 绥德县| 华坪县| 彭山县| 章丘市| 巴林左旗|