黃偲琪 張冬梅 閆博

摘? 要： DGA域名是一類由特定算法生成，用來與惡意C&C服務(wù)器進行通信的域名，針對DGA域名的檢測一直是一個研究熱點。有文獻提出了基于PCFG模型的DGA域名生成算法，在現(xiàn)有DGA檢測方法的測試下，它的抗檢測效果非常顯著。這是因為它由合法域名生成，具備合法域名的統(tǒng)計特征?；诖?，本文提出了將神經(jīng)網(wǎng)絡(luò)和自注意力機制相結(jié)合的檢測模型M-LSTM，它利用Bi-LSTM實現(xiàn)字符序列編碼以及初步特征提取，并結(jié)合多頭注意力機制進行深度特征提取。實驗結(jié)果表明，該算法在檢測基于PCFG模型的域名上效果優(yōu)異。

關(guān)鍵詞： 域名檢測;多頭注意力機制;PCFG模型

【Abstract】： DGA （domain generation algorithms） domain names are a class of domain names generated by specific algorithms and they are used to communicate with malicious C&C servers. The detection of DGA domain names has always been a research hotspot. DGA based on the PCFG model has been proposed Lately. Under the test of the existing DGA detection technology， its anti-detection effect is very obvious. This is because it is generated by a legal domain name and has the same statistical characteristics of a legitimate domain name. Based on this， this paper proposes a detection model M-LSTM that combines neural network and self-attention mechanism. Bi-LSTM is employed to realize character sequence coding and preliminary feature extraction， combined with Multi-Head Attention mechanism for depth feature extraction. The experimental results show that the algorithm is excellent in detecting domain names based on PCFG model.

【Key words】： Domain name detection; Multi-Head attention mechanism; PCFG model

0? 引言

當(dāng)今世界，互聯(lián)網(wǎng)已經(jīng)滲透進到了我們生活中的每一塊角落。在帶給我無窮便利的同時，不少不法分子開始利用互聯(lián)網(wǎng)進行違法犯罪活動。近幾年不斷曝光的勒索軟件，DDOS攻擊，僵尸網(wǎng)絡(luò)等就是良好的佐證。它們利用DGA算法生成大量的域名，與隱藏著的C&C（Command and Control）服務(wù)器建立通信。在使用這種方式時，C&C服務(wù)器不再使用唯一的固定域名，而是在不同時間生成多組域名，黑客只需要注冊其中的部分域名，即可實現(xiàn)對僵尸網(wǎng)絡(luò)的完整控制。據(jù)相關(guān)實驗[1]表明，在采樣到的43個惡意軟件中，有23個將DGA域名作為唯一通信手段，另外的惡意軟件則將惡意域名進行了硬編碼。由此可見，DGA域名已經(jīng)成為當(dāng)前惡意域名通信的主要形式，針對DGA所生成的惡意域名檢查具有非常重要的意義。

1? 相關(guān)工作

早期的DGA算法經(jīng)常以一個特定的參數(shù)作為種子，比如時間，熱門網(wǎng)站的內(nèi)容等，它們被用以初始化一個偽隨機算法。僵尸主機便利用該算法自動生成大量的域名對遠程的主機進行嘗試，一旦嘗試成功即可進行通信。例如，Conficker C變種的DGA每天可產(chǎn)生50000個域名，其生成的域名標(biāo)簽長度為4到10個字符，并且有116種可能的后綴。Ramnit算法則對種子進行四則以及取模運算以生成域名。目前也有一些DGA基于字典建模生成，如suppobox，它將隨機兩個字符串進行拼接得到域名。

到目前為止，惡意域名在檢測方式上主要分為逆向技術(shù)和利用機器學(xué)習(xí)的方式兩大類。其中逆向技術(shù)由于需要消耗大量的人力資源，且分析周期較長，已逐漸不再適合惡意域名的檢測。在機器學(xué)習(xí)領(lǐng)域，目前的檢測方向主要集中在針對域名結(jié)構(gòu)及字符特征的分布檢測，以及主機在使用域名時產(chǎn)生的流量特征檢測兩方面。

在字符特征方面，文獻[2]針對DGA生成域名與正常域名的字符分布不同，利用域名的K-L距離，編輯距離，Jaccard系數(shù)分別作為特征向量進行分析;文獻[3]利用單個DGA域的詞匯特征對域名進行分析;文獻[4]分析了固定域名的字符組成，利用機器學(xué)習(xí)的模型檢測由DGA生成的域名;文獻[5]通過分析域名序列中的詞素來分類惡意域名。

在流量特征方面，文獻[6]利用了失敗的DNS的請求流量進行分析;文獻[7]利用了不存在域名（Non-Existent）流量數(shù)據(jù)監(jiān)測隨機生成的域名;文獻[8]利用馬爾科夫模型來區(qū)分正常流量和惡意域名的流量;文獻[9]提出從網(wǎng)絡(luò)中cache-footprints的分布來推斷未知的惡意域名;文獻[10]則提出通過DNS查詢模式來評估僵尸網(wǎng)絡(luò)流量分布的方法。

雖然目前的DGA檢測方法針對已有的DGA域名具有比較好的檢測效果，但是隨著新型DGA生成算法的不斷出現(xiàn)，現(xiàn)有的檢測方法顯得不夠通用。文獻[11]就提出了兩種全新的DGA生成算法，這兩種算法分別基于隱馬爾科夫模型（HMM）和概率上下文無關(guān)語法（PCFG）。文獻[11]的實驗表明，在商用DGA檢測系統(tǒng)Pleiades[6] 和BotDigger[9]的檢測下，這兩種DGA域名相較現(xiàn)有的DGA域名具備良好的抗檢測效果，現(xiàn)有的DGA檢測系統(tǒng)都出現(xiàn)了誤報率偏高的問題。事實上，新型DGA生成算法已開始在針對現(xiàn)有檢測方式的方向上不斷發(fā)展，不斷完善DGA域名的檢測機制會是將來的一個重要命題。

本文旨在針對其中一種基于PCFG模型的DGA域名生成算法進行檢測?？紤]到PCFG模型的使用場景，本文也從文本處理的角度進行探索，深入研究了文本分類[12-16]，之后本文利用Bi-LSTM網(wǎng)絡(luò)結(jié)合多頭注意力（Multi-Head Attention）[17]機制，提出一種針對PCFG-based 域名的檢測模型M-LSTM。這個模型將域名編碼成詞向量后輸入雙向LSTM網(wǎng)絡(luò)，LSTM將初步捕捉編碼后字符序列間的潛在依賴關(guān)系。同時我們在模型中應(yīng)用了Multi-Head Attention機制，它可以直接提取全局的依賴。經(jīng)過Multi-Head Attention層，每個位置的特征向量將被放入第二個LSTM層以得出最后的結(jié)果。實驗結(jié)果顯示，相比于文獻[11]中提到的傳統(tǒng)方式檢測PCFG-based域名的方案，M-LSTM在檢測此類域名時優(yōu)勢十分明顯。同時通過對比實驗，也證明了Multi-Head Attention機制在這類問題中帶來了明顯的效果提升。

2? 基于PCFG模型的惡意域名特點分析

文獻[11]提出了一種利用PCFG模型進行域名生成的方法。CFG即上下文無關(guān)語法，它是對語言的一種形式化描述，具體表現(xiàn)為四元組G = （N，Σ，R，S），其中N表示非終結(jié)符，Σ表示終結(jié)符，S為特殊的開始符號，R表示規(guī)則。CFG的一次推導(dǎo)實際對應(yīng)著一棵語法解析樹，而推導(dǎo)最終的結(jié)果就是一個句子。

PCFG是CFG的擴展形式，它可以由（G， θ）表示。實現(xiàn)上，它是對規(guī)則集R中的每條規(guī)則都賦予一個概率p，而一個推導(dǎo)實際就是從開始符S開始應(yīng)用一系列規(guī)則最終生成非終結(jié)符串的過程，因此這個推導(dǎo)（對應(yīng)的語法樹）的概率就是在此過程中應(yīng)用的所有規(guī)則概率的乘積，即：

（1）pcfg_dict：集合來源于經(jīng)過斷字的英文字典;

（2）pcfg_dict_num：集合來源于1中的pcfg_ dict加上數(shù)字集合;

（3）pcfg_ipv4：集合來源于合法的經(jīng)分割后的IPv4域名;

（4）pcfg_ipv4_num：集合來源于3中的pcfg_ ipv4加上一個非字母集合;

文獻[11]的實驗結(jié)果表明，a，c若從第四個集合中選取，所生成的惡意域名具備最優(yōu)的抗檢測效果。因此在本文中我們也將著重對由第四種數(shù)據(jù)源所構(gòu)成的域名進行檢測和分析。這類DGA域名具備以下特征：

如表1所示，基于PCFG模型的域名和合法域名在字符分布的特征上非常接近。這是由于基于PCFG的域名本身來源于合法域名，將合法域名拆分并重新拼接后的惡意域名自然具備合法域名的字符分布特征。

一旦PCFG的語法解析樹確定，域名的組成將只和源集合的選取以及規(guī)則的概率相關(guān);這也意味著同一個PCFG模型下，可以生成多種類型的域名。

文獻[11]給出的第四類源生成的域名便是由合法域名的部分與數(shù)字兩部分組成，生成這些域名的PCFG模型規(guī)定了三條規(guī)則，生成的域名是“字母+數(shù)字”這樣的類型。鑒于此，我們也可以嘗試通過構(gòu)造其他PCFG模型來試著生成其他類型的域名：

如表2所示，惡意域名的生成依賴模型事先定義好的規(guī)則以及概率分布，如果規(guī)則足夠復(fù)雜，概率分布均勻，同一個PCFG模型可以生成多種形式的域名。如模型4，它可以生成“字母+數(shù)字”這樣類型的域名，也可以生成“字母+數(shù)字+字母”這樣類型的域名。這從側(cè)面說明了基于PCFG模型的DGA可拓展性非常強，使得我們通過找特征去判別域名帶來了一定的挑戰(zhàn)。

3? M-LSTM檢測模型

由上文可知，對于PCFG-based的惡意域名，如果要人工提取特征將會是一個比較困難的工作。因此本文利用神經(jīng)網(wǎng)絡(luò)替代人工提取特征的特點，結(jié)合Multi-head Attention機制，設(shè)計一個針對PCFG- based域名檢測的模型M-LSTM。

3.1? M-LSTM算法模型

模型如圖3所示。

在構(gòu)建算法模型時，最關(guān)鍵的一步是將LSTM網(wǎng)絡(luò)與Multi-Head Attention機制相結(jié)合。在文獻[18]的實驗中，LSTM網(wǎng)絡(luò)在檢測一些基于字典的DGA域名，包括PCFG-based域名時，顯示出的效果不是非常優(yōu)異;Multi-Head Attention機制僅使用加權(quán)求和來生成輸出向量，它的表達能力也是有限的。單獨使用這兩個技術(shù)都存在一些局限性，因此我們將這兩者結(jié)合，在Multi-Head Attention層之前增加了Embedding層和LSTM層來增強網(wǎng)絡(luò)的表達能力，它們負責(zé)將輸入字符序列進行編碼轉(zhuǎn)換以及初步的特征提取。由Multi-Head Attention在此基礎(chǔ)上繼續(xù)進行序列間潛在關(guān)系的捕捉。

考慮到字符序列間前后向的關(guān)聯(lián)關(guān)系，本文在LSTM層采用的是Bi-LSTM。最后目標(biāo)是將各個位置的特征向量整合進行合法域名與惡意域名的二分類，因此在Multi-Head Attention層的后面再加上了一層Bi-LSTM，經(jīng)過處理后的輸出將輸入softmax層，得到最后的概率分布。

3.2? M-LSTM檢測方法

3.2.1? 預(yù)處理

進行檢測前需要將待檢測域名的字符序列在Embedding層進行編碼。由于每一個LSTM單元的輸入是每個域名字符的詞向量，因此我們需要先在Embedding層對域名進行一些預(yù)處理。預(yù)處理分為兩步：

（1）字典構(gòu)建

首先生成每個字符的索引字典，形式為（字符：下標(biāo)），即構(gòu)建出一個字符與id的映射。

（2）向量編碼

將每個字符編碼為LSTM網(wǎng)絡(luò)隱藏單元數(shù)大小的向量，最后將得到維度為[字典長度，LSTM隱藏層節(jié)點數(shù)]的詞向量矩陣，它將隨著網(wǎng)絡(luò)一起進行訓(xùn)練。在使用時，可以通過上一步的索引找到每個字符所對應(yīng)的詞向量。

3.2.2? 網(wǎng)絡(luò)處理

（1）Bi-LSTM層I

經(jīng)過Embedding的處理后，我們將字符序列輸入Bi-LSTM層I，經(jīng)過LSTM網(wǎng)絡(luò)的處理后，它將返回兩個元組，分別用來保存前向后向的每一步輸出以及前向后向的狀態(tài)值。一個LSTM的核心單元結(jié)構(gòu)如下圖4所示：

LSTM單元通過“門”（gate）來控制，丟棄或者增加信息，從而實現(xiàn)遺忘或記憶的功能?！伴T”是一種使信息選擇性通過的結(jié)構(gòu)，它們由一個sigmoid函數(shù)和一個元素級相乘操作組成。Sigmoid函數(shù)的輸出值在[0，1]區(qū)間內(nèi)，0代表完全丟棄，1代表完全通過。一個LSTM單元有三個這樣的門：遺忘門（forget gate），輸入門（input gate）和輸出門（output gate）。這樣的單元設(shè)計允許神經(jīng)網(wǎng)絡(luò)存儲長序列上的訪問狀態(tài)，從而減輕梯度消失問題。

對于域名檢測而言，LSTM單元狀態(tài)空間可以捕獲域名的字母組合，這對于我們區(qū)分合法域名和非法域名非常重要。它可以在連續(xù)或分散的序列中學(xué)習(xí)到多個字符之間的依賴關(guān)系。

4? 實驗

4.1? 實驗設(shè)計

本實驗擬利用數(shù)據(jù)集測試M-LSTM模型針對PCFG-based惡意域名檢測的準(zhǔn)確度，為此我們準(zhǔn)備了兩組對比實驗：

（1）利用文獻基于KL散度，編輯距離，Jaccard系數(shù)的檢測方式，對PCFG-based惡意域名進行檢測，并將結(jié)果與M-LSTM進行對比。

（2）用文獻[18]給出的LSTM模型針對PCFG- based惡意域名進行檢測，與M-LSTM相對比。

第一組實驗簡單地比較了傳統(tǒng)的檢測方法和M-LSTM在檢測PCFG-based域名上的差異。

考慮到M-LSTM模型主要利用了Self-Attention機制作為特征提取的一種手段，與單純的LSTM模型相比，Self-Attention機制能在整體的角度捕捉序列間潛在關(guān)系。因此實驗二將兩者比較，證明在加上Self-Attention機制后，模型在檢測PCFG-based域名效果的提升情況。

在兩次實驗中，我們將使用4個不同的PCFG模型來產(chǎn)生惡意域名，使得實驗結(jié)果更加具有普遍性。4個模型如下：

4.2? 實驗步驟

4.2.1? 數(shù)據(jù)集準(zhǔn)備

本文按照文獻[11]給出的方式準(zhǔn)備數(shù)據(jù)集，本次利用PCFG模型生成均為主機名。

合法域名來源于Alexa，從Alexa上抓取了排名前1M的合法域名，并按照文獻給出的算法進行域名拆分和重新生成惡意域名。

其中域名集合（合法域名和惡意域名混合）的60%將作為訓(xùn)練集，20%作為測試集，20%作為驗證集。

4.2.2? 參數(shù)設(shè)置

模型初始化時所需要確定的參數(shù)。

4.3? 實驗結(jié)果

實驗一：傳統(tǒng)檢測方式與M-LSTM模型檢測效果的比較。

實驗結(jié)果見表。結(jié)果表明，檢測同一個PCFG模型時，橫向比較召回率，精確度和F1三項指標(biāo)，整體上都有M-LSTM > Jaccard系數(shù) > 編輯距離 > KL散度。可見M-LSTM模型在PCFG-based域名上的檢測效果確實好于傳統(tǒng)手段。從具體的數(shù)字分析，M-LSTM的F1分值都在90%以上，而傳統(tǒng)手段中表現(xiàn)最好的Jaccard系數(shù)，F(xiàn)1值最高也僅有56.31。M-LSTM檢測效果平均提升了77%。這從側(cè)面也證明了基于PCFG模型的惡意域名成功地挑戰(zhàn)了傳統(tǒng)的檢測手段。

實驗二：LSTM檢測模型與M-LSTM模型檢測效果的比較。

實驗結(jié)果如上表所示。M-LSTM在LSTM模型的基礎(chǔ)上增加了Self-Attention層。實驗結(jié)果展示了在檢測4類PCFG模型時，M-LSTM的效果均好于LSTM。M-LSTM的檢測效果平均提升了4.67%。

從模型的角度分析，在檢測率上模型2 > 模型4 > 模型1 > 模型3，可見M-LSTM的檢測效果受不同的PCFG模型影響。在分析部分將對這塊重點分析。

總體而言，實驗結(jié)果表明了加上Self-Attention層后，模型的特征提取更加充分，使得模型的檢測效果相比LSTM模型有了一定的提高。

5? 實驗分析

5.1? 特征提取分析

基于傳統(tǒng)字符特征的檢測方式，主要將重心聚焦在字符的隨機分布上。如Zeus，Kraken等DGA，字符的分布特征與合法域名相差很大。因此使用KL散度，編輯距離，Jaccard系數(shù)進行檢測可以得到比較良好的效果。但是PCFG-based域名，從合法域名中將字符部分和數(shù)字部分進行拼裝，輔以一些連字符等，從構(gòu)造方式來看，與合法域名如出一轍。甚至如果在基數(shù)足夠大的情況下，有可能生成與合法域名完全相同的域名。從這個角度來看，用字符特征去區(qū)分合法域名和PCFG-based的域名具有一定的難度。而且同一個特征很難應(yīng)用于同一模型產(chǎn)生的不同類型的域名。而采用LSTM的優(yōu)勢在于不需要人工提取適用所有DGA種類的特征（實際上這也并不可能）來進行分類，特征的提取工作交給了整個網(wǎng)絡(luò)，我們只需要將域名序列編碼后輸入即可。即便同一PCFG模型下產(chǎn)生了多類域名，整個網(wǎng)絡(luò)也可以依靠網(wǎng)絡(luò)的內(nèi)部結(jié)構(gòu)來學(xué)習(xí)特征。同時我們采用了Self-Attention機制，它一次性獲取整體依賴的優(yōu)勢使得結(jié)果更加精確。

實驗一的結(jié)果證明了檢測同一個PCFG模型所生成的域名時，M-LSTM的效果要遠優(yōu)于傳統(tǒng)的檢測方式。

5.2? Multi-Head Attention層分析

M-LSTM模型不僅僅將LSTM作為特征提取的手段，它在實現(xiàn)上增加了一層Multi-Head Attention，這也是提升檢測效果的關(guān)鍵所在。Multi-Head Attention采用了自注意力機制，它的優(yōu)點在于它能夠一步捕捉到全局之間的聯(lián)系，完全解決長距離的依賴問題。另外，多頭計算可以認為網(wǎng)絡(luò)在多個不同的子空間內(nèi)進行學(xué)習(xí)，它將不同子空間內(nèi)的信息整合，盡可能地捕捉每個位置的特征。

圖6是M-LSTM模型的Accuracy曲線，在不同的PCFG模型下，M-LSTM的Accuracy收斂值不同。這是因為不同模型生成域名的檢測復(fù)雜度具有差異。

圖6也顯示了M-LSTM模型的收斂速度較快，在不同的模型下M-LSTM均在第五輪迭代前就完成了收斂。從側(cè)面證明了模型提取特征效果優(yōu)異。

5.3? 模型分析

PCFG模型是可以拓展的，它的可拓展性來自規(guī)則的多樣性每個規(guī)則應(yīng)用的概率。模型生成的域名受概率以及規(guī)則控制，這使得安全人員幾乎很難在短時間內(nèi)通過惡意域名精確地反推出PCFG模型。表8至表11中的數(shù)據(jù)也顯示了M-LSTM模型針對不同PCFG模型具有不同的檢測效果。實驗二中有多對對照試驗：

模型1和模型2區(qū)別在于每個所分配規(guī)則的概率不同。規(guī)則B -> a B c是自嵌套的，這意味著域名在一定的概率下可以遞歸嵌套。結(jié)果表明，模型2的F1值要高于模型1，這是因為模型2的自嵌套概率更大，生成的域名更長，導(dǎo)致與合法域名出現(xiàn)了較大的距離，因此在檢測率上反而更高。

模型1和模型3區(qū)別在于模型3不再采用自嵌套的規(guī)則。生成的域名更像是兩個合法域名拆分后的排列組合。表12的數(shù)據(jù)證明了它的域名長度，KL散度等與合法域名十分接近。從結(jié)果來看，模型3的檢測率也是四個模型中最低的。

模型3和模型4的區(qū)別在于生成域名的類型。模型3的域名較為簡單，而模型4在模型3的基礎(chǔ)上，增加了域名生成的類別。從結(jié)果來看，模型4的檢測率偏高，這是因為模型4生成的域名中，abc123def類的域名容易被檢測，它和合法域名間的“距離”更大。

6? 結(jié)論

本文提出了一個利用LSTM網(wǎng)絡(luò)與Multi-Head機制來檢測PCFG-based域名的方法。實驗證明了M-LSTM模型在此類DGA域名上的檢測效果好于傳統(tǒng)的檢測方法和檢測模型。模型的優(yōu)點在于利用無特征的LSTM網(wǎng)絡(luò)來捕捉域名內(nèi)在聯(lián)系，利用Multi-Head Attention機制來更充分地捕捉長距離特征。這避免了人為提特征以及特征不足以分類的困難。不同的PCFG模型上的檢測率不同，說明PCFG不是固定不變的，它的模式可以根據(jù)使用者制定的規(guī)則而擴展。實驗中M-LSTM在不同的PCFG模型上都表現(xiàn)出了較優(yōu)秀的效果，證明了該模型在PCFG-based域名檢測中的有效性。

參考文獻

Plohmann D， Yakdan K， Klatt M， A comprehensive measurement study of domain generating malware[C]//25th USENIX Security Symposium. Austin： Usenix， 2016： 263-278.

S. Yadav， A. K. K. Reddy， A. L. N. Reddy， and S. Ranjan， “Detecting algorithmically generated malicious domain names，” in Proc. 10th ACM SIGCOMM Conf. Internet Meas.， 2010， pp. 48-61.

XiLuo， Liming Wang， “DGASensor： Fast Detection for DGA-Based Malwares” ICCBN '17 Proceedings of the 5th International Conference on Communications and Broadband Networking， 2017-02-20

M. Mowbray and J. Hagen， “Finding domain-generation algorithms by looking at length distribution， ” in Proc. IEEE Int. Symp. Softw. Rel. Eng. Workshops （ISSREW）， Nov. 2014， pp. 395–400.

Z. Wei-Wei and G. J. L. Qian， “Detecting machine generated domain names based on morpheme features， ” in Proc. Int. Workshop Cloud Comput. Inf. Secur.， 2013， pp. 408–411.

T. -S. Wang， H. -T. Lin， W. -T. Cheng， and C. -Y. Chen， “DBod： Clustering and detecting DGA-based botnets using DNS traffic analysis， ” Comput. Secur.， vol. 64， pp. 1–15， Jan. 2017.

M. Antonakakis et al.， “From throw-away traffic to bots： Detecting the rise of DGA-based malware，” in Proc. USENIX Secur. Symp.， 2012， pp. 491–506.

Maria Jose Erquiaga， “Detecting DGA Malware Traffic Through Behavioral Models ” IEEE， 2016-6

T. Wang， X. Hu， J. Jang， S. Ji， M. Stoecklin， and T. Taylor， “BotMeter： Charting DGA-botnet landscapes in large networks， ” in Proc. IEEE 36th Int. Conf. Distrib. Comput. Syst. （ICDCS）， Jun. 2016， pp. 334–343.

T. -S. Wang， H. -T. Lin， W. -T. Cheng， and C. -Y. Chen， “DBod： Clustering and detecting DGA-based botnets using DNS traffic analysis， ” Comput. Secur.， vol. 64， pp. 1–15， Jan. 2017.

Yu Fu， Lu Yu， Oluwakemi Hambolu， Ilker Ozcelik， Benafsh Husain， “Stealthy Domain Generation Algorithms” IEEE Transactions on Information Forensics and Security （Volume： 12， Issue： 6， June 2017）

陳海紅. 多核SVM 文本分類研究[J]. 軟件， 2015， 36（5）： 7-10.

羅笑玲， 黃紹鋒， 歐陽天優(yōu)， 等. 基于多分類器集成的圖像文字識別技術(shù)及其應(yīng)用研究[J]. 軟件， 2015， 36（3）： 98-102

王宏濤， 孫劍偉. 基于BP 神經(jīng)網(wǎng)絡(luò)和SVM 的分類方法研究[J]. 軟件， 2015， 36（11）： 96-99.

張玉環(huán)， 錢江. 基于兩種 LSTM 結(jié)構(gòu)的文本情感分析[J]. 軟件， 2018， 39（1）： 116-120.

張曉明， 尹鴻峰. 基于卷積神經(jīng)網(wǎng)絡(luò)和語義信息的場景分類[J]. 軟件， 2018， 39（01）： 29-34.

Ashish Vaswani， Noam Shazeer， Niki Parmar， “Attention is all your need”， Computation and Language （cs. CL）; Machine Learning （cs. LG）， arXiv： 1706.03762.

Woodbridge J， Anderson H S， Ahuja A， et al. Predic ting domain generation algorithms with long short-ter m memory networks[EB/OL]. arXiv， 2016-11-2[1018-3-10]. https：// arxiv.org/abs/1611.00791.