国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

擬態(tài)防御理論在企業(yè)內(nèi)網(wǎng)安全防護(hù)中的應(yīng)用

2019-01-24 09:29呂志遠(yuǎn)全成斌趙有健
關(guān)鍵詞:內(nèi)網(wǎng)擬態(tài)模塊

呂志遠(yuǎn),陳 靚,馮 梅,全成斌,趙有健

1(清華大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)系,北京 100084)2(中國石油勘探開發(fā)研究院,北京 100083)

1 引 言

隨著計(jì)算機(jī)信息技術(shù)的發(fā)展和經(jīng)濟(jì)全球化的快速進(jìn)行,信息全球化成為了現(xiàn)在社會發(fā)展的重點(diǎn).企業(yè)內(nèi)網(wǎng)系統(tǒng)承載了企業(yè)運(yùn)轉(zhuǎn)的基石,為企業(yè)的信息和資源的共享提供了一個高效的平臺,是現(xiàn)代化企業(yè)不可缺少的一部分.現(xiàn)代企業(yè)內(nèi)網(wǎng)的快速發(fā)展為企業(yè)的正常工作帶來了諸多便利和優(yōu)點(diǎn),極大的促進(jìn)了企業(yè)的進(jìn)步和發(fā)展[1].

在社會信息化和計(jì)算機(jī)網(wǎng)絡(luò)的不斷普及、企業(yè)網(wǎng)絡(luò)規(guī)模的不斷擴(kuò)大的同時,網(wǎng)絡(luò)安全的重要性日益凸顯,企業(yè)內(nèi)網(wǎng)安全也成為了一個亟待解決的重要問題.在企業(yè)內(nèi)網(wǎng)中,軟硬件設(shè)備數(shù)量龐大且開發(fā)水平參差不齊,軟硬件設(shè)計(jì)缺陷無意造成的漏洞或是有意植入的后門是普遍存在的,這些安全漏洞和后門目前已經(jīng)成為企業(yè)網(wǎng)絡(luò)安全的主要威脅源,它們時刻威脅著企業(yè)的網(wǎng)絡(luò)安全[2].目前業(yè)內(nèi)采用常規(guī)的安全防護(hù)技術(shù)和手段,很難識別這些漏洞或后門,很難做到企業(yè)內(nèi)所有軟硬件的自主可控.近年來,企業(yè)也面臨突變的信息安全風(fēng)險(xiǎn)和層出不窮的新型攻擊手段,來自外網(wǎng)的攻擊也是威脅企業(yè)網(wǎng)絡(luò)安全的另一個主要手段.部分網(wǎng)絡(luò)攻擊已經(jīng)發(fā)展為有組織的、持續(xù)性的、有高威脅的攻擊,對企業(yè)的危害十分巨大[3,4].

目前,大多傳統(tǒng)的企業(yè)內(nèi)網(wǎng)安全防御措施都是強(qiáng)調(diào)如何防范來自網(wǎng)絡(luò)外界的攻擊和破壞行為[5-10].傳統(tǒng)的企業(yè)內(nèi)網(wǎng)安全防護(hù)架構(gòu)如圖1所示,這些防護(hù)架構(gòu)通過在企業(yè)內(nèi)部網(wǎng)絡(luò)和外部網(wǎng)絡(luò)之間的連接處基本依靠防火墻進(jìn)行控制,設(shè)置DMZ區(qū)來對外提供必須的網(wǎng)絡(luò)服務(wù),并使用IDS、IPS來進(jìn)步一應(yīng)對進(jìn)入企業(yè)網(wǎng)內(nèi)部的攻擊行為,而對企業(yè)中員工的上網(wǎng)行為則主要是依靠訪問管理的方式進(jìn)行控制.然而這些防護(hù)方式既不能應(yīng)對來自外網(wǎng)的持續(xù)性高威脅攻擊,也不具識別內(nèi)部漏洞、后門和處理未知漏洞和0-day攻擊的能力,以及沒有對企業(yè)內(nèi)部員工實(shí)施有效的監(jiān)控,一旦受到來自外界干擾或者是外界系統(tǒng)對公司的入侵,極易造成企業(yè)中嚴(yán)重的安全問題,因此,一種新的企業(yè)內(nèi)網(wǎng)安全防護(hù)架構(gòu)來應(yīng)對日益嚴(yán)峻的企業(yè)內(nèi)網(wǎng)安全形勢是十分必要的.

近期,“擬態(tài)安全防御”思想逐漸引起業(yè)內(nèi)廣泛關(guān)注,其核心思想是為防御者在功能等價(jià)的條件下提供可控的多樣化環(huán)境間的主動跳變和快速遷移,使攻擊者難以察覺和預(yù)測目標(biāo)環(huán)境的變化,增加漏洞、后門和攻擊利用的難度和代價(jià)[11-13].國外已有成功應(yīng)用,國內(nèi)多個科研機(jī)構(gòu)、相關(guān)廠商和企業(yè)也已開展此項(xiàng)研究,探索該理論在企業(yè)內(nèi)網(wǎng)安全中的應(yīng)用.

圖1 傳統(tǒng)企業(yè)內(nèi)網(wǎng)安全架構(gòu)Fig.1 A traditional intranet security architecture[注]https://docs.microsoft.com/en-us/biztalk/core/security-case-studies-company-a

借鑒擬態(tài)防御的思想,本文提出了一種基于擬態(tài)安全防御的企業(yè)內(nèi)網(wǎng)安全防護(hù)系統(tǒng).根據(jù)當(dāng)前主流企業(yè)網(wǎng)的安全策略、和存在的安全漏洞情況,針對網(wǎng)絡(luò)現(xiàn)狀和所面臨的安全威脅分析,利用國內(nèi)外相關(guān)研究的擬態(tài)安全防御技術(shù)和模型,建立了適用于企業(yè)內(nèi)網(wǎng)特點(diǎn)和安全現(xiàn)狀的擬態(tài)網(wǎng)絡(luò)模型,并基于此實(shí)現(xiàn)了企業(yè)內(nèi)網(wǎng)安全防護(hù)原型系統(tǒng).

對原型系統(tǒng)的抗攻擊能力進(jìn)行驗(yàn)證分析,實(shí)驗(yàn)結(jié)果表明,該原型系統(tǒng)具備識別網(wǎng)絡(luò)中DDOS攻擊、常見網(wǎng)絡(luò)蠕蟲病毒攻擊、發(fā)現(xiàn)假冒用戶等多種識別和分析功能,能產(chǎn)生告警和處置措施.

2 相關(guān)研究

2.1 內(nèi)網(wǎng)安全防護(hù)

文獻(xiàn)[14]總結(jié)了從 2000 年“內(nèi)網(wǎng)安全”這一概念誕生至今近 20 年的時間,經(jīng)歷的四個個發(fā)展階段:邊界防護(hù)階段、監(jiān)控審計(jì)階段、聯(lián)動融合階段和信息安全階段.

在網(wǎng)絡(luò)剛剛起步還沒有迎來高速發(fā)展的時期,各種網(wǎng)絡(luò)技術(shù)都還比較落后,企業(yè)網(wǎng)絡(luò)應(yīng)用服務(wù)住主要是辦公自動化系統(tǒng),人們將生活中的安全理念移入網(wǎng)絡(luò)世界,認(rèn)為“網(wǎng)絡(luò)的內(nèi)部用戶”對于網(wǎng)絡(luò)資源來說是絕對安全的,只有外網(wǎng)才能對網(wǎng)絡(luò)的安全構(gòu)成威脅.因此,早期的網(wǎng)絡(luò)安產(chǎn)品的理念都是基于“網(wǎng)絡(luò)內(nèi)部可信的”模型.該模型內(nèi)網(wǎng)安全問題的防護(hù)主要是以“邊界防護(hù)”為主,即將以防火墻為代表的安全產(chǎn)品部署在網(wǎng)絡(luò)邊界來控制外網(wǎng)對內(nèi)網(wǎng)的訪問[15].

之后,安全人員發(fā)現(xiàn)越來越多的網(wǎng)絡(luò)破壞來自于網(wǎng)絡(luò)內(nèi)部,提出了一種“內(nèi)外網(wǎng)絡(luò)皆不可信的”模型,同時網(wǎng)絡(luò)監(jiān)控和審計(jì)等安全產(chǎn)品開始被關(guān)注.國家也頒布了《關(guān)于信息安全等級保護(hù)工作的實(shí)施意見》等,規(guī)定了對內(nèi)部上網(wǎng)行為進(jìn)行審計(jì),對內(nèi)部信息的儲存和傳遞做出了強(qiáng)制性要求.除了政府要求之外,企事業(yè)單位自身也希望了解員工的日常上網(wǎng)行為,這就加快了上網(wǎng)行為管理的發(fā)展.至此,內(nèi)網(wǎng)安全管理從“技術(shù)”走向了“管理”.在這個階段,監(jiān)控和審計(jì)的要求非常明顯[16].

隨著各種網(wǎng)絡(luò)安全產(chǎn)品逐漸走向融合,安全系統(tǒng)保護(hù)的重點(diǎn)不再單純的放在對網(wǎng)絡(luò)的安全加固和防護(hù)之上,而是建立了能夠統(tǒng)一部署和管理,聯(lián)動制定策略的安全檢測機(jī)制和迅速響應(yīng)機(jī)制,并有效避免軟件沖突,降低了管理成本.同時,提出了“承認(rèn)漏洞,正視威脅、適當(dāng)防護(hù)、加強(qiáng)監(jiān)測、落實(shí)反應(yīng)、建立威懾”的內(nèi)網(wǎng)保護(hù)思想[17-19].

近期,信息泄漏問題一直占據(jù)著主導(dǎo)位置.使用移動存儲設(shè)備竊取信息的事件高發(fā),全球性泄密事件屢見不鮮[20].同時,靈活先進(jìn)而又操作簡單的攻擊工具越來越被普及,網(wǎng)絡(luò)攻擊者不再需要高深的知識就可以發(fā)起網(wǎng)絡(luò)攻擊,網(wǎng)絡(luò)威脅的復(fù)雜性越來越突顯,造成的危害越來越大.這一階段企業(yè)網(wǎng)絡(luò)安全防護(hù)逐漸從“管理”層面走向了“應(yīng)用”層面[21].

2.2 擬態(tài)安全

為了應(yīng)對新時期下的網(wǎng)絡(luò)安全威脅,美國等發(fā)達(dá)國家于2009年針對傳統(tǒng)的網(wǎng)絡(luò)防護(hù)方式根本不能抵御新的網(wǎng)絡(luò)威脅的不足,提出了移動目標(biāo)防御(Moving Target Defense:MTD)技術(shù),并成為美國網(wǎng)絡(luò)空間“改變游戲規(guī)則”的革命性技術(shù)之一.移動目標(biāo)防御使用多樣的、不斷變化的構(gòu)建、評價(jià)和部署機(jī)制及策略增加攻擊者的攻擊難度及代價(jià),有效限制脆弱性暴露及被攻擊的機(jī)會,提高系統(tǒng)的彈性[22,23].

2013 年中國工程院鄔江興院士提出了網(wǎng)絡(luò)空間擬態(tài)防御(Cyber Mimic Defense,CMD)的思想,主要是提供一種可控的方式,使網(wǎng)絡(luò)按照網(wǎng)絡(luò)構(gòu)建者意圖在多樣化、 不確定的目標(biāo)環(huán)境間主動變換、 快速遷移,從而提高網(wǎng)絡(luò)整體安全性.擬態(tài)安全防御的基本思想是,以功能等價(jià)條件下的變結(jié)構(gòu)擬態(tài)計(jì)算為基礎(chǔ),以高可靠的非相似余度 “容錯” 模式為基本架構(gòu),以非配合條件下的一致性裁決為核心機(jī)制,在裝置的服務(wù)功能與其外在的結(jié)構(gòu)表征之間導(dǎo)入不確定性關(guān)系,采用可重構(gòu)、 可重組、 可重建、 可重定義和虛擬化等構(gòu)造方法,通過網(wǎng)絡(luò)、硬件環(huán)境、 平臺、 軟件、 數(shù)據(jù)等結(jié)構(gòu)的主動跳變或快速遷移來實(shí)現(xiàn)擬態(tài)環(huán)境,以防御者可控的方式進(jìn)行動態(tài)變化,對攻擊者則表現(xiàn)為難以觀察和預(yù)測目標(biāo)變化,從而大幅度增加包括未知的可利用的漏洞和后門在內(nèi)的攻擊難度和成本[24-27].

3 模型設(shè)計(jì)

本節(jié)介紹文中提出的適用于企業(yè)內(nèi)網(wǎng)的擬態(tài)安全防御模型.

3.1 擬態(tài)內(nèi)網(wǎng)模型

擬態(tài)網(wǎng)絡(luò)的核心思想是通過提高網(wǎng)絡(luò)的動態(tài)性、非持續(xù)性、隨機(jī)性使得網(wǎng)絡(luò)處在一個不停變化的非穩(wěn)定態(tài)中,從而極大的增加了攻擊者攻擊的代價(jià)和降低了網(wǎng)絡(luò)被攻破的可能性.雖然擬態(tài)網(wǎng)絡(luò)提高了網(wǎng)絡(luò)的整體安全性,但其不能降低網(wǎng)絡(luò)的可用性,所以實(shí)現(xiàn)擬態(tài)變化是建立在維持了網(wǎng)絡(luò)基本可用性的基礎(chǔ)之上的.另一方面,基本的擬態(tài)變化是保證的網(wǎng)絡(luò)的動態(tài)性和隨機(jī)性,其針對未知攻擊是很有效的,但在處理已知攻擊方面就顯得力不從心了.所以,我們提出了行為特征&閾值模型(分析引擎)和邏輯安全模型[28],通過實(shí)時的把用戶的行為信息反饋到擬態(tài)網(wǎng)絡(luò)中,來進(jìn)行有選擇的下一狀態(tài)變化從而達(dá)到更好的處理異常用戶的效果.

圖2描繪了擬態(tài)內(nèi)網(wǎng)的整體架構(gòu),大體有六部分組成:物理網(wǎng)絡(luò)、邏輯任務(wù)模型、適應(yīng)引擎、配置管理引擎、分析引擎和邏輯安全模型.其中物理網(wǎng)絡(luò)是用戶實(shí)際基礎(chǔ)的網(wǎng)絡(luò),邏輯任務(wù)模型、適應(yīng)引擎、配置管理、分析引擎和邏輯安全模型功能如下:

圖2 擬態(tài)內(nèi)網(wǎng)模型Fig.2 Mimicry intranet model

1) 邏輯任務(wù)模型.企業(yè)內(nèi)網(wǎng)是需完成一定的任務(wù)的,最重要的就是連通性的要求,邏輯任務(wù)模型保證了擬態(tài)網(wǎng)絡(luò)在進(jìn)行擬態(tài)變換的時候能夠滿足基本的任務(wù)要求.邏輯任務(wù)模塊由兩個子模塊組成:組織模塊和目標(biāo)模塊.組織模塊接收配置管理模塊提供的當(dāng)前配置信息和物理設(shè)備反饋信息,分析出系統(tǒng)的功能需求和各個內(nèi)網(wǎng)硬件設(shè)備的處理能力.目標(biāo)模塊負(fù)責(zé)分析出系統(tǒng)級的功能需求和各種功能需求的不同重要性,該模塊同樣使用VGM模型(數(shù)值基礎(chǔ)目標(biāo)模型)來捕獲長期存在和基于服務(wù)的系統(tǒng)需求.

2) 適應(yīng)引擎.適應(yīng)引擎模塊是實(shí)現(xiàn)該網(wǎng)絡(luò)層擬態(tài)網(wǎng)絡(luò)的主要決策模塊,該模塊可以控制修改網(wǎng)絡(luò)層的各種配置,比如資源角色、IP地址、端口號、防火墻設(shè)置、VM類型、設(shè)備間協(xié)議類型等.該模塊根據(jù)邏輯安全模塊提供的系統(tǒng)安全信息和邏輯任務(wù)模塊提供的系統(tǒng)任務(wù)需求信息,計(jì)算出一系列可以適用于當(dāng)前網(wǎng)絡(luò)的設(shè)置組,并依據(jù)時間觸發(fā)和安全時間觸發(fā)結(jié)合的原則,可控的隨機(jī)選出一個使用網(wǎng)絡(luò)配置作為當(dāng)前網(wǎng)絡(luò)的下一刻狀態(tài),從而使得網(wǎng)絡(luò)處在不斷變化的狀態(tài).

3) 配置管理.配置管理模塊主要用來控制物理網(wǎng)絡(luò),其是物理網(wǎng)絡(luò)和整個擬態(tài)邏輯架構(gòu)的橋梁.該模塊接受自適應(yīng)模塊提供的更新網(wǎng)絡(luò)配置信息,將該信息下發(fā)給物理網(wǎng)絡(luò),完成物理網(wǎng)絡(luò)狀態(tài)變遷過程.同時,該模塊也從物理網(wǎng)絡(luò)中實(shí)時收集設(shè)備反饋信息,并將該信息提供給邏輯任務(wù)模塊.此外,配置管理模塊也會把當(dāng)前時刻的物理網(wǎng)絡(luò)配置信息發(fā)送給分析引擎,以便能夠及時發(fā)現(xiàn)異常.

4) 分析引擎.分析引擎根據(jù)當(dāng)前網(wǎng)絡(luò)的配置信息和物理網(wǎng)絡(luò)中的實(shí)時事件利用建模分類算法和行為特征&閾值模型(下文中會詳細(xì)描述)分析出網(wǎng)絡(luò)中的異常節(jié)點(diǎn),并將該信息發(fā)送給邏輯安全模塊.

5) 邏輯安全模塊.邏輯安全模塊通過綜合分析引擎的處理結(jié)果,在整體的視角上分析整個網(wǎng)絡(luò)的安全性,一次來生成下一擬態(tài)跳變的策略.邏輯安全模塊由兩個子模塊組成:安全目標(biāo)模塊和系統(tǒng)漏洞模塊.安全目標(biāo)模塊使用VGM模型(數(shù)值基礎(chǔ)目標(biāo)模型)來捕獲系統(tǒng)需求的安全目標(biāo).系統(tǒng)漏洞模塊利用策略生成模塊提供的節(jié)點(diǎn)可疑度信息,使用CAG理論(保守攻擊圖理論)來捕獲攻擊者可能利用的系統(tǒng)中存在的已知和未知漏洞.最終邏輯安全模塊根據(jù)捕獲的結(jié)果,配合閾值檢測,選擇是否上報(bào)該攻擊信息,并將該信息輸出給自適應(yīng)模塊.

模塊之間的工作流程:配置管理模塊收集了物理網(wǎng)絡(luò)的信息后傳送給邏輯任務(wù)模型,邏輯任務(wù)模型根據(jù)物理網(wǎng)絡(luò)的配置信息和任務(wù)要求生成一系列可以滿足網(wǎng)絡(luò)任務(wù)的可選對應(yīng)關(guān)系然后把該信息發(fā)送給適應(yīng)引擎,適應(yīng)引擎根據(jù)該信息本著隨機(jī)化的原則隨機(jī)的選取出一個網(wǎng)絡(luò)的下一態(tài),讓后發(fā)送給配置管理模塊來更新網(wǎng)絡(luò)配置信息,從而形成了一個閉環(huán);處在外環(huán)的分析引擎和邏輯安全模型是為了更好地處理一直攻擊和異常用戶設(shè)計(jì)的,分析引擎從物理網(wǎng)絡(luò)中提取出事實(shí)時間,并分析該事件的影響和提取出有異常行為的用戶(行為特征就在該模塊中實(shí)現(xiàn)),然后通知給邏輯安全模型,邏輯安全模型以此為基礎(chǔ)分析整個網(wǎng)絡(luò)的安全事態(tài),并生成一系列處理已發(fā)生攻擊和異常用戶的策略(包含隔離某個用戶幾點(diǎn)、改變網(wǎng)絡(luò)變化的速度等),然后反饋給適應(yīng)引擎,適應(yīng)引擎根據(jù)此信息更新在下一步適應(yīng)中執(zhí)行的策略.

3.2 行為特征&閾值模型

行為特征&閾值模型是擬態(tài)內(nèi)網(wǎng)模型中分析引擎的主要組成部分.為了能在企業(yè)內(nèi)網(wǎng)出現(xiàn)異常節(jié)點(diǎn)時能夠及時的發(fā)現(xiàn)并處理,行為特征&閾值模型根據(jù)每個用戶的網(wǎng)絡(luò)行為習(xí)慣建立了細(xì)粒度的用戶行為特征,并結(jié)合當(dāng)前用戶實(shí)時行為推斷出用戶是否處在異常狀態(tài).

圖3展示了用戶網(wǎng)絡(luò)行為習(xí)慣異常檢測,其中各指標(biāo)含義:

圖3 用戶網(wǎng)絡(luò)行為習(xí)慣異常檢測Fig.3 User network behavior abnormal detection

1) weight:用戶行為分布的函數(shù)空間值.

2) anomaly:超過閾值的數(shù)據(jù)點(diǎn).

3) time:用戶網(wǎng)絡(luò)行為時間序列.

當(dāng)檢測窗口內(nèi)用戶網(wǎng)絡(luò)行為沒有異常值出現(xiàn)時,該窗口內(nèi)的用戶行為.隨著歷史數(shù)據(jù)的學(xué)習(xí),該值不斷的更新為最大的正常用戶網(wǎng)絡(luò)行為值.

當(dāng)檢測窗口內(nèi)的用戶網(wǎng)絡(luò)行為出現(xiàn)異常時,說明某些用戶行為不正,或許因?yàn)槌霈F(xiàn)了仿冒攻擊,也可能使該用戶時惡意內(nèi)部用戶,此時該“行為特征&閾值”模型會通知“行為特征-擬態(tài)網(wǎng)絡(luò)”模型和“不確定評估”模型協(xié)作處理.

4 系統(tǒng)實(shí)現(xiàn)

4.1 整體設(shè)計(jì)

“基于擬態(tài)安全防護(hù)的企業(yè)內(nèi)網(wǎng)安全防護(hù)”原型系統(tǒng)是在企業(yè)內(nèi)網(wǎng)中擬態(tài)內(nèi)網(wǎng)模型基礎(chǔ)上設(shè)計(jì)和實(shí)現(xiàn)的,并在Linux系統(tǒng)中進(jìn)行相關(guān)模塊的設(shè)計(jì)和開發(fā)工作.

圖4所示是原型系統(tǒng)總體設(shè)計(jì)結(jié)構(gòu),總體分為兩大模塊來實(shí)現(xiàn):智能分析引擎和網(wǎng)絡(luò)管理模塊.

圖4 整體系統(tǒng)架構(gòu)Fig.4 System architecture

1) 智能分析引擎.大體上分為3個層次、4個模塊,從下往上依次為信息獲取模塊、信息綜合模塊、策略生成模塊和邏輯安全模塊,下層模塊為上層模塊提供所需信息,上層模塊將信息進(jìn)行分析、關(guān)聯(lián)、統(tǒng)計(jì),最終生成企業(yè)內(nèi)網(wǎng)可疑點(diǎn)檢測及擬態(tài)反饋策略,用于指導(dǎo)擬態(tài)網(wǎng)絡(luò)的動態(tài)調(diào)整過程.

2) 網(wǎng)絡(luò)管理模塊.大體上由并列的三個子模塊組成,分別是自適應(yīng)模塊、配置管理模塊、邏輯任務(wù)模塊.三個模塊互相依靠,相互關(guān)聯(lián),循環(huán)提供信息,并且由自適應(yīng)模塊處理分析引擎輸出的信息,由配置管理模塊向分析引擎提供網(wǎng)絡(luò)配置信息.

4.2 功能實(shí)現(xiàn)

原型系統(tǒng)實(shí)現(xiàn)了擬態(tài)內(nèi)網(wǎng)模型中的核心模塊,旨在驗(yàn)證理論模型正確性和有效性,為模型評價(jià)提供實(shí)際運(yùn)行環(huán)境.

系統(tǒng)的針對擬態(tài)變化系統(tǒng),實(shí)現(xiàn)了以下主要功能.

1)以IP地址變化為代表的擬態(tài)網(wǎng)絡(luò)功能.原型系統(tǒng)的擬態(tài)變化主要體現(xiàn)在企業(yè)內(nèi)網(wǎng)員工客戶機(jī)和服務(wù)器IP地址的隨機(jī)變化上,通過IP地址的隨機(jī)變化使得整個網(wǎng)絡(luò)處在動態(tài)變化的非確定態(tài)中.如圖5所示為以IP地址擬態(tài)變化流程,當(dāng)前IP是企業(yè)內(nèi)網(wǎng)當(dāng)前正在使用的IP集合,保留IP是為了檢測異常和控制管理網(wǎng)絡(luò)而保留的IP集合,空閑IP是可以使用的大量IP集合,下一態(tài)IP是擬態(tài)模型確定系統(tǒng)下一狀態(tài)使用的IP集合.擬態(tài)內(nèi)網(wǎng)模型確定下一態(tài)IP后通知會進(jìn)行配置管理,從而使得整個系統(tǒng)處在動態(tài)循環(huán)中.

圖5 IP擬態(tài)變化Fig.5 IP mimicry changing

2)基于DNS解析變化的內(nèi)網(wǎng)服務(wù)器擬態(tài)變化功能.在IP實(shí)現(xiàn)的擬態(tài)變化中,網(wǎng)絡(luò)系統(tǒng)需要滿足功能一致性要求,即對于內(nèi)網(wǎng)服務(wù)器來說需要滿足為正常的客戶端提供正常的服務(wù).因此,為了滿足正常用戶對內(nèi)網(wǎng)服務(wù)器IP地址變化的訪問透明性要求,適應(yīng)引擎通過改變內(nèi)網(wǎng)服務(wù)器的同時同步的修改內(nèi)網(wǎng)DNS解析服務(wù)器對內(nèi)網(wǎng)服務(wù)器域名的解析結(jié)構(gòu)來實(shí)現(xiàn)正常內(nèi)網(wǎng)用戶的內(nèi)網(wǎng)服務(wù)正常訪問.圖 6 DNS解析變化圖示中,詳細(xì)說明了正常客戶端連接服務(wù)器的流程:

a) 客戶端應(yīng)用根據(jù)內(nèi)網(wǎng)服務(wù)器域名發(fā)起訪問請求.

b) 客戶端向內(nèi)網(wǎng)DNS服務(wù)器發(fā)起DNS查詢請求,獲得此時的服務(wù)器IP地址.

c) 客戶端根據(jù)IP地址訪問內(nèi)網(wǎng)服務(wù)器.

同時,SND控制器會根據(jù)擬態(tài)變化策略不停地改變客戶端和服務(wù)器的IP地址并清空DNS緩存,同時修改DNS服務(wù)器內(nèi)網(wǎng)服務(wù)器域名的解析記錄.

圖6 DNS解析變化Fig.6 DNS changing

3)基于SDN的惡意網(wǎng)絡(luò)掃描和靜態(tài)IP攻擊的檢測功能.惡意網(wǎng)絡(luò)掃描和針對靜態(tài)IP的攻擊是針對企業(yè)內(nèi)網(wǎng)攻擊的兩個重要的步驟,本系統(tǒng)在實(shí)現(xiàn)IP地址擬態(tài)變化的基礎(chǔ)上采用SND技術(shù)檢測網(wǎng)絡(luò)中的惡意掃描行為和針對靜態(tài)IP的攻擊行為,并將檢測結(jié)果反映到擬態(tài)變化功能中.

4)結(jié)合安全評估的定向擬態(tài)變化功能.系統(tǒng)在實(shí)現(xiàn)網(wǎng)絡(luò)變化中,不是本著絕對隨機(jī)化的原則,而是根據(jù)網(wǎng)絡(luò)實(shí)時安全狀態(tài)來實(shí)現(xiàn)真正的擬態(tài)適應(yīng).

系統(tǒng)的針對行為特征系統(tǒng),實(shí)現(xiàn)了以下主要功能.

1)基于用戶歷史網(wǎng)絡(luò)行為數(shù)據(jù)的用戶網(wǎng)絡(luò)行為特征建模功能.綜合評測數(shù)據(jù)源的可得性、完整性、獲取代價(jià)和覆蓋完整性后,原型系統(tǒng)選擇網(wǎng)絡(luò)數(shù)據(jù)包頭部數(shù)據(jù)來對每一個用戶網(wǎng)絡(luò)行為進(jìn)行建模.該數(shù)據(jù)有以下優(yōu)點(diǎn):數(shù)據(jù)易得:不涉及到個人隱私問題,只需鏡像抓取主干網(wǎng)流量即可;數(shù)據(jù)完整:沒有部署在客戶端的傳感器,所有流量數(shù)據(jù)都得到監(jiān)控;部署代價(jià)低:只有集中處理器和網(wǎng)絡(luò)流量數(shù)據(jù)抓取服務(wù)器;覆蓋完整:任何辦公平臺都能覆蓋.

2)基于行為特征&閾值模型的用戶異常網(wǎng)絡(luò)行為實(shí)時監(jiān)測功能.原型系統(tǒng)在對每一個用戶網(wǎng)絡(luò)行為的基礎(chǔ)上,實(shí)時分析網(wǎng)絡(luò)數(shù)據(jù)流,根據(jù)每個用戶行為的偏離情況和實(shí)時閾值來判定用戶是否行為異常.其中,需要仔細(xì)選擇用來建模和檢測異常的機(jī)器學(xué)習(xí)算法,一些機(jī)器學(xué)習(xí)算法(例如樸素貝葉斯,邏輯回歸,決策樹和線性SVM)在處理這種訓(xùn)練數(shù)據(jù)時會表現(xiàn)的很差.一個理想的算法應(yīng)該是參數(shù)少,并且對其參數(shù)不敏感,以便系統(tǒng)可以簡單的將其應(yīng)用于不同的數(shù)據(jù)集.原型系統(tǒng)選擇了核密度估計(jì)算法,該算法已經(jīng)被證明對于干擾特征是健壯的,并且在實(shí)際中工作的很好.

5 實(shí)驗(yàn)及數(shù)據(jù)分析

基于上一章中給出的基于擬態(tài)安全防御的企業(yè)內(nèi)網(wǎng)安全防護(hù)原型系統(tǒng),本章對原型系統(tǒng)功能進(jìn)行測試實(shí)驗(yàn),驗(yàn)證了原型系統(tǒng)防御常見企業(yè)內(nèi)網(wǎng)攻擊的能力.

5.1 實(shí)驗(yàn)環(huán)境

軟硬件環(huán)境:

系統(tǒng)驗(yàn)證實(shí)驗(yàn)的軟硬件環(huán)境如表1所示.

表1 系統(tǒng)驗(yàn)證環(huán)境
Table 1 System verification environment

類別描述操作系統(tǒng)Ubuntu 桌面版15.0CPUIntel Xeon E5-2620內(nèi)存8G硬盤SATA 7200轉(zhuǎn)硬盤顯示設(shè)備1920*1080分辨率網(wǎng)絡(luò)10M及以上接入網(wǎng)絡(luò)腳本支持Python 2.7.6,R 3.0.2,Octave3.8.1第三方庫文件mininet,opendaylight界面軟件Chrome瀏覽器

測試數(shù)據(jù)集:

為了更好的了解真實(shí)用戶網(wǎng)絡(luò)行為信息的分布和聚合情況,我們申請到了知名公開數(shù)據(jù)集CAIDA2中的相關(guān)數(shù)據(jù).我們一共得到大約300GB的頭部信息數(shù)據(jù),從中提取了大約10GB的正常用戶相關(guān)數(shù)據(jù),其中包含大約3億條用戶操作記錄.另外,依據(jù)CAIDA數(shù)據(jù)集,我們合成了大約1GB的異常用戶相關(guān)數(shù)量,其中包含大約1千萬條用戶操作記錄.

每個記錄中都含有多個特征屬性,我們關(guān)注的是:時間信息,傳輸層協(xié)議,源目的地址、數(shù)據(jù)包大小和源目的端口號信息.在初期的版本中,我們只是用代表用戶操作行為的離開校園網(wǎng)的數(shù)據(jù)(請求數(shù)據(jù)),并且只選用傳輸層協(xié)議和目的端口這兩個特征,因?yàn)檫@個兩個特征最能體現(xiàn)用戶的網(wǎng)絡(luò)行為習(xí)慣.我們以100個數(shù)據(jù)包為單位,測量了數(shù)據(jù)集中每一個用戶的每一百條中不同協(xié)議、目的端口出現(xiàn)的數(shù)量,并以此為基礎(chǔ)生成了每一個用戶的訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù).

5.2 實(shí)驗(yàn)結(jié)果

5.2.1 功能一致性結(jié)果

原型系統(tǒng)功能一致性主要體現(xiàn)在系統(tǒng)在進(jìn)行擬態(tài)變化的同時能夠保證內(nèi)網(wǎng)用終端和服務(wù)器的可達(dá)性,即內(nèi)網(wǎng)擬態(tài)變化和DNS解析變化同步進(jìn)行.擬態(tài)變化應(yīng)當(dāng)是對用戶透明的,所以在擬態(tài)變化的過程中應(yīng)當(dāng)保證用戶終端兩兩之間的互通性.并且,擬態(tài)變化也不能影響內(nèi)網(wǎng)服務(wù)器的正常功能,所以在擬態(tài)變化的過程中應(yīng)保證所有客戶端都可以正常的使用域名訪問內(nèi)網(wǎng)服務(wù)器、合理使用內(nèi)網(wǎng)資源.如表2所示,本次實(shí)驗(yàn)中分別測試了擬態(tài)變化時間間隔為10s、5s、2s、1s的擬態(tài)變化中用戶終端的互通性和內(nèi)網(wǎng)服務(wù)器的可達(dá)性,結(jié)果顯示都是正確的,說明在整個網(wǎng)絡(luò)擬態(tài)變化的過程中沒有影響網(wǎng)絡(luò)的功能.

表2 系統(tǒng)功能一致性結(jié)果
Table 2 System function conformance

擬態(tài)變化間隔(s)用戶終端可達(dá)性內(nèi)網(wǎng)服務(wù)器可達(dá)性10YY5YY2YY1YY

5.2.2 攻擊防御結(jié)果

DDOS攻擊檢測評估.實(shí)驗(yàn)使用模擬攻擊節(jié)點(diǎn)模擬攻擊者來對內(nèi)網(wǎng)服務(wù)器進(jìn)行DDOS攻擊,通過觀測預(yù)保留IP監(jiān)控節(jié)點(diǎn)的檢測結(jié)果來判斷系統(tǒng)對DDOS的防御和識別效果.如表3所示,實(shí)驗(yàn)分別測試了攻擊者單位時間發(fā)出攻擊數(shù)據(jù)包數(shù)量為5、10、100、500的DDOS攻擊的情況,從預(yù)保留IP監(jiān)控節(jié)點(diǎn)的檢測結(jié)果可以看出隨著單位內(nèi)攻擊數(shù)據(jù)包數(shù)據(jù)的增加,本系統(tǒng)的DDOS攻擊檢測率呈快速上升趨勢,當(dāng)單位時間內(nèi)攻擊數(shù)據(jù)包數(shù)量超過50的時候,系統(tǒng)能夠100%的檢測出DDOS攻擊,同時這些DDOS攻擊沒有對內(nèi)網(wǎng)服務(wù)器的可達(dá)性產(chǎn)生影響.

表3 DDOS攻擊檢測結(jié)果
Table 3 DDOS detection results

攻擊數(shù)據(jù)包數(shù)量(/s)DDOS檢測率內(nèi)網(wǎng)服務(wù)器可達(dá)性584%Y1092%Y50100%Y100100%Y500100%Y

另一方面,傳統(tǒng)企業(yè)內(nèi)網(wǎng)防護(hù)系統(tǒng)通過集成基于誤用檢測或異常檢測的DDOS檢測方法來處理常見的DDOS攻擊.為了充分說明本系統(tǒng)在處理企業(yè)內(nèi)網(wǎng)DDOS攻擊方面的先進(jìn)性,實(shí)驗(yàn)采用最近在DDOS攻擊檢測方面取得很好效果的基于集成學(xué)習(xí)的DDoS攻擊檢測[29]作為對比基線.

實(shí)驗(yàn)采用在基于集成學(xué)習(xí)的DDOS攻擊檢測方法中取得良好效果的NB-Enseble、 BN-Ensemble、 J48-Ensemble 和RT-Ensemble 四種方法作為對照組,并且使用分類檢測的正確率Accuracy來衡量方法結(jié)果.其中,本擬態(tài)系統(tǒng)(Mi-System)的正確率是多組單位時間發(fā)出不同攻擊數(shù)據(jù)包數(shù)量的DDOS攻擊的平均正確率.實(shí)驗(yàn)對比結(jié)果如表4所示,擬態(tài)系統(tǒng)的平均正確率處在基于集成學(xué)習(xí)的DDOS攻擊檢測四種方法的中位水平,但是本系統(tǒng)基于擬態(tài)防御天然的檢測防護(hù)能力不需要建模和測試時間,同時系統(tǒng)對DDOS的檢測行為對業(yè)務(wù)是透明性的,即DDOS攻擊不會對系統(tǒng)業(yè)務(wù)產(chǎn)生影響.

表4 DDOS攻擊檢測結(jié)果對比表
Table 4 DDOS detection results comparison

所用方法建模時間(s)測試時間(s)Accuracy是否業(yè)務(wù)透明NB-Enseble5.821.689.63NBN-Ensem-ble7.380.4198.30NJ48-Ensem-ble4.710.1299.84NRT-Ensem-ble4.790.1499.84NMi-System0098.40Y

網(wǎng)絡(luò)蠕蟲攻擊檢測評估.實(shí)驗(yàn)實(shí)現(xiàn)了多個典型的網(wǎng)絡(luò)蠕蟲病毒原型,其定時掃描內(nèi)網(wǎng)并向活I(lǐng)P主機(jī)上擴(kuò)散來模擬內(nèi)網(wǎng)妥協(xié)節(jié)點(diǎn)對內(nèi)網(wǎng)服務(wù)器進(jìn)行網(wǎng)絡(luò)蠕蟲攻擊,通過觀測預(yù)保留IP監(jiān)控節(jié)點(diǎn)的檢測結(jié)果來判斷系統(tǒng)對網(wǎng)絡(luò)蠕蟲攻擊的防御和識別效果.如表5所示,實(shí)驗(yàn)分別測試了網(wǎng)絡(luò)蠕蟲病毒以固定時間間隔為 1、5、10、50、100的擴(kuò)散攻擊的情況,預(yù)保留IP監(jiān)控節(jié)點(diǎn)的檢測結(jié)果可以看出系統(tǒng)能夠高效的檢測出網(wǎng)絡(luò)蠕蟲攻擊,同時這些網(wǎng)絡(luò)蠕蟲攻擊沒有對內(nèi)網(wǎng)系統(tǒng)的正常運(yùn)行產(chǎn)生影響.

表5 網(wǎng)絡(luò)蠕蟲攻擊檢測結(jié)果
Table 5 Worm detection results

攻擊時間間隔(s)檢測率內(nèi)網(wǎng)系統(tǒng)的可用性1100%Y5100%Y1098%Y5081%Y10072%Y

另一方面,傳統(tǒng)企業(yè)內(nèi)網(wǎng)防護(hù)系統(tǒng)通過集成基于特征檢測、異常檢測或混合檢測的網(wǎng)絡(luò)蠕蟲檢測方法來處理常見的網(wǎng)絡(luò)蠕蟲攻擊.為了充分說明本系統(tǒng)在處理企業(yè)內(nèi)網(wǎng)網(wǎng)絡(luò)蠕蟲攻擊方面的先進(jìn)性,實(shí)驗(yàn)采用在網(wǎng)絡(luò)蠕蟲攻擊檢測方面取得很好效果的基于數(shù)據(jù)包負(fù)載特征約簡的入侵檢測方法[30]作為對比基線.

實(shí)驗(yàn)仍然使用分類檢測的正確率Accuracy來衡量方法結(jié)果,其中本擬態(tài)系統(tǒng)的正確率是多組不同固定傳播時間間隔的網(wǎng)絡(luò)蠕蟲的平均正確率.實(shí)驗(yàn)對比結(jié)果如表6所示,擬態(tài)系統(tǒng)的平均正確率略遜于基于數(shù)據(jù)包負(fù)載特征約簡的入侵檢測方法,但是本系統(tǒng)基于擬態(tài)防御天然的檢測防護(hù)能力不需要建模和測試時間,同時針對網(wǎng)絡(luò)蠕蟲攻擊檢測也不需要額外的資源.另外,在任何強(qiáng)度的網(wǎng)絡(luò)蠕蟲攻擊中,系統(tǒng)都能保證檢測對業(yè)務(wù)的透明性.

異常網(wǎng)絡(luò)行為檢測評估.分析引擎是結(jié)合傳統(tǒng)防御策略和擬態(tài)網(wǎng)絡(luò)的模塊,其根據(jù)當(dāng)前網(wǎng)絡(luò)的配置信息和物理網(wǎng)絡(luò)中的實(shí)時事件利用建模分類算法和行為特征閾值模型分析出網(wǎng)絡(luò)中的異常節(jié)點(diǎn),并將該信息發(fā)送給邏輯安全模塊.因此,分析引擎是擬態(tài)網(wǎng)絡(luò)中用于處理已知攻擊的重要模塊.行為分析是分析引擎的具體實(shí)現(xiàn)部分,原型使用網(wǎng)絡(luò)數(shù)據(jù)包的部分頭部字段來對用戶網(wǎng)絡(luò)行為進(jìn)行建模,并實(shí)時監(jiān)測用戶異常行為.其中,實(shí)驗(yàn)中檢測到的典型異常網(wǎng)絡(luò)行為包括:大面積內(nèi)網(wǎng)掃描、針對性流量攻擊、大規(guī)模數(shù)據(jù)拖取、大量度數(shù)據(jù)外傳、假冒用戶攻擊等.檢測結(jié)果如圖7所示,實(shí)驗(yàn)使用分類檢測的AUC值(ROC曲線下的面積)來衡量檢測結(jié)果,圖中可見隨機(jī)選取的10個用戶對于異常數(shù)據(jù)檢測的AUC值都超過了0.9,并且在沒有誤報(bào)率的基礎(chǔ)上,平均檢測率約為0.97.

表6 網(wǎng)絡(luò)蠕蟲攻擊檢測結(jié)果對比表
Table 6 Worm detection results comparison

所用方法建模時間(s)檢測時間(s)Accuracy是否業(yè)務(wù)透明數(shù)據(jù)包負(fù)載特征YY98.17NMi-SystemNN97.75Y

另一方面,為了充分說明本系統(tǒng)采用的基于用戶網(wǎng)絡(luò)行為建模的方法在處理企業(yè)內(nèi)網(wǎng)異常網(wǎng)絡(luò)行為方面的先進(jìn)性,實(shí)驗(yàn)采用在企業(yè)內(nèi)網(wǎng)異常檢測方面取得很好效果的基于用戶主機(jī)活動的異常檢測方法[31]作為對比基線.

圖7 異常行為檢測結(jié)果Fig.7 Abnormal behavior detection

實(shí)驗(yàn)采用在基于用戶主機(jī)活動的異常檢測方法中取得良好效果的Scenario Detector、 File Events Indicator 和Relational Pseudo Anomaly Detection 三種方法作為對照組,并且使用分類檢測的AUC來衡量方法結(jié)果.其中,本擬態(tài)系統(tǒng)的AUC是隨機(jī)選取的10個用戶對于異常數(shù)據(jù)檢測的平均AUC值.實(shí)驗(yàn)對比結(jié)果如圖8所示,擬態(tài)系統(tǒng)的平均AUC和基于用戶主機(jī)活動的異常檢測方法的最優(yōu)結(jié)果相差無幾.另外,本系統(tǒng)采用的基于用戶網(wǎng)絡(luò)行為建模的方法具有數(shù)據(jù)易得、數(shù)據(jù)完整性高、覆蓋面全、部署代價(jià)低等優(yōu)勢.

圖8 異常行為檢測結(jié)果對比圖Fig.8 Abnormal behavior detection results comparison

5.3 結(jié)果分析

由實(shí)驗(yàn)結(jié)果可以看出,本系統(tǒng)對DDOS、網(wǎng)絡(luò)蠕蟲病毒、假冒用戶攻擊等常見企業(yè)內(nèi)網(wǎng)攻擊行為有著天然的免疫力,并且能夠高效的識別和檢測出大部分攻擊.和傳統(tǒng)的網(wǎng)絡(luò)安全防護(hù)系統(tǒng)相比,本基于擬態(tài)防御理論的內(nèi)網(wǎng)系統(tǒng)有以下幾方面優(yōu)勢:

1) 先天防御優(yōu)于后天防御.本系統(tǒng)通過在傳統(tǒng)企業(yè)內(nèi)網(wǎng)系統(tǒng)中植入擬態(tài)基因,使得企業(yè)內(nèi)網(wǎng)在動態(tài)變化的過程中擁有了先天防御內(nèi)網(wǎng)攻擊的能力.另外,通過引入分析引擎模塊,使得系統(tǒng)兼具先天防御攻擊和后天識別威脅的能力.但是,傳統(tǒng)的網(wǎng)絡(luò)安全防護(hù)系統(tǒng)依據(jù)后天防御的設(shè)計(jì)思路實(shí)現(xiàn)的,其只具備識別、處理對內(nèi)網(wǎng)系統(tǒng)造成一定傷害的已知攻擊.

2) 業(yè)務(wù)透明性.本系統(tǒng)的一大亮點(diǎn)在于對企業(yè)內(nèi)網(wǎng)安全態(tài)勢的可控性,其具體體現(xiàn)在系統(tǒng)能夠在任何攻擊情況下保障業(yè)務(wù)的功能一致性,也就是說內(nèi)網(wǎng)攻擊對企業(yè)業(yè)務(wù)是透明的.這是任何傳統(tǒng)網(wǎng)絡(luò)安全防護(hù)系統(tǒng)都不能做到的.

3) 可集成傳統(tǒng)防御技術(shù).本系統(tǒng)通過巧妙的設(shè)計(jì)分析引擎,使得系統(tǒng)能夠方面、靈活的集成傳統(tǒng)的防御技術(shù).這使得系統(tǒng)既能夠利用傳統(tǒng)防御技術(shù)高效處理已知攻擊的特點(diǎn),又能夠發(fā)揮擬態(tài)網(wǎng)絡(luò)混淆攻擊者和降低未知攻擊危害的優(yōu)勢.

4) 0-day漏洞(未知攻擊).目前以0-day漏洞為代表的未知攻擊是企業(yè)內(nèi)網(wǎng)系統(tǒng)面臨的巨大威脅之一.傳統(tǒng)的網(wǎng)絡(luò)安全防護(hù)系統(tǒng)通過基于攻擊、病毒特征庫的方式來識別和檢測內(nèi)網(wǎng)攻擊,這使得其完全不能處理未知攻擊.本系統(tǒng)通過擬態(tài)變化的先天防御功能,能夠最大限度的降低0-day漏洞的威脅.

6 結(jié) 論

隨著信息技術(shù)的發(fā)展,各類企業(yè)對網(wǎng)絡(luò)的依賴性越來越大.企業(yè)內(nèi)網(wǎng)系統(tǒng)作為企業(yè)中的信息和資源共享的的平臺,承載了企業(yè)運(yùn)轉(zhuǎn)的基石,是現(xiàn)代化企業(yè)不可缺少的一部分,同時企業(yè)內(nèi)網(wǎng)安全的重要性也日益凸顯.本文提出了一種基于擬態(tài)安全防御的企業(yè)內(nèi)網(wǎng)安全防護(hù)系統(tǒng).針對當(dāng)前主流企業(yè)網(wǎng)的常規(guī)安全策略和防護(hù)措施的不足,利用擬態(tài)安全防御思想,建立了適用于企業(yè)內(nèi)網(wǎng)的擬態(tài)網(wǎng)絡(luò)模型,并基于此實(shí)現(xiàn)了企業(yè)內(nèi)網(wǎng)安全防護(hù)原型系統(tǒng).實(shí)驗(yàn)結(jié)果表明本系統(tǒng)能夠在保證功能一致性即擬態(tài)變化對用戶透明的前提下高效的識別出常見的DDOS攻擊和網(wǎng)絡(luò)蠕蟲攻擊,并且細(xì)粒度異常網(wǎng)絡(luò)行為檢測的評價(jià)AUC值達(dá)到了0.97,大大提升了企業(yè)內(nèi)網(wǎng)的安全性.

猜你喜歡
內(nèi)網(wǎng)擬態(tài)模塊
28通道收發(fā)處理模塊設(shè)計(jì)
“選修3—3”模塊的復(fù)習(xí)備考
章魚大師的擬態(tài)課堂
模仿大師——擬態(tài)章魚
關(guān)于擬聲擬態(tài)詞的考察
企業(yè)內(nèi)網(wǎng)中的數(shù)據(jù)隔離與交換技術(shù)探索
內(nèi)外網(wǎng)隔離條件下如何實(shí)現(xiàn)郵件轉(zhuǎn)發(fā)
集成水空中冷器的進(jìn)氣模塊
你能找到它們嗎
商南县| 治县。| 理塘县| 德阳市| 舞钢市| 通河县| 江北区| 吉林市| 边坝县| 额济纳旗| 阳原县| 德清县| 洪江市| 自贡市| 义马市| 西乌珠穆沁旗| 广水市| 桃江县| 横峰县| 尚义县| 谢通门县| 惠水县| 蕲春县| 安溪县| 陈巴尔虎旗| 晋江市| 收藏| 忻城县| 周宁县| 宜宾市| 新巴尔虎左旗| 华池县| 遂平县| 博客| 牙克石市| 三台县| 维西| 五台县| 方正县| 定州市| 西城区|