網(wǎng)絡(luò)環(huán)境

網(wǎng)絡(luò)安全法相關(guān)條款規(guī)定，采取監(jiān)測、記錄網(wǎng)絡(luò)運(yùn)行狀態(tài)、網(wǎng)絡(luò)安全事件的技術(shù)措施，并按照規(guī)定留存相關(guān)的網(wǎng)絡(luò)日志不少于六個(gè)月。為了留存網(wǎng)絡(luò)日志要至少180天，單位上了一臺(tái)深信服的萬兆上網(wǎng)行為12000，日在線最高IP地址數(shù)3萬個(gè)左右，出口帶寬最高下行近24G，上網(wǎng)最高超過6G，每天的日志空間在300G左右，每天有約3000萬條的日志，當(dāng)然這些數(shù)據(jù)是記錄后得到的。

按照設(shè)備上的建議，超過2萬用戶數(shù)時(shí)不開流量審計(jì)，所以只開上網(wǎng)行為審計(jì)中的應(yīng)用審計(jì)和網(wǎng)頁內(nèi)容審計(jì)，沒開流量審計(jì)、沒開終端接入管理。在設(shè)備上架過程中遇到了一些意想不到的問題，做了一些改變才使設(shè)備正常運(yùn)行。改變后的網(wǎng)絡(luò)拓?fù)鋱D如圖1所示。

圖1 網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)

問題一：上網(wǎng)行為的外置日志中心無法收集日志

因網(wǎng)絡(luò)安全法要求日志要保存180天，考慮到有3萬多用戶，上網(wǎng)行為本身帶的內(nèi)置日志中心無法滿足要求，所以選擇外置日志中心。外置日志中心用服務(wù)器+專用存儲(chǔ)來保存日志，服務(wù)器用老的IBM3650，存儲(chǔ)用的是新的華 三UniStor X10516三臺(tái)做的集群，每臺(tái)是14個(gè)4TB硬盤，為提高容量采用一副本，沒有采用標(biāo)準(zhǔn)的三副本配置，顯示可用150TB，實(shí)際可能用到75TB。

UniStor X10516網(wǎng)絡(luò)共享目錄是在CIFS文 件 夾 下，NFS共享目錄是在NFS文件夾下。服務(wù)器選用Windows 2008系統(tǒng)，通過網(wǎng)絡(luò)共享的方式即\172.16.72.21把華三存儲(chǔ)掛在服務(wù)器上，把共享文件夾映射成K盤，安裝了上網(wǎng)行為的外置日志中心服務(wù)，日志數(shù)據(jù)存在華三存儲(chǔ)上的這個(gè)K盤上。

外置日志中心開啟服務(wù)后，發(fā)現(xiàn)日志數(shù)據(jù)沒法收集在存儲(chǔ)上，反復(fù)查找原因都找不到。最后，深信服的研發(fā)回答，是因?yàn)橥鈷煊脖P（網(wǎng)絡(luò)共享映射的盤）不能超過5TB，否則收集不了數(shù)據(jù)，必須用物理硬盤。沒想到是這個(gè)原因，找不到有幾十個(gè)T空間的服務(wù)器，此路不通只能另想辦法。

解決方法：

想到ESXi可以掛載NFS存儲(chǔ)，于是把服務(wù)器IBM 3650安 裝 ESXi 6.5，然后安裝一臺(tái)虛擬服務(wù)器，通過ESXi 6.5上面加掛華三存儲(chǔ)（如圖2所示），再給虛擬服務(wù)器增加一個(gè)60TB的硬盤從華三存儲(chǔ)上，日志還是保存在華三存儲(chǔ)上，這樣外置日志中心才正常運(yùn)行，可以收集日志數(shù)據(jù)了。

通過幾天的時(shí)間才把日志數(shù)據(jù)基本同步到外置日志中心，但華三存儲(chǔ)的NAS特點(diǎn)即可以在所有服務(wù)器上都查看存儲(chǔ) 上內(nèi)容現(xiàn)在沒法看到了，在華三存儲(chǔ)的目錄管理中只能看到一個(gè)擴(kuò)展名為vmdk的60TB的文件（如圖3），里面具體的上網(wǎng)行為日志記錄無法看到，但在外置日志中心服務(wù)器里還是可以看到日志記錄的，華三存儲(chǔ)的文件共享的功能沒有了。如果外置日志中心服務(wù)器壞了，日志數(shù)據(jù)如何讀取這個(gè)只能以后再考慮。

圖2 ESXi上面的存儲(chǔ)掛接

圖3 華三存儲(chǔ)管理界面上面目錄管理

圖4 服務(wù)器匯聚交換機(jī)接口帶寬

問題二：服務(wù)器匯聚交換機(jī)帶寬占比高

上網(wǎng)行為的日志文件能保存后開始數(shù)據(jù)收集數(shù)據(jù)較慢，有個(gè)同步時(shí)間，等幾天后數(shù)據(jù)基本正常了，即可以查看當(dāng)天的日志。這時(shí)發(fā)現(xiàn),日志服務(wù)器的接口每天帶寬有500M－ 600M，最高有700M（如圖 4），而平時(shí)服務(wù)器匯聚的平均帶寬只有20M左右，帶寬增加非常明顯。

解決方法：

原來服務(wù)器匯聚是單鏈路，接口只有1G，考慮到有時(shí)服務(wù)器峰值帶寬有幾百M(fèi)，感覺目前服務(wù)器匯聚交換機(jī)的帶寬用得較滿。

為保障服務(wù)器匯聚帶寬決定增加帶寬即增加線路，但因服務(wù)器匯聚前面是經(jīng)過WAF的，而這個(gè)WAF只有6個(gè)千兆電口，線路最多只能三進(jìn)三出。馬上增加跳線和找兩邊交換機(jī)的空端口，在服務(wù)器匯聚交換機(jī)與辦公核心交換機(jī)兩邊做三條線路做聚合，這樣接口帶寬就達(dá)到了3G，肯定能滿足服務(wù)器匯聚交換機(jī)帶寬的需求。

因線路聚合的原因，三條線路的流量不均衡，一條20M左右，一條300M左右，一條200M左右，因交換機(jī)聚合端口只按源與目的MAC、IP配置，無法使三條線路帶寬均衡。

問題三：服務(wù)器匯聚交換機(jī)網(wǎng)絡(luò)不通

服務(wù)器匯聚交換機(jī)與辦公核心交換機(jī)兩邊做三條線路做聚合后問題也馬上來了，服務(wù)器的網(wǎng)絡(luò)都不通了！

解決方法：

這個(gè)問題就大了，立即動(dòng)手查原因，首先把交換機(jī)三條線路聚合后直接兩邊交換機(jī)不通過WAF，這時(shí)網(wǎng)絡(luò)是正常的，而接入WAF后網(wǎng)絡(luò)不通，肯定是因?yàn)閃AF阻攔了。WAF是綠盟的，馬上進(jìn)入WAF查看，在安全管理中ARP欺騙防護(hù)增加兩邊的網(wǎng)關(guān)網(wǎng)絡(luò)也不通，在網(wǎng)絡(luò)層訪問控制里每對(duì)線路上放行接入網(wǎng)關(guān)，還是不行。

最后，關(guān)掉安全管理中-策略啟停中的的ARP欺騙防護(hù)（如圖 5），網(wǎng)絡(luò)才恢復(fù)正常，懸著的心總算落地了。因服務(wù)器都需要7×24小時(shí)提供網(wǎng)絡(luò)服務(wù)，且WAF是其他人在管理，沒有更深入再去調(diào)試這個(gè)WAF。

圖5 WAF上面安全管理

圖6上網(wǎng)行為管理界面

問題四：上網(wǎng)行為12000的吞吐超過20G

深信服的上網(wǎng)行為12000的吞吐廠家說只有20G左右，設(shè)備上架后實(shí)際最高跑到下行24G，上行為6G，合計(jì)30G，CPU最高60%左右，且每天只有晚上幾個(gè)小時(shí)在最高值左右運(yùn)行（如圖6）。零點(diǎn)以后學(xué)生宿舍是斷網(wǎng)的，白天上班時(shí)間吞吐較低。

解決方法：

這學(xué)期開學(xué)以來因晚上聯(lián)通用戶的學(xué)生反映網(wǎng)絡(luò)問題較多，雖然原因很多，但考慮到上網(wǎng)行為12000的吞吐只有20G，于是把聯(lián)通的線路從上網(wǎng)行為撥出來，直接接出口上了，上網(wǎng)行為上面流量帶寬下降了有三分之一多，下行的峰值有14G，上行峰值有4G，CPU下降到30%－40%，但用戶數(shù)沒有下降多少。目前還在觀察中，如果條件允許，可再增加一臺(tái)上網(wǎng)行為。因?qū)W生核心交換機(jī)上面萬兆空白端口只剩一個(gè)了，如果把4條線路鏡像到1個(gè)端口帶寬又早超過10G從而無法使用，所以目前無法把萬兆上網(wǎng)行為做旁路接法，等條件成熟時(shí)可能會(huì)改成旁路接法。

以后考慮

考慮目前服務(wù)器匯聚交換機(jī)流量帶寬主要都是這個(gè)外置日志中心的，以后可能將網(wǎng)絡(luò)結(jié)構(gòu)再改變一下，把外置日志中心的服務(wù)器3650（等有條件時(shí)把這臺(tái)服務(wù)器也更換）、上網(wǎng)行為的管理口從服務(wù)器匯聚交換機(jī)8610上面移動(dòng)到華三6300萬兆交換機(jī)上，這樣減輕WAF的壓力，但這樣要求對(duì)外置日志中心自身的安全性要提高。

如果有條件能有更大的存儲(chǔ)，考慮可以增加流量審計(jì)、終端接入管理。有條件再增加一臺(tái)萬兆上網(wǎng)行為，這樣可以把所有線路都能記錄下來。

經(jīng)驗(yàn)總結(jié)

萬兆上網(wǎng)行為上架可以正常使用，可外置日志中心即服務(wù)器+存儲(chǔ)上架后卻無法正常收集上網(wǎng)行為的日志，出現(xiàn)一些意想不到的問題，通過更改服務(wù)器的安裝方式、更改存儲(chǔ)掛接方式、更改服務(wù)器匯聚交換機(jī)接法、更改WAF配置、減少上網(wǎng)行為的接入線路，通過這些改變才使外置日志中心正常收集日志。上架前沒想到會(huì)遇到這么多問題，通過一個(gè)個(gè)問題的解決才使設(shè)備正常跑起來了。