引言：某專線單位出現(xiàn)網(wǎng)絡(luò)故障，遠(yuǎn)端服務(wù)器不能正常訪問。通過梳理網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，按照網(wǎng)絡(luò)層次逐級(jí)排查的辦法，將故障定位在設(shè)備端口損壞，從而導(dǎo)致VLAN之間互相影響。在更換設(shè)備端口后故障排除。

故障現(xiàn)象

近日，某集團(tuán)客戶向我們反映不能正常訪問指揮分中心的服務(wù)器，得知這一故障后，我們迅速展開排查。為了理清思路我們先了解下網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)（如圖1）。

通過圖1我們可以看到，這次集團(tuán)客戶專線項(xiàng)目主要依托目前的城域網(wǎng)進(jìn)行數(shù)據(jù)傳輸，城域網(wǎng)是由中心站、科苑站、解放站和神道站四個(gè)基站組成，每個(gè)基站都將EPON和EOC作為接入層設(shè)備連接至基站的傳輸設(shè)備上，然后采用就近的原則將攝像頭數(shù)據(jù)送達(dá)至指揮分中心，從而實(shí)現(xiàn)指揮分中心轄區(qū)的攝像頭數(shù)據(jù)在本地匯聚存儲(chǔ)。最后，通過城域網(wǎng)中心基站C5566設(shè)備將數(shù)據(jù)送達(dá)至指揮中心，實(shí)現(xiàn)了指揮中心對(duì)各分中心視頻資料的實(shí)時(shí)查看和調(diào)取。

圖1 某集團(tuán)客戶專線網(wǎng)絡(luò)拓?fù)鋱D

在指揮中心和16個(gè)指揮分中心均采用了三層交換機(jī)，在交換機(jī)上創(chuàng)建不同VLAN，并設(shè)置默認(rèn)路由，實(shí)現(xiàn)分中心與指揮中心之間的數(shù)據(jù)通訊。具體做法是，各分中心的交換機(jī)通過默認(rèn)路由實(shí)現(xiàn)與指揮中心交換機(jī)的通訊，指揮中心的交換機(jī)通過靜態(tài)路由的方式與各分中心的交換機(jī)進(jìn)行數(shù)據(jù)通訊。這樣，每個(gè)分中心的業(yè)務(wù)VLAN不相同，然后使用VLAN2作為分中心和指揮中心的互聯(lián)VLAN，實(shí)現(xiàn)分中心和指揮中心的數(shù)據(jù)通信。

故障分析

既然指揮中心訪問分中心是通過路由，首先在指揮中心的交換機(jī)上對(duì)故障分中心交換機(jī)地址10.0.0.10執(zhí)行Ping測(cè)試，結(jié)果是失敗的?；ヂ?lián)地址都Ping不通，當(dāng)然Ping故障分中心的業(yè)務(wù)VLAN地址37.56.73.1也是不通的，因?yàn)楣收戏种行牡姆?wù)器網(wǎng)關(guān)為37.56.73.1，所以才出現(xiàn)故障開頭的那一幕，指揮中心無法訪問某分中心的服務(wù)器。

根據(jù)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，我們決定按照自下而上順藤摸瓜的方式排除故障。首先測(cè)量故障分中心交換機(jī)的接收光功率-14db，屬于正常范圍。然后查看了的交換機(jī)的連接情況，該交換機(jī)上的網(wǎng)口上連接了服務(wù)器、硬盤錄像機(jī)和磁盤陣列。

為了排除該交換機(jī)本身連接設(shè)備的嫌疑，我們只保留了該交換機(jī)的上聯(lián)口，將交換機(jī)上連接服務(wù)器等設(shè)備的端口關(guān)閉后，在指揮中心的交換機(jī)上Ping該分中心交換機(jī)依然不通。在這臺(tái)交換機(jī)上使用命令dis logbuffer查看告警信息，也沒有發(fā)現(xiàn)異常信息。在該交換機(jī)上還發(fā)現(xiàn)了一個(gè)特殊的現(xiàn)象，同在一臺(tái)交換機(jī)下的服務(wù)器、硬盤錄像機(jī)和磁盤陣列互相Ping會(huì)出現(xiàn)丟包嚴(yán)重的現(xiàn)象。

為了排除故障，我們配置了該分中心的備用交換機(jī)，問題依然存在，但是只要斷開該交換機(jī)的上聯(lián)口，這些設(shè)備之間互相Ping是沒有問題的。

通過上面一系列的排查可以確定，引起故障的環(huán)節(jié)不在分中心。

接下來繼續(xù)排查上游設(shè)備——城區(qū)傳輸設(shè)備C5566。使用命令show interface查看了連接分中心的端口流量已經(jīng)達(dá)到了100%，可是據(jù)該分中心攝像頭總數(shù)不足20路，怎么會(huì)有這么大的流量呢？

該傳輸設(shè)備上共連接了3個(gè)分中心，目前其他兩個(gè)分中心業(yè)務(wù)正常，只是視頻監(jiān)控畫面出現(xiàn)了卡頓的現(xiàn)象。使用命令show interfacer gig1/18查看了傳輸設(shè)備連接OLT端口的利用率，已經(jīng)達(dá)到87%。為了保證OLT至傳輸設(shè)備間的鏈路暢通，我們決定使用鏈路聚合來實(shí)現(xiàn)兩臺(tái)設(shè)備間的鏈路擴(kuò)容，配置命令如下：

上面我們分別在C5566和OLT上配置了鏈路聚合，做完這些操作后，可以看到流量已經(jīng)逐漸在兩個(gè)端口上進(jìn)行分擔(dān)，這說明已經(jīng)實(shí)現(xiàn)了鏈路的擴(kuò)容。完成這一小插曲后，繼續(xù)處理指揮中心至分中心的網(wǎng)絡(luò)故障。為了進(jìn)一步排查故障，嘗試將該傳輸設(shè)備上的其他在用的端口都關(guān)閉，發(fā)現(xiàn)問題依然存在。

在文章的開頭我們介紹了分中心和指揮中心的通訊依靠的是路由，即VLAN2，然后通過VLAN2達(dá)到調(diào)看分中心圖像的目的，這樣就會(huì)在C5566和OLT之間使用TRUNK端口，即允許互聯(lián)VLAN2和業(yè)務(wù)VLAN120通過，我們上面所做的Ping測(cè)試都是在10.0.0.1上Ping的 10.0.0.10，這是互聯(lián)VLAN2的地址。在這里我們做一個(gè)假設(shè)，如果將該端口的VLAN120刪除那么VLAN2會(huì)正常嗎？按照這一思路我們將該端口的VLAN120刪除后，果然可以在指揮中心Ping通分中心VLAN2的地址10.0.0.10。故障分析到這里變得撲朔迷離起來，那么為什么端口一加入VLAN120,就會(huì)影響VLAN2通訊呢？

故障解決

按照網(wǎng)絡(luò)層次的劃分，仔細(xì)檢查了端口的配置，均沒有發(fā)現(xiàn)問題。既然數(shù)據(jù)鏈路層沒有發(fā)現(xiàn)問題，那么就需要對(duì)物理層展開排查。物理層兩臺(tái)設(shè)備互聯(lián)無非的物理端口、光纖和光模塊，光纖和光模塊我們進(jìn)行了更換，均沒有奏效。因?yàn)镃5566上已經(jīng)沒有了空余端口，索性將該分中心連接到了OLT上，就在配置完OLT的端口并且連接完光纖后，網(wǎng)絡(luò)恢復(fù)了正常，在指揮中心可以正常Ping通分中心的互聯(lián)地址，同時(shí)調(diào)看分中心的視頻圖像也是沒有問題的，這樣故障就排除了。

故障總結(jié)

經(jīng)過這次故障的排除，我們可以斷定，是C5566上的端口出現(xiàn)了故障。為了驗(yàn)證這一說法，我們將C5566連接的其他正常分中心業(yè)務(wù)的端口，連接到出現(xiàn)故障的分中心上，網(wǎng)絡(luò)也是正常的，也就是說C5566上連接故障分中心的端口出現(xiàn)了問題，才導(dǎo)致指揮中心訪問分中心出現(xiàn)故障。

在以往處理網(wǎng)絡(luò)故障的時(shí)候，我們時(shí)常遇到交換機(jī)端口損壞的情況。但是在這次故障的排查過程中，遇到光口損壞還是第一次，而且該端口損壞后，出現(xiàn)的現(xiàn)象還很特殊，即端口利用率達(dá)到100%和VLAN之間互相影響。

其實(shí)在這次網(wǎng)絡(luò)故障的處理過程中，從得知故障現(xiàn)象后，我們按照自上而下的方式進(jìn)行排查，先后在分中心、數(shù)據(jù)基站采用了排除法和假設(shè)的辦法，最終將故障的原因鎖定在了C5566的光口上，最后通過更換端口的方式達(dá)到了處理故障的目的。在此過程中我們還完成了設(shè)備間鏈路聚合的小插曲。