1 引言

隨著傳感器技術、計算機技術、互聯網技術等的飛速發(fā)展，依托對網絡數據的采集處理，網絡應用發(fā)展迅猛，極大地提高了社會生產效率，改善了民眾社會生活水平，與此同時帶來了爆炸式增長的網絡流量，這對網絡數據采集處理的性能和穩(wěn)定性提出了極高的要求[1]。

目前，針對實際業(yè)務與應用需要，需要對網絡數據包進行采集處理，主流的網絡數據采集和處理系統(tǒng)主要包括：匯聚交換設備、采集處理單元、組網交換機等，根據應用和業(yè)務需要對網絡數據包進行采集處理[2]。現有的網絡數據采集處理系統(tǒng)中，匯聚交換設備依據LAN端口的電氣狀態(tài)，判斷采集處理單元的端口和鏈路是否正常[3,4]。若端口狀態(tài)和鏈路都正常的情況下，因匯聚交換設備未知的硬件故障導致LAN端口通信中斷，或采集處理單元出現異常時，這將導致匯聚交換設備無法正常判斷，數據的繼續(xù)傳輸會造成丟失或網絡中斷，嚴重影響網絡的安全和穩(wěn)定[5]。

綜上所述，需要研究一種高可用負載均衡網絡數據采集處理的方法，能夠監(jiān)測網絡數據采集處理系統(tǒng)軟硬件的運行狀態(tài)，準確快速地判斷軟硬件故障，能準實時地將故障端口、單元對應的數據均分到其他正常運行的數據采集處理單元，保障系統(tǒng)運行正常、網絡通信穩(wěn)定，真正實現高可用的負載均衡網絡數據采集處理系統(tǒng)，具有重要的意義。

2 高可用負載均衡網絡數據采集處理系統(tǒng)

高可用負載均衡網絡數據采集處理系統(tǒng)由匯聚交換設備、采集處理單元、組網交換機等組成，系統(tǒng)拓撲如圖1所示，各部分描述如下：

圖1 高可用負載均衡網絡數據采集處理系統(tǒng)拓撲圖

（1）外部網絡設備：通過鏈路與匯聚交換設備的WAN端口相連，能夠進行雙向通信；

（2）匯聚交換設備：按負載均衡策略把流量均衡地從LAN端口組輸出；

（3）采集處理單元：根據LAN端口的總數，按平均分配的原則，與匯聚交換設備的LAN端口對接，每個采集處理單元可以接入一條或多條鏈路；根據應用和業(yè)務需要對輸入的數據進行采集、分析、處理、轉發(fā)等。

（4）轉發(fā)的數據流向：由LAN端口輸入到匯聚交換設備，經匯聚交換設備把數據從對應的WAN端口輸出；

（5）通信方式：匯聚交換設備、采集處理單元的管理通信網口連接到組網交換機，相互進行通信。

2.1 高可用負載均衡網絡數據采集處理系統(tǒng)的方案設計

對系統(tǒng)整體架構拆分分析，系統(tǒng)整體架構如圖2所示，各部分的邏輯描述如下：

圖2 高可用負載均衡網絡數據采集處理系統(tǒng)的整體架構

（1）為每個采集處理單元分配一個按數字遞增的唯一主機ID，從1開始。同時配置在線采集處理單元的總數、對應的LAN端口號等信息，這些信息記錄到配置文件；

（2）每個采集處理單元除了部署網絡數據包采集、處理的相關功能模塊外，還需部署系統(tǒng)監(jiān)控模塊，分為主控狀態(tài)和備用狀態(tài)；

（3）各采集處理單元的系統(tǒng)監(jiān)控模塊按如下規(guī)則確定主控、備用狀態(tài)：所有當前正常運行的采集處理單元中，主機ID最小的系統(tǒng)監(jiān)控模塊為主控狀態(tài)，其他采集處理單元中的系統(tǒng)監(jiān)控模塊為備用狀態(tài)；

隨著互聯網信息技術和社會經濟的快速發(fā)展，人們獲取信息的方式和媒介信息傳播的生態(tài)環(huán)境發(fā)生了巨大變革。在信息傳播格局深刻變化的新時代，網絡媒介信息宣傳工作必須跟上時代發(fā)展的步伐，著力打造行業(yè)特色信息傳播平臺，通過多種媒介語言講好文化故事。網絡編輯只有主動適應新形勢，把握新機遇，將新技術、新手段運用于媒介信息宣傳工作的創(chuàng)新實踐中，才能為優(yōu)化信息傳播工作提供更便捷、更實用、更有效的載體。

（5）主系統(tǒng)監(jiān)控模塊的功能有：監(jiān)控其他采集處理單元的心跳情況，當某個采集處理單元的心跳發(fā)生超時，關閉故障對應的LAN端口，把數據負載均衡地分配到其他正常運行的采集處理單元，如圖3所示；

（6）備系統(tǒng)監(jiān)控模塊的功能有：監(jiān)控其他采集處理單元的心跳情況，當發(fā)現某個采集處理單元的心跳發(fā)生超時，判斷自身主機ID是否為當前在線正常運行采集處理單元中最小的，如果不是，則不需處理，否則將自身狀態(tài)切換為主控狀態(tài)，關閉故障對應的LAN端口，把數據負載均衡地分配到其他正常運行的采集處理單元，如圖4所示。

2.2 高可用負載均衡網絡數據采集處理系統(tǒng)的方案邏輯

針對系統(tǒng)的采集處理過程，通過主控、備用兩種通信方式的結合，具有了雙重保障，可實現高效和可靠的故障判斷，避免誤判，各部分設定的邏輯描述如下：

（1）當主系統(tǒng)監(jiān)控模塊所在的采集處理單元出現故障時，則由其他正常運行采集處理單元中主機ID最小的系統(tǒng)監(jiān)控模塊接替為主控狀態(tài)，邏輯描述如圖3所示；

圖3 主系統(tǒng)監(jiān)控模塊異常處理邏輯描述圖

（2）當原主系統(tǒng)監(jiān)控模塊所在的采集處理單元恢復正常時，由于其主機ID是當前最小的，所以重新成為主系統(tǒng)監(jiān)控模塊，而之前接替為主系統(tǒng)監(jiān)控模塊判斷到有主機ID更小的采集處理單元激活，則退出主控狀態(tài)，切換為備用狀態(tài)，邏輯描述如圖4所示；

（3）采集處理單元通過LAN端口發(fā)送心跳消息（包含自身主機ID信息），由匯聚交換設備廣播到其他采集處理單元，每個采集處理單元根據其他采集處理單元的心跳情況，從而確定它們的運行狀態(tài)；

（4）采集處理單元還能通過組網交換機這條通信途徑相互通信，用于主系統(tǒng)監(jiān)控模塊確認采集處理單元的故障情況（某臺采集處理單元的心跳超時），立刻通過組網交換機向疑似故障采集處理單元的系統(tǒng)監(jiān)控模塊發(fā)送異常確認請求消息，如果收到確認回復消息或響應超時，則判定其出現故障。

圖4 主系統(tǒng)監(jiān)控模塊恢復正常邏輯描述圖

2.3 負載均衡策略

2.4 高可用策略

按照主從方式配置：主機工作，備機處于監(jiān)控準備狀況；當主機宕機時，備機接管主機的一切工作，待主機恢復正常后，按使用者的設定以自動或手動方式將服務切換到主機上運行，數據的一致性通過共享存儲系統(tǒng)解決。

高可用策略能夠在匯聚交換設備LAN端口、鏈路、采集處理單元端口出現故障、采集處理單元掉電的情況下保證數據不丟失、網絡不中斷；同時也能保證匯聚交換設備因監(jiān)測不到的硬件故障導致LAN端口通信中斷，或者采集處理單元在操作系統(tǒng)死機、采集處理軟件出現故障、采集處理單元在線更新升級時，達到數據不丟失、業(yè)務不中斷、網絡無感知的效果。

2.5 整體方案流程

整體方案流程如圖5所示，詳細的處理流程描述如下：

（1）采集處理單元啟動完成后，采集處理模塊按定義的時間間隔（每5毫秒）從LAN端口發(fā)送心跳消息，心跳消息包含自身的主機ID信息，由匯聚交換設備廣播到其他采集處理單元。采集處理模塊發(fā)送心跳的同時把時間戳記錄到共享內存，精確到毫秒。

（2）當采集處理單元在采集數據時，收到其他采集處理單元發(fā)送的心跳消息后，把該主機ID和心跳時間戳記錄到共享內存，精確到毫秒。

（3）每個采集處理單元的系統(tǒng)監(jiān)控模塊每5 ms讀取一次共享內存，檢查自身及其他采集處理單元的心跳消息時間戳，如果自身的心跳時間戳超過15 ms沒有更新，說明采集處理模塊連續(xù)缺少3個心跳消息，可確認其出現異常，在收到其他采集處理單元發(fā)送過來的異常確認請求消息時回復確認消息；如果其他采集處理單元的心跳時間戳超過15 ms沒有更新，說明該采集處理單元連續(xù)缺少3個心跳消息，已經出現異常，不能正常發(fā)送心跳消息。

（4）主控狀態(tài)的系統(tǒng)監(jiān)控模塊監(jiān)測到其他采集處理單元出現異常后，立刻通過組網交換機的通信途徑向異常單元的系統(tǒng)監(jiān)控模塊發(fā)送異常確認請求消息，如果收到確認回復或響應超時，則判定該單元異常，把匯聚交換設備對應的LAN端口設置為不可用狀態(tài)，流量不再向其分流；如果收到采集處理單元正常運行的回復消息，則認為是匯聚分流設備的原因導致，主控系統(tǒng)監(jiān)控模塊不需操作，由另外的匯聚交換設備的保護機制實施保護措施。

（5）如果備用狀態(tài)的系統(tǒng)監(jiān)控模塊檢測到其他備用狀態(tài)的采集處理單元心跳超時，由于自身主機ID非當前最小，所以不需進行任何操作。

（6）如果備用狀態(tài)的系統(tǒng)監(jiān)控模塊檢測到主控狀態(tài)的采集處理單元心跳超時，則判斷自身主機ID是否僅次于主控采集處理單元，如果是，則將自己切換成主控狀態(tài)，同時通過組網交換機的通信途徑向原主控采集處理單元的系統(tǒng)監(jiān)控模塊發(fā)送異常確認請求消息，如果收到確認回復或響應超時，則判定該單元異常，把匯聚交換設備對應的LAN端口設置為不可用狀態(tài)，流量不再向其分流，如果收到原主控采集處理單元正常運行的回復消息，則認為是匯聚分流設備的原因導致，不需進行任何操作，由另外的匯聚交換設備的保護機制實施保護措施。

圖5 高可用負載均衡網絡數據采集處理系統(tǒng)的方案處理流程圖

3 結論

本文所提的高可用負載均衡網絡數據采集處理的方法及系統(tǒng)，采用簡潔的通信協(xié)議，嚴謹的控制邏輯，在不增加硬件成本的情況下能夠監(jiān)測軟硬件的運行狀態(tài)，當系統(tǒng)出現軟硬件故障時能準確、快速地判斷故障，特別適用在綜合門戶系統(tǒng)、電子政務系統(tǒng)、綜合管理系統(tǒng)等需要大量網絡數據采集及處理的場景中應用。