萬 翔 施齊林

(中國電子科技集團公司第二十八研究所 南京 210007)

?

分布式數(shù)據(jù)傳輸系統(tǒng)關(guān)鍵技術(shù)設(shè)計*

萬 翔 施齊林

(中國電子科技集團公司第二十八研究所 南京 210007)

數(shù)據(jù)傳輸系統(tǒng)作為信息系統(tǒng)軟件核心構(gòu)件,是各信息系統(tǒng)中心實現(xiàn)信息交互的前提與基礎(chǔ)。論文在基于現(xiàn)有單節(jié)點數(shù)據(jù)傳輸系統(tǒng)的基礎(chǔ)上,提出了分布式數(shù)據(jù)傳輸系統(tǒng)的關(guān)鍵技術(shù)設(shè)計,包括:集群動態(tài)組建、心跳守護、服務(wù)器注冊、服務(wù)器發(fā)現(xiàn)和集群負載均衡管理。同時通過使用LoadRunner并發(fā)性能測試工具,對該分布式數(shù)據(jù)傳輸系統(tǒng)在不同集群規(guī)模和不同負載壓力情況下的數(shù)據(jù)傳輸效率進行測試。

分布式數(shù)據(jù)傳輸; 集群動態(tài)組建; 負載均衡; 并發(fā)測試

Class Number TP391

1 引言

數(shù)據(jù)傳輸系統(tǒng)是組建各區(qū)域中心和全局信息系統(tǒng)的前提與基礎(chǔ)。各信息中心通過數(shù)據(jù)傳輸系統(tǒng)實現(xiàn)信息交互、信息共享等操作,將物理上分散的部門通過網(wǎng)絡(luò)聯(lián)系起來,實現(xiàn)信息共享與管控。

傳統(tǒng)單節(jié)點數(shù)據(jù)傳輸系統(tǒng)部署模式中,各局域中心部署多傳輸客戶端和單臺數(shù)據(jù)傳輸服務(wù)器,數(shù)據(jù)傳輸系統(tǒng)對上層應(yīng)用提供統(tǒng)一的開發(fā)接口,上層應(yīng)用通過開發(fā)接口將數(shù)據(jù)傳輸任務(wù)提交至傳輸服務(wù)器,由數(shù)據(jù)傳輸服務(wù)器提供端到端的數(shù)據(jù)傳輸服務(wù)。單節(jié)點數(shù)據(jù)傳輸系統(tǒng)部署模式如圖1所示。

在該部署模式中,各局域保障中心部署單一數(shù)據(jù)傳輸服務(wù)器,區(qū)域中各客戶端的數(shù)據(jù)傳輸均依賴于本區(qū)域唯一的一臺數(shù)據(jù)傳輸服務(wù)器,當數(shù)據(jù)傳輸任務(wù)量增加時,其傳輸時延性能將會成為瓶頸;同時,由于采取單節(jié)點部署,在節(jié)點服務(wù)器出現(xiàn)軟件或硬件故障時,會導(dǎo)致整個區(qū)域數(shù)據(jù)傳輸功能失效,系統(tǒng)可靠性較低[1]。

圖1 單節(jié)點數(shù)據(jù)傳輸系統(tǒng)部署模式

為了改善單節(jié)點數(shù)據(jù)傳輸系統(tǒng)可靠性低、傳輸時延大的缺陷,本文設(shè)計了分布式數(shù)據(jù)傳輸系統(tǒng)。分布式數(shù)據(jù)傳輸系統(tǒng)由數(shù)據(jù)傳輸客戶端、數(shù)據(jù)傳輸服務(wù)器和數(shù)據(jù)傳輸調(diào)度服務(wù)器組成。分布式數(shù)據(jù)傳輸系統(tǒng)部署模式如圖2所示。

圖2 分布式數(shù)據(jù)傳輸系統(tǒng)部署模式

在分布式數(shù)據(jù)傳輸系統(tǒng)中,各局域保障中心部署多臺數(shù)據(jù)傳輸服務(wù)器,各服務(wù)器節(jié)點之間具有物理分離、功能一致、相互獨立的特點。數(shù)據(jù)傳輸服務(wù)集群由多臺數(shù)據(jù)傳輸服務(wù)器節(jié)點組成,共同為用戶提供傳輸服務(wù)。為實現(xiàn)對傳輸集群實現(xiàn)狀態(tài)管理和任務(wù)調(diào)度,達到資源負載的最優(yōu)化分配,各區(qū)域保障中心內(nèi)部署一臺數(shù)據(jù)傳輸調(diào)度服務(wù)器,數(shù)據(jù)傳輸調(diào)度服務(wù)器實現(xiàn)數(shù)據(jù)傳輸服務(wù)器的動態(tài)擴展支持、資源負載調(diào)度、服務(wù)心跳守護等功能[2]。

2 關(guān)鍵技術(shù)設(shè)計

分布式數(shù)據(jù)傳輸系統(tǒng)主要由數(shù)據(jù)傳輸調(diào)度服務(wù)器和數(shù)據(jù)傳輸服務(wù)器集群組成。分布式數(shù)據(jù)傳輸系統(tǒng)設(shè)計的關(guān)鍵技術(shù)包括:集群動態(tài)組建[3]、服務(wù)器注冊、服務(wù)心跳守護、服務(wù)器發(fā)現(xiàn)和負載均衡管理。

2.1 集群動態(tài)組建

分布式數(shù)據(jù)傳輸系統(tǒng)集群規(guī)模必須支持可動態(tài)增減,最小集群規(guī)模由一臺數(shù)據(jù)傳輸服務(wù)器組成[4]。用戶根據(jù)需要可動態(tài)增加數(shù)據(jù)傳輸服務(wù)器集群數(shù)目,實現(xiàn)數(shù)據(jù)傳輸能力的動態(tài)擴展。

當動態(tài)數(shù)據(jù)傳輸集群能力擴展時,新增的數(shù)據(jù)傳輸服務(wù)器會自動向數(shù)據(jù)傳輸調(diào)度服務(wù)器發(fā)起注冊,并定時向調(diào)度服務(wù)發(fā)送心跳數(shù)據(jù)包上報傳輸服務(wù)器運行狀態(tài)和負載狀態(tài)。

當集群內(nèi)部某臺數(shù)據(jù)傳輸服務(wù)器出現(xiàn)故障無法正常工作時,傳輸調(diào)度服務(wù)器要能夠在設(shè)定的時間內(nèi)監(jiān)測到該傳輸服務(wù)器失效事件,并將故障服務(wù)器從傳輸集群中刪除,不再對其進行任務(wù)分發(fā)操作[5]。

分布式數(shù)據(jù)傳輸集群的動態(tài)組建功能具有非常大的環(huán)境適應(yīng)性,便于用戶根據(jù)需要搭建規(guī)模適度的傳輸系統(tǒng)。

2.2 服務(wù)器注冊

分布式數(shù)據(jù)傳輸系統(tǒng)中包含多個數(shù)據(jù)傳輸服務(wù)器,并支持數(shù)據(jù)傳輸服務(wù)器的動態(tài)擴展。數(shù)據(jù)傳輸服務(wù)器通過向數(shù)據(jù)傳輸調(diào)度服務(wù)器發(fā)送注冊報文,完成服務(wù)器注冊。數(shù)據(jù)傳輸服務(wù)器注冊與注冊數(shù)據(jù)格式如圖3所示。

圖3 數(shù)據(jù)傳輸服務(wù)器注冊與注冊數(shù)據(jù)格式示意圖

2.3 心跳守護

數(shù)據(jù)傳輸調(diào)度服務(wù)器負責管理集群內(nèi)各傳輸服務(wù)器的運行狀態(tài),實時監(jiān)聽來自集群內(nèi)數(shù)據(jù)傳輸服務(wù)器的心跳信息,并通過心跳判定服務(wù)器活動狀態(tài)[6]。當數(shù)據(jù)傳輸調(diào)度服務(wù)器超過一定時間未接收到某臺數(shù)據(jù)傳輸服務(wù)器心跳報文時,判定該傳輸服務(wù)器處于僵死狀態(tài)(可能是網(wǎng)絡(luò)不連通、宕機等),數(shù)據(jù)傳輸調(diào)度服務(wù)器從服務(wù)器管理隊列中刪除對應(yīng)的數(shù)據(jù)傳輸服務(wù)器信息,且不會繼續(xù)分發(fā)傳輸任務(wù)至該服務(wù)器[7]。

服務(wù)之間的心跳守護示意圖和心跳報文格式如圖4所示。

圖4 心跳守護示意圖與報文格式

2.4 服務(wù)器發(fā)現(xiàn)

分布式傳輸系統(tǒng)中,數(shù)據(jù)傳輸服務(wù)器與數(shù)據(jù)傳輸調(diào)度服務(wù)器之間物理相連,但位置獨立。對各服務(wù)器的啟動順序不應(yīng)進行假設(shè)[8]。當數(shù)據(jù)傳輸服務(wù)器在進行注冊時,數(shù)據(jù)傳輸調(diào)度服務(wù)器可能未啟動,導(dǎo)致注冊信息丟失。數(shù)據(jù)傳輸調(diào)度服務(wù)器在啟動過程中創(chuàng)建服務(wù)器心跳監(jiān)聽線程,監(jiān)聽來自集群內(nèi)傳輸服務(wù)器的心跳信息。通過心跳信息,數(shù)據(jù)傳輸調(diào)度服務(wù)可發(fā)現(xiàn)已啟動的數(shù)據(jù)傳輸服務(wù)器。

2.5 負載均衡管理

數(shù)據(jù)傳輸調(diào)度服務(wù)器維護集群內(nèi)數(shù)據(jù)傳輸服務(wù)器負載狀態(tài),負載由當前傳輸任務(wù)數(shù)、服務(wù)器CPU利用率和服務(wù)器內(nèi)存利用率三個因素決定[9]。在本文所設(shè)計的分布式傳輸系統(tǒng)中,數(shù)據(jù)傳輸服務(wù)器負載采用如下經(jīng)驗公式進行計算:

服務(wù)器負載= 當前任務(wù)數(shù)*0.6+CPU利用率*0.2

+內(nèi)存利用率*0.2

集群內(nèi)傳輸服務(wù)器將服務(wù)器狀態(tài)屬性以心跳報文形式定時上傳至數(shù)據(jù)傳輸調(diào)度服務(wù)器。數(shù)據(jù)傳輸調(diào)度服務(wù)器在接收到傳輸任務(wù)時,通過計算各服務(wù)器負載選擇負載最低的傳輸服務(wù)器并將傳輸任務(wù)分發(fā)至該傳輸服務(wù)器[10]。傳輸服務(wù)器在執(zhí)行完傳輸任務(wù)后,向傳輸調(diào)度服務(wù)器發(fā)送任務(wù)完成通知。數(shù)據(jù)傳輸任務(wù)分發(fā)示意圖如圖5所示。

圖5 數(shù)據(jù)傳輸任務(wù)分發(fā)示意圖

3 LoadRunner測試與分析

本文根據(jù)闡述的分布式數(shù)據(jù)傳輸系統(tǒng)設(shè)計完成了軟件原型設(shè)計,為驗證分布式數(shù)據(jù)傳輸系統(tǒng)與單節(jié)點數(shù)據(jù)傳輸部署模式在性能上的優(yōu)劣,本文采用惠普公司研發(fā)的并發(fā)性能測試軟件LoadRunner對數(shù)據(jù)傳輸系統(tǒng)在不同部署模式、不同集群規(guī)模、不同任務(wù)并發(fā)數(shù)和不同傳輸數(shù)據(jù)量的情況下分別進行性能測試。并發(fā)性能測試環(huán)境如圖6所示。

實驗中,數(shù)據(jù)傳輸時延為并發(fā)模擬器產(chǎn)生的模擬數(shù)據(jù)通過傳輸集群發(fā)送至數(shù)據(jù)傳輸時延統(tǒng)計工具的傳輸時延。通過LoadRunner模擬指定數(shù)量的數(shù)據(jù)傳輸并發(fā)用戶。LoadRunner并發(fā)模擬器與數(shù)據(jù)傳輸接收統(tǒng)計工具事先通過網(wǎng)絡(luò)對時服務(wù)進行對時,在模擬報文中獲取本機時間戳,當數(shù)據(jù)傳輸接收統(tǒng)計工具接收到模擬報文時,再次獲取本機時間戳并計算時間差值,統(tǒng)計數(shù)據(jù)傳輸時延。

圖6 LoadRunner并發(fā)性能測試環(huán)境組成

數(shù)據(jù)傳輸系統(tǒng)在不同部署模式下,傳輸數(shù)據(jù)長度為300字節(jié)隨機數(shù)據(jù)的傳輸時延統(tǒng)計如圖7所示。

圖7 傳輸數(shù)據(jù)長度300字節(jié)時延統(tǒng)計

數(shù)據(jù)傳輸系統(tǒng)在不同部署模式下,發(fā)送長度為1K字節(jié)隨機數(shù)據(jù)的傳輸時延統(tǒng)計如圖8所示。

圖8 傳輸數(shù)據(jù)長度1K字節(jié)時延統(tǒng)計

分布式數(shù)據(jù)傳輸系統(tǒng)在不同部署模式下,發(fā)送長度為10K字節(jié)隨機數(shù)據(jù)的傳輸時延統(tǒng)計如圖9所示。

圖9 傳輸數(shù)據(jù)長度10K字節(jié)傳輸時延統(tǒng)計

通過上述并發(fā)性能測試數(shù)據(jù),可以得出如下結(jié)論:

1) 與現(xiàn)有單節(jié)點數(shù)據(jù)傳輸系統(tǒng)相比,分布式數(shù)據(jù)傳輸系統(tǒng)能夠有效降低多并發(fā)任務(wù)下的傳輸時延,提高數(shù)據(jù)傳輸實時性;

2) 在用戶傳輸數(shù)據(jù)長度達到一定臨界值時,擴展集群傳輸能力可以有效地降低數(shù)據(jù)傳輸時延。

4 結(jié)語

本文提出了分布式數(shù)據(jù)傳輸系統(tǒng)設(shè)計的關(guān)鍵技術(shù),并通過并發(fā)性能測試工具驗證了在不同部署模式、不同集群規(guī)模、不同并發(fā)任務(wù)數(shù)和不同傳輸數(shù)據(jù)量情況下的數(shù)據(jù)傳輸性能。與單節(jié)點數(shù)據(jù)傳輸系統(tǒng)相比,本文提出的分布式數(shù)據(jù)傳輸系統(tǒng)具有以下優(yōu)勢:

1) 分布式數(shù)據(jù)傳輸系統(tǒng)能夠有效降低多并發(fā)用戶數(shù)據(jù)傳輸時的時延,提高數(shù)據(jù)傳輸?shù)膶崟r性;

2) 分布式數(shù)據(jù)傳輸系統(tǒng)支持集群內(nèi)數(shù)據(jù)傳輸服務(wù)器的動態(tài)增加和減少,便于用戶根據(jù)具體環(huán)境,部署合適規(guī)模的系統(tǒng);

3) 分布式數(shù)據(jù)傳輸系統(tǒng)通過部署多臺數(shù)據(jù)傳輸服務(wù)器,提高了系統(tǒng)的可靠性。

同時,本文所提出的分布式數(shù)據(jù)傳輸系統(tǒng)仍然需要改進并進行以下方面的研究:

1) 通過數(shù)據(jù)傳輸性能測試,證明了傳輸集群部署模式的優(yōu)勢,但并未就傳輸時延與集群規(guī)模、傳輸任務(wù)并發(fā)數(shù)和傳輸數(shù)據(jù)量大小得出定量關(guān)系結(jié)論;

2) 該分布式傳輸系統(tǒng)中包含有傳輸調(diào)度服務(wù)器,本文對傳輸調(diào)度服務(wù)器的可靠性未做出詳盡分析,在后續(xù)的系統(tǒng)優(yōu)化中,應(yīng)考慮傳輸調(diào)度服務(wù)器的冗余備份和故障恢復(fù)。

[1] 湯扣林,徐大勇.指揮信息系統(tǒng)軟件可靠性設(shè)計[J].指揮信息系統(tǒng)與技術(shù),2014.

[2] 靳雪梅.基于協(xié)同運行的進離港排序系統(tǒng)的設(shè)計[J].指揮信息系統(tǒng)與技術(shù),2010,1(4):1-4.

[3] N. Srinivas, Kalyanmoy Deb. Multi-objective Optimization Using Nondominated Sorting in Genetic Algorithms. Evolutionary Computation,1994,2(3):221-248.

[4] Rajkumar Buyya. High Performance Cluster Computing: Architectures and Systems Vol[M]. Ⅰ. Prentice-Hall,1999:2-30.

[5] S. Jamin, C. Jin, Y. Jin, et al. On the placement of Internet instrumentation[C]//Proc. IEEE INFOCOM,2000:295-304.

[6] Mohyud-Din, S. T., M. A. Noor. Some Relatively New Techniques for Nonlinear Problems. Mathematical Problems in Engineering,2009.

[7] Konak, A., D. W. Coit. Multi-objective Optimization Using Genetic Algorithms: A Tutorial. Reliability Engineering & System Safety,2006,91(9):992-1007.

[8] S Deering, R Hinden. Internet protocol version 6(IPv6) specification. RFC 2460, Dec. 1998.

[9] Morrison, R.S.: Cluster Computing - Architectures, Operating Systems, Parallel Processing & Programming Languages,2003.

[10] Jeffrey Horn, Nicholas Nafpliotis, David E. Goldberg. A Niched Pareto Genetic Algorithm for Multi-objective Optimization[C]//Proceedings of the First IEEE Conference on Evolutionary Computation, IEEE World Congress on Computational Intelligence. Piscataway, New Jersey: IEEE Service Center,1994,1:82-87.

Key Design of Distributed Data Transmission System

WAN Xiang SHI Qilin

(The 28thResearch Institute of China Electronics Technology Group Corporation, Nanjing 210007)

As the core component of information system, data transmission system is the premise and foundation of information exchanging between different systems. This paper is based on the existing single node pattern, puts forward the key design of distributed data transmission system, including dynamic cluster formation, heartbeat daemon, server registration, load balancing and so on. At the same time, through the use of concurrent LoadRunner performance testing tool, the efficiency of distributed data transmission system in different cluster sizes and load pressure is tested.

distributed data transmission, dynamic cluster formation, load balancing, concurrency testing

2014年10月20日,

2014年11月29日

萬翔,男,助理工程師,研究方向:分布式處理技術(shù)。施齊林,男,助理工程師,研究方向:分布式處理技術(shù)。

TP391

10.3969/j.issn1672-9730.2015.04.026