馮思桐 張楠 鄺安玄

摘要：基準(zhǔn)測試集Benchmark對于計(jì)算機(jī)領(lǐng)域來說是一個(gè)至關(guān)重要的組成部分，一般作為用于評價(jià)計(jì)算機(jī)性能的標(biāo)準(zhǔn)，隨著機(jī)載FC網(wǎng)絡(luò)交換技術(shù)的不斷發(fā)展和革新，目前市面上沒有一個(gè)通用的針對機(jī)載應(yīng)用特性而進(jìn)行研究的FC網(wǎng)絡(luò)交換技術(shù)基準(zhǔn)測試方法和數(shù)據(jù)集。該文首先通過對現(xiàn)今具有代表性的基準(zhǔn)測試集進(jìn)行分析和研究，主要包括嵌入式領(lǐng)域的嵌入式微處理器基準(zhǔn)測試集EEMBC以及以太網(wǎng)的RFC基準(zhǔn)測試集，其次以FC網(wǎng)絡(luò)交換機(jī)為例，對FC網(wǎng)絡(luò)交換技術(shù)基準(zhǔn)測試集合的構(gòu)建方法進(jìn)行研究，最后對未來所面臨的挑戰(zhàn)和Benchmark的發(fā)展趨勢進(jìn)行探討。

關(guān)鍵詞：基準(zhǔn)測試集;FC網(wǎng)絡(luò)交換

中圖分類號：TP393? ? ? ? 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2022）04-0051-02

1 前言

隨著計(jì)算機(jī)以及網(wǎng)絡(luò)技術(shù)的不斷發(fā)展[5]，市場上逐漸涌入越來越多的嵌入式計(jì)算機(jī)、微處理器、網(wǎng)絡(luò)交換機(jī)等相關(guān)的各種計(jì)算機(jī)產(chǎn)品。Benchmark——基準(zhǔn)測試作為用于通用評價(jià)計(jì)算機(jī)性能的標(biāo)準(zhǔn)，在市場對計(jì)算機(jī)產(chǎn)品進(jìn)行篩選的時(shí)候，通常選擇使用權(quán)威性機(jī)構(gòu)定義的基準(zhǔn)測試程序或者基準(zhǔn)測試數(shù)據(jù)集來進(jìn)行產(chǎn)品選擇。而Benchmark作為統(tǒng)一基準(zhǔn)，使得種類繁多的產(chǎn)品能夠進(jìn)行公平而有效的度量，使測試結(jié)果具有可比性。目前嵌入式計(jì)算技術(shù)相關(guān)的國際上很有權(quán)威性的Benchmark測試集包括：嵌入式計(jì)算機(jī)基準(zhǔn)測試集EEMBC（Embedded Microprocessor Benchmark Consortium）[1]以及以太網(wǎng)RFC基準(zhǔn)測試集[2]?，F(xiàn)今隨著機(jī)載嵌入式計(jì)算網(wǎng)絡(luò)以及計(jì)算機(jī)技術(shù)的不斷發(fā)展，急需一個(gè)具有普適性、通用權(quán)威性的機(jī)載嵌入式基準(zhǔn)測試集，本文主要針對機(jī)載嵌入式計(jì)算網(wǎng)絡(luò)基準(zhǔn)測試集的構(gòu)建方法進(jìn)行研究，具體涉及有關(guān)數(shù)據(jù)集、基準(zhǔn)測試模型構(gòu)建以及度量標(biāo)準(zhǔn)等等系列定義。

一個(gè)標(biāo)準(zhǔn)的Benchmark集合進(jìn)行定義時(shí)，首先需要根據(jù)測試目的不同將Benchmark集合進(jìn)行分類[3]，一般可分為測試數(shù)據(jù)集裝載程序，負(fù)責(zé)為被測試的計(jì)算機(jī)系統(tǒng)提供測試數(shù)據(jù)集，比如大數(shù)據(jù)基準(zhǔn)測試集TPC;測試的執(zhí)行程序，負(fù)責(zé)為被測試的計(jì)算機(jī)系統(tǒng)提供工作負(fù)載，比如EEMBC基準(zhǔn)測試和以太網(wǎng)RFC基準(zhǔn)測試。在基準(zhǔn)測試集的設(shè)計(jì)中，一旦明確了基準(zhǔn)測試的設(shè)計(jì)目標(biāo)后，根據(jù)數(shù)據(jù)集、工作負(fù)載以及度量指標(biāo)對要設(shè)計(jì)的基準(zhǔn)測試集進(jìn)行建模，從實(shí)際應(yīng)用中抽象出一個(gè)通用的并且可再現(xiàn)的基準(zhǔn)測試集合。一個(gè)通用的基準(zhǔn)測試集構(gòu)建方法如圖1所示。

2 FC網(wǎng)絡(luò)交換機(jī)基準(zhǔn)測試集構(gòu)建方法

機(jī)載FC網(wǎng)絡(luò)交換機(jī)基準(zhǔn)測試集的構(gòu)建比較復(fù)雜，由于機(jī)載嵌入式應(yīng)用領(lǐng)域，機(jī)載網(wǎng)絡(luò)總線的技術(shù)特征和應(yīng)用模式比較廣泛，需要構(gòu)建一個(gè)能夠適應(yīng)大部分軍用嵌入式應(yīng)用領(lǐng)域的基準(zhǔn)測試集或者基準(zhǔn)測試平臺。機(jī)載FC網(wǎng)絡(luò)交換機(jī)基準(zhǔn)測試集的構(gòu)建思想如圖2所示。首先，分析工作場景，根據(jù)機(jī)載實(shí)際應(yīng)用分析不同網(wǎng)絡(luò)總線的工作場景，從復(fù)雜場景中提煉出有指導(dǎo)性的可作為基準(zhǔn)測試的工作模型，同時(shí)保證工作場景具備可復(fù)現(xiàn)性以及穩(wěn)定性。其次，分析網(wǎng)絡(luò)負(fù)載，按照不同網(wǎng)絡(luò)總線的協(xié)議，根據(jù)機(jī)載應(yīng)用的特性從工作場景中分析哪些可作為基準(zhǔn)測試的流量負(fù)載，比如測試FC網(wǎng)絡(luò)時(shí)用到的FC-ASM幀[4]、ELS幀等;有關(guān)基準(zhǔn)測試需求分析，可根據(jù)提煉出的工作場景和網(wǎng)絡(luò)負(fù)載，開始詳細(xì)對建立基準(zhǔn)測試平臺的需求進(jìn)行分析，結(jié)合現(xiàn)有的產(chǎn)品測試技術(shù)，抽象出一套符合基準(zhǔn)測試規(guī)范要求，并且具有指導(dǎo)性的需求功能項(xiàng);按照不同網(wǎng)絡(luò)協(xié)議的需求特點(diǎn)，根據(jù)現(xiàn)有的技術(shù)基礎(chǔ)，可以開展對基準(zhǔn)測試模型進(jìn)行構(gòu)建;根據(jù)前期的基準(zhǔn)測試需求分析以及構(gòu)建的測試模型，去定義一套符合基準(zhǔn)測試規(guī)范要求并且具有指導(dǎo)性意義的機(jī)載網(wǎng)絡(luò)基準(zhǔn)測試集;在構(gòu)建基準(zhǔn)測試集的過程中，需要綜合衡量定義的基準(zhǔn)測試評價(jià)指標(biāo)，比如FC交換設(shè)備測試時(shí)會(huì)采用的吞吐量、轉(zhuǎn)發(fā)延遲、丟包率等這些指標(biāo)進(jìn)行評價(jià)，這些都可以作為后續(xù)FC交換設(shè)備基準(zhǔn)測試集的評價(jià)指標(biāo)。最后，開展基準(zhǔn)測試平臺的研制工作，基準(zhǔn)測試平臺方面可以考慮研制自動(dòng)化的基準(zhǔn)測試設(shè)備或者測試軟件，甚至可以遠(yuǎn)程控制和操縱的一種測試平臺。

結(jié)合現(xiàn)有的FC機(jī)載網(wǎng)絡(luò)交換測試技術(shù)，構(gòu)建以FC網(wǎng)絡(luò)交換機(jī)為測試主體的基準(zhǔn)測試建模方法，描述如下：

（1）工作場景。構(gòu)建如圖3所示的一個(gè)典型的多端口FC網(wǎng)絡(luò)交換機(jī)基準(zhǔn)測試拓?fù)?，圖3是單交換機(jī)的驗(yàn)證場景，也可以構(gòu)造出二級或三級級聯(lián)交換機(jī)的工作場景。

（2）網(wǎng)絡(luò)負(fù)載。由FC網(wǎng)絡(luò)交換基準(zhǔn)測試設(shè)備（test center）輸入網(wǎng)絡(luò)負(fù)載，采用FC交換幀，具體包括FC-ASM幀、ELS幀等，作為大量的流量負(fù)載進(jìn)行輸入;負(fù)載流量模型主要有四種：點(diǎn)對點(diǎn)（Point to point）：測試入端口和一個(gè)出端口有流量;全網(wǎng)狀（Fully Meshed）：測試的入端口和其他端口都有雙向流量;多播（Multicast）：測試入端口和組播組內(nèi)端口都有流量;廣播（Broadcast）：測試入端口和其他出端口都有流量。

（3）基準(zhǔn)測試需求分析。關(guān)于FC網(wǎng)絡(luò)交換機(jī)基準(zhǔn)測試構(gòu)建的測試包括功能和性能的測試，可以定義的功能性測試如數(shù)據(jù)交換、協(xié)議符合性、級聯(lián)交換、時(shí)鐘同步測試、監(jiān)控等;有關(guān)的性能測試有交換延遲、啟動(dòng)時(shí)間等。

（4）基準(zhǔn)測試集和評價(jià)模型的構(gòu)建?；鶞?zhǔn)測試集的背景流量可以采用常用的ELS幀和ASM幀，進(jìn)行背景流量注入或者流量負(fù)載。一般可以用來作為FC網(wǎng)絡(luò)交換機(jī)的度量指標(biāo)為FC網(wǎng)絡(luò)交換機(jī)的評價(jià)指標(biāo)一般包括吞吐率（Throughout）、轉(zhuǎn)發(fā)延時(shí)（latency）、幀丟失測試（frame-loss）、錯(cuò)誤率測試（error）、協(xié)議符合性等，評價(jià)模型的建立可以將不同測試產(chǎn)品進(jìn)行這些度量指標(biāo)的測試后的測試結(jié)果，輸出成為一系列FC網(wǎng)絡(luò)交換機(jī)的基準(zhǔn)測試報(bào)告，如圖3所示。

3 結(jié)束語

本文描述了有關(guān)機(jī)載FC網(wǎng)絡(luò)交換機(jī)基準(zhǔn)測試方法研究，隨著機(jī)載嵌入式技術(shù)的發(fā)展和研究越來越多，現(xiàn)在對有關(guān)機(jī)載或通用的FC網(wǎng)絡(luò)研究也越來越復(fù)雜，如何度量和篩選這些不同種類的產(chǎn)品和技術(shù)成為至關(guān)重要的問題。我們根據(jù)現(xiàn)有的測試技術(shù)，從實(shí)際航空電子系統(tǒng)應(yīng)用的需求出發(fā)，分析了現(xiàn)有的一些成熟的基準(zhǔn)測試技術(shù)，同時(shí)對機(jī)載網(wǎng)絡(luò)基準(zhǔn)測試技術(shù)的建模方法進(jìn)行了研究和分析，定義了有關(guān)FC網(wǎng)絡(luò)交換機(jī)的工作場景、網(wǎng)絡(luò)負(fù)載、FC網(wǎng)絡(luò)交換機(jī)的基準(zhǔn)測試需求、度量指標(biāo)以及基準(zhǔn)測試平臺的定義方法等。有關(guān)基準(zhǔn)測試平臺的定義方法值得作為未來研究的發(fā)展方向，除了考慮平臺的可再現(xiàn)性、實(shí)時(shí)性、穩(wěn)定性和通用性以外，能夠進(jìn)行遠(yuǎn)程人機(jī)控制和操縱的自動(dòng)化、可視化測試平臺是未來的研究重點(diǎn)。有關(guān)機(jī)載網(wǎng)絡(luò)的基準(zhǔn)測試集合可以充分借鑒有關(guān)以太網(wǎng)RFC測試集的設(shè)計(jì)思路，設(shè)計(jì)和建立一套體系化的測試模型，使得市場上的相關(guān)產(chǎn)品也具有一定的比較性。

參考文獻(xiàn)：

[1] Embedded Microprocessor Benchmark Consortium[EB/OL].http：//www.eembc.org/.（1997-2020）

[2] The Internet Engineering Task Force（IETF）[EB/OL].http：//www.ietf.org/.（1990-2020）

[3] 閆義博，朱文強(qiáng)，楊仝，等.大數(shù)據(jù)系統(tǒng)Benchmark測試綜述[J].網(wǎng)絡(luò)新媒體技術(shù)，2018，7（3）：6-13.

[4] INCITS TR 31-20020， Information Technology-Fibre Channel Avionics Environment-Anonymous Subscriber Messaging （FC-AE-ASM）[S].2008.

[5] 林強(qiáng)，熊華鋼，張其善.光纖通道綜述[J].計(jì)算機(jī)應(yīng)用研究，2006，23（2）：9-13.

收稿日期：2021-06-02

作者簡介：馮思桐（1989—），女，工程師，碩士，主要研究方向?yàn)榍度胧接?jì)算機(jī)網(wǎng)絡(luò)測試和設(shè)計(jì)。