張曉平，柏玉嫻，朱金門(南京電子技術(shù)研究所，　南京 210039)

?

網(wǎng)絡(luò)融合技術(shù)研究

張曉平，柏玉嫻，朱金門(南京電子技術(shù)研究所，南京 210039)

摘要：大型電子裝備研制中，由于技術(shù)要求、實(shí)現(xiàn)成本、應(yīng)用場(chǎng)景不同，出現(xiàn)了多種網(wǎng)絡(luò)共存的現(xiàn)象。在此異構(gòu)的網(wǎng)路環(huán)境中，信息的高效、快速、可靠傳輸和共享是必須面對(duì)的問題。網(wǎng)絡(luò)融合設(shè)備應(yīng)用多網(wǎng)融合技術(shù)，建立以太網(wǎng)到光纖通道(FC)的橋接映射關(guān)系，以太網(wǎng)節(jié)點(diǎn)通過FC ID虛擬化的方式映射到FC網(wǎng)絡(luò)中，形成一個(gè)以FC交換網(wǎng)為主干的融合網(wǎng)，實(shí)現(xiàn)了FC協(xié)議與以太網(wǎng)協(xié)議的簡(jiǎn)單路由和實(shí)時(shí)交換功能。

關(guān)鍵詞：光纖通道；網(wǎng)絡(luò)融合；網(wǎng)絡(luò)管理；動(dòng)態(tài)配置端口

0引言

隨著計(jì)算機(jī)和網(wǎng)絡(luò)技術(shù)的高速發(fā)展，涌現(xiàn)出大量不同類型的通信網(wǎng)絡(luò)，使用戶置身于復(fù)雜多樣的異構(gòu)網(wǎng)絡(luò)環(huán)境中，信息獲取和傳輸?shù)氖侄我约皵?shù)據(jù)存儲(chǔ)和共享的方式發(fā)生了很大的變化。當(dāng)前，網(wǎng)絡(luò)形式種類繁多，各有特點(diǎn)，它們之間是一種共存發(fā)展、互相融合的關(guān)系，并且從經(jīng)濟(jì)和技術(shù)上考慮，這種關(guān)系仍將長(zhǎng)期存在[1]。

異構(gòu)網(wǎng)絡(luò)融合必須充分利用不同網(wǎng)絡(luò)間的互補(bǔ)特性，解決多種不同類型網(wǎng)絡(luò)的有機(jī)融合問題。異構(gòu)網(wǎng)絡(luò)融合采用通用的、開放的技術(shù)實(shí)現(xiàn)不同網(wǎng)絡(luò)或網(wǎng)元的互聯(lián)、互通、互操作。

某型設(shè)備研制中，上級(jí)指控系統(tǒng)采用千兆以太網(wǎng)作為信息傳輸?shù)墓歉删W(wǎng)，后端傳感器部分由于“確定性”、“可靠性”要求，采用光纖通道(FC)，作為傳感器的主干網(wǎng)。為了使以太網(wǎng)和光纖通道有機(jī)融合，我們研發(fā)網(wǎng)絡(luò)融合模塊，并對(duì)網(wǎng)絡(luò)的構(gòu)架進(jìn)行了優(yōu)化，實(shí)現(xiàn)了指控系統(tǒng)與傳感器之間的高效互聯(lián)。

1應(yīng)用背景

網(wǎng)絡(luò)融合模塊安裝于傳感器FC交換插箱中，與指控系統(tǒng)雙冗余網(wǎng)絡(luò)模塊共同作為FC交換網(wǎng)與指控系統(tǒng)網(wǎng)(雙冗余千兆以太網(wǎng))的網(wǎng)管設(shè)備，實(shí)現(xiàn)FC協(xié)議與雙冗余指控網(wǎng)以太網(wǎng)協(xié)議的轉(zhuǎn)換，完成FC設(shè)備與指控網(wǎng)的數(shù)據(jù)交互。如圖1所示。

圖1　網(wǎng)絡(luò)融合模塊功能示意圖

網(wǎng)絡(luò)融合模塊的具體功能如下：

1)傳感器網(wǎng)的FC網(wǎng)絡(luò)交換

傳感器網(wǎng)中各設(shè)備間采用FC進(jìn)行互聯(lián)通信，網(wǎng)絡(luò)融合模塊具有FC交換的功能，可在傳感器網(wǎng)中充當(dāng)FC交換機(jī)，實(shí)現(xiàn)各設(shè)備間的互聯(lián)通信。如圖1所示，傳感器網(wǎng)中的FC節(jié)點(diǎn)可以直接連接到網(wǎng)絡(luò)融合模塊上，由網(wǎng)絡(luò)融合模塊實(shí)現(xiàn)各節(jié)點(diǎn)間通信。

2)FC與系統(tǒng)雙冗余網(wǎng)連接

網(wǎng)絡(luò)融合模塊和雙冗余網(wǎng)絡(luò)模塊連接，實(shí)現(xiàn)FC與千兆以太網(wǎng)的協(xié)議轉(zhuǎn)換。網(wǎng)絡(luò)融合模塊的冗余利用模塊間的冗余實(shí)現(xiàn)，兩個(gè)網(wǎng)絡(luò)融合模塊直接與雙冗余網(wǎng)卡連接，并對(duì)等提供冗余工作模式，兩個(gè)網(wǎng)絡(luò)融合模塊之間通過FC鏈路上的心跳檢測(cè)實(shí)時(shí)通信。初始時(shí)，其中一塊網(wǎng)絡(luò)融合模塊作為工作模塊發(fā)送心跳包，另一塊作為冗余模塊接收心跳包。當(dāng)工作模塊檢測(cè)到鏈路故障時(shí)退化為冗余模塊，原來的冗余模塊接管通信鏈路成為工作模塊。

2網(wǎng)絡(luò)融合

2.1網(wǎng)絡(luò)融合模塊

網(wǎng)絡(luò)融合模塊采用6U VPX插件形式，包含網(wǎng)絡(luò)融合模塊(前插模塊)、接口模塊(后插模塊)，以及VPX交換背板，具體如圖2所示。

圖2　網(wǎng)絡(luò)融合模塊框圖

網(wǎng)絡(luò)融合模塊實(shí)現(xiàn)FC與千兆以太網(wǎng)之間的融合，其中，在FC網(wǎng)絡(luò)中還需要實(shí)現(xiàn)數(shù)據(jù)交換功能。模塊主要基于XC7VX485T大規(guī)?，F(xiàn)場(chǎng)可編程門陣列(FPGA)、XC5VFX200T大規(guī)模FPGA、MPC8640D PowerPC處理器、BCM5396千兆網(wǎng)交換芯片、雙倍數(shù)據(jù)速率(DDR2)存儲(chǔ)器、Flash存儲(chǔ)器，以及各類電源模塊。XC7VX485T FPGA作為主要功能器件，硬件實(shí)現(xiàn)FC節(jié)點(diǎn)與FC交換機(jī)。XC5VFX200T FPGA作為協(xié)議轉(zhuǎn)換加速芯片，同時(shí)作為整個(gè)系統(tǒng)啟動(dòng)的引導(dǎo)芯片最先加載，并在自身加載完成后配置MPC8640D Power PC的啟動(dòng)，其嵌入式處理模塊上的PowerPC440處理器用于實(shí)現(xiàn)FC-PCIe橋接模塊的配置與管理。MCP8640D作為主要的協(xié)議轉(zhuǎn)換處理單元，通過協(xié)議棧實(shí)現(xiàn)FC與千兆以太網(wǎng)之間的協(xié)議轉(zhuǎn)換，同時(shí)也作為主控芯片實(shí)現(xiàn)各數(shù)據(jù)通路的配置與管理[2]。

網(wǎng)絡(luò)融合模塊與FC交換接口模塊通過VPX背板上的高速連接器實(shí)現(xiàn)信號(hào)互聯(lián)；網(wǎng)絡(luò)融合模塊與兩個(gè)FC交換模塊可組合擴(kuò)展成一個(gè)完整的網(wǎng)絡(luò)融合設(shè)備。此時(shí)，如圖3所示，網(wǎng)絡(luò)融合模塊通過VPX背板上的16對(duì)RocketIO互聯(lián)與其他FC交換模塊實(shí)現(xiàn)全交換數(shù)據(jù)通信。

圖3　網(wǎng)絡(luò)融合設(shè)備結(jié)構(gòu)圖

2.2網(wǎng)絡(luò)融合原理

在XC7VX485T FPGA上實(shí)現(xiàn)FC節(jié)點(diǎn)與FC交換機(jī)。來自融合網(wǎng)絡(luò)的FC數(shù)據(jù)經(jīng)過交換接口模塊后，由交換背板連接到前插網(wǎng)路融合模塊，F(xiàn)C數(shù)據(jù)經(jīng)過FC核還原成完整的FC數(shù)據(jù)幀，接收通路根據(jù)FC數(shù)據(jù)幀中的ID信息去查詢路由表，根據(jù)獲得的信息請(qǐng)求仲裁，實(shí)現(xiàn)數(shù)據(jù)交換。

XC5VFX200T FPGA用于管理FC數(shù)據(jù)包的接收，通過掛接的DDR對(duì)FC數(shù)據(jù)進(jìn)行緩存，并將生成的數(shù)據(jù)包控制信息提交給MPC8640D，通過中斷與寄存器訪問的方式與MPC8640D協(xié)同完成協(xié)議轉(zhuǎn)換。在XC5VFX200T 上實(shí)現(xiàn)FC-PCIe橋接模塊，該模塊通過PCIE通路與MPC8640D進(jìn)行交互。

交換結(jié)構(gòu)上有兩路FC數(shù)據(jù)連接到XC5VFX200T芯片，用于實(shí)現(xiàn)FC到千兆網(wǎng)的協(xié)議轉(zhuǎn)換。這兩路FC數(shù)據(jù)進(jìn)入FPGA后，經(jīng)過PCIE通路提交給MPC8640D，MPC8640D根據(jù)橋接表將數(shù)據(jù)打包為UDP報(bào)文發(fā)送給BCM5396路由到以太網(wǎng)中。原理框圖如圖4所示。

3關(guān)鍵技術(shù)

3.1多網(wǎng)絡(luò)融合技術(shù)

多網(wǎng)絡(luò)融合采用ID映射，F(xiàn)C節(jié)點(diǎn)虛擬化的技術(shù)。如圖5、圖6所示，系統(tǒng)首先將每個(gè)子網(wǎng)節(jié)點(diǎn)通過FC ID虛擬化的方式映射到FC網(wǎng)絡(luò)中，形成一個(gè)以FC交換網(wǎng)為主干的融合網(wǎng)，包含所有物理和虛擬的FC節(jié)點(diǎn)；再將所有FC節(jié)點(diǎn)以適合各自子網(wǎng)協(xié)議的方式再次分別映射到各通信子網(wǎng)中，中間由融合板卡建立橋接映射關(guān)系。這種融合技術(shù)能夠盡量保證各通信子網(wǎng)的原始通信模型，并且保持各種跨網(wǎng)通信模型的一致性[3]。

圖4　網(wǎng)絡(luò)融合原理框圖

圖5　以太網(wǎng)節(jié)點(diǎn)映射為虛擬FC節(jié)點(diǎn)

圖6　FC節(jié)點(diǎn)映射為虛擬Eth節(jié)點(diǎn)

要將千兆以太網(wǎng)與FC網(wǎng)絡(luò)進(jìn)行融合，使得不同節(jié)點(diǎn)之間可以相互通信，核心問題就是要解決不同網(wǎng)絡(luò)節(jié)點(diǎn)如何相互尋址的問題。以太網(wǎng)和FC協(xié)議都支持一定程度上的虛擬化，下面我們分別描述如何利用它們來實(shí)現(xiàn)兩個(gè)網(wǎng)絡(luò)的融合。

若要橋設(shè)備為每個(gè)以太網(wǎng)節(jié)點(diǎn)申請(qǐng)一個(gè)虛擬的FC節(jié)點(diǎn)ID，那么橋需要預(yù)先知道以太網(wǎng)節(jié)點(diǎn)的信息，包括節(jié)點(diǎn)個(gè)數(shù)、各節(jié)點(diǎn)的名稱以及IP地址等。有兩種方式可以讓橋設(shè)備獲得以上信息：1)FTP上傳橋接表；2)網(wǎng)絡(luò)管理軟件下發(fā)橋接表。無論采用什么方式，最終落實(shí)到形式上就是如表1所示的映射表。

表1　FC-ETH橋接表定義

得到上述映射表后，可以進(jìn)入真正的數(shù)據(jù)收發(fā)過程，數(shù)據(jù)包到了融合網(wǎng)絡(luò)模塊上，通過查詢映射表進(jìn)行源和目的端口的標(biāo)識(shí)符轉(zhuǎn)換，之后經(jīng)各自協(xié)議打包后發(fā)送到另一端。如圖7所示。

圖7　FC與Eth之間的通信示意圖

3.2協(xié)議轉(zhuǎn)換加速

(1)加速結(jié)構(gòu)

在軟件上，采用CPU雙核處理的方式，由MPC8640D掛載兩路PCIe通路，分別接到FC-PCIe橋接IP核，雙核同時(shí)進(jìn)行協(xié)議轉(zhuǎn)換處理，提高轉(zhuǎn)換總帶寬。在數(shù)據(jù)包交給FC-PCIe橋接IP核之前，根據(jù)橋接表進(jìn)行分配，讓不同的數(shù)據(jù)包去往不同的FC-PCIe橋接IP核，以此實(shí)現(xiàn)雙通道的流量均衡。

在硬件上通過PCIe橋接模塊，對(duì)FC數(shù)據(jù)幀進(jìn)行解包和再封裝，以PCIe事務(wù)層包的形式將數(shù)據(jù)載荷與控制信息通過DMA通道發(fā)送到MPC8640D的內(nèi)存，再由MPC8640D根據(jù)控制信息進(jìn)行協(xié)議轉(zhuǎn)換。在以太網(wǎng)到FC方向，MPC8640D通過PCIe通路將數(shù)據(jù)載荷與幀頭信息發(fā)送到FPGA的PCIe橋接模塊，PCIe橋接模塊根據(jù)幀頭信息查詢橋接表將數(shù)據(jù)載荷封裝成相應(yīng)FC數(shù)據(jù)幀。這里PCIe橋接模塊在兩個(gè)方向上承擔(dān)了查詢橋接表、解幀和再封裝的主要工作，減輕了CPU的負(fù)擔(dān)，提高了協(xié)議轉(zhuǎn)換速率[4]。

(2)雙核間通信

VxWorks提供兩種多處理器技術(shù)：非對(duì)稱多核處理(AMP)與對(duì)稱多核處理。本方案使用AMP模式。核0與核1內(nèi)部各自維護(hù)自己的Buffer鏈表，在PPC440內(nèi)部也分別維護(hù)8640D兩個(gè)核心的序列描述符鏈表，如圖8所示。

圖8　非對(duì)稱多核處理框圖

在AMP模式下，VxWorks提供共享內(nèi)存對(duì)象VxMP實(shí)現(xiàn)雙核間的通信。VxMP是VxWorks提供的一個(gè)用于雙核操作系統(tǒng)間高速同步與通信的組件，能被運(yùn)行在不同處理器上的操作系統(tǒng)訪問。VxMP提供以下三種共享內(nèi)存對(duì)象：(1) 共享信號(hào)量；(2) 共享消息隊(duì)列；(3) 共享內(nèi)存分區(qū)。

由于MPC8640D雙核需要共用一個(gè)PCIe橋接模塊，所以當(dāng)每個(gè)核使用PCIe橋接模塊時(shí)，需要先獲得共享信號(hào)量，獲得信號(hào)量之后進(jìn)行序列的發(fā)送，完成操作后釋放信號(hào)量。

(3)流量分配策略

由于雙核采用AMP模式，F(xiàn)C ID-IP映射后將分成兩路，分別交由兩個(gè)核心處理。為了實(shí)現(xiàn)兩個(gè)雙核之間的負(fù)載均衡，需要使每個(gè)核心處理的FC ID數(shù)量盡量平衡。本方案采用CRC12與哈希算法來實(shí)現(xiàn)FC ID的分配策略。每一個(gè)FC ID對(duì)應(yīng)一個(gè)IP，先對(duì)每一個(gè)FC ID使用CRC12算法，得到一個(gè)12位整數(shù)，再對(duì)這個(gè)12位數(shù)作哈希算法，根據(jù)得出的值，將FC ID分配到兩個(gè)核中。軟件將最終決定的分配表寫入硬件，當(dāng)硬件收到FC數(shù)據(jù)時(shí)，就根據(jù)FC ID查表得出需要轉(zhuǎn)發(fā)的CPU。

3.3動(dòng)態(tài)配置端口(DRP)設(shè)計(jì)

為了讓后光口中的多路能動(dòng)態(tài)配置為4 Gbit FC或者1 Gbit Eth，在FC-AE交換機(jī)中使用的是用Buffer進(jìn)行選通的方式，然而這種方式要求每路FC/Eth在發(fā)送和接收方向分別使用一個(gè)Buffer。在本融合模塊中，需要進(jìn)行4路FC/Eth的動(dòng)態(tài)切換，需要用8個(gè)Buffer才能實(shí)現(xiàn)，這將非常占用印制電路板(PCB)面積，也增加了設(shè)計(jì)的復(fù)雜性和布局布線的難度[5]。

通過引入DRP技術(shù)，在FPGA內(nèi)部可動(dòng)態(tài)配置GTX的參數(shù)，使其適配4G FC或者1GEth的收發(fā)器參數(shù)，并通過內(nèi)部邏輯切換4G FC和1Gbit Eth的數(shù)據(jù)流，以及重新配置時(shí)鐘方案，使外部光口動(dòng)態(tài)切換為4G FC或者1GEth端口，從而在沒有額外增加芯片的情況下實(shí)現(xiàn)端口的動(dòng)態(tài)切換，減少原理圖和PCB設(shè)計(jì)的復(fù)雜性。

圖9為DRP設(shè)計(jì)的框圖。經(jīng)過配置，分別選通來自FC邏輯核或1GEth Mac的數(shù)據(jù)連通到GTX，同時(shí)DRP控制器重配GTX的參數(shù)，使其適配對(duì)應(yīng)的協(xié)議和速率。

圖9　DRP設(shè)計(jì)框圖

4結(jié)束語

本文論述的網(wǎng)絡(luò)融合設(shè)備用于傳感器內(nèi)部各設(shè)備的FC網(wǎng)絡(luò)與指控系統(tǒng)千兆以太網(wǎng)的數(shù)據(jù)融合、傳輸。此外，通過加裝網(wǎng)絡(luò)融合設(shè)備，傳感器內(nèi)部各設(shè)備將不需要單獨(dú)與指控系統(tǒng)的以太網(wǎng)互聯(lián)，所有的交互信息均可在光纖通道實(shí)現(xiàn)匯聚與分發(fā),可優(yōu)化系統(tǒng)的信息傳輸架構(gòu)，滿足傳感器設(shè)備的開放式設(shè)計(jì)。

后續(xù)指控系統(tǒng)將使用萬兆以太網(wǎng)替代現(xiàn)有千兆以太網(wǎng)，因此后續(xù)需要開發(fā)萬兆網(wǎng)絡(luò)融合設(shè)備實(shí)現(xiàn)傳感器網(wǎng)絡(luò)與指控系統(tǒng)萬兆以太網(wǎng)的互聯(lián)，而研制千兆網(wǎng)絡(luò)融合設(shè)備為后期開發(fā)萬兆網(wǎng)絡(luò)融合設(shè)備積累的豐富的經(jīng)驗(yàn)。

參 考 文 獻(xiàn)

[1]朱凌云，宋鐵成，夏瑋瑋，等. 嵌入式異構(gòu)網(wǎng)絡(luò)融合方案設(shè)計(jì)及實(shí)驗(yàn)系統(tǒng)[J]. 電氣電子教學(xué)學(xué)報(bào), 2007, 29(1): 53-57.

ZHU Lingyun, SONG Tiecheng, XIA Weiwei, et al. An embedded scheme of heterogeneous networks convergence[J]. Journal of EEE, 2007,29(1): 53-57.

[2]劉林海，張勇，常迎輝. 光纖通道SOPC系統(tǒng)性能優(yōu)化設(shè)計(jì)技術(shù)研究[J]. 無線電通信技術(shù)，2015,41(3)：43-46.

LIU Linhai, ZHANG Yong, CHANG Yinghui. Study on optimization design techique of fibre channel SPOC system performance[J]. Radio Communication Technology, 2015, 41(3): 43-46.

[3]王昊天，丁凡，熊華鋼. 光纖通道交換式網(wǎng)絡(luò)的虛擬通道分配策略[J]．電子學(xué)報(bào)，2010, 39(10): 2251-2257.

WANG Haotian, DING Fan, XIONG Huagang. Allocation scheme of virtual channel in fibre channel switched networks[J]. Acta Electronica Sinica, 2010, 39(10): 2251-2257.

[4]劉鑫，陸文娟. 光纖通道在航空電子環(huán)境的應(yīng)用及關(guān)鍵技術(shù)研究[J]. 光通信技術(shù)， 2006, 30(6): 55-58.

LIU Xin , LU Wenjuan. Application and research of fiberchannel in the avionics environment[J]. Optical Communication Technology, 2006, 30(6): 55-58.

[5]項(xiàng)立銀，陳楊. 結(jié)構(gòu)化與結(jié)構(gòu)化網(wǎng)絡(luò)融合技術(shù)研究[J]. 雷達(dá)與對(duì)抗，2012, 31(3): 53-55.

XIANG Liyin, CHEN Yang. A study on structured and unstructured grid fusion technology[J]. Radar & Ecm, 2010, 31(3): 53-55.

張曉平男，1959年生，高級(jí)工程師。研究方向?yàn)槔走_(dá)系統(tǒng)控制、終端顯示技術(shù)。

柏玉嫻女，1981年生，高級(jí)工程師。研究方向?yàn)槔走_(dá)系統(tǒng)控制、終端顯示技術(shù)。

朱金門男，1966年生，高級(jí)工程師。研究方向?yàn)橛?jì)算機(jī)控制技術(shù)。

A Study on Network Convergence Technology

ZHANG Xiaoping，BO Yuxian，ZHU Jinmen

(Nanjing Research Institute of Electronics Technology,Nanjing 210039, China)

Abstract：In the development of large electronic equipment, the coexistence phenomenon of many kinds of network is existing due to differences of technical requiremnts, costs and the application scenes. In this heterogeneous network environment, information is a problem that must be faced in the process of efficient, fast and reliable transmission and sharing. Network convergence equipment uses multi network fusion technology to establish bridge mapping between Ethernet nodes and fiber channel (FC) network. With FC ID virtualization, Ethernet nodes are mapped into FC network, forming an integrated network with FC switching network as backbone. This realizes the function of simple routing and real-time exchange between FC protocol and Ethernet protocol.

Key words：fiber channel; network convergence; network administration; dynamic reconfiguration port

中圖分類號(hào)：TN957.52

文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1004-7859(2016)02-0051-05

收稿日期：2015-11-03

修訂日期：2016-01-05

通信作者：張曉平Email：13605164656@139.com

DOI：·數(shù)據(jù)處理· 10.16592/ j.cnki.1004-7859.2016.02.012