董春雷，何斌斌，陳艇

（1.中國人民解放軍戰(zhàn)略支援部隊信息工程大學(xué)，河南鄭州，450002；2.31121部隊，江蘇徐州，221000）

0 引言

FC（Fiber Channel）為美國標(biāo)準(zhǔn)化委員會（ANSI）在1988 年提出的高速串行傳輸總線，具備高帶寬，高可靠性，高穩(wěn)定性的特點，主要應(yīng)用在航空電子，音視頻處理，大數(shù)據(jù)傳輸?shù)戎T多領(lǐng)域。FC 交換芯片是符合FC（Fiber Channel）通信協(xié)議，具備多端口，低延時，高可靠性的交換芯片[1～2]。隨著信息技術(shù)的不斷發(fā)展，交換芯片的應(yīng)用環(huán)境日益復(fù)雜，在航空電子環(huán)境等應(yīng)用中，F(xiàn)C 網(wǎng)絡(luò)可能存在多個交換設(shè)備級聯(lián)實現(xiàn)多個端點設(shè)備互連，為了滿足實時性和可靠性的要求，系統(tǒng)會根據(jù)CPU 處理延遲對網(wǎng)絡(luò)中的每個設(shè)備分配具體的工作時隙，因此FC 網(wǎng)絡(luò)要求所有設(shè)備在工作之前進行時間同步，然后網(wǎng)絡(luò)中每個設(shè)備在固定的時間（時隙）內(nèi)完成相應(yīng)的任務(wù)（數(shù)據(jù)傳輸和處理），從而避免多臺設(shè)備同時傳輸數(shù)據(jù)導(dǎo)致FC網(wǎng)絡(luò)的傳輸擁塞和處理時延不確定性[3～7]。如果時間同步精度不高，將導(dǎo)致時隙之間的保護間隔過大，壓縮數(shù)據(jù)傳輸和處理的時間，因此FC 交換芯片需要具備高精確度的時間同步功能，實現(xiàn)全網(wǎng)絡(luò)設(shè)備的時間同步。

1 FC 時間同步原理

FC-FS 協(xié)議中定義了兩種時間同步方式，分別是基于擴展鏈路服務(wù)（ELS，Extended Link Service）時間同步和基于原始信號（PS，Primitive Signal）時間同步，在時間同步的FC 網(wǎng)絡(luò)中，一般具有一個時間同步服務(wù)器（Server），網(wǎng)絡(luò)中的其他端點或者交換設(shè)備稱為時間同步客戶端（Client），它們內(nèi)部都集成了實時時間（real time clock，RTC）計數(shù)器[8]。時間同步服務(wù)器負責(zé)向網(wǎng)絡(luò)的其他客戶端發(fā)送帶有本地RTC 值的ELS 幀或者原始信號，客戶端接收到時間同步幀或者原始信號后，解析出其中的RTC，然后更新各客戶端本地的RTC，實現(xiàn)與服務(wù)器的時間同步。

根據(jù)Fibre Channel Framing and Signaling-4 (FC-FS-4)協(xié)議規(guī)定，ELS 時間同步是客戶端（Client）先向時間同步服務(wù)端（Master）發(fā)送時間同步請求幀（CSR），服務(wù)器端同意之后，會向?qū)?yīng)的客戶端發(fā)送時間同步更新幀（CSU），如圖1 所示，CSU 幀中帶有時間同步服務(wù)器生成CSU 幀時的時間戳，客戶端收到CSU 幀之后解析出其中的時間戳，然后更新本地的RTC，實現(xiàn)客戶端與服務(wù)器的時間同步。服務(wù)端一般會向每一個請求的客戶端定時發(fā)送CSU 幀，防止本地RTC 因為晶振誤差導(dǎo)致本地時間計數(shù)器誤差隨時間而增大。PS 時間同步通過服務(wù)端定時發(fā)送連續(xù)的SYNx、SYNy、SYNz 原語信號來實現(xiàn)時間同步，SYNx、SYNy、SYNz 原語信號攜帶有時間信息，如圖2 所示，每個原語信號32bit，相比于ELS 時間同步，PS 時間同步占用鏈路帶寬較小，客戶端接收并解析出SYNx、SYNy、SYNz 原語信號中攜帶的時間值，然后更新本地時間計數(shù)器，實現(xiàn)時間同步。

圖1 FC 網(wǎng)絡(luò)中時間同步

圖2 時間同步原語傳輸方式

在FC 網(wǎng)絡(luò)中，無論是ELS 時間同步還是PS 時間同步，F(xiàn)C 交換芯片需要轉(zhuǎn)發(fā)ELS 時間同步幀或者PS 時間同步原語信號，實現(xiàn)服務(wù)端和客戶端的時間同步[9]，同時FC 交換芯片也可以作為FC 網(wǎng)絡(luò)中的時間同步服務(wù)器，向各個設(shè)備或者端口發(fā)送時間同步幀或者原語。由于FC 交換芯片具有不可預(yù)知的轉(zhuǎn)發(fā)延遲，因此轉(zhuǎn)發(fā)ELS 時間同步幀或者PS 時間同步原語信號會引入新的誤差，特別是經(jīng)過多級FC 交換芯片，這個誤差將變得更大并難以確定，因此FC 交換芯片需要對轉(zhuǎn)發(fā)的ELS 時間同步或者時間同步原語進行時間補償，彌補經(jīng)過FC 交換芯片帶來的時間延遲。

FC 協(xié)議定義了時間同步的方法和原理，并提供了一種簡單補償交換芯片內(nèi)補充交換調(diào)度延遲的方法，而沒有考慮交換芯片接收端口、發(fā)送端口，以及光纖傳輸?shù)难舆t補償，時間同步精度較低。FC 網(wǎng)絡(luò)ELS 時間同步模型，模型中有一個時間同步服務(wù)器，一個時間同步服務(wù)端，一個時間同步客戶端。FC 客戶端先向FC 時間同步服務(wù)器發(fā)送時間同步請求幀（CSR），CSR 經(jīng)過交換轉(zhuǎn)發(fā)至?xí)r間同步服務(wù)器，時間同步服務(wù)器收到CSR 幀之后，會定時向時間同步客戶端發(fā)送時間同步更新幀（CSU），同樣CSU 需要通過FC 交換芯片轉(zhuǎn)發(fā)至客戶端，客戶端收到CSU 幀之后，解析出其中的時間信息，然后更新本地實時時鐘，達到與時間同步服務(wù)器時間同步。

2 基于交換芯片的FC 時間同步電路

■2.1 FC 交換傳輸延遲分析

經(jīng)過分析，F(xiàn)C 時間同步ELS 或者PS 在FC 交換中具有不確定的傳輸延遲，如圖3 所示，F(xiàn)C 交換網(wǎng)絡(luò)的延遲主要有接收光纖傳輸延遲rf、FC 協(xié)議鏈路接收通路處理延遲rp、FC 接收幀緩沖延遲、FC 交換轉(zhuǎn)發(fā)延遲、FC 發(fā)送幀緩沖延遲、FC 協(xié)議鏈路發(fā)送通路延遲sp 以及發(fā)送光纖延遲tf，其中rf 和tf 可以根據(jù)實際的應(yīng)用場景，通過測量實際光纖的長度計算得到，rp 和sp 跟FC 交換端口的具體設(shè)計有關(guān)，這兩部分的延遲可通過實際的情況加以補償。對于ELS 時間同步幀，F(xiàn)C 接收幀緩沖、FC 交換以及FC 發(fā)送幀緩存的延遲可能根據(jù)交換實際擁塞情況的不同而不同；對于PS 時間同步，時間同步PS 不經(jīng)過FC 交換進行轉(zhuǎn)發(fā)，但是FC 發(fā)送通路需要在沒有發(fā)送報文的情況下傳輸時間同步PS，這部分延遲也是不可預(yù)知的[10]。因此需要統(tǒng)計接收端解析出FC 時間同步ELS 或者PS 時刻與發(fā)送端發(fā)送ELS 或者PS 時刻之間的延遲，然后進行補償。

■2.2 FC 交換時間同步電路

根據(jù)以上的分析，本設(shè)計在接收通路和接收緩沖之間、發(fā)送緩沖和發(fā)送通路之間分別增加了時間同步解析模塊和重組模塊用于實現(xiàn)時間補償。如圖3 所示，時間同步電路位于FC 交換芯片的FC 端口模塊上，F(xiàn)C 端口模塊包括：FC協(xié)議鏈路接收通路、FC 協(xié)議鏈路發(fā)送通路、FC 端口狀態(tài)機、FC 接收幀緩存、FC 發(fā)送幀緩存，基于FC 交換芯片的時間同步延遲補償電路包括：ELS 時間同步幀和原語解析模塊、ELS 時間同步幀和原語重組模塊、接收通路延遲補償寄存器rx_delay 及發(fā)送通路延遲補償寄存器tx_delay。其中，ELS 時間同步幀和原語解析模塊用于對接收的ELS 時間同步幀和時間同步原語進行解析；ELS 時間同步幀和原語重組模塊用于對接收的ELS 時間同步幀和時間同步原語進行重組；接收通路延遲補償寄存器rx_delay 用于對FC 協(xié)議鏈路接收通路的延遲進行補償；發(fā)送通路延遲補償寄存器tx_delay 用于對FC 協(xié)議鏈路發(fā)送通路的延遲進行補償。rx_delay 的值為rp+tf，tx_delay 的值為sp+rf。

在進行時間同步之前，使用ELS 時間同步幀或者時間同步原語進行時間同步操作，得到對應(yīng)的FC 協(xié)議鏈路接收通路處理延遲rp 和FC 協(xié)議鏈路發(fā)送通路處理延遲sp 值。測量接收和發(fā)送光纖的長度，將所述接收和發(fā)送光纖的長度分別除以光速，得到接收光纖傳輸延遲rf 和發(fā)送光纖傳輸延遲tf 值。配置rx_delay 的值為rp+tf，配置tx_delay 的值為sp+rf。

整個補充原理可概括為：時間同步解析模塊完成時間同步ELS 和PS 的解析，解析出時間同步信號中的時間信息，然后加上接收光纖傳輸延遲rf和FC 協(xié)議鏈路接收通路處理延遲rp，補償之后的時間值與當(dāng)時時間同步服務(wù)器的時間相近，然后更新本地的RTC，此時本地RTC 將基于更新之后的值進行計時。在發(fā)送端，發(fā)送時間同步PS 或者ELS 幀時，先從本地RTC中讀取時間值，然后加上FC 協(xié)議鏈路發(fā)送通路延遲sp 和發(fā)送光纖延遲tf，使用補償之后的時間值更換即將發(fā)送的時間同步PS 或者ELS 幀中的時間值，重新組裝新的時間同步原語或者幀發(fā)送出去，實現(xiàn)時間同步原語或者幀在FC 交換的透明傳輸。

3 實驗測試

根據(jù)時間同步服務(wù)的場景，我們利用JDSU FC 測試儀與FC 交換芯片NFS6400 形成server 端點和client 端點對接網(wǎng)絡(luò)，并采用以xilinx vu440 系列FPGA 芯片為基礎(chǔ)的原型驗證平臺，通過光纖連接，組成了與實際情況相吻合的驗證環(huán)境，如圖4 所示。

圖4 交換為Client 模式

（1）FC 交換為Client 模式

FC 交換Client 模式主要實現(xiàn)時間同步信號的轉(zhuǎn)發(fā)，設(shè)置FC 測試儀其中一個端口為Master 模式，另一個端口為Client 模式，兩個端口分別與交換相連，如圖4 所示，Master 端口通過交換向Client 發(fā)送時間同步信號，通過交換轉(zhuǎn)發(fā)實現(xiàn)Master 與Client 的同步，如圖5 所示，Client實現(xiàn)了與Master 的同步。

圖5 FC 交換為Client 模式時間同步測試

（2）FC 交換為Master 模式

FC 交換在master 模式下，主動向其他Client 端口發(fā)送時間同步信號，實現(xiàn)網(wǎng)絡(luò)的同步，如圖6 所示，從圖中可以看出，兩個Client 接收的時間誤差在100ns 以內(nèi)。

圖6 FC 交換為Master 模式時間同步測試

4 結(jié)論

針對現(xiàn)有FC 協(xié)議沒有考慮交換芯片的接收端口、發(fā)送端口、交換轉(zhuǎn)發(fā)以及光纖傳輸?shù)难舆t補償，時間同步精度較低的問題，本文基于FC 協(xié)議時間同步原理對FC 交換延遲進行了分析，提出了一種時間同步實現(xiàn)方式，驗證結(jié)果表明該時間同步方式時間同步精度高，時間誤差可以控制在100ns 以內(nèi)。本文的FC 時間同步電路適用于FC 協(xié)議中的時間同步原語與ELS 時間同步幀，同樣適用于傳統(tǒng)的時間同步服務(wù)器或者客戶端，硬件電路實現(xiàn)簡易，精度高，進一步提高了FC 網(wǎng)絡(luò)的時間同步精度，可有效提高FC 網(wǎng)絡(luò)的效率。后續(xù)還將在同步精度方面繼續(xù)進行探索與優(yōu)化，以適應(yīng)FC 網(wǎng)絡(luò)更大規(guī)模的應(yīng)用。