石 巖，張小虎

近年來，隨著嵌入式處理器運行速度的增長，嵌入式仿測系統(tǒng)的應(yīng)用日趨智能化和復(fù)雜化，數(shù)據(jù)交互量也越來越大，常見的高速通信接口如以太網(wǎng)、USB 等，由于實時性不高、協(xié)議棧復(fù)雜等原因，已不能滿足仿測系統(tǒng)等嵌入式應(yīng)用場景下的通信要求.SRIO 通信協(xié)議是面向嵌入式系統(tǒng)的新一代高速互聯(lián)技術(shù)，其基于包交換技術(shù)，具有高可靠、高性能等特點，非常適合用于嵌入式系統(tǒng)通信.SRIO是國際標準化組織（ISO）和國際電工協(xié)會（IEC）批準的ISO/IECDIS18372 標準，在串行背板、DSP 系統(tǒng)和相關(guān)高速串行數(shù)據(jù)連接應(yīng)用中具有較大的使用價值［1-2］.

目前相關(guān)的論文主要針對雙端口SRIO 通信系統(tǒng)和交換機進行研究. 研究論文多以雙通信端口為實現(xiàn)目標，擴展能力有限，且對嵌入式系統(tǒng)與通用計算機系統(tǒng)的組網(wǎng)互聯(lián)場景研究較少，缺少相關(guān)的解決方案. 為解決上述問題，本文以一種三端口PCIe 高速光纖通信接口卡為設(shè)計目標，可實現(xiàn)嵌入式系統(tǒng)與通用計算機系統(tǒng)的SRIO 接口混合組網(wǎng)，同時每個信道的速率可達6.25 Gbps，每個端口達到15 Gbps 的超高數(shù)據(jù)傳輸速度，為相關(guān)場景的應(yīng)用提供了一種有效的解決方案.

1 系統(tǒng)設(shè)計

SRIO 通信協(xié)議的解析過程非常復(fù)雜，嵌入系統(tǒng)設(shè)備通過SRIO 總線組網(wǎng)具有較高的技術(shù)難度，為解決該問題，本文提供了一種基于簡化的PCIE 總線實現(xiàn)高速光纖通信接口卡的設(shè)計方案，可以方便快捷地實現(xiàn)嵌入式系統(tǒng)SRIO 總線組網(wǎng).

1.1 接口卡總體設(shè)計

如圖1 所示，系統(tǒng)總體架構(gòu)包括：高速交換模塊、協(xié)議轉(zhuǎn)換模塊、QSFP+高速接口、電源模塊、時鐘模塊、系統(tǒng)配置模塊等. 其中高速交換模塊通過交換控制器完成多個數(shù)據(jù)通道的數(shù)據(jù)交換，對外連接高速通信接口和橋接模塊是交換功能的實現(xiàn)核心；協(xié)議轉(zhuǎn)換模塊實現(xiàn)PCIe x4 與SRIO 的協(xié)議轉(zhuǎn)換，方便帶有PCIe 接口的嵌入式系統(tǒng)進行SRIO 接口拓展；QSFP+通信接口要求具有10 Gbps 以上的通信速率，并連接QSFP 標準的光電模塊；電源模塊和時鐘模塊保障系統(tǒng)的穩(wěn)定運行，滿足各模塊電壓和負載能力，以及高速穩(wěn)定的時鐘需求；系統(tǒng)配置模塊可以實現(xiàn)接口卡多種工作通信速率和端口模式的配置，滿足更多的需求場景.

圖1 系統(tǒng)總體架構(gòu)

1.2 高速交換模塊設(shè)計

為了實現(xiàn)高速光纖通信接口卡對SRIO 總線組網(wǎng)方式的全支持，接口卡設(shè)計了三個對外通信端口，以及一個內(nèi)部協(xié)議轉(zhuǎn)換專用端口. 本文采用CPS-1848 作為協(xié)議轉(zhuǎn)換芯片，芯片共計48 個串行接口，每個串行接口的速率高達6.25 Gbps. 由矩陣關(guān)系構(gòu)成四個象限，編號為0 到3. 每個象限由12 個通道組成，可以映射到四個或五個端口［3］. 每個象限可以有1x、2x 的組合，以及4x 端口，每個端口總速率最 高25 Gbps［4］. 如 表1 所 示，本 設(shè) 計 用 到 的4個端口分布在Quadrant0～Quadrant3，接口功能對應(yīng)所屬Q(mào)uadrant，接口范圍定義端口的位寬和通道號.

表1 CPS-1848 象限分配表

端口通過非阻塞交換結(jié)構(gòu)連接. 端口和交換機結(jié)構(gòu)支持單獨的路由路徑維護數(shù)據(jù)包，可對任何端口的寄存器進行訪問及配置.此外，還可利用I2C 接口和JTAG 接口模塊訪問CPS-1848 的寄存器.

本設(shè)計中的Quadrant0 分配給TSI721 協(xié)議轉(zhuǎn)換模塊，用于和主機通過PCIE 控制發(fā)送讀取SRIO 總線數(shù)據(jù)，其余三路Quadrant 與QSFP+高速接口連接在一起，用以通過QSFP+ 接插件與其他設(shè)備進行通信.

1.3 協(xié)議轉(zhuǎn)換模塊設(shè)計

為實現(xiàn)PCIe 總線與SRIO 總線協(xié)議轉(zhuǎn)換，本項目選用高速轉(zhuǎn)換芯片TSI721，該芯片可用于16 Gbps 速率的RapidIO Gen2 協(xié)議交換網(wǎng)橋，實現(xiàn)PCIe 協(xié)議與SRIO 協(xié)議的相互轉(zhuǎn)換，PCIE 上的主機或者設(shè)備可以通過TSI721 訪問SRIO 上的數(shù)據(jù).

如圖2 所示，Tsi721 通過PCIe 接口經(jīng)北橋橋片與CPU 聯(lián)接. 北橋具有若干個BAR 地址空間，BAR0 用于訪問Tsi721 內(nèi)部寄存器空間，BAR1 作為Outbound doorbell 地址空間，BAR2/BAR3 組合為64 位地址空間作為可預(yù)取的PCIE 到SRIO 地址命中轉(zhuǎn)換空間，BAR4/BAR5 組合為64 位地址空間作為不可預(yù)取的PCIE 到SRIO 地址命中轉(zhuǎn)換空間.

圖2 協(xié)議轉(zhuǎn)換原理

本設(shè)計TSI721 通過4 通道PCIE2.0 差分總線與主機連接，經(jīng)過TSI721 轉(zhuǎn)接后轉(zhuǎn)換為SRIO 總線連接到1848，其中TSI721 的PCIE 總線與SRIO 總線速率分開設(shè)置，為了保證能夠與1848 順利通信，需要將TSI721 的SRIO 速率與1848 的SRIO 速率 保 持一致，但 因1848 的速率設(shè)置為全局設(shè)置，所以無法將1848 不同通道間設(shè)置不同速率，因此SRIO 與PCIE 通信有效最高速率只支持5.0 Gbps.

1.4 電源模塊設(shè)計

本系統(tǒng)的電源拓撲結(jié)構(gòu)設(shè)計如圖3 所示，系統(tǒng)從PCIE 連接器獲得電源.TSI721 要求的供電為1 V 電壓輸出2 路，2.5 V 電壓輸出1路，1.5 V 電 壓 輸出1 路，3.3 V 電 壓輸 出1 路，其中要求兩個1 V 電源須在同一時刻上電，其余的電源可按任意時序上電，并且在上電過程中每一路電源的電壓均不能超過其供電電壓［5］. 為保證上述上電時序，本設(shè)計中使用磁珠對VDD 與AVDD 進行短接［6］.

圖3 電源拓撲結(jié)構(gòu)

1.5 QSFP+高速接口

（1）高速串行總線的電路設(shè)計. 為達到10 GBps 以上的數(shù)據(jù)傳輸速率，本設(shè)計采用QSFP+（Quad Small Form-factor Pluggable Plus）信號接口，采用光纖作為信號傳輸介質(zhì)，QSFP+光電轉(zhuǎn)換模塊電信號一側(cè)通過QSFP+連接器接入電路板，如圖4 所示，從QSFP+連接器到CPS1848 的數(shù)據(jù)通道設(shè)計為4 個，每個通道以差分對形式連接.

圖4 高速串行總線電路設(shè)計

該設(shè)計中，高速接口信號傳輸質(zhì)量非常重要，在高速信號條件下，傳統(tǒng)的單端微帶線容易受到外界環(huán)境的干擾與串擾，同時因為微帶線自帶的寄生參數(shù)產(chǎn)生的線路反射系數(shù)，導(dǎo)致未經(jīng)阻抗匹配的單端微帶線與差分微帶線不適合用于高速串行數(shù)據(jù)傳輸，所以為了提高抗干擾性，提升串行總線穩(wěn)定性，本設(shè)計采用差分阻抗100 Ω 的差分數(shù)據(jù)線為標準進行設(shè)計［7］.

（2）高速數(shù)據(jù)線PCB 設(shè)計中的注意事項.PCB 設(shè)計過程中，為實現(xiàn)單組差分數(shù)據(jù)通道上不小于6 Gbps 的數(shù)據(jù)速率，需要對PCB 的線路設(shè)計進行規(guī)范，其中同組高速差分對需要進行等長處理，用于傳輸高速信號的差分對或數(shù)據(jù)線需要遠離開關(guān)電源、時鐘，以及PCB 的邊緣，同時走線不能出現(xiàn)過高的凸起、銳角與直角，線路拐彎時需要以圓弧或者鈍角走線.

2 板卡測試

2.1 自回環(huán)傳輸速度測試

自回環(huán)測試可以同時測試兩個通道的數(shù)據(jù)傳輸功能，為了完成自回環(huán)測試，使用40 G光纜在板卡的SRIO0 端口與SRIO1 端口之間建立鏈接，然后通過SRIO0 的DMA 控制器向SRIO1 發(fā)送NREAD、NWITE 數(shù)據(jù)請求.DMA 完成后統(tǒng)計運行時間并校驗傳輸?shù)臄?shù)據(jù). 最終將運行結(jié)果輸出，其測試結(jié)果整理如表2.

表2 自回環(huán)傳輸速度測試

2.2 誤碼率測試

為對各端口數(shù)據(jù)傳輸穩(wěn)定性進行評估，本設(shè)計配合型號為K7-325T 的FPGA SRIO 板卡進行測試，假設(shè)本設(shè)計板卡為B1，F(xiàn)PGA 測試 板 卡 為B2，B1的SRIO0 端 口 為BP0，B2的SRIO 端口為BPt. 分布設(shè)定通信速率為1.25 bps、2.5 bps 兩個速率，然后由測試計算機控制生成PRBS7 偽隨機碼數(shù)據(jù)集Pm，并由測試計算通過B1板卡的BP0端口向B2板卡的BPt端口發(fā)送，B2收到數(shù)據(jù)后將數(shù)據(jù)發(fā)送回測試計算機并由測試計算機保存為數(shù)據(jù)集Pn，Pm-Pn，即為數(shù)據(jù)發(fā)送功能誤碼數(shù)據(jù)集；在3.125 bps 速率下，調(diào)換B1板卡與B2板卡的位置，將B2板卡作為數(shù)據(jù)發(fā)送板卡，B1板卡作為接收板卡，采用同樣的測試方法即可得到數(shù)據(jù)接收功能誤碼數(shù)據(jù)集. 通過分析誤碼數(shù)據(jù)集個數(shù)和數(shù)據(jù)包大小，可以得到發(fā)送、接收數(shù)據(jù)的誤碼率，誤碼率小于10-12則判定通過. 其測試結(jié)果整理如表3.

表3 誤碼率測試

2.3 SRIO 交換機鏈接吞吐量測試

為了對本設(shè)計板卡端口的數(shù)據(jù)傳輸能力進行評估，需要對其交換機進行數(shù)據(jù)吞吐量測試，將板卡的SRIO2 與SRIO 交換機之間建立鏈接，然后通過SRIO0 的DMA 控制器向交換機發(fā)送NREAD、NWITE 數(shù)據(jù)請求. 請求經(jīng)過路由后回到DSP 所在PORT，數(shù)據(jù)請求最終返回到DSP.DMA 完成后統(tǒng)計運行時間并校驗傳輸?shù)臄?shù)據(jù). 最終將運行結(jié)果輸出，其測試結(jié)果如表4.

表4 SRIO 交換機鏈接傳輸測試

3 結(jié)語

本文提出了一種PCIe 接口的三端口SRIO高速光纖通信卡設(shè)計方案，該方案采用80HCPS 1848 和TSI721 專用芯片，面向嵌入式系統(tǒng)對高速數(shù)據(jù)傳輸特性的需求，針對性地提出了PCIe 接口橋接、高速總線協(xié)議交換、電源拓撲、高速差分對設(shè)計等解決方案，并對系統(tǒng)進行自回環(huán)速率、誤碼率、交換機鏈接吞吐量三個方面的測試，測試結(jié)果顯示接口卡運行穩(wěn)定，性能指標達到理論值的90%，可以滿足嵌入式系統(tǒng)的高速互聯(lián).