王亞波 黃 蔚 宋曉科

（武漢第二船舶設(shè)計(jì)研究所 武漢 430205）

基于CPCI總線的雙CPU計(jì)算機(jī)系統(tǒng)設(shè)計(jì)＊

王亞波 黃 蔚 宋曉科

（武漢第二船舶設(shè)計(jì)研究所 武漢 430205）

論文從提高效費(fèi)比的角度出發(fā)，提出一種基于CPCI總線的雙CPU計(jì)算機(jī)系統(tǒng)設(shè)計(jì)方案，并通過(guò)搭建CAN總線通信網(wǎng)絡(luò)對(duì)雙CPU計(jì)算機(jī)系統(tǒng)進(jìn)行了測(cè)試與驗(yàn)證；根據(jù)測(cè)試結(jié)果，明確了后續(xù)重點(diǎn)研究的方向。

CPCI；雙CPU計(jì)算機(jī)系統(tǒng)；CAN總線；測(cè)試

Class NumberTP309

1 引言

計(jì)算機(jī)總線是計(jì)算機(jī)各部件之間進(jìn)行信息傳輸?shù)墓餐ǖ溃S著系統(tǒng)總線技術(shù)的發(fā)展，基于CPCI總線的計(jì)算機(jī)系統(tǒng)已廣泛應(yīng)用于工業(yè)各領(lǐng)域，既降低了成本，增強(qiáng)了擴(kuò)展性，又便于維修。傳統(tǒng)基于CPCI總線的計(jì)算機(jī)系統(tǒng)為單計(jì)算機(jī)系統(tǒng)，最多包含1個(gè)系統(tǒng)板卡和7個(gè)外設(shè)板卡。為了實(shí)現(xiàn)冗余備份，通常采用“雙機(jī)”方案，即設(shè)置兩套獨(dú)立、完整的計(jì)算機(jī)系統(tǒng)，一旦其中某個(gè)計(jì)算機(jī)系統(tǒng)的系統(tǒng)模塊或外設(shè)模塊出現(xiàn)故障，則該計(jì)算機(jī)系統(tǒng)整體被另一計(jì)算機(jī)系統(tǒng)所替代，系統(tǒng)資源浪費(fèi)嚴(yán)重。為此，本文提出了一種基于CPCI總線的雙CPU計(jì)算機(jī)系統(tǒng)設(shè)計(jì)方案。

2 方案設(shè)計(jì)

2.1 硬件方案設(shè)計(jì)

基于CPCI總線的雙冗余計(jì)算機(jī)系統(tǒng)原理框圖如圖1所示。

圖1 CPCI雙冗余計(jì)算機(jī)系統(tǒng)原理框圖

圖1 中，兩套計(jì)算機(jī)系統(tǒng)的組成完全相同，單套計(jì)算機(jī)系統(tǒng)均可獨(dú)立工作，并具有獨(dú)立的輸入輸出通道。兩套計(jì)算機(jī)系統(tǒng)的系統(tǒng)板卡通過(guò)相互連接實(shí)時(shí)傳輸關(guān)鍵信息，以實(shí)現(xiàn)兩套時(shí)間的協(xié)同工作及無(wú)縫切換［1～2］。

相比基于CPCI總線的雙冗余計(jì)算機(jī)系統(tǒng)，基于CPCI總線的雙CPU計(jì)算機(jī)系統(tǒng)除系統(tǒng)板卡雙冗余配置外，外設(shè)板卡、輸入輸出通道均配置一套，因此，在單系統(tǒng)槽的情況下，必須設(shè)計(jì)一個(gè)“CPCI橋”來(lái)實(shí)現(xiàn)兩個(gè)系統(tǒng)板卡對(duì)系統(tǒng)槽的共用與切換?；贑PCI總線的雙CPU計(jì)算機(jī)系統(tǒng)原理框圖如圖2所示。

圖2 CPCI雙CPU計(jì)算機(jī)系統(tǒng)原理框圖

圖2 中，主系統(tǒng)板卡和備份系統(tǒng)板卡同時(shí)插在“CPCI橋”上，通過(guò)“CPCI橋”實(shí)現(xiàn)兩塊系統(tǒng)板卡切換共用一個(gè)系統(tǒng)槽。

主／備系統(tǒng)板卡通過(guò)“CPCI橋”的冗余通信模塊周期性的進(jìn)行狀態(tài)、數(shù)據(jù)等信息的交換并對(duì)數(shù)據(jù)進(jìn)行完好性校驗(yàn)，以實(shí)現(xiàn)主／備系統(tǒng)板卡在進(jìn)行切換時(shí)，備份系統(tǒng)板卡能夠準(zhǔn)確掌握主系統(tǒng)板卡的當(dāng)前工作狀態(tài)，從而完成同步與穩(wěn)定切換。

主／備系統(tǒng)板卡通過(guò)“CPCI橋”的故障檢測(cè)模塊進(jìn)行實(shí)時(shí)通信，以實(shí)現(xiàn)相互之間的實(shí)時(shí)狀態(tài)監(jiān)測(cè)，并以此作為主／備切換的依據(jù)。主／備系統(tǒng)板卡監(jiān)測(cè)的故障類型包括采集通道故障、電源故障、CPU內(nèi)部存儲(chǔ)器故障、CPU外部存儲(chǔ)器故障、外圍器件故障等［3］。

為了縮短開(kāi)發(fā)周期，“CPCI橋”［4～5］硬件設(shè)計(jì)方案在研華6U工控機(jī)箱的基礎(chǔ)上進(jìn)行修改實(shí)施。

研華工控機(jī)箱具有一個(gè)系統(tǒng)板插槽和七個(gè)設(shè)備板插槽，單系統(tǒng)槽無(wú)法實(shí)現(xiàn)雙CPU工作。為了解決此問(wèn)題，在研華工控機(jī)箱的基礎(chǔ)上設(shè)計(jì)增加了一塊系統(tǒng)槽擴(kuò)展板（即“CPCI橋”），不僅可實(shí)現(xiàn)系統(tǒng)槽的一分為二并，還可實(shí)現(xiàn)對(duì)雙CPU的仲裁，使得某一時(shí)刻只有一個(gè)CPU占用CPCI總線，而另一個(gè)CPU實(shí)時(shí)備份?！癈PCI橋”結(jié)構(gòu)框圖如圖3所示。

圖3中，CPU的仲裁是通過(guò)“CPCI橋”上的CPLD來(lái)實(shí)現(xiàn)的。CPLD通過(guò)串口與雙CPU系統(tǒng)板進(jìn)行通信，每個(gè)CPU系統(tǒng)板正常工作時(shí)以100Hz的頻率定期向CPLD發(fā)送心跳包，當(dāng)CPLD在10ms周期內(nèi)沒(méi)有接收到主CPU系統(tǒng)板發(fā)送的心跳包時(shí)，將總線切換至從CPU系統(tǒng)板（這時(shí)主、從CPU系統(tǒng)板將進(jìn)行交換，即主變?yōu)閺?、從變?yōu)橹鳎?，從而?shí)現(xiàn)雙CPU系統(tǒng)板的熱切換。

圖3 “CPCI橋”結(jié)構(gòu)框圖

CPLD功能框圖如圖4所示，主要包括以下幾個(gè)模塊：

1）串口接收模塊：接收CPU系統(tǒng)板發(fā)送的心跳包和數(shù)據(jù)包等信息。

2）串口發(fā)送模塊：讀取CPLD當(dāng)前狀態(tài)信息并發(fā)送給CPU系統(tǒng)板。

3）串口數(shù)據(jù)解析模塊：解析CPU系統(tǒng)板發(fā)送的數(shù)據(jù)并將信息傳遞給相應(yīng)的任務(wù)模塊。

4）心跳狀態(tài)模塊：接收CPU系統(tǒng)板發(fā)送的心跳包，當(dāng)在10ms周期內(nèi)沒(méi)有接收到心跳包時(shí)發(fā)出CPU故障信號(hào)。

5）從CPU重啟控制模塊：當(dāng)接收到從CPU重啟信息后，在從CPU重啟檢測(cè)CPCI外設(shè)過(guò)程中發(fā)出總線切換控制信號(hào)，并對(duì)從CPU重啟標(biāo)志位進(jìn)行設(shè)置。

6）系統(tǒng)復(fù)位模塊：實(shí)現(xiàn)對(duì)整個(gè)計(jì)算機(jī)系統(tǒng)的初始化。

7）時(shí)鐘生成模塊：生成系統(tǒng)所需的多個(gè)時(shí)鐘，如串口波特率、定時(shí)時(shí)鐘等。

8）總線切換模塊：依據(jù)心跳狀態(tài)模塊和從CPU重啟控制模塊的信息對(duì)總線是否切換進(jìn)行裁決。

圖4 CPLD功能框圖

“CPCI橋”電路設(shè)計(jì)圖如圖5所示。

2.2 軟件方案設(shè)計(jì)

在雙CPU計(jì)算機(jī)系統(tǒng)正常運(yùn)行時(shí)，外設(shè)板卡只與主CPU進(jìn)行通信，外設(shè)板卡的驅(qū)動(dòng)只在主CPU的操作系統(tǒng)上進(jìn)行加載，從CPU的操作系統(tǒng)上默認(rèn)是沒(méi)有加載外設(shè)板卡的。當(dāng)主CPU發(fā)生故障時(shí)，從CPU需在不掉電的情況下按照主CPU當(dāng)前的工作狀態(tài)繼續(xù)運(yùn)行，由于從CPU的操作系統(tǒng)上默認(rèn)是沒(méi)有加載外設(shè)板卡的，因此，雙CPU計(jì)算機(jī)系統(tǒng)軟件主要是要解決從CPU的操作系統(tǒng)在不掉電的情況下動(dòng)態(tài)加載外設(shè)板卡驅(qū)動(dòng)的問(wèn)題。

圖5 “CPCI橋”電路設(shè)計(jì)圖

2.2.1 VxWorks管理PCI外設(shè)的分析

缺省情況下，VxWorks系統(tǒng)在啟動(dòng)時(shí)會(huì)查找所有掛在PCI總線上的外設(shè)，初始化其配置空間，并在Host上為其分配Memory／IO映射地址。VxWorks系統(tǒng)中的PCI自動(dòng)配置模式存在如下問(wèn)題：

1）由于整個(gè)PCI初始化是在BIOS階段完成，初始化時(shí)沒(méi)有插入的外設(shè)如果在系統(tǒng)運(yùn)行中插入，將無(wú)法得到識(shí)別。

2）對(duì)板卡中斷的ISR無(wú)法動(dòng)態(tài)增加，新插入板卡產(chǎn)生的中斷無(wú)法得到響應(yīng)，PCI中斷只能掛到鏈中而不能從鏈中移走。

3）初始化時(shí)在PCI地址段內(nèi)連續(xù)分配映射地址，板卡拔出留下的空閑地址段不一定能夠適用于后面插入的新板卡，可能形成地址漏洞。

因此，實(shí)現(xiàn)驅(qū)動(dòng)的動(dòng)態(tài)加載要處理好地址映射和中斷的問(wèn)題。

2.2.2 PCI設(shè)備地址映射［6］

在PCI規(guī)范中，每一個(gè)PCI外設(shè)都有一個(gè)配置空間，容量最大為256字節(jié)，稱為配置寄存器。配置空間的256個(gè)字節(jié)分為頭標(biāo)區(qū)和設(shè)備關(guān)聯(lián)區(qū)。頭標(biāo)區(qū)的布局如表1所示。

VxWorks系統(tǒng)上電后，BIOS中的POST軟件首先要把PCI總線上所有外設(shè)的存儲(chǔ)器地址和I／O地址映射到系統(tǒng)的內(nèi)存區(qū)域中，并為其預(yù)留IO地址空間，以便在熱拔插時(shí)能將該預(yù)留空間分配給相應(yīng)外設(shè)，從而實(shí)現(xiàn)外設(shè)驅(qū)動(dòng)的動(dòng)態(tài)加載。若在BIOS階段系統(tǒng)未檢測(cè)到某外設(shè)，待系統(tǒng)啟動(dòng)后再插入則必須調(diào)用BIOS中的IO地址空間分配，目前VxWorks系統(tǒng)無(wú)法實(shí)現(xiàn)。

為解決上述問(wèn)題，雙CPU計(jì)算機(jī)系統(tǒng)軟件設(shè)計(jì)采用如下方案：

對(duì)總線上所有外設(shè)進(jìn)行定時(shí)掃描，對(duì)比記錄的原板卡插入狀態(tài)和掃描時(shí)讀取的外設(shè)ID、廠商ID等固化信息，以及時(shí)判斷槽位上發(fā)生的事件。若發(fā)現(xiàn)新插入的外設(shè)，則把預(yù)留的IO空間地址寫(xiě)入PCI配置空間頭標(biāo)區(qū)基地址寄存器中，以完成地址映射，地址映射完成后驅(qū)動(dòng)程序就可根據(jù)分配的基地址訪問(wèn)外設(shè)板卡。

2.2.3 中斷的響應(yīng)與處理

根據(jù)PCI規(guī)范，所有PCI外設(shè)都可復(fù)用4個(gè)中斷級(jí)別，即A、B、C、D中斷。若要實(shí)現(xiàn)復(fù)用中斷，不但要在硬件上使用電平觸發(fā)機(jī)制，在軟件上也要做相應(yīng)處理。

軟件處理單一外設(shè)的中斷復(fù)用主要由中斷服務(wù)程序完成。單一外設(shè)復(fù)用中斷時(shí)，驅(qū)動(dòng)程序?qū)旖釉谥付ǖ闹袛嗵?hào)上，此時(shí)，在該中斷號(hào)上所出現(xiàn)的中斷一定是屬于該類外設(shè)的，用戶可在中斷服務(wù)程序中檢查所有該類外設(shè)，以確認(rèn)中斷的來(lái)源并對(duì)產(chǎn)生中斷的外設(shè)進(jìn)行服務(wù)。

在VxWorks系統(tǒng)內(nèi)部，對(duì)應(yīng)PCI的四個(gè)中斷源有四個(gè)保存復(fù)用中斷服務(wù)程序入口地址的中斷服務(wù)鏈表，對(duì)于這些中斷源，VxWorks系統(tǒng)會(huì)用intConnect（）函數(shù)為系統(tǒng)連接一個(gè)中斷服務(wù)管理程序，在中斷到來(lái)時(shí)，中斷管理程序會(huì)依次從中斷服務(wù)鏈表中調(diào)用服務(wù)程序，檢查設(shè)備的狀態(tài)。同時(shí)，VxWorks系統(tǒng)為用戶提供了pciIntConnect（）函數(shù)，使用該函數(shù)可將中斷服務(wù)程序掛接到對(duì)應(yīng)的中斷服務(wù)鏈中。

雙CPU計(jì)算機(jī)系統(tǒng)同樣通過(guò)動(dòng)態(tài)檢測(cè)外設(shè)板卡的拔插情況，當(dāng)檢測(cè)到外設(shè)板卡插入時(shí)，把中斷號(hào)寫(xiě)入到PCI配置空間頭標(biāo)區(qū)的PCI＿CFG＿DEV＿INT＿LINE寄存器中，通過(guò)pciIntConnect（）函數(shù)將中斷號(hào)和中斷服務(wù)函數(shù)進(jìn)行連接。同理，當(dāng)檢測(cè)到外設(shè)板卡拔出時(shí)，使用pciIntDisconnect（）函數(shù)將中斷服務(wù)器函數(shù)和中斷號(hào)斷開(kāi)，并使該中斷號(hào)空閑，以被其它外設(shè)板卡所使用。其中，中斷的相應(yīng)操作在外設(shè)板卡驅(qū)動(dòng)程序的加載和卸載函數(shù)中實(shí)現(xiàn)。

2.2.4 驅(qū)動(dòng)動(dòng)態(tài)加載的實(shí)現(xiàn)［7～8］

外設(shè)驅(qū)動(dòng)動(dòng)態(tài)加載流程圖如圖6所示。外設(shè)驅(qū)動(dòng)動(dòng)態(tài)卸載流程圖如圖7所示。

圖6 外設(shè)驅(qū)動(dòng)動(dòng)態(tài)加載流程圖

圖7 外設(shè)驅(qū)動(dòng)動(dòng)態(tài)卸載流程圖

2.2.5 CPU故障檢測(cè)

此程序主要功能是檢測(cè)CPU工作是否正常；判斷當(dāng)前CPU工作狀態(tài)；檢測(cè)系統(tǒng)硬件注冊(cè)表中是否有相應(yīng)外設(shè)。程序流程圖如圖8所示。

圖8 CPU故障檢測(cè)程序流程圖

圖8 中，主從查詢進(jìn)程是定時(shí)查詢CPU狀態(tài)并設(shè)置標(biāo)志位，其它進(jìn)程根據(jù)主從標(biāo)志信息決定程序執(zhí)行方向。

3 通信穩(wěn)定性測(cè)試

對(duì)雙CPU計(jì)算機(jī)系統(tǒng)進(jìn)行CAN總線組網(wǎng)測(cè)試，其中四臺(tái)PC機(jī)作為發(fā)送節(jié)點(diǎn)，以固定頻率發(fā)送規(guī)定大小的數(shù)據(jù)；雙CPU計(jì)算機(jī)系統(tǒng)作為接收節(jié)點(diǎn)。四臺(tái)發(fā)送節(jié)點(diǎn)按照設(shè)定的優(yōu)先級(jí)寫(xiě)數(shù)據(jù)至CAN總線網(wǎng)絡(luò)，接收節(jié)點(diǎn)讀取各路數(shù)據(jù)［9～10］。組網(wǎng)測(cè)試結(jié)果如表2所示。

表2 樣機(jī)正常接收丟包測(cè)試表

從表2可以看出，雙CPU計(jì)算機(jī)系統(tǒng)在測(cè)試過(guò)程工作穩(wěn)定，未出現(xiàn)任何丟包現(xiàn)象。

人為對(duì)雙CPU計(jì)算機(jī)系統(tǒng)進(jìn)行主／從切換，測(cè)試結(jié)果如表3所示。

表3 雙CPU計(jì)算機(jī)系統(tǒng)主／從系統(tǒng)板卡切換一次接收丟包測(cè)試表

從表3可以看出，在雙CPU計(jì)算機(jī)系統(tǒng)運(yùn)行時(shí)進(jìn)行主／從系統(tǒng)板卡切換會(huì)發(fā)生丟包現(xiàn)象。分析認(rèn)為，出現(xiàn)丟包現(xiàn)象主要有兩方面原因，一是切換時(shí)CAN通信板卡緩沖隊(duì)列里數(shù)據(jù)未被及時(shí)讀取導(dǎo)致數(shù)據(jù)丟失；二是切換時(shí)主／從系統(tǒng)板卡需要一定的時(shí)間周期才能完成卸載、查找可用外設(shè)等操作，因而導(dǎo)致數(shù)據(jù)丟失。

人為對(duì)雙CPU計(jì)算機(jī)系統(tǒng)進(jìn)行從／主切換，測(cè)試結(jié)果如表4所示。

表4 雙CPU計(jì)算機(jī)系統(tǒng)從／主系統(tǒng)板卡切換一次接收丟包測(cè)試表

從表4可以看出，在雙CPU計(jì)算機(jī)系統(tǒng)運(yùn)行時(shí)進(jìn)行從／主系統(tǒng)板卡切換也會(huì)發(fā)生丟包現(xiàn)象，且丟包現(xiàn)象較主／從系統(tǒng)板卡切換時(shí)嚴(yán)重。分析認(rèn)為，雙系統(tǒng)板卡熱備份時(shí)，主系統(tǒng)板卡出現(xiàn)故障，從系統(tǒng)板卡會(huì)接管外設(shè)成為主系統(tǒng)板卡；對(duì)原故障系統(tǒng)板卡進(jìn)行更換后，原故障系統(tǒng)板卡會(huì)成為新的從系統(tǒng)板卡。為在下一輪熱切換中實(shí)現(xiàn)新的從系統(tǒng)板卡在主系統(tǒng)板卡出現(xiàn)故障時(shí)順利接管外設(shè)，從系統(tǒng)板卡需對(duì)BIOS內(nèi)存進(jìn)行分配，且BIOS內(nèi)存分配時(shí)間至少需200ms，從而導(dǎo)致更嚴(yán)重的丟包。

人為對(duì)雙CPU計(jì)算機(jī)系統(tǒng)CAN通信板卡進(jìn)行熱插拔，測(cè)試結(jié)果如表5所示。

表5 雙CPU計(jì)算機(jī)系統(tǒng)CAN通信板卡熱插拔一次接收丟包測(cè)試表

4 結(jié)語(yǔ)

上述測(cè)試結(jié)果表明，主／從系統(tǒng)板卡在切換時(shí)需一定的時(shí)間周期才能完成相應(yīng)操作，否則會(huì)導(dǎo)致數(shù)據(jù)丟失，且切換時(shí)間≥200ms。因此，在后續(xù)研究中，可重點(diǎn)從加、卸載驅(qū)動(dòng)、外設(shè)查找、BIOS內(nèi)存分配等方面進(jìn)行優(yōu)化設(shè)計(jì)，進(jìn)一步減少切換時(shí)間，使雙CPU計(jì)算機(jī)系統(tǒng)適應(yīng)高更新率信息的傳輸。

［1］程剛，李明.基于CPCI總線的多DSP共享總線系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)［J］.現(xiàn)代電子技術(shù)，2007，6：151－153.

［2］包志強(qiáng)，吳順君，李明.基于CPCI總線的多DSP系統(tǒng)的接口設(shè)計(jì)［J］.電子技術(shù)，2004，2：55－58.

［3］尚長(zhǎng)興，俞定玖，季新生.雙機(jī)通信在CPCI總線上的實(shí)現(xiàn)［J］.電子技術(shù)應(yīng)用，2005，6：4－6.

［4］楊國(guó)先，陶霞，王子菡，等.基于雙CPU的切換及控制系統(tǒng)設(shè)計(jì)［J］.微計(jì)算機(jī)信息，2006，22（10－2）：268－269.

［5］侯伯亨，顧新.VHDL硬件描述語(yǔ)言與數(shù)字邏輯電路設(shè)計(jì)［M］.西安：西安電子科技大學(xué)出版社，2001：6－15.

［6］李貴山，陳金鵬.PCI局部總線及其應(yīng)用［M］.西安：西安電子科技大學(xué)出版社，2002：5－21.

［7］魯菁，夏貴毅，黃國(guó)政.基于VxWorks的實(shí)時(shí)雙冗余系統(tǒng)設(shè)計(jì)［J］.長(zhǎng)春大學(xué)學(xué)報(bào)，2009，19（10）：52－54.

［8］王學(xué)龍.嵌入式VxWorks系統(tǒng)開(kāi)發(fā)和應(yīng)用［M］.北京：人民郵電出版社，2003：8－16.

［9］康郁爽.基于VxWorks的冗余通信控制系統(tǒng)研究與實(shí)現(xiàn)［D］.西安：西安電子科技大學(xué)，2012：17－27，41－63.

［10］姜開(kāi).基于CAN總線的測(cè)試系統(tǒng)研究與設(shè)計(jì)［D］.南京：南京航空航天大學(xué)，2004：32－59.

Design of Computer System of Double CPU Based on the CPCI

WANG Yabo HUANG Wei SONG Xiaoke
（Wuhan Second Ship Research and Design Insititute，Wuhan 430205）

Considering enhancing the effiency，a design proposal of computer system of double CPU based on the CPCI is demonstrated in this paper，and a prototype is made and tested by the means of communication web of CAN lines.Based on the testing result，the key research direction in next work is demonstrated.

CPCI，computer system of double CPU，CAN Bus，testing

TP309DOI：10.3969／j.issn.1672－9730.2015.11.030

2015年5月8日，

2015年6月24日

王亞波，男，碩士，工程師，研究方向：導(dǎo)航制導(dǎo)與控制。黃蔚，男，碩士，工程師，研究方向：導(dǎo)航制導(dǎo)與控制。宋曉科，男，博士，工程師，研究方向：電磁場(chǎng)與微波。