王 瀟，張炳達(dá)，陳 雄

（天津大學(xué)智能電網(wǎng)教育部重點(diǎn)實(shí)驗(yàn)室，天津 300072）

電力系統(tǒng)實(shí)時(shí)仿真中細(xì)粒度并行實(shí)現(xiàn)

王 瀟，張炳達(dá)，陳 雄

（天津大學(xué)智能電網(wǎng)教育部重點(diǎn)實(shí)驗(yàn)室，天津 300072）

為充分利用FPGA的高度并行特性，設(shè)計(jì)了一種可實(shí)現(xiàn)加減乘除混合運(yùn)算的變結(jié)構(gòu)運(yùn)算組件.從實(shí)用性和擴(kuò)展性角度出發(fā)，用控制指令描述對(duì)運(yùn)算組件的操作，用有向無(wú)環(huán)圖描述計(jì)算任務(wù)之間的依賴關(guān)系，提出了一種新的基于FPGA的仿真程序設(shè)計(jì)方法.在此基礎(chǔ)上，以30,μs仿真步長(zhǎng)在一塊5SGSMD5芯片上實(shí)現(xiàn)了IEEE-14電力系統(tǒng)的實(shí)時(shí)仿真，其實(shí)驗(yàn)結(jié)果與PSCAD仿真結(jié)果相吻合.

實(shí)時(shí)仿真；細(xì)粒度；現(xiàn)場(chǎng)可編程門(mén)陣列；變結(jié)構(gòu)運(yùn)算組件

在新能源變革形勢(shì)下，智能電網(wǎng)已成為承擔(dān)電網(wǎng)新使命的新一代電網(wǎng).在推進(jìn)智能電網(wǎng)的建設(shè)中，復(fù)雜控制設(shè)備的在環(huán)測(cè)試對(duì)實(shí)時(shí)數(shù)字仿真器的仿真規(guī)模和仿真步長(zhǎng)提出了更高的要求.

傳統(tǒng)的實(shí)時(shí)數(shù)字仿真通常將計(jì)算任務(wù)分解成許多子任務(wù)，由多個(gè)處理器協(xié)同完成［1］.然后，在集群環(huán)境中，全局共享數(shù)據(jù)必須依靠機(jī)器間的通信來(lái)搬遷［2］；在多核環(huán)境中，全局共享數(shù)據(jù)需要采用鎖保護(hù)［3］. 正由于這一特點(diǎn)，常采用粗粒度并行處理技術(shù)對(duì)計(jì)算任務(wù)進(jìn)行分解.文獻(xiàn)［4］將多區(qū)戴維南等值方法用于電氣網(wǎng)絡(luò)的并行計(jì)算，且設(shè)法減少數(shù)據(jù)同步過(guò)程的時(shí)間開(kāi)銷.文獻(xiàn)［5］靈活應(yīng)用節(jié)點(diǎn)分裂法、分布參數(shù)線路解耦法，提出了一種交直流分割并行算法.文獻(xiàn)［6］提出了一種元件級(jí)并行和網(wǎng)絡(luò)級(jí)并行相結(jié)合的并行求解算法，有效地提高了并行計(jì)算的總體效率.文獻(xiàn)［7-8］在保證求解穩(wěn)定性的基礎(chǔ)上，分別利用顯隱式混合積分法和異步替代法使網(wǎng)絡(luò)解耦，提高了分網(wǎng)的靈活性.但是，經(jīng)分解的計(jì)算任務(wù)在單個(gè)處理器內(nèi)部仍需串行執(zhí)行.

現(xiàn)場(chǎng)可編程門(mén)陣列（field programmable gate array，F(xiàn)PGA）擁有并行硬件結(jié)構(gòu)，可實(shí)現(xiàn)高度并行的數(shù)值計(jì)算［9］.近年來(lái)，F(xiàn)PGA逐漸在電力系統(tǒng)領(lǐng)域展示出高度并行的數(shù)值計(jì)算能力［10］.文獻(xiàn)［11］提出了一種基于FPGA的電磁暫態(tài)實(shí)時(shí)仿真器，在一片F(xiàn)PGA上仿真了含有15條傳輸線模型的電力系統(tǒng).文獻(xiàn)［12］針對(duì)有源配電網(wǎng)提出了基于FPGA的暫態(tài)實(shí)時(shí)仿真器的計(jì)算求解框架，并給出多個(gè)關(guān)鍵功能模塊的硬件實(shí)現(xiàn)方式.文獻(xiàn)［13-14］分別針對(duì)交流電機(jī)和變壓器實(shí)時(shí)仿真提出了基于FPGA的并行實(shí)現(xiàn)方法. 文獻(xiàn)［15］針對(duì)大規(guī)模電磁暫態(tài)實(shí)時(shí)仿真研究了多FPGA的仿真方案.這些文獻(xiàn)都采用了功能化的設(shè)計(jì)思想，將發(fā)電機(jī)模型、稀疏矩陣求解模型、注入電流源求解模型等分別建立了并行化的硬件電路，其優(yōu)點(diǎn)在于方便搭建新的應(yīng)用，但是其硬件的資源利用率較低.

本文旨在硬件資源有限的前提下對(duì)實(shí)時(shí)仿真系統(tǒng)細(xì)粒度并行（運(yùn)算級(jí)并行）的實(shí)現(xiàn)方法進(jìn)行探索.為解決FPGA硬件資源有限，借助緩沖通道對(duì)運(yùn)算器的輸入輸出口進(jìn)行有效控制，使運(yùn)算組件中的運(yùn)算器位置不再固定，可方便地實(shí)現(xiàn)各種加減乘除混合運(yùn)算.同時(shí)，用控制指令描述運(yùn)算器輸入輸出端口的數(shù)據(jù)變遷，用有向無(wú)環(huán)圖（directed acyclic graph，DAG）［16］描述計(jì)算任務(wù)之間的關(guān)系，通過(guò)表調(diào)度方法實(shí)現(xiàn)資源約束條件下的任務(wù)安排優(yōu)化，提高了整個(gè)運(yùn)算組件的工作效率.在此基礎(chǔ)上，通過(guò)數(shù)據(jù)交換站使各運(yùn)算組件協(xié)同工作，在一塊5SGSMD5芯片上實(shí)現(xiàn)了IEEE-14電力系統(tǒng)實(shí)時(shí)仿真.

1　細(xì)粒度并行計(jì)算

仿真計(jì)算過(guò)程中存在著大量的可并行執(zhí)行的運(yùn)算表達(dá)式，如節(jié)點(diǎn)注入電流向量、right-looking并行LU分解、坐標(biāo)變換等.同時(shí)，運(yùn)算表達(dá)式中一般存在可并行執(zhí)行的加減乘除基本運(yùn)算.

以求解發(fā)電機(jī)端口方程的等效導(dǎo)納矩陣Yabc為例來(lái)描述細(xì)粒度并行過(guò)程.由機(jī)械系統(tǒng)得到的轉(zhuǎn)子轉(zhuǎn)速ω可算出在dq坐標(biāo)系下等效導(dǎo)納矩陣Ydq0，其非零元素的計(jì)算公式為

再經(jīng)派克變換便可得到Y(jié)abc，即

式（1）中存在4個(gè)可并行執(zhí)行的計(jì)算表達(dá)式，各表達(dá)式中某些乘法和加法運(yùn)算可并行執(zhí)行，其中Ydq和Yq的計(jì)算可用如圖1（a）和1（b）所示的邏輯電路來(lái)實(shí)現(xiàn).式（2）中存在9個(gè)可并行執(zhí)行的計(jì)算表達(dá)式，各表達(dá)式中的乘法可并行執(zhí)行，其中Yab的計(jì)算可用如圖1（c）所示的邏輯電路來(lái)實(shí)現(xiàn).

圖1　計(jì)算部分參數(shù)的邏輯電路Fig.1 Logic circuits of calculating partial parameters

為每個(gè)計(jì)算表達(dá)式配備獨(dú)特的邏輯電路可實(shí)現(xiàn)理想的細(xì)粒度并行，但這種方法受到FPGA片上資源的限制.這些計(jì)算表達(dá)式的邏輯電路具有相似性，可采用復(fù)用技術(shù)減輕對(duì)硬件資源的需求.如采用圖2所示的運(yùn)算組件可分別計(jì)算Ydq、Yq和Yab，但需對(duì)數(shù)據(jù)的輸入口和輸出口進(jìn)行有效控制.

圖2中的緩沖通道由多個(gè)寄存器串接而成，通過(guò)對(duì)寄存器的控制使數(shù)據(jù)從緩沖通道的一端移向另一端.放置這些緩沖通道的目的是保證運(yùn)算組件的時(shí)序正確性.在圖2中，假定乘法器的流水線長(zhǎng)度短于加法器的流水線長(zhǎng)度.

圖2　計(jì)算Ydq、Yq和Yab的運(yùn)算組件Fig.2 Processing unit of calculating Ydq，Yqand Yab

2　變結(jié)構(gòu)運(yùn)算組件

由于圖2中運(yùn)算器的連接關(guān)系固定不變，在計(jì)算Yab時(shí)2/3的運(yùn)算器處于無(wú)意義的工作狀態(tài)，且流水線的長(zhǎng)度比圖1（c）有大幅度的增加.若組件中運(yùn)算器能夠根據(jù)不同的計(jì)算表達(dá)式來(lái)改變連接關(guān)系即位置可變，則可避免不必要的計(jì)算等待，從而提高仿真的計(jì)算速度.

為使組件中運(yùn)算器的連接關(guān)系可變，為運(yùn)算器的每個(gè)輸入口配備一個(gè)輸入口控制器，為運(yùn)算器的每個(gè)輸出口配備一個(gè)輸出口控制器和一條由寄存器級(jí)聯(lián)組成且任意位置可讀寫(xiě)的緩沖通道，如圖3所示.緩沖通道的首端連接運(yùn)算器的輸出口，末端懸空.輸入口控制器負(fù)責(zé)從數(shù)據(jù)存儲(chǔ)區(qū)或緩沖通道到運(yùn)算器輸入口的數(shù)據(jù)流控制，輸出口控制器負(fù)責(zé)從緩沖通道到數(shù)據(jù)存儲(chǔ)區(qū)的數(shù)據(jù)流控制.

圖3　變結(jié)構(gòu)運(yùn)算組件的示意Fig.3 Sketch map of variable-structure processing unit

當(dāng)某個(gè)運(yùn)算器的兩個(gè)輸入數(shù)據(jù)來(lái)自同一數(shù)據(jù)塊時(shí)，需要多花費(fèi)一個(gè)時(shí)鐘節(jié)拍來(lái)傳送輸入數(shù)據(jù)，這導(dǎo)致運(yùn)算器的工作效率下降.如果允許數(shù)據(jù)存儲(chǔ)區(qū)的數(shù)據(jù)流向緩沖通道，則可事先把其中的一個(gè)數(shù)據(jù)安放在緩沖通道上，需要時(shí)把它傳送到運(yùn)算器的輸入口.因此，在圖3中增加了以虛線箭頭表示的從數(shù)據(jù)存儲(chǔ)區(qū)到緩沖通道的數(shù)據(jù)流.這樣，也解決了數(shù)組之間的數(shù)據(jù)流動(dòng)問(wèn)題.

對(duì)于圖3所示的變結(jié)構(gòu)運(yùn)算組件，其核心是輸入口控制器和輸出口控制器.為使這些控制器具有通用性，把控制器細(xì)分成存儲(chǔ)一系列控制指令的代碼存儲(chǔ)區(qū)、讀取代碼和解析代碼的指令解碼器、執(zhí)行指令的多路開(kāi)關(guān).由于變結(jié)構(gòu)運(yùn)算組件中各個(gè)運(yùn)算器均需要控制指令，故它比固定結(jié)構(gòu)的運(yùn)算組件需要更多的FPGA存儲(chǔ)資源和邏輯資源.

為了縮短代碼存儲(chǔ)區(qū)的長(zhǎng)度，一是采用短指令，二是對(duì)有規(guī)律的指令串用塊指令替代.塊指令包括停止、重復(fù)、地址遞增、地址遞減等.本文規(guī)定輸入口指令的長(zhǎng)度為16位，其格式如表1所示；輸出口指令的長(zhǎng)度為24位，其格式如表2所示.

表1　輸入口控制指令格式Tab.1 Instruction format of input controller

表2　輸出口控制指令格式Tab.2 Instruction format of output controller

組件中運(yùn)算器的增加意味著緩沖通道和數(shù)組的增加.過(guò)多的緩沖通道和數(shù)組會(huì)使控制器的多路開(kāi)關(guān)變得復(fù)雜，很難保證多路開(kāi)關(guān)在較高頻率下運(yùn)行.因此，在表1和表2中規(guī)定了緩沖通道個(gè)數(shù)和長(zhǎng)度不超過(guò)16和32，數(shù)據(jù)存儲(chǔ)區(qū)的數(shù)組個(gè)數(shù)和長(zhǎng)度不超過(guò)48和1,024.

實(shí)時(shí)模仿一個(gè)具有一定規(guī)模的電力系統(tǒng)通常需要幾十個(gè)變結(jié)構(gòu)運(yùn)算組件.組件之間的數(shù)據(jù)交互通過(guò)交換站來(lái)完成.交換站由一組寄存器和若干個(gè)輸出口控制器組成，其控制器負(fù)責(zé)交換站寄存器與某個(gè)組件的數(shù)據(jù)存儲(chǔ)區(qū)之間的數(shù)據(jù)流控制.指令格式與表2一致，但需把通道變成交換站.當(dāng)交換站所涉及的運(yùn)算組件分散在不同F(xiàn)PGA芯片時(shí)，可通過(guò)具有控制光接口功能的輸出口控制器完成芯片級(jí)的數(shù)據(jù)通信.由于芯片級(jí)數(shù)據(jù)通信有較長(zhǎng)的時(shí)延，盡量不要把同一粗粒下的仿真計(jì)算分散到不同芯片中.

3　指令流的優(yōu)化生成

合理安排控制器指令流是實(shí)現(xiàn)細(xì)粒度并行計(jì)算的關(guān)鍵.由高級(jí)語(yǔ)言的仿真程序生成控制器指令流的基本過(guò)程如圖4所示.其中，任務(wù)生成算法將高級(jí)語(yǔ)言的仿真程序變成操作任務(wù)及其依賴關(guān)系的DAG，任務(wù)調(diào)度算法實(shí)現(xiàn)資源約束條件下對(duì)任務(wù)安排的優(yōu)化，并給出具體的控制器指令流.

圖4　指令流生成的基本過(guò)程Fig.4 Process of instruction stream generation

在任務(wù)生成算法中，將仿真程序中各運(yùn)算表達(dá)式拆分為具體的操作任務(wù)T（其中，用T1表示運(yùn)算任務(wù)，T2表示讀RAM任務(wù)，T3表示寫(xiě)RAM任務(wù)）.在按照運(yùn)算符優(yōu)先級(jí)確定運(yùn)算任務(wù)依賴關(guān)系的基礎(chǔ)上，優(yōu)先安排等待時(shí)間最短的運(yùn)算數(shù)據(jù).由于運(yùn)算數(shù)據(jù)可能是原始數(shù)據(jù)（由T2而來(lái)），也可能是中間數(shù)據(jù)（由T1而來(lái)），同優(yōu)先級(jí)的運(yùn)算任務(wù)之間也有依賴關(guān)系.

在任務(wù)調(diào)度算法中，用A（ti）表示任務(wù)ti∈T2∪T3的數(shù)據(jù)來(lái)源，用s（ti）表示任務(wù)ti開(kāi)始執(zhí)行時(shí)間，用p（ti）表示任務(wù)ti所用資源.其中，這里將加、乘、除運(yùn)算器記為C類資源，將讀、寫(xiě)RAM數(shù)據(jù)操作記為M類資源.用s1（ti）和s2（ti）表示任務(wù)ti的理想最早啟動(dòng)時(shí)間和理想最晚啟動(dòng)時(shí)間，即

式中：l（x）為任務(wù)x所用資源的流水線長(zhǎng)度；p（x）和q（x）分別為任務(wù)x的前驅(qū)任務(wù)和后繼任務(wù)；E（T）和F（T）分別為所有入口任務(wù)（無(wú)前驅(qū)）和出口任務(wù)（無(wú)后繼）.

由于M類資源與RAM有固定的匹配關(guān)系，讀寫(xiě)任務(wù)能否安排取決于相應(yīng)的M類資源的占用情況.而運(yùn)算任務(wù)除了考慮相應(yīng)的C類資源的占用情況外，還要優(yōu)先選用前驅(qū)任務(wù)所安排的變結(jié)構(gòu)運(yùn)算組件內(nèi)的資源.

對(duì)ti∈T且p（ti）∈C，p（ti）的輸入口控制器指令流＜it，ip＞（it為時(shí)間序號(hào)，ip為操作源地址）和輸出口控制器指令流＜o(jì)t，op，oq＞（ot為時(shí)間序號(hào)，op為操作源地址，oq為操作目標(biāo)地址）可表示為

式中：B（x）表示與資源x對(duì)應(yīng)的緩沖通道基地址；tj∈p（ti）；tk∈q（ti）.

具體的任務(wù)調(diào)度算法如下.

步驟 1 計(jì)算DAG各任務(wù)的s1和s2，置b3為零，并將所有任務(wù)放入未調(diào)度任務(wù)列表，計(jì)時(shí)器c置零.

步驟2 按照任務(wù)優(yōu)先級(jí)原則對(duì)未調(diào)度任務(wù)列表排序.

步驟,,,3 當(dāng)未調(diào)度任務(wù)列表空時(shí)轉(zhuǎn)至步驟10.

步驟4 從未調(diào)度任務(wù)列表取出首任務(wù)ti.若s1（ti）＞c，清理資源已占用標(biāo)記.將滿足b3（ti，tj）＞h的所有tj∈p（ti）記為T(mén)j，若Tj為非空轉(zhuǎn)至步驟8.

步驟5 為任務(wù)ti從未占用資源中選取資源.若找不到可用資源轉(zhuǎn)至步驟7.

步驟6 為任務(wù)ti所用資源打上已占用標(biāo)記，把任務(wù)ti增添到已調(diào)度任務(wù)列表中去，c=s1（ti），轉(zhuǎn)至步驟9.

步驟7 任務(wù)ti放回未調(diào)度任務(wù)列表.將與任務(wù)ti和 tj∈p（ti）有關(guān)的s1（ti）和b1（ti，tj）增1，計(jì)算相應(yīng)的b2（tj）和b3（ti，tj），轉(zhuǎn)至步驟9.

步驟8 Tj及其之后放入已調(diào)度任務(wù)列表的任務(wù)放回未調(diào)度任務(wù)列表.將與任務(wù)tj∈Tj和 tk∈p（tj）有關(guān)的s1（tj）和b1（tj，tk）增1，計(jì)算b2（tk）和b3（tj，tk），c=min｛s1（tj）｝.清理資源已占用標(biāo)記，并將已調(diào)度任務(wù)列表中最近執(zhí)行任務(wù)所占用的資源打上標(biāo)記.

步驟9 重新計(jì)算未調(diào)度任務(wù)列表中各任務(wù)的s1和s2，轉(zhuǎn)至步驟2.

步驟10 由式（5）和式（6）生成控制器的指令流＜it，ip＞或＜o(jì)t，op，oq＞，并按表1和表2指令格式進(jìn)一步處理指令流.

4　仿真實(shí)例

搭建的硬件在環(huán)仿真系統(tǒng)的電力系統(tǒng)如圖5所示，在發(fā)電機(jī)、變壓器、母線、傳輸線之間設(shè)有斷路器，在變壓器出口、母線、傳輸線末端放置短路故障模型.同時(shí)，為發(fā)電機(jī)配備調(diào)速系統(tǒng)和勵(lì)磁控制系統(tǒng)，為發(fā)電機(jī)、變壓器、母線、傳輸線配備相應(yīng)的保護(hù).斷路器狀態(tài)、短路故障有無(wú)、保護(hù)投切（包括真實(shí)保護(hù)）通過(guò)人機(jī)界面來(lái)設(shè)置.

圖5　IEEE-14電力系統(tǒng)Fig.5 IEEE-14 power system

本文選擇Altera公司的DSP Stratix V官方開(kāi)發(fā)板，如圖6所示.開(kāi)發(fā)板配有Stratix V系列FPGA 5SGSMD5，該芯片包含457,000個(gè)邏輯單元、172,600個(gè)自適應(yīng)邏輯模塊、39,Mbit嵌入式存儲(chǔ)資源、3,180個(gè)18×18硬件乘法器和24個(gè)鎖相環(huán)資源等.

圖6　DSP Stratix V FPGA開(kāi)發(fā)板Fig.6 DSP development kit，Stratix V FPGA

為模仿圖5所示電力系統(tǒng)，在5SGSMD5芯片上創(chuàng)建了16個(gè)變結(jié)構(gòu)運(yùn)算組件和5個(gè)交換站.每個(gè)組件配有2個(gè)除法器、6個(gè)乘法器和8個(gè)加法器，緩沖通道長(zhǎng)度為32.每個(gè)交換站配有16個(gè)控制器，緩沖通道長(zhǎng)度為128.除運(yùn)算組件和交換站之外，還搭建了時(shí)鐘鎖相環(huán)、電流過(guò)零檢測(cè)、網(wǎng)絡(luò)參數(shù)更改等硬件電路，并添加了Quartus II提供的邏輯分析儀Signaltap II模塊以驗(yàn)證仿真結(jié)果.

雙精度浮點(diǎn)數(shù)除法、乘法、加法運(yùn)算器和讀寫(xiě)RAM操作的流水線長(zhǎng)度設(shè)計(jì)為7、5、10和2，經(jīng)Quartus II提供的軟件TimeQuest進(jìn)行時(shí)序約束，將仿真運(yùn)算的最高工作時(shí)鐘頻率定為184,MHz.通過(guò)表調(diào)度形成的仿真程序在一個(gè)步長(zhǎng)內(nèi)執(zhí)行時(shí)間為27.1,μs.

當(dāng)圖5中線路a的保護(hù)采用真實(shí)的繼電保護(hù)設(shè)備（南瑞繼保公司的線路保護(hù)裝置PCS-931GM-D）時(shí)，形成信號(hào)級(jí)硬件在環(huán)實(shí)時(shí)仿真系統(tǒng).為驗(yàn)證仿真的準(zhǔn)確性，記錄短路故障和保護(hù)裝置動(dòng)作時(shí)間，用PSCAD仿真軟件模擬同樣的故障和保護(hù).圖7和圖8分別給出了線路a發(fā)生三相接地故障后母線13的三相電壓，發(fā)電機(jī)4的功角與勵(lì)磁電壓.

圖7　母線13的三相電壓Fig.7 Three-phase voltage of Bus 13

圖8　發(fā)電機(jī)4的功角和勵(lì)磁電壓Fig.8 Power angle and excitation voltage of G4

由圖7和圖8所見(jiàn)，F(xiàn)PGA實(shí)時(shí)仿真平臺(tái)與PSCAD的仿真波形基本一致，誤差在5%,以內(nèi).

為驗(yàn)證所提仿真實(shí)現(xiàn)方法的高效性，本文與傳統(tǒng)的FPGA編程的仿真實(shí)現(xiàn)方法［11-15］相對(duì)比.后者根據(jù)文獻(xiàn)［15］，針對(duì)圖5的電力系統(tǒng)在5SGSMD5芯片中分別搭建發(fā)電機(jī)模型、注入電流源模型、開(kāi)關(guān)模型以及線性網(wǎng)絡(luò)求解模型的硬件電路，并由模型間電氣量的連接關(guān)系編寫(xiě)狀態(tài)機(jī).在FPGA編程中，選擇與本文方法相同的除法、乘法、加法運(yùn)算器，并同樣以184,MHz的工作時(shí)鐘頻率驅(qū)動(dòng)時(shí)序電路，一個(gè)仿真步長(zhǎng)的計(jì)算時(shí)間為42.9,μs，是本文方法的1.6倍.兩種實(shí)現(xiàn)方法的資源消耗情況和運(yùn)算器利用率如表3和表4所示.

表3　兩種實(shí)現(xiàn)方法的FPGA資源消耗情況Tab.3FPGA resources utilized by two implementing methods

表4　兩種實(shí)現(xiàn)方法的運(yùn)算器利用率Tab.4Arithmetic unit utilization of two implementing methods %,

可見(jiàn)，在傳統(tǒng)FPGA編程的實(shí)現(xiàn)方法中，使用的邏輯資源和硬件乘法器已接近90%,，其原因是模塊間運(yùn)算器相互獨(dú)立且無(wú)法復(fù)用，運(yùn)算器的利用率很低.而指令流優(yōu)化生成方法能夠?qū)\(yùn)算器作統(tǒng)一調(diào)度，提高了運(yùn)算器的利用率，從而減少了對(duì)FPGA運(yùn)算資源的需求.

考慮時(shí)序約束，5SGSMD5芯片中最多可創(chuàng)建24個(gè)變結(jié)構(gòu)運(yùn)算單元.經(jīng)測(cè)試，它們完成2個(gè)圖5所示仿真系統(tǒng)（共470個(gè)節(jié)點(diǎn)和10臺(tái)發(fā)電機(jī)）的計(jì)算時(shí)間為45,μs，完全可實(shí)現(xiàn)仿真步長(zhǎng)為50,μs的實(shí)時(shí)仿真.若使用RTDS仿真，同樣的仿真規(guī)模至少需10個(gè)GPC卡（1個(gè)GPC卡可以處理66個(gè)節(jié)點(diǎn)或5個(gè)發(fā)電機(jī)模型）.

5　結(jié)　論

（1）基于緩沖通道的變結(jié)構(gòu)運(yùn)算組件可靈活進(jìn)行較大規(guī)模的加減乘除混合運(yùn)算，提高了計(jì)算速度和資源利用率.

（2）采用任務(wù)生成算法和任務(wù)調(diào)度算法可將高級(jí)語(yǔ)言的仿真程序變成控制器指令流，在定制模式下用戶不涉及FPGA編程.

（3）采用多FPGA的聯(lián)合仿真可實(shí)現(xiàn)較大規(guī)模的電力系統(tǒng)實(shí)時(shí)仿真，并具有成本優(yōu)勢(shì).

［1］ 周保榮，房大中，Laurence A S，等. 全數(shù)字實(shí)時(shí)仿真器：HYPERSIM［J］. 電力系統(tǒng)自動(dòng)化，2003，27（19）：79-82. Zhou Baorong，F(xiàn)ang Dazhong，Laurence A S，et al. The fully digital real-time simulator：HYPERSIM［J］. Automation of Electric Power Systems，2003，27（19）：79-82（in Chinese）.

［2］ 徐 箭，陳允平. 基于改進(jìn)通信算法的暫態(tài)穩(wěn)定并行仿真［J］. 中國(guó)電機(jī)工程學(xué)報(bào)，2006，26（15）：12-18. Xu Jian，Chen Yunping. Parallel simulation for transient stability based on improved communication algorithm in cluster environment［J］. Proceedings of the CSEE，2006，26（15）：12-18（in Chinese）.

［3］ 熊 瑋，夏文龍，余曉鴻，等. 多核并行計(jì)算技術(shù)在電力系統(tǒng)短路計(jì)算中的應(yīng)用［J］. 電力系統(tǒng)自動(dòng)化，2011，35（8）：49-53. Xiong Wei，Xia Wenlong，Yu Xiaohong，et al. Multicore parallel computation technique for power system short-circuit faults analysis［J］. Automation of Electric Power Systems，2011，35（8）：49-53（in Chinese）.

［4］ 陳來(lái)軍，陳 穎，梅生偉. 一種隱式同步策略及其在電磁暫態(tài)并行計(jì)算中的應(yīng)用［J］. 電工電能新技術(shù)，2010，29（2）：9-12，52. Chen Laijun，Chen Ying，Mei Shengwei. An implicit synchronization approach and its application in parallel computation of electro-magnetic transient［J］. Advanced Technology of Electrical Engineering and Energy，2010，29（2）：9-12，52（in Chinese）.

［5］ 周孝信，田 芳. 交直流電力系統(tǒng)分割并行電磁暫態(tài)數(shù)字仿真方法［J］. 中國(guó)電機(jī)工程學(xué)報(bào)，2011，31（22）：1-7. Zhou Xiaoxin，Tian Fang. Partition and parallel method for digital electromagnetic transient simulation of AC/DC power system［J］. Proceedings of the CSEE，2011，31（22）：1-7（in Chinese）.

［6］ 陳來(lái)軍，陳 穎，梅生偉，等. 一種混合并行算法及其在多相交直流混合電力系統(tǒng)中的應(yīng)用［J］. 中國(guó)電機(jī)工程學(xué)報(bào)，2010，30（28）：39-45. Chen Laijun，Chen Ying，Mei Shengwei，et al. A hybrid parallel computation algorithm and its application to multiphase hybrid AC/DC power systems［J］. Proceedings of the CSEE，2010，30（28）：39-45（in Chinese）.

［7］ Toshiji K，Kaoru I，Takayuki F，et al. Multirate analysis method for a power electronic system by circuit partitioning［J］. IEEE Transactions on Power Electronic，2009，24：2791-2802.

［8］ 劉 東，張炳達(dá). 一種適合并行計(jì)算的仿真變電站一次系統(tǒng)模型［J］. 電力系統(tǒng)自動(dòng)化，2010，34（20）：71-76. Liu Dong，Zhang Bingda. A primary system model of simulation substation suitable for parallel computing［J］. Automation of Electric Power System，2010，34（20）：71-76（in Chinese）.

［9］ Nechma T，Zwolinski M. Parallel sparse matrix solution for circuit simulation on FPGAs［J］. IEEE Transactions on Computers，2015，64（4）：1090-1103.

［10］ Cardenas A，Guzman C，Agbossou K. Development of a FPGA based real-time power analysis and control for distributed generation interface［J］. IEEE Transactions on Power Systems，2012，27（3）：1343-1353.

［11］ Chen Y，Dinavahi V. FPGA-based real-time EMTP［J］. IEEE Transactions on Power Delivery，2009，24（2）：892-902.

［12］ 王成山，丁承第，李 鵬，等. 基于FPGA的配電網(wǎng)暫態(tài)實(shí)時(shí)仿真研究（一）：功能模塊實(shí)現(xiàn)［J］. 中國(guó)電機(jī)工程學(xué)報(bào)，2014，34（1）：161-167. Wang Chengshan，Ding Chengdi，Li Peng，et al. Realtime transient simulation for distribution systems based on FPGA（part,Ⅰ）：Module realization［J］. Proceedings of the CSEE，2014，34（1）：161-167（in Chinese）.

［13］ Matar M，Iravani R. Massively parallel implementation of AC machine models for FPGA-based real-time simulation of electromagnetic transients［J］. IEEE Transactions on Power Delivery，2011，26（2）：830-840.

［14］ Liu J D，Dinavahi V. A real-time nonlinear hysteretic power transformer transient model on FPGA［J］. IEEE Transactions on Industrial Electronics，2014，61（7）：3587-3597.

［15］ Chen Y，Dinavahi V. Multi-FPGA digital hardware design for detailed large-scale real-time electromagnetic transient simulation of power systems［J］. IET Generation，Transmission & Distribution，2013，7（5）：451-463.

［16］ Cho S，Elhourani T，Ramasubramanian S. Independent directed acyclic graphs for resilient multipath routing［J］. IEEE Transactions on Networking，2012，20（1）：153-162.

（責(zé)任編輯：孫立華）

Implementation of Fine Granularity Parallelization in Power System Real-Time Simulation

Wang Xiao，Zhang Bingda，Chen Xiong
（Key Laboratory of Smart Grid of Ministry of Education，Tianjin University，Tianjin 300072，China）

In order to make full use of highly parallel characteristic of FPGA，a variable-structure processing unit was designed to achieve arithmetic with the mixed operation of addition，subtraction，multiplication and division.From the perspective of practicability and extensibility，applying the control instruction to describing the operation of processing unit and the directed acyclic graph to describing the process of parallel computing，a new simulation program design method based on FPGA was proposed.On this basis，a real-time simulation of IEEE-14 bus power system has been realized on a 5SGSMD5 chip with 30 μs time-step，and the experimental results are consistent with the PSCAD simulation results.

real-time simulation；fine granularity；field programmable gate array（FPGA）；variable-structure processing unit

TM744

A

0493-2137（2016）05-0513-07

10.11784/tdxbz201506073

2015-06-21；

2015-10-10.

國(guó)家自然科學(xué)基金資助項(xiàng)目（51477114）；天津市科技計(jì)劃資助項(xiàng)目（13TXSYJC40400）.

王 瀟（1987—），男，博士研究生，wangxiao@tju.edu.cn.

張炳達(dá)，bdzhang@tju.edu.cn.

網(wǎng)絡(luò)出版時(shí)間：2015-11-11. 網(wǎng)絡(luò)出版地址：http://www.cnki.net/kcms/detail/12.1127.N.20151111.1759.006.html.