張 峰

(中國西南電子技術研究所,成都610036)

1 引 言

高速數(shù)據(jù)存儲廣泛應用于機載高分辨率對地觀測和地面對空跟蹤測量設備中。以典型大視場面陣CCD數(shù)字攝像機為例,按像元數(shù)10k×10k(全色),2幅/秒,其單幅圖像數(shù)據(jù)量將達到300 MB/s;而光電精緯儀、高分辨率合成孔徑雷達(SAR)成像等地面測量設備能夠產(chǎn)生每秒吉比特量級數(shù)據(jù),如何完成這些高速數(shù)據(jù)的實時存儲,成為日益緊迫的研究課題。在傳統(tǒng)存儲方式中,通常選用磁盤(ATA、SATA接口)[1-4]作為存儲介質(zhì),但磁盤是通過磁頭高速旋轉(zhuǎn)與磁道接觸實現(xiàn)數(shù)據(jù)存取,在高空空氣稀薄不能提供足夠的動力使磁頭與磁道充分接觸,易丟失數(shù)據(jù),限制了這種存儲方式在航空航天領域的應用。而本文提出的基于Nandflash陣列的存儲方式,不依靠空氣動力,是以電信號作為訪問方式,存取數(shù)據(jù)穩(wěn)定可靠,是航空航天等領域復雜情況下實現(xiàn)高速數(shù)據(jù)存儲的理想選擇[5]。國內(nèi)中科院、清華及北理工等單位也進行了對Nandflash存儲技術的研究。

本文提出的高速大容量基于Nandflash陣列的存儲方式,充分利用了陣列間的并行流水方式,發(fā)揮出了此種方式的讀寫速度極致,實驗表明,存儲速度可達900 MB/s,讀取速度可達1200MB/s,可完全滿足CCD相機及SAR成像G數(shù)量級的數(shù)據(jù)存儲需求。

2 高速大容量Nandflash存儲陣列硬件設計

與Norflash相比,Nandflash強調(diào)降低每比特的成本,并提高數(shù)據(jù)存儲密度,目前主流單片Nandflash容量可達到 8 GB、16 GB或 32 GB,因此,采用Nandlflash陣列實現(xiàn)高速海量數(shù)據(jù)存儲成為可能,并逐漸成為一種趨勢。

按照數(shù)據(jù)采集-緩存-存儲-下傳的數(shù)據(jù)流程,存儲陣列硬件設計考慮如下。

(1)數(shù)據(jù)采集

采用多通道FC光纖接口,作為數(shù)據(jù)輸入端,目前主流FC速度可達到2 Gb/s及4 Gb/s,若以四通道FC接口,則數(shù)據(jù)輸入總速度可達8Gb/s或16 Gb/s,考慮8B/10B變換及協(xié)議包開銷,有效數(shù)據(jù)速率在6.0～12 Gb/s之間,可滿足高分辨率高幀頻CCD相機和SAR成像數(shù)據(jù)采集帶寬需求。

(2)數(shù)據(jù)緩存

采用乒乓交叉緩存技術[6],保證相機數(shù)據(jù)的實時連續(xù)采集與存儲,存儲器可采用DDR2或DDR3,數(shù)據(jù)位寬以64位或32位為宜。

(3)數(shù)據(jù)存儲

采用Nandflash陣列為存儲介質(zhì),以每組8片或4片為宜,與乒乓緩存的數(shù)據(jù)位寬對應。若以8組Nandflash組成一個存儲陣列(稱為存儲陣列A),則需要Nandflash顆粒為8×8=64個,可考慮有多個存儲陣列,分別為存儲陣列B、C、D。存儲陣列個數(shù)以實際工程項目需求為主,并考慮數(shù)據(jù)的冗余及備份。

(4)數(shù)據(jù)下傳

采用CPCIE接口或網(wǎng)絡,若采用CPCIE接口,可將存儲模塊視為一個CPCIE總線的外設板,通過交換板與其他功能模塊實現(xiàn)數(shù)據(jù)交互;若采用網(wǎng)絡接口傳輸數(shù)據(jù),增加了存儲陣列的靈活性,但網(wǎng)絡接口下傳速度慢(千兆網(wǎng)利用率最高約80%,即80 MB/s左右)。

基于以上考慮,設計的高速大容量Nandlflash存儲陣列如圖1所示。存儲模塊共由兩個Nandflash陣列組成,每一個存儲陣列含有8組共64片Nandflash顆粒 ,緩存 DDR2為 64位 、512 MB 、266 MHz工作時鐘;每個存儲陣列含有二通道FC接口,實現(xiàn)數(shù)據(jù)輸入;四通道CPCIE接口,實現(xiàn)數(shù)據(jù)輸出;一個網(wǎng)絡接口,用于接收命令或下傳數(shù)據(jù);Flash用于存儲陣列的壞塊(Bad Block)信息。兩個存儲陣列之間通過高速串行總線如FC、PCIE、SRIO接口以及多路LVTTL電平信號進行數(shù)據(jù)交互,實現(xiàn)存儲陣列間的數(shù)據(jù)同步。

圖1 高速大容量Nandflash存儲陣列硬件框圖Fig.1 The structure of Nandflash-based arrays recoring system

3 高速大容量Nandflash存儲陣列軟件設計

軟件設計主要在FPGA內(nèi)實現(xiàn)各種功能接口,下面分別介紹。

(1)數(shù)據(jù)采集

在FPGA內(nèi)實現(xiàn)光纖FC接口控制器。此處可基于FPGA內(nèi)自帶的高速串行收發(fā)器GTX,實現(xiàn)FC協(xié)議;例如一個先進先出緩存器FIFO(稱為FIFO-A),FIFO-A數(shù)據(jù)位寬為64位,深度為1024。FIFOA的數(shù)據(jù)輸入端接FC接口,用于接收經(jīng)FC接口進入FPGA內(nèi)的數(shù)據(jù);FIFO-A數(shù)據(jù)輸出端接乒乓緩存DDR2控制器。

(2)數(shù)據(jù)緩存

在FPGA內(nèi)實現(xiàn)乒乓緩存DDR2控制器[7]。DDR2控制器利用Xilinx公司的IP core generater產(chǎn)生,在產(chǎn)生過程中,配置DDR2數(shù)據(jù)位寬為64位,時鐘為266MHz,使能差錯校驗(ECC),突發(fā)長度為4 byte,信號電平為SSTL18-ClassII;FIFO(稱為FIFOB),FIFO-B數(shù)據(jù)位寬64位,深度為1024。FIFO-B的數(shù)據(jù)輸入端接DDR2控制器,數(shù)據(jù)輸出端接Nandflash,按照Nandflash的分組Group1～Group8,分別接到FIFO-B的數(shù)據(jù)位,如Group1接FIFO-B數(shù)據(jù)位Data0～data7,Group2接FIFO-B數(shù)據(jù)位Data8～data15,Group8接FIFO-B數(shù)據(jù)位Data56～data63。

(3)數(shù)據(jù)存儲

在FPGA內(nèi)用硬件邏輯語言VHDL實現(xiàn)存儲介質(zhì)Nandflash陣列控制器。Nandflash陣列按組(Group)分布,每組8片,共8組。組內(nèi)地址數(shù)據(jù)線共用,控制信號共用,組內(nèi)數(shù)據(jù)并行存儲,組間采用串行流水結構,提高數(shù)據(jù)存儲速率;在FPGA內(nèi)實現(xiàn)Norflash控制器,Norflash用于存儲并映射Nandflash的壞塊信息,Nandflash顆粒為 4 GB,16384個塊(Block),每一個塊對應Norflash中的一個地址,若為壞塊,則相應數(shù)據(jù)置1(高電平);反之,置0;當DDR2中的數(shù)據(jù)寫入到Nandflash存儲陣列時,需先查詢壞塊映射表,若對應的地址數(shù)據(jù)為0,表示Nandflash中的對應塊可以將數(shù)據(jù)寫入;若數(shù)據(jù)為1,表明Nandflash中的對應塊是壞塊,需要跳過,并將數(shù)據(jù)寫入到下一個非壞塊。如何設計并映射壞塊信息是軟件實現(xiàn)的難點。

(4)數(shù)據(jù)下傳

在FPGA內(nèi)實現(xiàn)CPCIE控制器。CPCIE協(xié)議即為PCIE協(xié)議,是對PCIE協(xié)議的機械結構加強,可利用FPGA內(nèi)帶的PCIE End Point硬核簡化工程難度。若采用網(wǎng)絡接口實現(xiàn)數(shù)據(jù)下傳,則可利用FPGA中內(nèi)嵌的網(wǎng)絡硬核。數(shù)據(jù)下傳完畢后,可供其他功能模塊進行分析、判讀、處理、回放。

4 測試結果

實驗條件如下。

(1)Nandflash存儲陣列性能指標:FPGA為XC5VFX70T-1136,Nandflash為K9WBG08U1M 。

(2)測試環(huán)境指標:PC機CPU為Pentium(R)Dual-Core E5200@2.50 Hz,內(nèi)存2GB,操作系統(tǒng)Windows XP Professional Service Pack 3,ISE版本10.1.03。

實驗數(shù)據(jù)來自程序產(chǎn)生的模擬數(shù)據(jù),通過寫滿Nandflash陣列存儲后,再讀出,并比較數(shù)據(jù)完整性。表1列出了測試出的系統(tǒng)主要性能,表中值為10次實驗平均值。

表1 系統(tǒng)性能Table 1 System performance

結果分析,基于Nandflash陣列的存儲方式相比于硬盤存儲方式,就存儲速度而言,有很大的提高;因為所有接口均以硬件語言VHDL實現(xiàn),減少了對操作系統(tǒng)的依賴,同時也降低了存儲陣列的配置靈活性。下一步考慮在FPGA中內(nèi)嵌的PowerPC440上加載操作系統(tǒng),以增加系統(tǒng)的靈活性?；贜andflash陣列實現(xiàn)的高速存儲已在某星載項目中實現(xiàn)應用與驗證。

5 結束語

本文研究設計的高速大容量Nandflash存儲陣列,主要利用了Nandflash高密度存儲的優(yōu)點,以陣列方式滿足了大容量存儲要求,以并行流水方式,實現(xiàn)了高速存儲。設計中的主要難點在于對壞塊信息的管理與映射。文中不僅實現(xiàn)了Nandflash陣列的控制器,還基于FPGA內(nèi)嵌高速收發(fā)器實現(xiàn)了FC及PCIE協(xié)議,以及網(wǎng)絡通信功能。由于本文提出的存儲方案在速度及抗振動方面的優(yōu)異表現(xiàn),在寬帶及衛(wèi)星通信中有廣泛的應用前景。下一步的工作考慮在數(shù)據(jù)存儲后,實現(xiàn)圖像數(shù)據(jù)的實時壓縮,供數(shù)據(jù)的判讀、回放或其他處理。

[1]李志鵬.連續(xù)數(shù)據(jù)記錄系統(tǒng)中IDE數(shù)據(jù)接口的實現(xiàn)[J].無線電工程,2010,40(2):48-50.LI Zhi-peng.Implementation of IDE Interface in Sustained Data Recording System[J].Radio Engineering,2010,40(2):48-50.(in Chinese)

[2]張峰.基于SATA的高速CCD存儲方案設計[J].半導體光電,2010,31(5):782-786.ZHANG Feng.A High-speed Method of CCD Image Data Storage System Based on SATA[J].Semiconductor Opto-Electronics,2010,31(5):782-786.(in Chinese)

[3]趙濤.基于SCSI總線的高速數(shù)據(jù)存儲系統(tǒng)軟件設計[J].現(xiàn)代電子技術,2008(14):59-62.ZHAO Tao.Software Design of High Speed Data Storage System Based on SCSI Bus[J].Modern Electronic Technology,2008(14):59-62.(in Chinese)

[4]ZHANGFeng,WU Qin-zhang,REN Guo-qiang.A High-speed Method of CCD Image Data Storage System[C]//Proceedings of 2010 Second International Conference on Advanced Computer Control.Shenyang:IEEE,2010:45-48.

[5]王燁,張峰,李燕斌.SATA高速存儲的FPGA實現(xiàn)[J].電訊技術,2012,52(11):1801-1804.WANG Ye,ZHANG Feng,LI Yan-bin.A high-speed recording system of SATA based on FPGA[J].Telecommunication Engineering,2012,52(11):1801-1804.(in Chinese)

[6]張峰.基于SRIO的高速圖像串行傳輸系統(tǒng)設計[J].光電工程,2010,37(10):89-92.ZHANG Feng.A High-speed Serial Transport Platform Based on SRIO for High-resolution Image[J].Opto-Electronic Engineering,2010,37(10):89-92.(in Chinese)