高劍剛，李 川，鄭 浩，王彥輝，胡 晉

(1.國家并行計(jì)算機(jī)工程技術(shù)研究中心，北京 100190；2.江南計(jì)算技術(shù)研究所，江蘇 無錫 214083)

0 引 言

存儲(chǔ)系統(tǒng)是高性能計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)中的重要組成部分。國內(nèi)超算系統(tǒng)神威·太湖之光[1]、天河2A[2]采用DDR3/4內(nèi)存技術(shù)，接口速率2133 Mbps～2400 Mbps。國外超算系統(tǒng)Summit[3]、Sierra[3]采用處理器芯片DDR4與加速芯片HBM2[4](high-band width memory)的內(nèi)存組合方式，DDR4接口速率2666 Mbps。TOP500排名第一的超級(jí)計(jì)算機(jī)Frontier[5]內(nèi)存系統(tǒng)為DDR4和HBM2e，DDR4接口速率3200 Mbps。作為傳統(tǒng)存儲(chǔ)并行互連技術(shù)，DDR4在高性能計(jì)算機(jī)中應(yīng)用廣泛。

DDR4應(yīng)用于超算系統(tǒng)主要有兩種方式，一是標(biāo)準(zhǔn)內(nèi)存條插裝[6]，二是存儲(chǔ)顆粒嵌入PCB(printed circuit board)表面貼裝。嵌入式貼裝典型系統(tǒng)是神威·太湖之光[7]，該方式可以釋放貼裝高度方向空間，也有助于減少由接插器件導(dǎo)致的信號(hào)畸變，但是，對(duì)DDR4訪存結(jié)構(gòu)設(shè)計(jì)和信號(hào)完整性設(shè)計(jì)[8]要求很高。

業(yè)界關(guān)于DDR4的研究有訪存分析[9]、接口電路物理設(shè)計(jì)優(yōu)化[10]、鏈路串?dāng)_分析[11，12]等，針對(duì)嵌入式互連結(jié)構(gòu)[13]的研究偏少。在信號(hào)完整性問題分析中，DDR4地址組總線和數(shù)據(jù)組總線眼圖仿真較少聯(lián)合分析兩大類信號(hào)以及數(shù)據(jù)碼型對(duì)信號(hào)傳輸?shù)挠绊慬14，15]。本文以DDR4嵌入式表面貼裝應(yīng)用為背景，設(shè)計(jì)了一種高密度串推結(jié)構(gòu)，根據(jù)結(jié)構(gòu)特點(diǎn)進(jìn)一步提出了基于碼型的仿真分析方法。并對(duì)仿真發(fā)現(xiàn)的地址組信號(hào)概率性出錯(cuò)問題進(jìn)行了結(jié)構(gòu)優(yōu)化分析和測(cè)試驗(yàn)證。

1 串推結(jié)構(gòu)設(shè)計(jì)

DDR4信號(hào)可以分為命令地址控制信號(hào)(后文簡稱為地址組信號(hào))和數(shù)據(jù)信號(hào)兩大類[16]，以單端信號(hào)為主，只有時(shí)鐘信號(hào)和數(shù)據(jù)選通信號(hào)是差分方式。地址組信號(hào)經(jīng)處理器驅(qū)動(dòng)后，依次經(jīng)過多片存儲(chǔ)顆粒，最后到達(dá)端接器件。數(shù)據(jù)信號(hào)采用點(diǎn)到點(diǎn)拓?fù)浣Y(jié)構(gòu)，即處理器與每片存儲(chǔ)顆粒直連，信號(hào)雙向傳輸。

根據(jù)信號(hào)拓?fù)涮攸c(diǎn)，針對(duì)高性能處理器高頻應(yīng)用，即一套存儲(chǔ)控制器與9片存儲(chǔ)顆粒(8片信息存儲(chǔ)+1片傳輸校驗(yàn))互連，考慮高效利用板面布局空間，同時(shí)控制數(shù)據(jù)信號(hào)點(diǎn)到點(diǎn)互連長度，設(shè)計(jì)如圖1所示串推結(jié)構(gòu)。

圖1 串推結(jié)構(gòu)及管腳陣列俯視圖

在該串推結(jié)構(gòu)中，地址信號(hào)從處理器出發(fā)，依次連接印制板上、下表面的存儲(chǔ)顆粒MM1和MM2、MM3和MM4……最后到達(dá)端接電阻R。印制板上、下表面存儲(chǔ)顆粒管腳陣列重合，以MM1和MM2的管腳俯視圖為例，MM1管腳A1至N1與MM2管腳A9至N9完全重合，管腳A2至N2與A8至N8重合，以此類推。同一地址信號(hào)在MM1和MM2之間存在兩種互連方式：單孔互連和雙孔互連。單孔互連結(jié)構(gòu)中，信號(hào)通過同一個(gè)孔與兩片存儲(chǔ)顆粒信號(hào)管腳相連，共孔的管腳主要為兩個(gè)顆粒的第3列和第7列。因?yàn)?、7兩列管腳引盤至共孔，空間充足。雙孔互連結(jié)構(gòu)中，信號(hào)先經(jīng)過MM1和MM2中靠近處理器一側(cè)的引盤孔，再印制線互連至遠(yuǎn)離處理器一側(cè)的引盤孔。圖中虛線把存儲(chǔ)顆粒管腳分為上下兩個(gè)區(qū)域，顆粒上半部分是數(shù)據(jù)組信號(hào)管腳(DQ標(biāo)識(shí)區(qū)域)，顆粒下半部分是地址組信號(hào)管腳(AC標(biāo)識(shí)區(qū)域)，地址組和數(shù)據(jù)組兩類信號(hào)管腳在空間上無交疊。

采用該串推結(jié)構(gòu)，存儲(chǔ)顆粒在印制板兩側(cè)面對(duì)面貼裝，可以提高布局密度，同時(shí)有效控制數(shù)據(jù)信號(hào)布線距離。由于地址組信號(hào)引盤孔陣列與數(shù)據(jù)組信號(hào)引盤孔陣列無交疊，地址組與數(shù)據(jù)組可以實(shí)現(xiàn)同層無交叉布線，布線密度大幅提升。

根據(jù)該結(jié)構(gòu)進(jìn)行布局布線設(shè)計(jì)，9片存儲(chǔ)顆粒數(shù)據(jù)組線長各顆粒組等長，最長線組為180 mm。地址組信號(hào)以時(shí)鐘信號(hào)為目標(biāo)進(jìn)行等長設(shè)計(jì)，處理器至到首片顆粒段線長等長。印制板板厚3.5 mm，信號(hào)孔孔徑0.25 mm，盤徑0.45 mm，隔離盤大小為0.65 mm，信號(hào)孔連接盤只在印制板兩個(gè)表面和布線層保留。

2 碼型仿真

2.1 傳統(tǒng)總線仿真

DDR4總線設(shè)計(jì)仿真分析中，常用做法是：基于三維電磁場(chǎng)仿真分析軟件建模提取包括封裝段和PCB段的地址總線、數(shù)據(jù)總線物理通道的散射參數(shù)(S參數(shù))模型，然后在電路仿真軟件中搭建包含通道S參數(shù)、存儲(chǔ)控制接口電路IBIS(input/output buffer informational specifation)模型以及存儲(chǔ)顆粒接口電路IBIS模型的鏈路拓?fù)?，并根?jù)數(shù)據(jù)地址信號(hào)類別以及信號(hào)速率設(shè)置恰當(dāng)?shù)募?lì)參數(shù)、端接參數(shù)和分析求解參數(shù)，最后在接收端觀察信號(hào)仿真眼圖是否符合規(guī)范要求。

圖2為DDR4總線鏈路仿真拓?fù)?，圖中TX表示地址組信號(hào)或數(shù)據(jù)組信號(hào)的發(fā)送端接口電路，RX表示地址組信號(hào)或數(shù)據(jù)組信號(hào)的接收端接口電路。T為發(fā)送端加載的激勵(lì)波形，E為發(fā)送端接口電路使能控制電平，PKG和PCB分別代表封裝段物理設(shè)計(jì)和印制板段物理設(shè)計(jì)，可以是物理結(jié)構(gòu)參數(shù)也可以是表征傳輸特性的S參數(shù)。在地址組信號(hào)仿真中，PCB段的S參數(shù)體現(xiàn)了地址組信號(hào)的串推特性，信號(hào)通過封裝管腳進(jìn)入PCB后，可以在9個(gè)不同存儲(chǔ)顆粒位置接收觀測(cè)，同時(shí)采用片外端接方式上拉至0.6 V。數(shù)據(jù)信號(hào)鏈路仿真通常以存儲(chǔ)顆粒的8個(gè)數(shù)據(jù)位為一組，每個(gè)數(shù)據(jù)位分別添加發(fā)送端電路接口模型和接收端電路接口模型。組內(nèi)8個(gè)數(shù)據(jù)信號(hào)在發(fā)送端同時(shí)使能并加載一定速率的偽隨機(jī)激勵(lì)波型，在接收端觀察組內(nèi)串?dāng)_狀態(tài)下的鏈路眼圖質(zhì)量。

圖2 DDR4總線鏈路仿真拓?fù)?/p>

圖3 串推結(jié)構(gòu)設(shè)計(jì)總線仿真結(jié)果

2.2 碼型分析仿真

傳統(tǒng)的總線仿真結(jié)果顯示設(shè)計(jì)裕量充足，但不足以化解該結(jié)構(gòu)的設(shè)計(jì)風(fēng)險(xiǎn)。

結(jié)構(gòu)中PCB板的厚度約為常規(guī)內(nèi)存條的2.5倍，信號(hào)孔長度即是內(nèi)存條信號(hào)孔的2.5倍。由于信號(hào)孔的寄生電感與信號(hào)孔長度強(qiáng)相關(guān)[16]，如式(1)所示

(1)

式中：Lvia為孔寄生電感，單位nH。h為孔長，d為孔直徑?？组L度增加，寄生電感隨之增加。

相互靠近的有電流通過的電感器件，電流變化與電感之間互感的疊加作用，會(huì)有額外的電壓產(chǎn)生，如式(2)所示

(2)

式中：L為信號(hào)孔之間的互感，i為通過信號(hào)孔的電流。

考慮到數(shù)據(jù)信號(hào)速率高，信號(hào)翻轉(zhuǎn)時(shí)電流變化較大，地址組信號(hào)又是多負(fù)載多分支結(jié)構(gòu)，而且地址組信號(hào)接收端沒有片上端接，所以數(shù)據(jù)信號(hào)翻轉(zhuǎn)對(duì)地址信號(hào)的影響是該結(jié)構(gòu)面臨的不確定因素，而傳統(tǒng)總線仿真不能排除該不確定因素的影響。

為了充分化解設(shè)計(jì)風(fēng)險(xiǎn)，提出碼型分析方法。選擇離終端上拉電阻較遠(yuǎn)的MM1、MM2存儲(chǔ)顆粒和地址組信號(hào)中空閑度相對(duì)小的CAS信號(hào)進(jìn)行詳細(xì)分析。

建立印制板兩側(cè)面對(duì)面貼裝顆粒兩組數(shù)據(jù)通道和地址信號(hào)物理關(guān)聯(lián)鏈路，通過改變MM1顆粒和MM2顆粒數(shù)據(jù)信號(hào)鏈路的發(fā)送端激勵(lì)波形表征不同速率和碼型的數(shù)據(jù)信號(hào)翻轉(zhuǎn)特性，采用如圖4所示的碼型分析鏈路拓?fù)?，分析地址信?hào)采樣正確率是否受到影響。

圖4 碼型分析拓?fù)?/p>

2.3 靜態(tài)碼型仿真結(jié)果

靜態(tài)碼型是指數(shù)據(jù)信號(hào)無翻轉(zhuǎn)電流，這時(shí)仿真鏈路中MM1和MM2的數(shù)據(jù)信號(hào)鏈路無激勵(lì)波形加載，CAS仿真結(jié)果參考傳統(tǒng)總線中的仿真結(jié)果。

根據(jù)DDR4存儲(chǔ)顆粒數(shù)據(jù)手冊(cè)要求，數(shù)據(jù)速率2666 Mbps～3200 Mbps對(duì)應(yīng)的單端地址組信號(hào)的直流電平要求為：高電平大于VREF+65 mv，低電平小于VREF-65 mv；交流電平要求為：高電平大于VREF+90 mv，低電平小于VREF-90 mv。其中，VREF為參考電壓，通常為0.6 V。在參考電壓處的建立/保持時(shí)序根據(jù)速率不等，最小為145 ps～130 ps。

從圖3(a)CAS信號(hào)9個(gè)顆粒位置的疊加眼圖來看，在數(shù)據(jù)鏈路為靜態(tài)碼型情況下，信號(hào)內(nèi)眼圖的高、低電平距0.6 V有接近300 mv的電壓差，即約210 mv的電平裕量，在參考電壓0.6 V的時(shí)序?qū)挾冗h(yuǎn)大于290 ps。而實(shí)際工作時(shí)，每個(gè)顆粒的CAS信號(hào)采樣電平和時(shí)序裕量是按照單顆粒的信號(hào)眼圖來判別，而不是9個(gè)位置的疊加眼圖，所以采樣裕量大于等于眼圖所示裕量。由分析可以推測(cè)：靜態(tài)數(shù)據(jù)碼型環(huán)境下的CAS信號(hào)采樣裕量充足，無識(shí)別出錯(cuò)可能。

2.4 同向翻轉(zhuǎn)碼型仿真結(jié)果

同向翻轉(zhuǎn)分為同向1010翻轉(zhuǎn)和同向0101翻轉(zhuǎn)。同向1010翻轉(zhuǎn)是指MM1和MM2兩個(gè)顆粒的兩組數(shù)據(jù)信號(hào)同一時(shí)刻翻轉(zhuǎn)方向一致，碼型為“10101010”，數(shù)據(jù)速率為2666 Mbps。同向0101翻轉(zhuǎn)對(duì)應(yīng)數(shù)據(jù)翻轉(zhuǎn)速率2666 Mbps不變，碼型為“01010101”。

在CAS鏈路添加與靜態(tài)碼型鏈路相同的發(fā)送、接收端電路模型參數(shù)，兩種同向翻轉(zhuǎn)對(duì)應(yīng)的9顆粒位置CAS信號(hào)疊加眼圖如圖5所示，圖5(a)為同向1010翻轉(zhuǎn)對(duì)應(yīng)眼圖，圖5(b)為同向0101翻轉(zhuǎn)對(duì)應(yīng)眼圖。

根據(jù)圖5結(jié)果，在兩組數(shù)據(jù)信號(hào)同向翻轉(zhuǎn)時(shí)，CAS信號(hào)疊加眼圖顯示的電平窗口與靜態(tài)碼型相比，都有一定幅度的縮小。1010同向翻轉(zhuǎn)對(duì)應(yīng)的電平裕量略小，且交流輸入低電平裕量接近于0。9個(gè)顆粒位置有實(shí)際采樣電平裕量為零的可能，但不能確定與功能性信號(hào)識(shí)別出錯(cuò)強(qiáng)相關(guān)。

2.5 反向翻轉(zhuǎn)碼型仿真結(jié)果

反向翻轉(zhuǎn)是指MM1顆粒和MM2顆粒的數(shù)據(jù)信號(hào)在同一時(shí)刻翻轉(zhuǎn)方向相反，也分兩種情況進(jìn)行分析。第一種情況：MM1顆粒數(shù)據(jù)信號(hào)碼型“01010101”，MM2顆粒數(shù)據(jù)信號(hào)碼型“10101010”，簡稱MM1“01”和MM2“10”，數(shù)據(jù)翻轉(zhuǎn)速率2666 Mbps。第二種情況：數(shù)據(jù)翻轉(zhuǎn)速率2666 Mbps不變，調(diào)換MM1和MM2兩個(gè)顆粒的數(shù)據(jù)信號(hào)碼型，MM1顆粒數(shù)據(jù)信號(hào)碼型“10101010”，MM2顆粒數(shù)據(jù)組信號(hào)碼型“01010101”，簡稱為MM1“10”和MM2“01”。

在CAS鏈路添加與靜態(tài)碼型鏈路相同的發(fā)送、接收端電路模型參數(shù)，兩種反向翻轉(zhuǎn)對(duì)應(yīng)的9顆粒位置CAS信號(hào)疊加眼圖如圖6所示，圖6(a)為MM1“01”和MM2“10”對(duì)應(yīng)眼圖，圖6(b)為MM1“10”和MM2“01”對(duì)應(yīng)眼圖。

圖6 反向翻轉(zhuǎn)對(duì)應(yīng)CAS信號(hào)疊加眼圖

根據(jù)圖6結(jié)果，MM1“01”和MM2“10”對(duì)應(yīng)的CAS信號(hào)疊加眼圖高低電平交叉，無論是電平還是時(shí)序都達(dá)不到手冊(cè)要求，信號(hào)極有可能出現(xiàn)功能性識(shí)別錯(cuò)。MM1“10”和MM2“01”對(duì)應(yīng)的CAS信號(hào)疊加眼圖顯示采樣時(shí)序裕量充足，電平裕量略小。

進(jìn)一步分析MM1“01”和MM2“10”對(duì)應(yīng)的CAS信號(hào)可能出錯(cuò)的顆粒位置，圖7為該反向翻轉(zhuǎn)環(huán)境4個(gè)顆粒位置的CAS波形。

圖7 MM1“01”和MM2“10”對(duì)應(yīng)四顆粒CAS信號(hào)波形

從圖7這4個(gè)顆粒位置CAS波形可以看出，MM1和MM3的CAS波形反射幅度大，高、低平穩(wěn)電平處的反射方向都指向參考電平，且超出了接口電平要求，在這兩個(gè)顆粒位置易出現(xiàn)信號(hào)識(shí)別錯(cuò)。MM4顆粒高電平在較寬的采樣時(shí)序范圍內(nèi)也存在識(shí)別出錯(cuò)可能。

經(jīng)分析，靜態(tài)碼型、兩種同向翻轉(zhuǎn)和兩種反向翻轉(zhuǎn)碼型對(duì)CAS信號(hào)有不同程度影響。靜態(tài)和同向翻轉(zhuǎn)對(duì)CAS信號(hào)采樣裕量影響較小，反向翻轉(zhuǎn)會(huì)導(dǎo)致CAS波形產(chǎn)生明顯畸變。反向翻轉(zhuǎn)中的特定碼型，即MM1“01010101”和MM2“10101010”，使得CAS信號(hào)在兩個(gè)以上顆粒位置出現(xiàn)高電平和低電平識(shí)別出錯(cuò)。也就是說，當(dāng)印制板上、下表面對(duì)貼的兩個(gè)顆粒的數(shù)據(jù)信號(hào)反向翻轉(zhuǎn)時(shí)，命令/地址信號(hào)會(huì)在多個(gè)顆粒位置出現(xiàn)電平識(shí)別出錯(cuò)。

從布局布線設(shè)計(jì)來看，CAS信號(hào)線與MM1和MM2數(shù)據(jù)信號(hào)線處于不同信號(hào)層，同層信號(hào)線間串?dāng)_可能性小。在縱向上，兩類信號(hào)都經(jīng)過了板厚較大的通孔，結(jié)合前文對(duì)孔間干擾的分析，減小孔間耦合成為優(yōu)化設(shè)計(jì)的方向。

3 優(yōu)化設(shè)計(jì)及仿真

3.1 雙盲折疊串推結(jié)構(gòu)

從優(yōu)化通孔串?dāng)_的目的出發(fā)，設(shè)計(jì)如圖8所示的折疊串推結(jié)構(gòu)。該結(jié)構(gòu)與圖1的串推結(jié)構(gòu)相比，地址組信號(hào)串推順序有了明顯變化。地址組信號(hào)從處理器出發(fā)，依次經(jīng)過MM1至MM4、MM9校驗(yàn)顆粒、MM5至MM8，最后到達(dá)端接器件R。除此之外，PCB表面正、反貼顆粒的引盤孔在PCB厚度方向上無重疊。該結(jié)構(gòu)增加了上下表面顆粒信號(hào)引盤孔的物理隔離距離，并且不改變?cè)械牟季置芏纫约安季€距離。

圖8 折疊串推結(jié)構(gòu)

常規(guī)PCB疊層工藝無法實(shí)現(xiàn)對(duì)貼顆粒的引盤孔陣列物理隔離，因此提出一種雙面盲PCB疊層結(jié)構(gòu)，兩種疊層設(shè)計(jì)對(duì)比如圖9所示。

圖9 常規(guī)PCB工藝VS上面盲PCB工藝

印制板通常由基材、半固化片、表面銅箔組成。基材如圖9中Core所示，是材料廠商提供的兩面具有一定光滑度的銅箔和夾心介質(zhì)材料組合體；半固化片如圖中PP所示，是基材間填充的介質(zhì)材料。常規(guī)印制板工藝中，表面銅箔位于PCB的兩個(gè)表面。由布線和供電需求確定基材、半固化片的規(guī)格和數(shù)量后，一次層壓成型再進(jìn)行整板鉆孔處理是常規(guī)印制板工藝特點(diǎn)。

在雙面盲PCB疊層中，除了印制板表面銅箔外，在基材中間也有兩層銅箔，這兩層銅箔在虛線框的區(qū)域內(nèi)分別起到了下表面銅箔和上表面銅箔的作用。雙面盲PCB疊層工藝共有3次層壓，第一次和第二次分別對(duì)兩個(gè)虛線框內(nèi)的Core、PP和表面銅箔進(jìn)行層壓，第三次對(duì)從上至下整個(gè)區(qū)域進(jìn)行層壓。盲孔的實(shí)現(xiàn)依靠前兩次層壓之后的鉆孔工藝，對(duì)于虛線框內(nèi)的結(jié)構(gòu)，第一、二次層壓之后的鉆孔相當(dāng)于常規(guī)工藝，第三次層壓之后，之前的通孔結(jié)構(gòu)成為盲孔。整板的通孔設(shè)計(jì)需求在第三次層壓之后鉆孔實(shí)現(xiàn)，不受前兩次層壓影響。

雙面盲結(jié)構(gòu)中的基材數(shù)量可以根據(jù)布線需求進(jìn)行調(diào)整，由于不受激光盲孔鉆孔深度的限制，可以實(shí)現(xiàn)多層盲孔互連。兩個(gè)虛線框中間區(qū)域基材，可以用作電源供電層，電源層的基材數(shù)量和厚度不影響上盲和下盲區(qū)域的鉆孔厚徑比。

根據(jù)折疊串推結(jié)構(gòu)和雙面盲疊層進(jìn)行設(shè)計(jì)優(yōu)化，盲孔孔徑可以由0.25 mm減小至0.15 mm，減小幅度40%，得益于鉆孔厚度的大幅減小。

針對(duì)優(yōu)化設(shè)計(jì)版本進(jìn)行鏈路仿真分析，優(yōu)化結(jié)構(gòu)中的MM2和MM8顆粒分布位于印制板的上、下表面，Pin坐標(biāo)重合，因此選擇MM2和MM8顆粒的數(shù)據(jù)信號(hào)和地址信號(hào)CAS的進(jìn)行碼型干擾分析。

3.2 2666 Mbps仿真結(jié)果

MM2和MM8數(shù)據(jù)信號(hào)在2666 Mbps速率下同向翻轉(zhuǎn)時(shí)，CAS信號(hào)疊加眼圖如圖10所示。圖10(a)為同向1010翻轉(zhuǎn)對(duì)應(yīng)眼圖，圖10(b)為同向0101翻轉(zhuǎn)對(duì)應(yīng)眼圖。

圖10 2666 Mbps同向翻轉(zhuǎn)對(duì)應(yīng)CAS疊加眼圖

MM2和MM8數(shù)據(jù)信號(hào)在2666 Mbps速率下反向翻轉(zhuǎn)時(shí)，CAS信號(hào)疊加眼圖如圖11所示。圖11(a)為MM2“01”和MM8“10”對(duì)應(yīng)眼圖，圖11(b)為MM2“10”和MM8“01”對(duì)應(yīng)眼圖。

圖11 2666 Mbps反向翻轉(zhuǎn)對(duì)應(yīng)CAS疊加眼圖

優(yōu)化設(shè)計(jì)后同向翻轉(zhuǎn)和反向翻轉(zhuǎn)疊加眼圖與優(yōu)化前相比，電平裕量有了顯著提高，采樣電平和時(shí)序裕量充足，信號(hào)功能性識(shí)別出錯(cuò)概率極小。

3.3 3000 Mbps仿真結(jié)果

把MM2和MM8的數(shù)據(jù)信號(hào)速率從2666 Mbps提升至3000 Mbps，觀察CAS疊加眼圖。兩種同向翻轉(zhuǎn)和反向翻轉(zhuǎn)對(duì)應(yīng)的CAS疊加眼圖如圖12所示。

圖12 3000 Mbps同向和反向翻轉(zhuǎn)對(duì)應(yīng)CAS疊加眼圖

根據(jù)圖12的眼圖結(jié)果，即使數(shù)據(jù)速率大幅提升，CAS眼圖的電平裕量和時(shí)序裕量仍然充足，信號(hào)功能性識(shí)別出錯(cuò)概率小。雙面盲折疊串推結(jié)構(gòu)相比優(yōu)化前的通孔串推結(jié)構(gòu)，在高速率數(shù)據(jù)碼型干擾環(huán)境下CAS信號(hào)質(zhì)量大幅提升，識(shí)別出錯(cuò)問題得以解決。另外，優(yōu)化結(jié)構(gòu)中的數(shù)據(jù)信號(hào)由于孔徑變小，孔分支長度減小，信號(hào)質(zhì)量也會(huì)得到一定程度的改善。

4 應(yīng)用測(cè)試

優(yōu)化后的雙面盲折疊串推結(jié)構(gòu)應(yīng)用于神威E級(jí)原型機(jī)運(yùn)算板，在處理器的功能調(diào)試和運(yùn)算板的工程測(cè)試中，DDR4信號(hào)傳輸性能和訪存功能得到全面的測(cè)試驗(yàn)證。

DDR4測(cè)試中，包括讀/寫訓(xùn)練測(cè)試、課題訪存功能測(cè)試和信號(hào)波形測(cè)試。讀/寫訓(xùn)練測(cè)試是指在與讀/寫速率適配的時(shí)序參數(shù)條件下，處理器與存儲(chǔ)顆粒之前通過一系列訓(xùn)練步驟，建立可存可取的讀操作與寫操作運(yùn)行環(huán)境。訓(xùn)練步驟包括初始化、讀使能、數(shù)據(jù)選通與時(shí)鐘邊沿對(duì)齊、組內(nèi)數(shù)據(jù)去偏斜等。課題訪存功能測(cè)試與memtest原理一致，通過針對(duì)顆粒存儲(chǔ)空間的大量讀/寫操作，統(tǒng)計(jì)內(nèi)存中可能的出錯(cuò)位置及操作項(xiàng)，測(cè)試內(nèi)存工作的穩(wěn)定性。課題功能包括地址遍歷、連讀連寫、不同碼型數(shù)據(jù)的讀寫測(cè)試等。信號(hào)波形測(cè)試，即選擇少量待測(cè)信號(hào)，焊接測(cè)試夾具，連接實(shí)時(shí)示波器進(jìn)行實(shí)時(shí)波形捕獲，確認(rèn)信號(hào)速率和波形質(zhì)量。由于時(shí)鐘信號(hào)可以直觀反映數(shù)據(jù)速率，同一顆粒的數(shù)據(jù)選通信號(hào)和數(shù)據(jù)信號(hào)波形疊加可以識(shí)別捕獲波形對(duì)應(yīng)操作是讀還是寫，所以DDR4波形測(cè)試中這3種信號(hào)較常見。

存儲(chǔ)顆粒標(biāo)稱速率為2666 Mbps，在標(biāo)稱速率下，系統(tǒng)512個(gè)處理器所有DDR4存儲(chǔ)互連通路中讀/寫訓(xùn)練全部通過，重復(fù)運(yùn)行各類內(nèi)存穩(wěn)定性測(cè)試程序，包括長時(shí)間拷機(jī)課題，無報(bào)錯(cuò)。數(shù)據(jù)速率提升至3000 Mbps時(shí)，結(jié)果一致，讀/寫訓(xùn)練全部通過，課題運(yùn)行仍然無報(bào)錯(cuò)。

3000 Mbps運(yùn)行時(shí)讀/寫測(cè)試波形如圖13所示。這里讀/寫操作的數(shù)據(jù)選通信號(hào)波形都采用兩個(gè)時(shí)鐘周期的導(dǎo)沿模式，導(dǎo)沿編碼為1110，由于數(shù)據(jù)選通信號(hào)是差分信號(hào)，導(dǎo)沿之后的采樣區(qū)間擺幅是數(shù)據(jù)信號(hào)的兩倍。兩幅圖中，導(dǎo)沿之后擺幅較大的是數(shù)據(jù)選通信號(hào)波形，無導(dǎo)沿且擺幅較小的是數(shù)據(jù)信號(hào)波形。

圖13 3000 Mbps讀、寫數(shù)據(jù)和時(shí)鐘波形

圖13(a)中，數(shù)據(jù)選通信號(hào)與數(shù)據(jù)信號(hào)在高低電平切換處無相位差，為讀操作波形。圖13(b)中，數(shù)據(jù)選通信號(hào)與數(shù)據(jù)信號(hào)在高地電平切換處存在半個(gè)數(shù)據(jù)位寬的相位差，為寫操作波形。兩圖中，數(shù)據(jù)選通信號(hào)和數(shù)據(jù)信號(hào)疊加波形下方是周期性的時(shí)鐘信號(hào)波形，時(shí)鐘頻率1.50 GHz，可知數(shù)據(jù)速率為3000 Mbps。從讀、寫操作數(shù)據(jù)波形來看，數(shù)據(jù)信號(hào)在超頻條件下傳輸質(zhì)量良好。

5 結(jié)束語

本文從多路DDR4存儲(chǔ)顆粒嵌入式工程應(yīng)用出發(fā)，設(shè)計(jì)了一種高密度DDR4串推結(jié)構(gòu)，提出基于不同激勵(lì)碼型的仿真分析方法，分析該結(jié)構(gòu)中數(shù)據(jù)組信號(hào)特定翻轉(zhuǎn)碼型影響地址組信號(hào)識(shí)別問題，進(jìn)一步優(yōu)化設(shè)計(jì)了基于雙面盲疊層結(jié)構(gòu)的折疊串推結(jié)構(gòu)，有效解決了該問題。實(shí)測(cè)波形顯示，該結(jié)構(gòu)超頻條件下的DDR4波形質(zhì)量良好，并且具有較高的系統(tǒng)訪存功穩(wěn)定性。目前已推廣應(yīng)用于神威E級(jí)原型機(jī)等多臺(tái)套大型計(jì)算裝備，技術(shù)效益良好。