任寬 張握瑜 王菲 郭澤鈺 尚大山?

1) (中國科學(xué)院微電子研究所,微電子器件與集成技術(shù)重點實驗室,北京 100029)

2) (西南交通大學(xué)超導(dǎo)與新能源研究開發(fā)中心,磁浮技術(shù)與磁浮列車教育部重點實驗室,成都 610031)

3) (中國科學(xué)院大學(xué),北京 100049)

儲池計算是類腦計算范式的一種,具有結(jié)構(gòu)簡單、訓(xùn)練參數(shù)少等特點,在時序信號處理、混沌動力學(xué)系統(tǒng)預(yù)測等方面有著巨大的應(yīng)用潛力.本文提出了一種基于存內(nèi)計算范式的儲池計算硬件實現(xiàn)方法,利用憶阻器陣列完成非線性向量自回歸過程中的矩陣向量乘法操作,有望進一步提升儲池計算的能效.通過憶阻器陣列仿真實驗,在Lorenz63 時間序列預(yù)測任務(wù)中驗證了該方法的可行性,以及該方法在噪聲條件下預(yù)測結(jié)果的魯棒性,并探究憶阻器陣列阻值精度對預(yù)測結(jié)果的影響.這一結(jié)果為儲池計算的硬件實現(xiàn)提供了一種新的途徑.

1 引言

理解生物大腦中信息的加工、處理模式,并在此基礎(chǔ)上構(gòu)建類腦計算硬件系統(tǒng)是現(xiàn)代信息科學(xué)的前沿研究之一[1].研究表明,生物大腦等效于一個復(fù)雜神經(jīng)網(wǎng)絡(luò)動力學(xué)系統(tǒng)[2],其處理外界信息的機能依賴于神經(jīng)網(wǎng)絡(luò)的動力學(xué)過程[3].如何理解大腦的神經(jīng)動力學(xué)過程、構(gòu)建類腦動力學(xué)系統(tǒng),是類腦計算硬件系統(tǒng)實現(xiàn)的核心問題[4].自然界中的信息大部分是用時序數(shù)據(jù)來定義的.大腦的動力學(xué)系統(tǒng)受外部時序信號刺激,并將刺激產(chǎn)生的數(shù)據(jù)進行編碼和存儲[5,6],進而形成各類認知過程.循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network,RNN)[7]是一種具有短時記憶能力的神經(jīng)網(wǎng)絡(luò),其中的神經(jīng)元通過具有環(huán)路的網(wǎng)絡(luò)結(jié)構(gòu),不僅可以接受其他神經(jīng)元的信息,也可以接受自身的信息,從而使網(wǎng)絡(luò)具有處理時序數(shù)據(jù)的能力,因此,更加適合模擬大腦的動力學(xué)系統(tǒng).當(dāng)前,RNN 已經(jīng)被廣泛應(yīng)用于語音識別、自然語言處理等任務(wù)中.然而,由于梯度消失和爆炸問題[8],RNN 需要的超參數(shù)多,而且訓(xùn)練過程復(fù)雜.因此,RNN 在硬件系統(tǒng)實現(xiàn)上依然面臨結(jié)構(gòu)復(fù)雜、訓(xùn)練時間長和能耗高等問題[9].

儲池計算(reservoir computing,RC)是RNN的一種簡化形式.RC 概念最初的提出是為了模擬生物大腦中具有大量循環(huán)連接的皮質(zhì)紋狀體系統(tǒng)處理視覺空間序列信息的過程[10].隨后人們基于RNN 的框架,構(gòu)建了統(tǒng)一的RC 計算框架[11?13](如圖1(a)).RC 的核心是一個被稱為“儲池”的循環(huán)神經(jīng)網(wǎng)絡(luò)隱藏層.該網(wǎng)絡(luò)能夠?qū)r序輸入信號轉(zhuǎn)換到高維空間中.經(jīng)過高維轉(zhuǎn)換后,輸入信號的特征就可以更容易地通過簡單線性回歸方法有效讀出.目前,RC 在時序信號處理[14]、混沌動力學(xué)系統(tǒng)預(yù)測[15]等動力學(xué)系統(tǒng)學(xué)習(xí)方面有良好的功能.值得注意的是,與標(biāo)準(zhǔn)RNN 相比[16],RC 中只需要訓(xùn)練輸出層權(quán)重,并且不需要反向傳播算法,有效避免了梯度消失問題,因此,可以有效降低訓(xùn)練復(fù)雜度和訓(xùn)練時間.

圖1 三種RC 結(jié)構(gòu) (a) 傳統(tǒng)RC 結(jié)構(gòu);(b) 單節(jié)點延時RC結(jié)構(gòu);(c) 非線性向量自回歸RC 結(jié)構(gòu)Fig.1.Three types of RC frameworks:(a) Conventional RC;(b) RC using a single nonlinear node reservoir with time-delayed feedback;(c) NGRC,which is equivalent to nonlinear vector autoregression.

傳統(tǒng)RC 主要包括由Jaeger[11]提出的ESN 模型（echo state network）和Maass 等[13]提出的LSM（liquid state machine）模型,他們的結(jié)構(gòu)都如圖1(a)所示,包含輸入、儲池和輸出三部分.ESN模型的儲池和LSM 模型的儲池都為基于RNN 框架,由多個神經(jīng)元隨機連接而成的結(jié)構(gòu).所不同的是,ESN 模型中的神經(jīng)元是離散時間人工神經(jīng)元,而LSM 模型中的神經(jīng)元是具有興奮性和抑制性的脈沖神經(jīng)元.儲池計算模型結(jié)構(gòu)(以ESN 為例)可以用以下公式描述:

其中,u(n)為輸入向量,n為離散的時間,f表示儲池層單元的非線性激活函數(shù),Win為輸入連接儲池的權(quán)重矩陣,x(n)是所有離散時間人工神經(jīng)元的回聲狀態(tài)向量,W為神經(jīng)元間的連接矩陣,Wout為儲池連接輸出的權(quán)重矩陣,y(n)為輸出向量.儲池計算只需要訓(xùn)練輸出權(quán)重矩陣Wout,其性能取決于儲池神經(jīng)元間的連接矩陣W.當(dāng)W的譜半徑小于1 時(即特征值的絕對值的最大項),對任意輸入都可以得到對應(yīng)的回聲狀態(tài)屬性[17].節(jié)點的回聲狀態(tài)屬性等效于節(jié)點具備“衰退記憶”[18].人們從理論上證明了,由離散時間“衰退記憶”節(jié)點構(gòu)成的RC 網(wǎng)絡(luò)在輸入有界的情況下具備動力學(xué)通用逼近能力[19].

這類RC 的硬件實現(xiàn)方法可大致分為兩種:一種方法是通過使用神經(jīng)網(wǎng)絡(luò)硬件或神經(jīng)形態(tài)計算技術(shù)實現(xiàn),如用模擬電路[20]、FPGA（fieldprogrammable gate array）[21,22]、大規(guī)模集成電路[23]、憶阻器[24?26]等直接構(gòu)造儲池中多個隨機連接的神經(jīng)元.這種方法可靈活調(diào)整神經(jīng)元間連接的拓撲結(jié)構(gòu)以改善性能,但是構(gòu)造神經(jīng)元需要的器件眾多,并且計算中每一個時間步都需要進行大量計算以及存儲大量神經(jīng)元的狀態(tài).另一種方法是采用具備“衰退記憶”的物理節(jié)點代替隨機連接的神經(jīng)元,構(gòu)成儲池的動力學(xué)系統(tǒng),如納米線網(wǎng)絡(luò)[27,28]、光學(xué)器件網(wǎng)絡(luò)[29]、易失性憶阻器網(wǎng)絡(luò)[30]等.這種方法利用物理節(jié)點的“衰退記憶”特性進行計算.儲池的存與算在節(jié)點網(wǎng)絡(luò)中同時進行.然而由隨機連接的物理節(jié)點構(gòu)成的動力學(xué)系統(tǒng)無法調(diào)整節(jié)點連接的拓撲結(jié)構(gòu),故這種方法在面對不同任務(wù)時,RC 的性能具有一定的不穩(wěn)定性.

為了提高RC 的性能,研究人員對RC 結(jié)構(gòu)進行了多種改進(如多儲池計算[31]、進化儲池計算[32]等),以及將RC 與其他特征提取方法(如卷積神經(jīng)網(wǎng)絡(luò)[33]、強化學(xué)習(xí)[34]、注意力學(xué)習(xí)[35]等)相結(jié)合.目前,傳統(tǒng)RC 及其改進方法已經(jīng)成功地被應(yīng)用于眾多領(lǐng)域,如生物醫(yī)學(xué)、聲音識別、無線電等[36].然而,由于儲池結(jié)構(gòu)中神經(jīng)元很多,神經(jīng)元狀態(tài)存儲以及更新需要大量的硬件資源,并且由于神經(jīng)元連接拓撲結(jié)構(gòu)難以調(diào)整,導(dǎo)致儲池計算的參數(shù)優(yōu)化困難.

RC 中神經(jīng)元節(jié)點間相互作用產(chǎn)生的高維信號可以通過延時動力學(xué)系統(tǒng)來實現(xiàn).其狀態(tài)方程描述為[37]

其中,t為連續(xù)時間信號,x(t)為系統(tǒng)的狀態(tài),F為系統(tǒng)函數(shù),τ為延時時間.2011 年,Appeltant 等[38]提出基于延時動力學(xué)系統(tǒng)的單延時節(jié)點RC 結(jié)構(gòu)(見圖1(b)).輸入信號通過掩碼函數(shù)(masking)進行時間復(fù)用,然后輸入到單個物理節(jié)點在時間維度上展開的虛擬節(jié)點中.虛擬節(jié)點通過平等分割τ的N個時間點上來設(shè)置.兩個虛擬節(jié)點之間的時間間隔為θ=τ/N.所有虛擬節(jié)點x[t-(N-i)θ],i=1,···,N共同作為t時刻節(jié)點狀態(tài),并通過輸出層得到計算結(jié)果.

單節(jié)點延時RC 的提出,使得RC 的硬件實現(xiàn)變得更加便捷,在一定程度上解決了傳統(tǒng)儲池硬件實現(xiàn)中,由于神經(jīng)元數(shù)量多而導(dǎo)致的神經(jīng)元狀態(tài)存儲和更新硬件資源問題.這種單節(jié)點延時儲池已經(jīng)在光子器件[39]、FPGAs[40]中得到硬件實現(xiàn),用于語音識別、圖像分類和混沌預(yù)測等任務(wù)中.我們在前期工作中,利用鐵電隧道結(jié)(FTJ)中超薄鐵電層的退極化效應(yīng)產(chǎn)生的電流延時特性,實現(xiàn)了單節(jié)點延時儲池計算功能[41].為了拓展單節(jié)點延時RC功能,我們采用了多個單延時節(jié)點儲池并聯(lián)的方式,提高了計算的維度,實現(xiàn)了對動態(tài)數(shù)字序列的識別功能[41].然而,由于虛擬節(jié)點是通過時間切分獲得,所以其連接拓撲結(jié)構(gòu)是按時間順序固定的.這意味著這種延時儲池同樣存在著參數(shù)優(yōu)化困難的問題.

最近,Gauthier 等[42]提出了一種新型RC,稱為下一代儲池計算(NGRC).NGRC 是一種特殊的非線性向量自回歸過程,其等效于具有線性激活節(jié)點的儲池與一個非線性讀出層的結(jié)合,如圖1(c)所示.NGRC 模型描述為

其中,i為離散時間,Olin,i為線性特征向量,X(i)為第i時刻的輸入向量,s為時間間隔,k為構(gòu)成線性特征向量的組數(shù),Ononlin,i為第i時刻非線性特征向量,功能為將符號兩邊項進行外積、并收集外積結(jié)果的唯一單項式的運算符號,Ototal,i為第i時刻總特征向量,c為常數(shù)修正項,Y (i)為輸出值,Wout為儲池連接輸出的權(quán)重矩陣.NGRC 目前被證實在完成短期動態(tài)預(yù)測、長期混沌預(yù)測、推斷動力學(xué)系統(tǒng)不可見數(shù)據(jù)等三個方面有很好的性能.相對于傳統(tǒng)RC 和延時RC,NGRC 使用更小的數(shù)據(jù)集進行訓(xùn)練,并避免了RC 的參數(shù)優(yōu)化困難問題.然而,非線性向量自回歸過程本身仍需要大量硬件計算資源用于乘法計算操作.

憶阻器是近年廣受關(guān)注的一種具有記憶功能的器件[43].由憶阻器器件構(gòu)成的交叉陣列[44],可以通過歐姆定律和基爾霍夫定律,以存內(nèi)計算的方式原位、并行、物理地完成矩陣向量乘運算,有效減少了計算過程中數(shù)據(jù)的搬運,從而具有功耗低、速度快的優(yōu)點[45?47].本文將NGRC 過程通過矩陣向量乘法操作簡化,提出了一種NGRC 的存內(nèi)計算硬件實現(xiàn)方法,并利用憶阻器陣列完成矩陣向量乘法操作.通過進行憶阻器陣列仿真完成了Lorenz63時間序列預(yù)測任務(wù),驗證了該方法的可行性,并研究了憶阻器件電阻精度和波動性對NGRC 預(yù)測精度的影響.這一結(jié)果為高能效RC 提供了一種新的途徑.

2 NGRC 的存內(nèi)實現(xiàn)方法

傳統(tǒng)RC 過程中,每一個時間步都需要更新大量具有“衰退記憶”特性的神經(jīng)元的狀態(tài),然而具有“衰退記憶”特性的線性神經(jīng)元組成的儲池與二次非線性讀出層組合,在數(shù)學(xué)上等效于一種特殊的非線性向量自回歸過程.NGRC 是對這種特殊的非線性向量自回歸過程的優(yōu)化[42].NGRC 過程與傳統(tǒng)儲池計算過程的相同點在于都只需要訓(xùn)練輸出權(quán)重,但是在輸入數(shù)據(jù)的選擇和將輸入數(shù)據(jù)進行高維空間非線性轉(zhuǎn)換的方式上有所不同.

輸入數(shù)據(jù)方面,傳統(tǒng)儲池輸入數(shù)據(jù)一般為當(dāng)前時刻的數(shù)據(jù),而NGRC 的輸入數(shù)據(jù)中,除了當(dāng)前時刻的數(shù)據(jù),還包括之前時刻所對應(yīng)的數(shù)據(jù).高維空間非線性轉(zhuǎn)換方式方面,傳統(tǒng)儲池的高維空間非線性轉(zhuǎn)換通過儲池中具備“衰退記憶”神經(jīng)元的非線性激活函數(shù)達成.NGRC 結(jié)構(gòu)儲池的高維空間非線性轉(zhuǎn)換可分為3 個過程(見圖1(c)):1) 選擇不同時刻輸入數(shù)據(jù)構(gòu)成線性特征向量Olin;2)由線性特征向量構(gòu)造非線性特征向量Ononlin;3) 由線性特征向量與非線性特征向量構(gòu)造總特征向量Ototal.3 個過程中,線性特征Olin向量是由選擇的輸入數(shù)據(jù)直接拼接而成;總特征向量Ototal是由固定常數(shù)c、線性特征向量Olin與非線性特征向量Ononlin直接拼接而成;而由線性特征向量Olin構(gòu)造非線性特征向量Ononlin則需要經(jīng)過一個非線性轉(zhuǎn)換過程.NGRC中的非線性轉(zhuǎn)換過程將線性特征向量Olin通過外積操作映射到一個高維空間中,并在高維空間中去除對應(yīng)映射向量的重復(fù)部分,得到非線性特征向量Ononlin.

NGRC 的非線性轉(zhuǎn)換過程雖然避免了傳統(tǒng)儲池中隨機連接的性能不確定性與需要同時更新多個神經(jīng)元狀態(tài)的復(fù)雜性,但其向量間的外積操作與除去高維向量重復(fù)部分的操作仍然需要大量硬件開銷與時間開銷.我們注意到相同向量間的外積可以用矩陣向量乘法(matrix vector multiplication,MVM)來表示,去除重復(fù)映射向量的操作可以通過保留外積后固定位置元素的值(保留元素操作)來實現(xiàn).硬件上,使用憶阻器陣列進行MVM 操作,使用憶阻器陣列的選擇線電路進行保留元素操作.

2.1 線性特征向量的構(gòu)建

圖2(a)為三維空間時序數(shù)據(jù)預(yù)測任務(wù)的NGRC儲池的存內(nèi)實現(xiàn)結(jié)構(gòu).其中,ti=i×Δt,Δt為采樣間隔,i為離散時間數(shù),s為時間間隔數(shù),x(t),y(t),z(t)分別表示預(yù)測點在t時刻的x軸、y軸、z軸三維空間坐標(biāo),k為每個線性特征向量所取數(shù)據(jù)的組數(shù).當(dāng)已知ti時刻及之前時刻點的軌跡坐標(biāo),要預(yù)測ti+1時刻點的坐標(biāo)時,取k=2,即令ti時刻和ti-s時刻空間點的三維坐標(biāo)構(gòu)建第i個線性特征向量Olin,i,有

其中,[xi,yi,zi]與[xi-s,yi-s,zi-s]為ti時刻與ti-s時刻點的三維坐標(biāo).將構(gòu)建的線性特征向量Olin,i用時序電壓脈沖幅值編碼和電導(dǎo)編碼,編碼的電壓序列矩陣Vlin,i為

其中列向量Vlin,i,a的第a行的值,為線性特征向量Olin,i中第a個元素對應(yīng)的量化電壓值,列向量中的其他值為零.線性特征向量Olin,i編碼的電導(dǎo)矩陣為

其中,Glin,i,a為Olin,i中的第a個元素對應(yīng)的量化電導(dǎo)值.將電導(dǎo)序列使用差分編碼存儲到憶阻器陣列中;再將電壓序列Vlin,i通過Bitline 輸入到憶阻陣列中,具體過程如圖2(b)所示.需要指出的是,電壓脈沖幅值編碼需要經(jīng)過一個數(shù)模轉(zhuǎn)換器(DAC).DAC 的精度與憶阻器本身的精度影響著整體精度.

2.2 非線性特征向量的構(gòu)建

構(gòu)建非線性特征向量需要對線性特征向量進行外積操作與保留元素操作.憶阻器陣列中,每通過一個電壓序列向量Vlin,i,a,能從陣列輸出端(SL)得到一個電流向量Ilin,i,a,總電流矩陣由歐姆定律和基爾霍夫定律可表達為

保留Ilin,i矩陣中的非零元素,Ilin,i,a保留元素操作后的向量為Ilin,i,ap,保留元素操作可通過只讀取憶阻器陣列電流輸出中對應(yīng)位置的輸出實現(xiàn),過程如圖2(a)中綠框部分所示,將選擇讀取的輸出電流組成非線性特征向量Ononlin,i,可表達為

圖2 基于憶阻陣列的NGRC 儲池結(jié)構(gòu) (a)用于預(yù)測三維時序信號的NGRC 儲池結(jié)構(gòu).輸入為三維時序信號;提取ti 時刻(紅色框)和ti-s(紫色框)時刻信號的值組成線性特征向量Olin,將第i 個線性特征向量編碼為時序電壓和電導(dǎo),時序電壓作為憶阻器陣列的輸入,電導(dǎo)映射到憶阻器陣列上作為權(quán)重;非線性特征向量Ononlin由憶阻器陣列特定單元(綠色方框)的輸出構(gòu)成;總特征向量由Olin與Ononlin直接拼接而成.(b) 圖(a)中的線性特征向量Olin,i映射到憶阻器陣列的方式.Olin,i中的每一個值都由兩個憶阻器電導(dǎo)的差分g+,g–表示Fig.2.Structure of the NGRC based on memristor-based crossbar.(a) Structure of the NGRC reservoir for three dimensional (3D)timing signals predicting.The input is a 3D timing signal.The linear feature vector Olin is formed by extracting the signal values of ti time (red box) and ti-s time (purple box).The ith linear feature vector is encoded as timing voltage and conductance,and the timing voltage is the input of the memristor array,and the conductance is mapped to the memristor array as weight.The nonlinear feature vector Ononlin consists of the outputs of specific elements of the memristor array (green boxes).The total feature vector is directly spliced by Olin and Ononlin.(b) The way the linear feature vector Olin, i in panel (a) mapping to the memristor array.The g+and g– represent the device conductance values for the positive and negative weights in the differential pair,respectively.

2.3 總特征向量的構(gòu)建及輸出

ti時刻的總特征向量Ototal,i是由固定常數(shù)c、線性特征向量Olin,i與非線性特征向量Ononlin,i直接拼接而成,表示為

ti+1時刻點的預(yù)測位置可直接由總特征向量乘以輸出權(quán)重得出:

其中,[xi+1,yi+1,zi+1]為所預(yù)測的ti+1時刻點的三維坐標(biāo),Wout為預(yù)先用嶺回歸方法訓(xùn)練好的輸出權(quán)重矩陣.值得注意的是,憶阻器電流值的讀出需要一個模數(shù)轉(zhuǎn)換器(ADC),ADC 的精度也會對最終預(yù)測精度造成一定影響.

2.4 訓(xùn)練過程

儲池訓(xùn)練過程只訓(xùn)練輸出層Wout,訓(xùn)練采用嶺回歸方法,先用訓(xùn)練數(shù)據(jù)集得到由特征向量組成的特征矩陣Ototal,以及所有特征向量對應(yīng)的輸出組成的結(jié)果矩陣Yd,嶺回歸方法表達為

2.5 仿真平臺

仿真平臺基于python 3.8,pytorch1.9.1(主機GPU 型號NVIDIA GeForce RTX 3080,CPU 型號i9-11980HK)構(gòu)建,其結(jié)構(gòu)示意圖如圖3 所示,可分為輸入部分、權(quán)重部分和輸出部分.

圖3 基于憶阻器陣列(包括正、負列)的矩陣乘法運算仿真平臺結(jié)構(gòu)示意圖,gr 為憶阻器的電導(dǎo),gT 為晶體管電導(dǎo)Fig.3.Simulation platform of memristor array (including positive and negative arrays) as analog dot-product engine.The memristor conductance corresponds to gr and the transistor conductance corresponds to gT.

輸入部分模擬將外界信號轉(zhuǎn)換為電壓信號的過程,最高轉(zhuǎn)換精度為定點32 bit.權(quán)重部分模擬將外界信號映射到憶阻器陣列中(將帶符號的權(quán)重映射到一對憶阻器差分電導(dǎo)上)并進行運算的過程,量化電導(dǎo)映射公式為

其中n為權(quán)重精度(單位 bit),Gmax和Gmin為憶阻器可變化的最大電導(dǎo)與最小電導(dǎo),[x]為取整操作,W為需要映射的權(quán)重,G為映射到憶阻器陣列對應(yīng)位置的電導(dǎo)值.輸出部分模擬憶阻器陣列輸出經(jīng)過ADC 轉(zhuǎn)變?yōu)殡娔X可處理數(shù)據(jù)的過程,輸出精度為所使用ADC 的精度.

3 實驗結(jié)果與討論

動力學(xué)系統(tǒng)的短期預(yù)測能力與動力學(xué)系統(tǒng)的長期預(yù)測能力通常被用來作為衡量RC 性能的基準(zhǔn),我們將用經(jīng)典混沌動力學(xué)系統(tǒng)模型-Lorenz63模型的短期預(yù)測任務(wù)與長期預(yù)測任務(wù),驗證基于憶阻器陣列實現(xiàn)的NGRC 結(jié)構(gòu)的可行性及其對噪聲的魯棒性.Lorenz63 是1963 年洛倫茲[48]提出來的天氣預(yù)測模型,由3 個方程組成:

其中狀態(tài)X(t) ≡ [x,y,z]T是一個分量為Rayleigh-Bénard 的對流可觀測量的矢量,a=10,b=28,c=8/3.Lorenz63 模型確定性的混沌行為體現(xiàn)在其對初始條件的敏感依賴(蝴蝶效應(yīng)),以及在相空間軌跡形成奇異吸引子(圖3).

動態(tài)系統(tǒng)的預(yù)測任務(wù)中,用原序列(由動態(tài)系統(tǒng)方程得到的序列)與預(yù)測序列(儲池不斷將此時刻輸出值作為下一時刻的輸入值進行預(yù)測得到的序列)之間的結(jié)構(gòu)相似度來衡量預(yù)測效果.就Lorenz63 時間序列預(yù)測任務(wù)而言,歸一化均方根誤差(NRMSE)可在一定程度上衡量短預(yù)測期內(nèi)的結(jié)構(gòu)相似度,但難以反映長期預(yù)測的結(jié)構(gòu)相似度.Lorenz63 時間序列預(yù)測的z回歸圖能直觀地反映z變量的長期行為,比較原序列與預(yù)測序列的z回歸圖可以定性地比較兩個序列長時段的結(jié)構(gòu)相似度.在之后的Lorenz63 時間序列預(yù)測任務(wù)中,NRMSE衡量短期預(yù)測(1 個李雅普諾夫周期)的結(jié)構(gòu)相似度,通過比較量原序列與預(yù)測序列的z回歸圖衡量長期預(yù)測的結(jié)構(gòu)相似度.

在基于憶阻器陣列實現(xiàn)的NGRC 結(jié)構(gòu)的可行性驗證實驗中,維持系統(tǒng)的輸入精度不變,通過改變系統(tǒng)的權(quán)重精度(憶阻陣列中憶阻器的量化映射比特數(shù))和輸出精度(憶阻器陣列輸出ADC 比特數(shù)),研究不同權(quán)重精度和輸出精度對預(yù)測結(jié)果的結(jié)構(gòu)相似度的影響.在基于憶阻器陣列實現(xiàn)的NGRC結(jié)構(gòu)對噪聲的魯棒性驗證實驗中,維持輸入精度和輸出精度不變,研究不同權(quán)重精度以及不同噪聲大小對預(yù)測結(jié)果的結(jié)構(gòu)相似度的影響.

3.1 可行性驗證實驗

保持輸入精度為定點32 bit,輸出精度為定點64 bit,在權(quán)重精度為4,6,8,16,32 和64 bit 情況下進行預(yù)測實驗.800 個時間步的預(yù)測結(jié)果及其xz截面圖如圖4 所示.可以看出,權(quán)重精度在4 和6 bit 時無法產(chǎn)生混沌現(xiàn)象(無洛倫茲吸引子);當(dāng)權(quán)重精度達到8 bit 及以上時,開始產(chǎn)生明顯的洛倫茲混沌吸引子.這一結(jié)果意味著權(quán)重精度對混沌的產(chǎn)生有重要影響.當(dāng)憶阻器陣列對應(yīng)的權(quán)重精度達到一定值時,基于憶阻器陣列實現(xiàn)的NGRC 結(jié)構(gòu)構(gòu)成的系統(tǒng)能由穩(wěn)定狀態(tài)過渡到混沌狀態(tài).

圖4 輸入精度為定點32 bit,輸出精度為定點64 bit,不同權(quán)重精度下800 個時間步的預(yù)測XZ 截面圖 (a) 64 bit;(b) 32 bit;(c) 16 bit;(d) 8 bit;(e) 6 bit;(f) 4 bitFig.4.The XZ cross sections of 800 time steps with different weight precision,when input precision of integer is 32 bit and output precision of integer is 64 bit:(a) 64 bit;(b) 32 bit;(c) 16 bit;(d) 8 bit;(e) 6 bit;(f) 4 bit.

保持輸入精度為定點32 bit,通過改變權(quán)重精度以及輸出精度,在達到混沌狀態(tài)的前提下探究短期預(yù)測結(jié)構(gòu)相似度與權(quán)重精度的關(guān)系.圖5 為短期預(yù)測(1 個李雅普諾夫周期)的NRMSE 隨不同權(quán)重精度(8,16,32,64 bit)和不同輸出精度(8,16,32,64 bit)的變化.結(jié)果顯示,當(dāng)基于憶阻器陣列實現(xiàn)的NGRC 結(jié)構(gòu)構(gòu)成的系統(tǒng)達到產(chǎn)生混沌所需的權(quán)重精度和輸出精度時,短期預(yù)測的性能隨著權(quán)重精度、輸出精度的增加而增加.在權(quán)重精度不變的情況下,當(dāng)輸出精度達到16 bit,輸出精度的增加對短期預(yù)測結(jié)構(gòu)相似度幾乎無影響;在輸出精度不變的情況下,短期預(yù)測結(jié)構(gòu)相似度隨著權(quán)重精度的增加而變高(NRMSE 變小),8 bit 權(quán)重精度下的NRMSE 低于0.05,16 bit 權(quán)重精度下的NRMSE接近于0,當(dāng)權(quán)重精度超過16 bit 時,權(quán)重精度的增加對短期預(yù)測結(jié)構(gòu)相似度幾乎無影響.

圖5 短期預(yù)測(1 個李雅普諾夫周期)的NRMSE 隨不同權(quán)重精度(8,16,32,64 bit)和不同輸出精度(8,16,32,64 bit)的變化Fig.5.The variation diagram of NRMSE for short-term prediction (1 Lyapunov cycle) with different weight precision (8,16,32,64 bit) and different output precision (8,16,32,64 bit).

Lorenz63 系統(tǒng)的z分量在連續(xù)的局部極大值之間具有函數(shù)關(guān)系,通過找到z分量的連續(xù)局部極大值Mi并根據(jù)Mi+1畫出Mi形成z回歸圖,可以簡潔地展現(xiàn)z變量的長期行為.Lorenz63 系統(tǒng)的z回歸圖如圖6 所示,紫色點為真實序列z回歸圖,其他顏色為輸入精度為定點32 bit,輸出精度為定點64 bit,權(quán)重精度分別為8,16,32,64 bit 的z回歸圖.結(jié)果顯示,權(quán)重精度為8 bit 時的z回歸圖相比真實序列的回歸圖有明顯偏移;當(dāng)權(quán)重精度在16 bit 及以上時,預(yù)測的回歸圖幾乎完全覆蓋了真實序列的回歸圖;隨著權(quán)重精度的增加,預(yù)測的回歸圖往真實序列的回歸圖收斂.

圖6 (a) Lorenz63 的z 回歸圖(紫色)與不同權(quán)重精度下預(yù)測的z 回歸圖;(b)圖(a)紅框區(qū)域標(biāo)記中的放大圖Fig.6.(a) The z return map of Lorenz63 (purple) overlaid with the z return map under different weight accuracy;(b) detail of the region marked in Fig.(a).

3.2 噪聲魯棒性驗證實驗

在保持輸入精度為定點32 bit,輸出精度為定點64 bit,給權(quán)重(即憶阻器電導(dǎo)G)添加高斯噪聲NoiseN(0,σ),其中σ=G×10-4×percent為方差,percent 表示噪聲強度百分比.短期預(yù)測結(jié)構(gòu)相似度的NRMSE 隨權(quán)重噪聲強度變化的結(jié)果如圖7所示.當(dāng)權(quán)重精度在8 bit 時,隨著σ的增大,短期預(yù)測結(jié)構(gòu)相似度的NRMSE 會先降低后升高;當(dāng)權(quán)重精度在16 bit 時,短期預(yù)測結(jié)構(gòu)相似度的NRMSE也會先降低后升高,但降低點對應(yīng)的噪聲強度比權(quán)重精度在8 bit 時小;當(dāng)權(quán)重精度在16 bit 以上時,短期預(yù)測的NRMSE 會隨著percent 的增大而增大.由于量化本身具備一定的抗噪聲能力,故權(quán)重精度越低,噪聲對短期預(yù)測結(jié)構(gòu)相似度的NRMSE的影響越小;值得注意的是,一定程度的噪聲有利于提升短期預(yù)測性能,并且量化的比特數(shù)越高,能帶來增益的噪聲強度越小.

圖7 短期預(yù)測結(jié)構(gòu)相似度的NRMSE 在不同權(quán)重精度條件下隨權(quán)重噪聲強度的變化Fig.7.The variation of NRMSE under different weight precision conditions for short-term prediction with increasing weight noise intensity.

3.3 討論

基于憶阻器陣列的NGRC 存內(nèi)實現(xiàn)具備兩方面的優(yōu)勢:第一,就NGRC 算法本身而言,相對于傳統(tǒng)儲池計算和基于延時的儲池計算,NGRC 的儲池具備更短的激活時間、更少的參數(shù)訓(xùn)練量以及更快的訓(xùn)練和推理速度[42];第二,就存內(nèi)計算方面而言,NGRC 中提取非線性特征向量的過程需要大量的乘法操作,而憶阻器陣列相比傳統(tǒng)CMOS電路,在矩陣向量乘法方面具備更快的計算速度和更低的功耗[49].然而,使用憶阻器陣列進行NGRC的過程中,每一次推理過程都需要在憶阻器陣列中寫入采樣數(shù)據(jù);同時,仿真結(jié)果表明,憶阻器陣列中每個憶阻器精度達到8 bit,Lorenz63 才能有較好的預(yù)測結(jié)果.考慮到當(dāng)前憶阻器還存在各種非理想性因素,因此,如何進一步提高寫入效率,同時降低所需憶阻器的阻值精度還需進一步探索.

4 結(jié)論

儲池計算自提出至今可以分為傳統(tǒng)儲池計算、延時儲池計算和下一代儲池計算三個階段.儲池計算性能上的優(yōu)勢不僅來自于算法自身,而且與硬件的實現(xiàn)方式密切相關(guān).本文在總結(jié)儲池計算發(fā)展歷程的基礎(chǔ)上,提出一種基于存內(nèi)計算范式的硬件實現(xiàn)方法,將NGRC 過程通過矩陣向量乘法操作簡化,并利用憶阻器陣列完成矩陣向量乘法操作.憶阻器陣列仿真實驗驗證了這一方法在Lorenz63 三維時間序列預(yù)測任務(wù)中的可行性.仿真實驗結(jié)果表明,預(yù)測效果與輸出精度和權(quán)重精度密切相關(guān).當(dāng)輸出精度達到16 bit,進一步提高輸出精度對預(yù)測效果的影響可忽略不計,并且具有良好的抗噪聲能力;當(dāng)權(quán)重精度達到8 bit,對Lorenz63 三維時間序列預(yù)測的短期預(yù)測(1 個李雅普諾夫時間)就可以有良好的預(yù)測效果(NRMSE 小于0.05),并可以在一定程度進行長期預(yù)測.這些結(jié)果為NGRC 的硬件實現(xiàn)提供了一種新的途徑,同時也展現(xiàn)了憶阻器陣列在開發(fā)基于儲池計算的實時、低能耗邊緣計算系統(tǒng)方面的潛力.