郭子煖
(吉林大學(xué)物理學(xué)院 吉林·長(zhǎng)春 130012)
1.1.1 人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介
計(jì)算機(jī)作為一種協(xié)助處理數(shù)據(jù)的工具,已經(jīng)在各個(gè)領(lǐng)域取得了十分廣泛的應(yīng)用,但計(jì)算機(jī)雖然有著很高的計(jì)算速度,面對(duì)一些復(fù)雜的,不能很好的量化的問題依然無(wú)從下手,例如人臉識(shí)別,數(shù)字識(shí)別,這樣的問題對(duì)于人腦很容易,但對(duì)于“只能算數(shù)”的計(jì)算機(jī)似乎十分困難。為了解決這類問題,模擬人腦學(xué)習(xí)過程的學(xué)習(xí)算法被提出,機(jī)器學(xué)習(xí)算法需要已有的數(shù)據(jù),改變和調(diào)整模型中的參數(shù)從而不斷接近一個(gè)最佳模型以便對(duì)未知的數(shù)據(jù)給出準(zhǔn)確的結(jié)果。
而一般的機(jī)器學(xué)習(xí)算法也有其局限性,適用范圍較窄,只能對(duì)符合條件的問題進(jìn)行應(yīng)用。于是以機(jī)器學(xué)習(xí)算法的思想為基礎(chǔ),進(jìn)一步模擬人腦學(xué)習(xí)的人工神經(jīng)網(wǎng)絡(luò)被提出,和人腦類似,人工神經(jīng)網(wǎng)絡(luò)由一個(gè)個(gè)節(jié)點(diǎn)(或稱“神經(jīng)元”)組成,數(shù)據(jù)可以在神經(jīng)元之間傳遞并一步步被處理,我們可以用已有的數(shù)據(jù)對(duì)每一個(gè)神經(jīng)元進(jìn)行訓(xùn)練,從而使整個(gè)神經(jīng)網(wǎng)絡(luò)輸出準(zhǔn)確的結(jié)果。較為完整的神經(jīng)網(wǎng)絡(luò)模型在20世紀(jì)60年代就已提出,但受到計(jì)算機(jī)運(yùn)算能力的限制,一直停留在理論階段,直到近幾十年來(lái),隨著計(jì)算機(jī)運(yùn)算能力的提升,以神經(jīng)網(wǎng)絡(luò)為代表的深度學(xué)習(xí)的應(yīng)用得到了巨大的發(fā)展。現(xiàn)在,機(jī)器學(xué)習(xí)以及深度學(xué)習(xí)已經(jīng)在生活的方方面面取得應(yīng)用。下面,我們將介紹神經(jīng)網(wǎng)絡(luò)的最簡(jiǎn)單的模型。
1.1.2 M-P神經(jīng)元模型
人腦中最基本的單元是一個(gè)個(gè)神經(jīng)細(xì)胞,神經(jīng)網(wǎng)絡(luò)系統(tǒng)中,我們將神經(jīng)元細(xì)胞的結(jié)構(gòu)簡(jiǎn)化為M-P神經(jīng)元模型。而所謂的M-P神經(jīng)元模型本質(zhì)上是一個(gè)廣義線性回歸模型。
如圖1,其中xi是一個(gè)神經(jīng)元的輸入,wi是他們的權(quán)值,經(jīng)過線性加和與激活激活函數(shù)f的處理,得到輸出y,輸出y再作為下一層的神經(jīng)元的其中一個(gè)輸入便可實(shí)現(xiàn)數(shù)據(jù)在大量神經(jīng)元之間的傳遞與處理。
圖1:M-P神經(jīng)元模型
通過大量神經(jīng)元的連接,就可以得到一個(gè)神經(jīng)網(wǎng)絡(luò)系統(tǒng),如圖2,我們可以看見神經(jīng)網(wǎng)絡(luò)通常由輸入層,輸出層和中間的隱層構(gòu)成,我們可以通過調(diào)整這些神經(jīng)元的參數(shù)使輸出結(jié)果越來(lái)越準(zhǔn)確。
圖2:神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖
1.1.3 反向傳播算法
為了訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò),還需要一個(gè)合適的訓(xùn)練算法。反向傳播算法是一個(gè)較為基本和重要的神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法,一般應(yīng)用在分層前饋神經(jīng)網(wǎng)絡(luò)上的算法。這種神經(jīng)網(wǎng)絡(luò)的節(jié)點(diǎn)按層劃分,向前層層傳遞和處理數(shù)據(jù),并將錯(cuò)誤通過反饋的方式傳播給上層的神經(jīng)元。網(wǎng)絡(luò)通過輸入層的神經(jīng)元輸入原始信號(hào),并通過位于輸出層的一系列神經(jīng)元給出輸出結(jié)果,兩者之間則可能會(huì)存在一層或多層的隱層用于進(jìn)一步處理數(shù)據(jù)。
同時(shí),反向傳算法一般需要以監(jiān)督式學(xué)習(xí)的方式進(jìn)行,即對(duì)每一個(gè)輸入,我們由一個(gè)理想的最佳輸出。通過比對(duì)網(wǎng)絡(luò)的輸出與預(yù)期的輸出,將輸入激勵(lì)和誤差相乘,從而獲得權(quán)重的梯度,由于梯度的方向指明了誤差擴(kuò)大的方向,要對(duì)權(quán)重按梯度的反方向更新,將這個(gè)梯度乘以步長(zhǎng),取反,加至原權(quán)重上完成一次更新。從而減小權(quán)重引起的誤差,直到誤差下降至合理的范圍。這種方案是目前最為普遍的訓(xùn)練方式,但仍然存在被限制在局部最優(yōu)解以及梯度爆炸的問題。
1.2.1 人工神經(jīng)網(wǎng)絡(luò)的困境
盡管現(xiàn)在人工神經(jīng)網(wǎng)絡(luò)的應(yīng)用已經(jīng)在各個(gè)領(lǐng)域取得了大量的成果,但它的進(jìn)一步發(fā)展也陷入了困境。隨著需要處理的問題越來(lái)越復(fù)雜,對(duì)計(jì)算機(jī)的運(yùn)算能力的需求也越來(lái)越高。目前,計(jì)算機(jī)的運(yùn)算能力和處理器中晶體管的數(shù)量有很強(qiáng)的正相關(guān)性,而過去,計(jì)算機(jī)處理器的發(fā)展業(yè)主要是通過制造更小的晶體管從而在一個(gè)處理器中放入更多的元件實(shí)現(xiàn),但隨著原件的尺寸越來(lái)越小,處理器也逐漸開始遇到越來(lái)越強(qiáng)的量子隧穿效應(yīng),雖然人們提出了一些減弱量子隧穿效應(yīng)的方案,但這仍然極大的限制了處理器算力的發(fā)展。
同時(shí),由于現(xiàn)今的計(jì)算機(jī)普遍基于馮·諾伊曼架構(gòu),存儲(chǔ)器和運(yùn)算處理單元物理上是分離的,隨著人們對(duì)運(yùn)算速度要求的提升,數(shù)據(jù)在存儲(chǔ)單元和處理單元之間的傳遞時(shí)間也逐漸變得不可忽略起來(lái)。計(jì)算機(jī)本身的這一特性也極大的限制了人工神經(jīng)網(wǎng)絡(luò)的效能,為了打破這一困境,有必要從系統(tǒng)的物理結(jié)構(gòu)直接入手。
1.2.2 新平臺(tái)的提出
相比于打破傳統(tǒng)計(jì)算機(jī)架構(gòu)之類的不切實(shí)際的構(gòu)想,利用硬件直接實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)似乎是一個(gè)十分可行的方案,在眾多嘗試之中,光學(xué)系統(tǒng)在能源效率,帶寬和延遲上都具有獨(dú)特的優(yōu)勢(shì),可以實(shí)現(xiàn)超高速,復(fù)雜的數(shù)據(jù)處理,光學(xué)架構(gòu)平臺(tái)可以將有源器件(如激光器和探測(cè)器)和無(wú)源器件(如波導(dǎo),諧振器,調(diào)制器)集中于同一芯片??紤]到其帶寬,理論上這種架構(gòu)可以比電子神經(jīng)網(wǎng)絡(luò)系統(tǒng)的效率高6~8個(gè)數(shù)量級(jí)。研究者已經(jīng)成功利用CMOS FPGA液態(tài)機(jī),光電延遲系統(tǒng)上實(shí)現(xiàn)了人工神經(jīng)網(wǎng)絡(luò)。但一直以來(lái),各種光學(xué)架構(gòu)的計(jì)算速率,準(zhǔn)確率的進(jìn)一步發(fā)展均被較弱的光學(xué)非線性所限制,能否找到具有較強(qiáng)光學(xué)非線性的學(xué)習(xí)平臺(tái)成為光學(xué)架構(gòu)人工神經(jīng)網(wǎng)絡(luò)進(jìn)一步發(fā)展的關(guān)鍵。
近年來(lái),研究者提出并實(shí)現(xiàn)利用量子強(qiáng)耦合體系中的半導(dǎo)體微腔組成人工神經(jīng)網(wǎng)絡(luò)的硬件平臺(tái)。激子極化聲子是系統(tǒng)中光子與激子耦合產(chǎn)生的準(zhǔn)粒子。它同時(shí)具有物質(zhì)的特性和光的特性。同時(shí),激子之間的靜電相互作用會(huì)導(dǎo)致它們產(chǎn)生相比于普通光學(xué)介質(zhì)強(qiáng)幾個(gè)數(shù)量級(jí)的光學(xué)非線性效應(yīng)??涨还庾拥膲勖谄っ氲臄?shù)量級(jí)。它們具有極低的有效質(zhì)量,利用激光固定其位置即可在接近室溫的條件下實(shí)現(xiàn)玻色愛因斯坦凝聚,并產(chǎn)生極強(qiáng)的非線性效應(yīng)。此前,人們已經(jīng)利用這樣的性質(zhì)實(shí)現(xiàn)了許多基本的邏輯元件,如各種邏輯門、極化開關(guān)、晶體管等。而近年,人們開始嘗試使用這樣的光學(xué)性質(zhì)搭建脫離計(jì)算機(jī)的人工神經(jīng)網(wǎng)絡(luò)。
在半導(dǎo)體中,一個(gè)電子由滿價(jià)帶激發(fā)至導(dǎo)帶,會(huì)在價(jià)帶產(chǎn)生一空穴,同時(shí)在導(dǎo)帶內(nèi)產(chǎn)生一電子??昭◣д姡娮訋ж?fù)電,兩者之間存在庫(kù)倫力,使得它們被束縛在一起,這種電子空穴對(duì)形成的復(fù)合體被稱為激子。激子是一種電中性準(zhǔn)粒子,存在于絕緣體、半導(dǎo)體和某些液體中。激子是凝聚態(tài)物質(zhì)的元激發(fā),它可以傳遞能量而不傳遞凈電荷。
極化子是由電磁波與電或磁偶極子激勵(lì)的強(qiáng)耦合產(chǎn)生的準(zhǔn)粒子,極化子描述光的色散與任何相互作用的共振的交叉,極化子也被認(rèn)為是由裸模的強(qiáng)耦合引起的一種新的材料或結(jié)構(gòu)的正模。極化子是玻色子準(zhǔn)粒子。
極化基元包括聲子極化激元,激子極化激元,離子極化激元和磁子極化激元等種類。其中離子極化激元是光子和金屬中電子耦合而成,磁子極化激元是聲子與電磁波耦合而成。
激子極化基元是一種極由激子和光子的電磁偶極振蕩的強(qiáng)耦合而產(chǎn)生的光和物質(zhì)準(zhǔn)粒子的混合。最近,研究人員測(cè)量了有機(jī)材料與光學(xué)微腔耦合的遠(yuǎn)距離傳輸,發(fā)現(xiàn)激子極化子的傳播可以達(dá)到數(shù)微米之長(zhǎng)。激子極化子是復(fù)合玻色子,可以觀察到形成玻色子-愛因斯坦凝聚。
極化子是玻色子準(zhǔn)粒子,可視作修飾光子。在微腔中,光子具有有效質(zhì)量,當(dāng)微腔中的光共振在能量上接近微腔內(nèi)介質(zhì)中的激子共振時(shí),光子相互作用變強(qiáng),并相互排斥??梢娂ぷ訕O化子由相互碰撞接近平衡,并可以在高密度時(shí)或低溫下發(fā)生玻色-愛因斯坦凝聚。玻色極化子的凝聚體會(huì)像激光一樣發(fā)出相干光。由于相干性產(chǎn)生的機(jī)制是極化激子之間的相互作用,因此激子極化子可以在較低的密度下產(chǎn)生相干光。
多年以來(lái),激子極化子因其獨(dú)特的特性而引起了人們極大的關(guān)注。包括超高效四波混合的能力,凝聚態(tài)的超流性等。這些準(zhǔn)粒子具有很強(qiáng)的固有非線性,同時(shí)保持了底層光子的大部分特性。事實(shí)上,利用極化子進(jìn)行光學(xué)計(jì)算確實(shí)比傳統(tǒng)的光學(xué)方案具有明顯的優(yōu)勢(shì)。對(duì)于計(jì)算和仿真,極化元素的相互耦合很容易實(shí)現(xiàn),很容易承受較大的非線性。此外研究者還發(fā)現(xiàn)混合激子會(huì)產(chǎn)生較強(qiáng)的光學(xué)非線性。
2016年,研究者實(shí)現(xiàn)并觀察了一種不同尋常的非平衡凝結(jié),即“超模—密度—波—極化子凝聚”(超模DW極化子凝結(jié)),研究者發(fā)現(xiàn)在較強(qiáng)的泵浦下,處于凝結(jié)狀態(tài)的極化子會(huì)大幅增強(qiáng)其耦合非線性,而較弱的光學(xué)非線性正是此前的光學(xué)架構(gòu)神經(jīng)網(wǎng)絡(luò)的瓶頸所在,這為利用極化激子實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)系統(tǒng)打下了物理基礎(chǔ)。
通過神經(jīng)網(wǎng)絡(luò)進(jìn)行深度學(xué)習(xí)經(jīng)歷多年發(fā)展,也發(fā)展出多種多樣的模型,但在利用極化激子實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)時(shí),我們注意到對(duì)單個(gè)節(jié)點(diǎn)的光學(xué)非線性進(jìn)行“訓(xùn)練”仍然是很困難的,因此目前仍然無(wú)法實(shí)現(xiàn)具有反向傳播屬性的普通神經(jīng)網(wǎng)絡(luò),但儲(chǔ)層神經(jīng)網(wǎng)絡(luò)這種僅需要對(duì)輸出層進(jìn)行訓(xùn)練的模型就可以符合要求。
二值化神經(jīng)網(wǎng)絡(luò)相比于普通神經(jīng)網(wǎng)絡(luò)的區(qū)別僅在于對(duì)輸入原始數(shù)據(jù)做了二值化處理,這樣,原本的乘法運(yùn)算可以利用簡(jiǎn)單的位移運(yùn)算代替,而具體到由半導(dǎo)體微腔搭建網(wǎng)絡(luò)時(shí),則可以用邏輯門代替。此前,研究者已經(jīng)成功實(shí)現(xiàn)了可以自校正的TOFFOLI門的搭建。
近期,華沙大學(xué)的研究者利用異或門搭建并利用手寫數(shù)字?jǐn)?shù)據(jù)集(MNIST)測(cè)試其性能。研究者利用放置于非磁性布拉格反射器中的多層含錳離子的量子阱樣品組成半導(dǎo)體微腔,以極化凝聚體的實(shí)空間輻射作為輸入信號(hào),實(shí)現(xiàn)了異或門后,將二值化后的手寫數(shù)據(jù)集的像素點(diǎn)兩兩輸入得到處理后的信息。雖然對(duì)于輸出層偏置矩陣的訓(xùn)練仍然在傳統(tǒng)計(jì)算機(jī)上進(jìn)行,但由于極化聲子皮秒量級(jí)的反應(yīng)時(shí)間,仍然可以以極高的效率完成數(shù)字識(shí)別,如圖3所示。
圖3:神經(jīng)網(wǎng)絡(luò)搭建方案
圖3二值化神經(jīng)網(wǎng)絡(luò)模型示意圖:(a)節(jié)點(diǎn)的總發(fā)射強(qiáng)度與兩個(gè)輸入能量的非線性關(guān)系。(b)四種輸入時(shí)對(duì)所應(yīng)的輸出非線性。(c)異或門的精度與非線性度 的關(guān)系。(d)MNIST數(shù)字識(shí)別的準(zhǔn)確度與異或門數(shù)量的關(guān)系。虛線為直接在計(jì)算機(jī)上實(shí)現(xiàn)的二值化神經(jīng)網(wǎng)絡(luò)的識(shí)別準(zhǔn)確度。(e)該人工神經(jīng)網(wǎng)絡(luò)的方案模型,此模型中只有一層隱層。
3.3.1 儲(chǔ)層神經(jīng)網(wǎng)絡(luò)的原理
儲(chǔ)層神經(jīng)網(wǎng)絡(luò)是一般神經(jīng)網(wǎng)絡(luò)的一種擴(kuò)展,如圖4,一般一個(gè)儲(chǔ)層神經(jīng)網(wǎng)絡(luò)由輸入層、輸出層、中間層三部分組成。其中輸入層和前饋神經(jīng)網(wǎng)絡(luò)一致,中間層和與遞歸神經(jīng)網(wǎng)絡(luò)類似,輸出層為一加法器。而儲(chǔ)層神經(jīng)網(wǎng)絡(luò)最重要的特點(diǎn)是中間層在最初隨機(jī)生成后不變,訓(xùn)練時(shí)僅調(diào)節(jié)輸出層的權(quán)重,這個(gè)特點(diǎn)使得儲(chǔ)層神經(jīng)網(wǎng)絡(luò)的訓(xùn)練效率比傳統(tǒng)神經(jīng)網(wǎng)絡(luò)快。
圖4:儲(chǔ)層神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)
3.3.2 儲(chǔ)層神經(jīng)網(wǎng)絡(luò)
近期,研究者將GaAs樣品放置于半導(dǎo)體微腔中,在維持皮秒量級(jí)的反應(yīng)時(shí)間的同時(shí)取得了極強(qiáng)的克爾光學(xué)非線性,并以此搭建了儲(chǔ)層神經(jīng)網(wǎng)絡(luò)并測(cè)試了對(duì)手寫數(shù)字?jǐn)?shù)據(jù)集MNIST的性能。研究者創(chuàng)建了一個(gè)8×8耦合節(jié)點(diǎn)的晶格實(shí)現(xiàn)網(wǎng)絡(luò)的儲(chǔ)層,這些節(jié)點(diǎn)均為由半導(dǎo)體微腔組成的非線性人工神經(jīng)元。對(duì)28×28的圖像灰度賦值,并“存儲(chǔ)”在一列向量ai中,再左乘一82×282的稀疏矩陣得到一對(duì)應(yīng)8×8節(jié)點(diǎn)的列向量bi=∑Wijai,該結(jié)果通過空間光調(diào)制器發(fā)送至耦合節(jié)點(diǎn),經(jīng)過節(jié)點(diǎn)的非線性響應(yīng),由CCD相機(jī)記錄輸出乘以權(quán)重矩陣得到預(yù)測(cè)結(jié)果,如圖5所示。
圖5:儲(chǔ)層神經(jīng)網(wǎng)絡(luò)的模型(a)對(duì)28x28的輸入圖像的每個(gè)像素賦值并排列成一列向量,輸入為aj。這些輸入乘以一個(gè)82×282的隨機(jī)稀疏矩陣,得到bj=Wijaj。其中i為一8x8圖像的像素按列向量的排列,排列到儲(chǔ)層的對(duì)應(yīng)位置得到(b),(b)數(shù)據(jù)集被發(fā)送到SLM,獲得激光束,經(jīng)過極化激元節(jié)點(diǎn)的非線性效應(yīng)(c)產(chǎn)生輸出(d),由CCD記錄并乘以權(quán)值矩陣(e)得到數(shù)字分類(f)。(g)為數(shù)據(jù)由節(jié)點(diǎn)處理的實(shí)驗(yàn)裝置示意圖。
研究者利用logistics回歸調(diào)整輸出層權(quán)重矩陣的取值,并測(cè)試其識(shí)別率,最終得到了高于完全使用logistics回歸的結(jié)果。研究者還將手寫數(shù)字壓縮至8×8與4×4,仍然分別得到了93.1%和86.3%的識(shí)別率,如圖6所示。而此前其他對(duì)人工神經(jīng)網(wǎng)絡(luò)的硬件化子陣列,可以進(jìn)一步提高系統(tǒng)的性能。
圖6:極化子神經(jīng)網(wǎng)絡(luò)與logistics回歸對(duì)比
新加坡的研究者提出了一種由激化極子 Fock空間構(gòu)成的神經(jīng)網(wǎng)絡(luò),以此實(shí)現(xiàn)了對(duì)于手寫數(shù)字的識(shí)別,并實(shí)現(xiàn)13%的錯(cuò)誤率。在這里,考慮單極激子模,由量子模的Fock態(tài)構(gòu)成的網(wǎng)絡(luò),激子模的哈密頓量為
圖7(a)單個(gè)神經(jīng)元的模型(b)神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)方案:將28×28圖像壓縮至4×4識(shí)別,4×4的圖像對(duì)人眼而言很難識(shí)別,但神經(jīng)網(wǎng)絡(luò)仍能戰(zhàn)線極高的識(shí)別率。
研究者比較了利用不同的光子抽運(yùn)方式下,神經(jīng)網(wǎng)絡(luò)準(zhǔn)確率的區(qū)別,并發(fā)現(xiàn)在使用單光子和依賴相位的雙光子抽運(yùn)時(shí),在其錯(cuò)誤率最低,如圖8所示。研究者還比較和不同節(jié)點(diǎn)數(shù)量時(shí)的情況,得到了500個(gè)左右的最佳節(jié)點(diǎn)數(shù)量,超過后可能會(huì)出現(xiàn)過擬合現(xiàn)象,如圖9所示。同時(shí),研究者通過比較以往各種系統(tǒng)達(dá)到相同的錯(cuò)誤率所需要的系統(tǒng)參數(shù),證明了利用激化極子的 Fock空間維度對(duì)于神經(jīng)網(wǎng)絡(luò)系統(tǒng)的增強(qiáng)。由于所使用的極化子模式數(shù)量較少,其錯(cuò)誤率與其他工作相比偏高,但可以看到使用較多極化子模式后其效能大幅提升的潛力。
圖8:識(shí)別錯(cuò)誤率與不同光子抽運(yùn)模式的比較:其中SP為單光子,TP為雙光子,SPTP為單光子和雙光子,SPTP’為單光子相依賴相位的雙光子,(a)(b)分別為最低錯(cuò)誤率和平均錯(cuò)誤率。
圖9:不同神經(jīng)元數(shù)量下,錯(cuò)誤率的變化
另一組研究者則利用 Ginzburg-Landau極化子實(shí)現(xiàn)儲(chǔ)層神經(jīng)網(wǎng)絡(luò)工作,如圖10所示,研究者發(fā)現(xiàn)Ginzburg-Landau系統(tǒng)的非線性依賴于相位調(diào)制,這與以往的情況由很大區(qū)別。其中Ginzburg-Landau方程的離散形式為
圖10:手寫數(shù)字分類任務(wù)的方案:數(shù)據(jù)被隨機(jī)權(quán)值處理后,通過激活每個(gè)格點(diǎn)在“記錄”在格上。同時(shí),系統(tǒng)被泵浦保持接近穩(wěn)定閾值的狀態(tài)。最后記錄每個(gè)節(jié)點(diǎn)的密度,得出輸入的分類。
此外,研究者還比較了誤差率與泵浦偏置參數(shù),晶格N的線性大小的關(guān)系。RC系統(tǒng)顯示最佳性能時(shí),在沒有輸入信號(hào)時(shí)系統(tǒng)是穩(wěn)定的,但總是接近一個(gè)不穩(wěn)定閾值。在CGLE情況下,在零增益點(diǎn)=0處,解不再具有穩(wěn)定性,出現(xiàn)新的定態(tài),如圖11所示。圖9則展示了錯(cuò)誤率與晶格大小(格點(diǎn)數(shù))之間的關(guān)系,可見準(zhǔn)確率與晶格大小呈正相關(guān),但實(shí)際N>20后誤差率的下降就十分緩慢了,如圖12所示。
圖11:誤差率與泵浦偏置參數(shù)的關(guān)系。最佳工作條件在零增益點(diǎn)=0處
圖12:錯(cuò)誤率與晶格N的線性大小的關(guān)系,其中晶格位總數(shù)為N2。
最后,研究者以語(yǔ)音識(shí)別數(shù)據(jù)集(TL46)為基準(zhǔn)估算得出這種神經(jīng)網(wǎng)絡(luò)系統(tǒng)的處理速率可以達(dá)到1.6×1010word/s。由于極化激子系統(tǒng)的皮秒量級(jí)的反應(yīng)時(shí)間,以及可以在所有晶格內(nèi)分別并行處理數(shù)據(jù)的特點(diǎn),這個(gè)速率遠(yuǎn)高于此前的其他光學(xué)硬件神經(jīng)網(wǎng)絡(luò)。此外,研究者所構(gòu)建的單個(gè)節(jié)點(diǎn)尺寸約為10 m2這意味著每平方毫米可排布10萬(wàn)個(gè)這樣的節(jié)點(diǎn),與IBM TrueNorth芯片每平方毫米5000個(gè)神經(jīng)元的數(shù)據(jù)相比,也證明了極化激子競(jìng)爭(zhēng)下一代神經(jīng)網(wǎng)絡(luò)平臺(tái)的潛力。最后研究者指出,由于極化激子是中性粒子,它們既不受輻射加熱,也不促進(jìn)輻射加熱。相比于傳統(tǒng)電子系統(tǒng),這種系統(tǒng)的能量損失主要來(lái)源于光子通過微腔鏡的逃逸,而目前尚無(wú)對(duì)其能量效率做基本限制的相關(guān)工作,可以考慮的解決方案是利用全內(nèi)反射鏡捕獲的橫向光子補(bǔ)償反射鏡帶來(lái)的衰減。
總體而言,目前針對(duì)這一新架構(gòu)的具體實(shí)現(xiàn)仍然較少,并且需要借助計(jì)算機(jī)進(jìn)行訓(xùn)練,但由于極化激子解決了過弱的光學(xué)非線性的問題,其在準(zhǔn)確率,計(jì)算速率,能耗上均有優(yōu)秀的表現(xiàn)。
基于極化激子實(shí)現(xiàn)的光學(xué)神經(jīng)網(wǎng)絡(luò)作為近兩年新興的研究領(lǐng)域,相關(guān)工作仍然較少,但已經(jīng)展現(xiàn)出其巨大的潛力,由于極化激子較強(qiáng)的光學(xué)效應(yīng)以及皮秒量級(jí)的反應(yīng)時(shí)間和并行處理的能力,它在計(jì)算效率和錯(cuò)誤率上都取得了比其他途徑的光學(xué)神經(jīng)網(wǎng)絡(luò)更好的表現(xiàn),并在某些方面接近甚至超越傳統(tǒng)神經(jīng)網(wǎng)絡(luò)系統(tǒng)。但我們?nèi)匀豢梢钥吹?,?duì)這類神經(jīng)網(wǎng)絡(luò)的訓(xùn)練仍然主要在傳統(tǒng)計(jì)算機(jī)上進(jìn)行,傳統(tǒng)神經(jīng)網(wǎng)絡(luò)中,每個(gè)節(jié)點(diǎn)的參數(shù)均會(huì)隨著訓(xùn)練的進(jìn)行而改變,這一點(diǎn)使其擁有較高的準(zhǔn)確率,而目前極化激子神經(jīng)網(wǎng)絡(luò)仍然只能利用二值化計(jì)算或儲(chǔ)層結(jié)構(gòu)來(lái)規(guī)避傳統(tǒng)神經(jīng)網(wǎng)絡(luò)中反向傳播的過程,轉(zhuǎn)而借助計(jì)算機(jī)對(duì)輸出層進(jìn)行訓(xùn)練。如何讓一系列的極化子之間的出現(xiàn)更明顯的相互作用,使其相互影響,是未來(lái)有待解決的問題。另外,極化激子解決了光學(xué)非線性過弱的問題,下一步自然是嘗試控制其非線性,若未來(lái)可以通過實(shí)時(shí)的對(duì)半導(dǎo)體微腔的參數(shù)進(jìn)行控制從而人為調(diào)整其光學(xué)非線性的具體表現(xiàn),或許極化激子的平臺(tái)可以挑戰(zhàn)更加復(fù)雜的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。
另一方面,硬件人工神經(jīng)網(wǎng)絡(luò)的發(fā)展也離不開神經(jīng)網(wǎng)絡(luò)計(jì)算本身模型的進(jìn)一步發(fā)展,雖然反向傳播仍然是應(yīng)用最為廣泛的訓(xùn)練方案,但其缺點(diǎn)顯而易見,近年來(lái)計(jì)算機(jī)領(lǐng)域也在不斷提出新的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)模型,新的訓(xùn)練方式,若未來(lái)出現(xiàn)更加契合當(dāng)前硬件特性的架構(gòu),也可以使這種極化激子神經(jīng)網(wǎng)絡(luò)進(jìn)一步走向應(yīng)用。