“光子神經網絡?一個乘法可以用不到一個光子?起初我是不信的,也沒有人做過類似的實驗,但我們還是用很普通的器材做出了大家既沒想到、又認為短期內無法實現(xiàn)的實驗。”
日前,上海交大校友、目前在康奈爾大學做博后研究的王天宇在《自然·通訊》發(fā)表了最新一作論文,并擔任通訊作者。論文題為《每次乘法使用小于1個光子的光學神經網絡》。
這是一個光子神經網絡的新成果,但不同于此前芯片類的光子神經網絡,此次技術可直接接收圖像。也不同于其他基于空間光學的光子神經網絡,本次實驗設計能直接接收自然光,并且無需相干光照明。
王天宇
在該研究中,王天宇發(fā)現(xiàn)架構矩陣或向量維度可做到將近50萬。在此情況下,要想通過理論預測的功耗極限,每個乘法運算只需要小于一個光子就能進行,這個能耗水平遠遠超越傳統(tǒng)電子計算機的物理極限,可能有四五個數(shù)量級以上。
研究中,王天宇的重點在于研究光學神經網絡的能量極限和抗噪性,他認為進一步工程化改造的系統(tǒng),能作為智能圖像傳感器、深度整合圖像傳感器和處理器。
這些傳感器可用于超低延時圖像處理,比如識別圖像和壓縮圖像,所需硬件數(shù)量可被降低幾個數(shù)量級,具體應用包括自動駕駛、無人機和機器人等。
相關論文
要想詳細理解此次成果,就得先來聊聊光子神經網絡。
近年來,該領域獲得了長足發(fā)展,一方面源于光電硬件集成的成熟,另一方面光學系統(tǒng)的物理特性使得它十分適合計算大矩陣乘法,而這正是許多重要計算應用比如機器學習、優(yōu)化問題和量子計算的基礎。
相比傳統(tǒng)電子深度學習加速器,光學神經網絡的核心優(yōu)勢之一在于計算大矩陣乘法的速度,但在實現(xiàn)真正實用化前仍需克服許多工程問題,以達到足夠低的能耗和足夠高的精度。
自2017年起,全球多個課題組都做出了貢獻,包括畢業(yè)于麻省理工學院的沈亦晨和馬林· 索爾亞契奇,后來他們創(chuàng)辦了Lightelligence曦智科技。
另外還有同樣畢業(yè)于麻省理工學院的尼古拉斯·哈里斯和德克·英格蘭德,他們則創(chuàng)辦了Lightmatter。
加州大學洛杉磯分校的Xing Lin和艾多安·奧茲坎開創(chuàng)了衍射神經網絡,澳洲斯威本科技大學的徐興元和大衛(wèi)·莫斯則首次達到了GPU的計算速度。
本次工作中,王天宇研究了光學神經網絡走向實用化的一個重要課題:即如何實現(xiàn)極低的能耗極限,以及在此條件下的穩(wěn)定性。
比起電信號,光信號的根本優(yōu)勢在于長距離通訊過程中的損耗很低,那么光學信號的傳輸優(yōu)勢如何轉化為計算優(yōu)勢?
其實,計算的本質是對比和總結大量不同的信息。當數(shù)據(jù)量很大時,信息在芯片里傳輸能耗,要遠遠高于信息處理的能耗,此問題在神經網絡應用中尤其突出。
說到這里王天宇打比方稱,神經網絡計算就像大家在一起開學術會議,每個人都有不同的信息碎片,不同的人聚在一起交流信息能產生不同的見解,一開始大家有各種見解,經過充分交流后,合理的觀點漸漸變成主流,直至得出一個能簡單概括事情全貌的結論。
在此過程中,每次信息交流并不需要很久,真正耗時的是把不同人在不同地方聚在一起開會。
正因此,當前主流GPU廠商和深度學習加速器廠商,都在致力于優(yōu)化芯片的排線,以盡量減少數(shù)據(jù)的重復存儲讀寫和來回倒騰,原因在于芯片電能消耗和走線長度成正比關系。
而讓光作為信號載體,幾乎能徹底避免該問題,因為光在短距離傳輸中基本是無損的,并能立馬把同一信息傳到成千上萬個處理單元或者進行匯總,這會讓能耗優(yōu)勢和速度優(yōu)勢隨網絡擴大而擴大。
那么,上述兩大優(yōu)勢的極限在哪里?為探索該問題,王天宇用簡單器材做了一個極為精密的實驗。
鑒于在計算機視覺應用中,神經網絡的輸入數(shù)據(jù)就是圖像,所以他用2D圖像編碼向量對逐個像素進行調制,最后匯聚到探測器上。
要知道光學計算占總計算的比重99.7%,而正是這個簡單的裝置,可以計算50萬維的向量乘法,且涵蓋絕大多數(shù)神經網絡中需要的計算。
實驗中,王天宇用Python機器學習庫Pytorch訓練了一個神經網絡,并下載到光學設備上運行,借此即可達到99%的識別手寫數(shù)字準確率,這和電子計算機是一樣的準確度。
訓練過程中,根本無需考慮具體硬件細節(jié),這說明光學神經網絡具備很強的容錯性。此外,他還發(fā)現(xiàn)當每個乘法用少于一個光子的時候,該網絡仍能工作。
而且,光子數(shù)量越低,光信號噪聲就越大,這意味著光子神經網絡具備很強的抗噪聲能力,而這正是神經網絡作為計算模型的一個特點。
另一處讓人驚訝的是,光子神經網絡識別一個圖像需要進行9萬次乘法和9萬次加法計算,但是總共所需的光能只相當于電子計算機一次乘法的能量。
雖然除了光能以外的總體能耗,在現(xiàn)階段依舊不如純電子處理器低,但是隨著硬件的改進,有望將光學處理器總能耗,降低到比電子處理器低一個、甚至幾個數(shù)量級。
事實上對于這一項目,王天宇一開始只是想弄明白光學處理器的根本優(yōu)勢。期間,他注意到2019年的一篇理論論文,里面論述了光子神經網絡的物理能耗極限可大大低于電子計算,尤其是每次乘法的能耗甚至低于一個光子的能量。
他表示:“這個結論讓人覺得不可思議,但是再仔細一看,我發(fā)現(xiàn)要做到這個能耗,需要用上千維的向量去乘矩陣,而現(xiàn)在大多數(shù)光子神經網絡做指定計算時,一次只能處理幾十維的向量,有些光子神經網絡可以處理甚至百萬維度的向量,但是這些向量不能人為任意指定,或者需要針對系統(tǒng)進行訓練,這時就不能直接使用標準機器學習庫(比如Pytorch)訓練的模型。”
至于一個乘法小于一個光子是怎么回事?其實光子當然不可分割,這個是一個平均值的概念,因為有些乘法的乘數(shù)是零,所以平均值就能小于1,這說明能耗可被降低到逼近物理極限的程度,甚至還可以繼續(xù)降低。
此外他還發(fā)現(xiàn),光子神經網絡本質上有很強的抗噪聲能力,當減少光子神經網絡運算功耗的同時,比如在每個乘法運算小于一個光子時,它的噪聲非常大,但依舊可以穩(wěn)定工作。
這一發(fā)現(xiàn)給實際應用提供了很好的啟發(fā):即盡管因為硬件問題或環(huán)境噪聲較多,但依舊能通過系統(tǒng)優(yōu)化保持高性能信息處理能力。
這篇論文也給了王天宇更多信心,改變了他之前認為光子計算的新潮概念離落地比較遠的想法。通過實驗,他發(fā)現(xiàn)該技術具備一定可靠性,有潛力在短期內進行工程實踐,并且實現(xiàn)產業(yè)化。下一階段光子神經網絡領域的趨勢是集成化:運算能耗雖然能降到很低,但是運算芯片要做很大,這時尺寸縮小必須經過集成化,這依舊需要很多工程創(chuàng)新。
談及曦智科技創(chuàng)始人沈亦辰的成果,王天宇表示沈博士的論文是該領域開山之作,他的工作讓大家第一次認識到光子可用于神經網絡計算,并且沈亦辰團隊基于該技術做了一個原型機,還創(chuàng)辦了公司將技術進行集成化和產業(yè)化,以專注于光子芯的研發(fā)。
“而我所研究的成果當然也在該領域之內,同時對他們技術研發(fā)和產品也很有幫助。在光子芯片的實用化上,人們關心的是到底能把芯片計算的能耗降低到多少,并且在低功耗情況下光子神經網絡是否還能穩(wěn)定工作?”王天宇說道。
因為光子神經網絡最大賣點在于,它比傳統(tǒng)電子處理器速度快、并且能耗低。但如果光子芯片處理數(shù)據(jù)能達到一定速度和能耗,需要非常龐大的神經網絡。
因此要想研發(fā)相關產品,集成化程度必須非常高。王天宇的研究目的,是想獲悉理論上光子芯片的矩陣列到底可以做多大?以及低功耗極限能做到多低?
目前,曦智科技和其他公司,主要聚焦于光學G P U,即通過光子芯片完成傳統(tǒng)GPU器件的功能。但是王天宇做的研究有一定的區(qū)別,其發(fā)現(xiàn)在很多應用場景下,神經網絡需要處理的對象就是圖像,比如自動駕駛技術需要大量攝像頭去識別圖像,這些圖像正是以光信號輸入的。
所以,他要做的不只是一個處理器,更多是一個智能傳感器,它能將傳感器和處理器兩個功能合二為一,這里可以理解為傳感器里面有處理器,其好處在于整合了硬件,在降低整體能耗的同時,還能大大降低處理過程的延時。
具體來說,自動駕駛、機器人、無人機等需要很快的反應速度的。例如,特斯拉曾報告該公司的計算機視覺硬件架構的延時極限在150毫秒左右,這個延時大小對于開車來說足矣。但在無人機場景,如此大的延時會極大影響無人機姿態(tài)調整的判斷。而如果能把傳感器和處理器進一步整合,即可減少光電轉換和數(shù)模轉化帶來的延時。
“就光子神經網絡來說,除了曦智科技的芯片集成化道路之外,還有另外一條道路——利用空間光和波長做光子神經網絡,但是這個技術仍然和圖像處理有關。不過,我們做的和過往技術路線并不一樣。此前可能需要激光去照射物體,然后得到反射進行圖像處理,而我們采用的是物體自身發(fā)出的光進行處理,不需要主動探測掃描,這和相機有一點相似?!彼硎尽?/p>
未來,王天宇打算結合傳感器和光學處理器整合的器件,通過光學神經網絡處理器和傳感器做出可實時分析圖像的智能器件,此外他還將研究架構在極低能耗下的表現(xiàn)。從另一角度看,這個智能傳感器可以用神經網絡進行實時圖像處理,而光學模塊就是神經網絡模型中不可分割的一部份,不但能直接利用環(huán)境中的光源,而且承擔了重要計算任務。
此外,關于創(chuàng)業(yè)的想法,他表示:“如果有可能創(chuàng)辦實體企業(yè)的話,我覺得這項工作與曦智科技最大的不同是,曦智科技重點是做運算芯片,而我的工作重點是面向圖像領域的智能傳感器,并能針對不同的應用場景進行圖像處理。事實上,光學處理這個領域很大,有很多的機會等待發(fā)掘?!?/p>