吳成均 單偉偉

摘要：近似計算單元以一定的計算誤差換取更低功耗，近年來在神經(jīng)網(wǎng)絡(luò)加速器中得到應(yīng)用。本文通過研究不同近似加法器的誤差特性、在典型神經(jīng)網(wǎng)絡(luò)應(yīng)用中的結(jié)果以及功耗節(jié)省情況，對神經(jīng)網(wǎng)絡(luò)加速器進(jìn)行最優(yōu)近似設(shè)計。首先利用MATLAB對近似加法器建立數(shù)學(xué)模型，分析平均誤差距離等誤差特性，用HSPICE設(shè)計電路進(jìn)行功耗仿真，為近似加法器在神經(jīng)網(wǎng)絡(luò)上的應(yīng)用提供指導(dǎo)原則。用Python搭建多層感知機(jī)和卷積神經(jīng)網(wǎng)絡(luò)，設(shè)計兩層結(jié)構(gòu)的近似加法器算法模型，替換網(wǎng)絡(luò)中的精確加法器，研究不同誤差特性、不同近似位寬的加法器對神經(jīng)網(wǎng)絡(luò)各個指標(biāo)的影響。研究表明，平均誤差小的近似加法器對輸出質(zhì)量影響小，且近似位寬存在閾值，超過閾值會導(dǎo)致輸出質(zhì)量驟降，同時近似加法器能大幅降低計算功耗，而通過提出的輸出質(zhì)量一功耗收益可以找到整體收益最高的設(shè)計。本文提出的方法能高效系統(tǒng)地為神經(jīng)網(wǎng)絡(luò)加速器進(jìn)行最優(yōu)的近似設(shè)計。

關(guān)鍵詞：近似計算;神經(jīng)網(wǎng)絡(luò);近似位寬;低功耗;整體收益

中圖分類號：TN49 文獻(xiàn)標(biāo)識碼：A

近似計算技術(shù)是一種新興的高能效設(shè)計技術(shù)，其計算過程并非完全正確，但由于采用精簡計算邏輯，簡化了計算過程，大大減少了系統(tǒng)的計算功耗，可以在電路[1，2]、架構(gòu)[3]、算法[4]三個層面上實(shí)現(xiàn)，電路級別主要是近似計算單元的設(shè)計。近似計算適合具有容錯性[5]的應(yīng)用，容錯性是指應(yīng)用計算過程中出現(xiàn)的一些錯誤不會對最終輸出結(jié)果產(chǎn)生嚴(yán)重影響。人工神經(jīng)網(wǎng)絡(luò)是典型的容錯性應(yīng)用之一，它的容錯性主要來源于兩個方面：一個是分層分布式結(jié)構(gòu)使其具有弱化計算錯誤對輸出質(zhì)量影響程度的能力，另一個是特有的訓(xùn)練過程可以減少實(shí)際輸出和理想輸出的誤差。而人工神經(jīng)網(wǎng)絡(luò)作為人工智能的主流實(shí)現(xiàn)算法正在蓬勃發(fā)展，基于其特殊的計算模式，相比于CPU或者GPU，利用專用的神經(jīng)網(wǎng)絡(luò)加速器[6]進(jìn)行計算是一種更高效的設(shè)計，神經(jīng)網(wǎng)絡(luò)加速器主要由乘加計算單元構(gòu)成，大量的乘加計算會產(chǎn)生很高的功耗。隨著人工智能向移動化發(fā)展，考慮到電池供電的特性，神經(jīng)網(wǎng)絡(luò)加速器的低功耗設(shè)計成為一大需求。結(jié)合近似計算和神經(jīng)網(wǎng)絡(luò)的特性以及需求，將近似計算技術(shù)加人神經(jīng)網(wǎng)絡(luò)加速器中具有很好的應(yīng)用前景。

已有的研究[7，8]通常在算法層面上將近似計算技術(shù)加入到簡單神經(jīng)網(wǎng)絡(luò)，而缺乏在電路級別將近似計算單元加人神經(jīng)網(wǎng)絡(luò)加速器的設(shè)計。本文研究了近似計算單元對神經(jīng)網(wǎng)絡(luò)輸出質(zhì)量和功耗的影響，為其應(yīng)用提供指導(dǎo)原則，提出了一套完整的設(shè)計方法，可以在電路級別為神經(jīng)網(wǎng)絡(luò)加速器進(jìn)行最優(yōu)的近似設(shè)計，在降低輸出質(zhì)量損失的同時，盡可能地降低系統(tǒng)計算功耗。

1 近似加法器及誤差衡量指標(biāo)

神經(jīng)網(wǎng)絡(luò)加速器中最基本的計算單元是加法器，因此近似計算單元的設(shè)計往往是近似加法器和近似乘法器的設(shè)計。

1.1 精確加法器

精確1-bit加法器實(shí)現(xiàn)兩操作數(shù)相加，邏輯表達(dá)式如下：

最基本的全加器電路結(jié)構(gòu)是按照式（1）和式（2）由兩個異或門、兩個與門和一個或門構(gòu)成，本文以上述經(jīng)典結(jié)構(gòu)來實(shí)現(xiàn)精確加法器，為近似加法器提供對比基準(zhǔn)。

1.2 近似鏡像加法器

近似鏡像加法器（AMA）[9]是在鏡像加法器（MA）的基礎(chǔ)上設(shè)計的，相比傳統(tǒng)CMOS電路的對偶結(jié)構(gòu)，MA的鏡像結(jié)構(gòu)可以保證移除部分晶體管時不會出現(xiàn)電源到地短路或輸出斷路的情況。通過移除部分計算電路的晶體管，得到三種近似鏡像加法器（AMA1、AMA2、AMA3），如圖1所示，極大降低了計算功耗。

1.3 低位或加法器（LOA）

低位或加法器（LOA）[7]將一個P位的加法器拆分成兩個分別為m位和n位的小加法器（p=m+n），其中m位的小加法器由精確加法器構(gòu)成，而n位的小加法器由或門構(gòu)成，實(shí)現(xiàn)兩個操作數(shù)低n位的近似相加，如圖2所示。由于舍棄了低位部分的進(jìn)位鏈，LOA在功耗、延遲和面積方面都有不錯的表現(xiàn)。

1.4 低位忽略加法器（LIA）

低位忽略加法器（LIA）并不是一種具體的近似計算單元，而是對減少位寬這種近似方法的一個抽象，將低位直接截斷后，只進(jìn)行高位的加法運(yùn)算，可以理解成輸出恒為0的近似加法器，用其來實(shí)現(xiàn)低位部分的相加，通過這種抽象，可以使減少位寬的近似方法與近似加法器有統(tǒng)一的描述，以便后面作為衡量近似加法器的一個基準(zhǔn)。

1.5 誤差衡量指標(biāo)

各個近似加法器差別很大，本文使用以下幾個指標(biāo)綜合衡量其誤差特性：

（1）誤差率

誤差率指近似計算單元錯誤輸出占總輸出的比例，可以反應(yīng)近似計算單元出錯的頻率。

（2）平均誤差距離

誤差距離[10]指近似輸出與精確輸出的差值，大量輸入下的平均效應(yīng)能更好地反應(yīng)近似加法器的誤差累積效應(yīng)，平均誤差距離越大，誤差累積越嚴(yán)重，對輸出質(zhì)量影響越大。近似計算單元的所有輸入具有隨機(jī)性，可以認(rèn)為呈現(xiàn)均勻分布，因此對所有輸入下的誤差距離求均值即可獲得平均誤差距離。

（3）最大誤差距離

最大誤差距離指近似加法器在單次計算中可能出現(xiàn)的最大誤差，反應(yīng)最大的誤差嚴(yán)重程度，最大誤差距離越大，越容易對應(yīng)用的結(jié)果產(chǎn)生嚴(yán)重影響。

2 近似加法器的誤差特性分析

本文利用MATLAB建立誤差模型，從多個指標(biāo)綜合分析誤差特性，為近似加法器在神經(jīng)網(wǎng)絡(luò)中的應(yīng)用提供指導(dǎo)原則。

多位近似加法器在實(shí)際應(yīng)用中通常分成高位精確部分和低位近似部分，通過建立一個模型框架，高位采用精確加法器，低位替換成各種近似加法器，即可實(shí)現(xiàn)模型復(fù)用，將5種近似加法器LIA、LOA、AMA1、AMA2、AMA3的真值表導(dǎo)入框架，設(shè)定多位加法器的總位寬N為8位，近似位寬k分別設(shè)定為1～8位，讓模型遍歷所有可能的輸入，以精確加法器輸出為基準(zhǔn)，統(tǒng)計各種誤差指標(biāo)，如圖3所示，橫坐標(biāo)是近似部分位寬，縱坐標(biāo)分別是誤差率、平均誤差距離、最大誤

仿真結(jié)果表明，隨著近似位寬的增大，5種近似加法器的誤差率都不斷增大，LOA誤差率最低，而LIA的誤差率最高。LOA和AMA3的平均誤差距離最小并且基本不隨近似位寬而變化，不會產(chǎn)生嚴(yán)重的誤差累積，而LIA和AMA2的平均誤差距離的絕對值比較大，并且隨著近似位寬的增大誤差累積越來越嚴(yán)重。此外，LIA的最大誤差距離明顯大于其余4種近似加法器，表明LIA在實(shí)際應(yīng)用中很容易對計算結(jié)果產(chǎn)生嚴(yán)重影響，而LOA和AMA3的最大誤差距離是最小的。

綜合以上指標(biāo)，理論上，在將近似加法器加人到神經(jīng)網(wǎng)絡(luò)時，LOA和AMA3對網(wǎng)絡(luò)的影響是最小的，而傳統(tǒng)減少位寬的方法影響是最大的。

3 近似加法器的日SPICE仿真及功耗特性分析

本文利用HSPICE，使用SMIC40nm工藝的單元庫設(shè)計各加法器，采用TT工藝角，在電源電壓1.1V和測試溫度25℃的條件下，對幾種近似加法器和精確加法器進(jìn)行功耗仿真，由于靜態(tài)功耗相比動態(tài)功耗非常小，本文只考慮動態(tài)功耗。輸入包含64種狀態(tài)轉(zhuǎn)變情況的激勵波形，通過瞬態(tài)分析獲得如圖4所示的功耗跡曲線。

仿真結(jié)果表明，加法器在不同狀態(tài)轉(zhuǎn)變時產(chǎn)生的功耗差別很大，不同加法器的功耗跡形狀也不同。對64種狀態(tài)轉(zhuǎn)變下的功耗求平均值，用平均功耗來表征加法器的功耗水平?？梢钥闯觯萍臃ㄆ鞯钠骄木黠@低于精確加法器，LOA和AMA3相比于精確加法器減少了約85%的功耗。

4 近似加法器在神經(jīng)網(wǎng)絡(luò)中的應(yīng)用

4.1 近似神經(jīng)網(wǎng)絡(luò)的搭建

在Python環(huán)境下搭建了5層的多層感知機(jī)MLP-5和8層的卷積神經(jīng)網(wǎng)絡(luò)CNN-8，如圖5所示。網(wǎng)絡(luò)中每一層的神經(jīng)元數(shù)量可以通過參數(shù)設(shè)定，激活函數(shù)可以選擇為tanh函數(shù)或者sigmoid函數(shù)，網(wǎng)絡(luò)具有很大的靈活性，可以適配不同的應(yīng)用。MLP-5網(wǎng)絡(luò)結(jié)構(gòu)簡單，采用全連接結(jié)構(gòu)，分類IRIS數(shù)據(jù)集，而CNN-8包含卷積層、池化層和全連接層，相對復(fù)雜，分類MNIST數(shù)據(jù)集。采用12位定點(diǎn)數(shù)數(shù)據(jù)格式訓(xùn)練網(wǎng)絡(luò)，MLP-5和CNN-8分別達(dá)到97.78%和96.7%的分類準(zhǔn)確率。兩種網(wǎng)絡(luò)的乘加計算量見表1。

為了研究近似加法器對神經(jīng)網(wǎng)絡(luò)輸出質(zhì)量和功耗的影響，需要將網(wǎng)絡(luò)中的精確加法器替換成近似加法器，而傳統(tǒng)框架（如TensorFlow）很難單獨(dú)對加法運(yùn)算進(jìn)行修改，設(shè)計效率低，而本文搭建的網(wǎng)絡(luò)靈活性很大，每一個神經(jīng)元的加法器以及位寬都可以單獨(dú)修改，非常適合搭建近似神經(jīng)網(wǎng)絡(luò)。

根據(jù)每種近似加法器的真值表編寫對應(yīng)的近似加法函數(shù)，并且編寫了兩層結(jié)構(gòu)的多位加法函數(shù)，高位部分采用精確加法函數(shù)，低位部分采用近似加法器對應(yīng)的近似加法函數(shù)，總位寬為12位，低位近似部分的位寬可以修改，如圖6所示，最后在MLP-5和CNN-8的基礎(chǔ)上，利用多位近似加法函數(shù)替換多位精確加法函數(shù)，搭建近似神經(jīng)網(wǎng)絡(luò)。而通過替換近似加法函數(shù)、修改近似位寬，可以研究不同誤差特性和不同近似位寬的加法器對神經(jīng)網(wǎng)絡(luò)的影響。

在圖6中，m為近似位寬，而m-bit的近似加法器可以由LIA、LOA、AMAl、AMA2、AMA3的任意一種構(gòu)成。

4.2 衡量指標(biāo)

本文從輸出質(zhì)量、歸一化功耗、整體收益三個指標(biāo)來綜合衡量近似加法器對神經(jīng)網(wǎng)絡(luò)的影響。

（1）輸出質(zhì)量

輸出質(zhì)量具體指MLP-5和CNN-8對相應(yīng)數(shù)據(jù)集的分類準(zhǔn)確率。

（2）歸一化功耗

神經(jīng)網(wǎng)絡(luò)的功耗通常指執(zhí)行階段的功耗，即執(zhí)行單次分類任務(wù)產(chǎn)生的功耗，又可分解為參數(shù)訪存功耗和計算功耗。計算功耗與操作次數(shù)以及單次操作功耗有關(guān)，神經(jīng)網(wǎng)絡(luò)中涉及到的計算包括加法運(yùn)算、乘法運(yùn)算和非線性激活函數(shù)的運(yùn)算。由于本文只修改了MLP-5和CNN-8網(wǎng)絡(luò)中的加法器，后續(xù)的功耗分析都是針對加法計算功耗。根據(jù)上面功耗分析的結(jié)果，可以估算得到加法計算功耗E_APPRO，并且除以精確網(wǎng)絡(luò)的加法計算功耗E_ACC，得到各個近似神經(jīng)網(wǎng)路的歸一化加法計算功耗NE。

（3）輸出質(zhì)量一功耗收益

本文提出了輸出質(zhì)量一功耗收益的概念來綜合評估近似加法器的影響，對于一個近似神經(jīng)網(wǎng)絡(luò)，其輸出質(zhì)量一功耗收益定義為：式中：E_SAVE為功耗的節(jié)省值，Q_LOSS為輸出質(zhì)量的損失值，w₁和w₂為權(quán)重，根據(jù)不同應(yīng)用對輸出質(zhì)量和功耗的要求，可以設(shè)置不同的權(quán)重，輸出質(zhì)量一功耗收益數(shù)值越大，表示整體收益越高。本文w₁和w₂都設(shè)置為1，指每單位輸出質(zhì)量損失下功耗的節(jié)省值。通過輸出質(zhì)量一功耗收益指標(biāo)，可以為應(yīng)用找到收益最高的設(shè)計。

4.3 試驗結(jié)果

將本文提出的兩層結(jié)構(gòu)多位近似加法器模型加入MLP-5和CNN-8中，探究不同誤差特性的近似加法器（LIA、LOA、AMAI、AMA2、AMA3）和不同近似位寬（1～8位）對4.2節(jié)神經(jīng)網(wǎng)絡(luò)三個指標(biāo)的影響，結(jié)果如圖7、圖8所示。

圖7中橫坐標(biāo)均表示低位近似部分的位寬，實(shí)線表示分類準(zhǔn)確率，虛線表示歸一化功耗。仿真發(fā)現(xiàn)，不同誤差特性的近似加法器對神經(jīng)網(wǎng)絡(luò)分類準(zhǔn)確率的影響差別很大，LOA和AMA3對網(wǎng)絡(luò)輸出質(zhì)量影響最小，LIA和AMA2影響最大。試驗結(jié)果與誤差特性理論分析預(yù)測的結(jié)果是一致的，這表明，平均誤差越小的近似加法器對神經(jīng)網(wǎng)絡(luò)的輸出質(zhì)量影響越小，原因在于實(shí)際運(yùn)算時誤差可以互相削弱甚至補(bǔ)償，誤差累積小，而傳統(tǒng)減少位寬的近似方法是最差的方案。其次，隨著近似位寬的增加，分類準(zhǔn)確率不斷下降，且存在一個突變節(jié)點(diǎn)，當(dāng)近似位寬大于閾值之后，分類準(zhǔn)確率嚴(yán)重下降。不同近似加法器的近似閾值存在差別，在CNN-8網(wǎng)絡(luò)中，LOA、AMA3為6位，LIA和AMA2為2位。此外，歸一化加法計算功耗隨著近似位寬增加線性下降。特別地，當(dāng)近似位寬位為閾值時，LOA和AMA3能減少約45%的加法計算功耗，而LIA只能減少約20%。

而從本文提出的整體收益角度看，計算出各種近似設(shè)計下的輸出質(zhì)量一功耗收益，如圖8所示，橫坐標(biāo)表示近似位寬，縱坐標(biāo)表示輸出質(zhì)量一功耗綜合收益數(shù)值，研究發(fā)現(xiàn)，LOA、AMA3為網(wǎng)絡(luò)帶來的輸出質(zhì)量一功耗收益最高，LIA、AMA2的收益最低，且每種近似加法器都存在一個收益最高的近似位寬，輸出質(zhì)量一功耗收益隨著近似位寬的增大先上升后下降，以MLP-5為例，采用LOA和AMA3近似5位時為網(wǎng)絡(luò)帶來的整體收益最高。采用這種方法可以很直觀地為不同應(yīng)用找到最合適的近似加法器以及近似位寬。而通過改變輸出質(zhì)量一功耗收益指標(biāo)中的權(quán)重值，可以滿足不同應(yīng)用對輸出質(zhì)量、功耗的不同需求，實(shí)現(xiàn)不同應(yīng)用的最優(yōu)近似設(shè)計。5結(jié)論

本文提出了一套完整的面向神經(jīng)網(wǎng)絡(luò)加速器的電路級近似計算單元的設(shè)計方法，通過對近似加法器進(jìn)行誤差和功耗分析，為其在神經(jīng)網(wǎng)絡(luò)的應(yīng)用提供指導(dǎo)原則，通過搭建靈活性高的典型神經(jīng)網(wǎng)絡(luò)框架和近似加法器的算法模型，解決了傳統(tǒng)網(wǎng)絡(luò)框架不便于進(jìn)行近似處理的問題，研究了不同誤差特性和不同近似位寬的加法器對神經(jīng)網(wǎng)絡(luò)的影響，研究表明，平均誤差小的近似加法器對神經(jīng)網(wǎng)絡(luò)的輸出質(zhì)量影響小，且存在近似位寬閾值，超過閾值會導(dǎo)致輸出質(zhì)量驟降，近似加法器可以大幅降低加法計算功耗。而采用本文提出的輸出質(zhì)量一功耗收益指標(biāo)，可以直觀地在電路級別對不同應(yīng)用進(jìn)行最優(yōu)設(shè)計。當(dāng)然，本研究還存在一些不足，只對加法器進(jìn)行了近似處理，但從表1看出神經(jīng)網(wǎng)絡(luò)中乘法運(yùn)算也占據(jù)很大比重，進(jìn)一步對乘法器進(jìn)行近似處理可以降低更多的計算功耗。此外，神經(jīng)網(wǎng)絡(luò)內(nèi)部各個神經(jīng)元容錯性存在很大差異，充分利用差異對近似方法進(jìn)行優(yōu)化可以為神經(jīng)網(wǎng)絡(luò)加速器帶來更高的收益。

參考文獻(xiàn)

[1]Gupta V，Mohapatra D，Raghunathan A，et al.Low-powerdigital signal processing using approximate adders[J].IEEETransactions on Computer-Aided Design of Integrated Circuitsand Systems，2013，32（1）：124-137.

[2]Yang T，Ukezono T，Sato T.A low-power yet high-speedconfigurable adder for approximate computing[C]//InternationalSymposium on Circuits and Systems，2018.

[3]Liu B，Dong W，Xu T，et al.E-ERA：An energy-efficientreconfigurable architecture for RNNs using dynamically adaptiveapproximate computing[J].Ieice Electronics Express，2017，14（15）：66-77.

[4]Ho N M，Manogaran E，Wong W F，et al.Efficient floatingpoint precision tuning for approximate computing[C]//DesignAutomation Conference.IEEE，2017：63-68.

[5]Venkatesan R，Agarwal A，Roy K，et al.MACACO：Modelingand analysis of circuits for approximate computing[C]//IEEE/ACM International Conference on Computer-Aided Design.IEEE，2011：667-673.

[6]Huynh T V Deep neural network accelerator based on FPGA[C]//Nafosted Conference on Information and Computer Science，2017：254-257.

[7]Mahdiani H R，Ahmadi A，F(xiàn)akhraie S M，et al.Bio-inspired imprecise computational blocks for efficient VLSIimplementation of soft-computing applications[J].IEEETransactions on Circuits&Systems，2010，57（4）：850-862.

[8]Venkataramani S，Ranjan A，Roy K，et al.AxNN：energy-efficient neuromorphic systems using approximate computing[C]//Low Power Electronics and Design（ISLPED），2014.

[9]Gupta V，Mohapatra D，Sang P P，et al.IMPACT：Impreciseadders for low-power approximate computing[C]//Low PowerElectronics and Design.IEEE，2011：409-414.

[10]Liang J，Han J，Lombardi F.New metrics for the reliability ofapproximate and probabilistic adders[J].IEEE Transactions onComputers，2013，62（9）：1760-1771.