国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

基于高斯函數(shù)的池化算法

2022-09-25 08:42:44王宇航周永霞吳良武
計算機應用 2022年9期
關(guān)鍵詞:池化高斯卷積

王宇航,周永霞,吳良武

(中國計量大學信息工程學院,杭州 310018)

0 引言

深度學習是Hinton 等[1]在2006 年提出的概念,指出深層網(wǎng)絡(luò)訓練采用無監(jiān)督預訓練初始化并用有監(jiān)督訓練微調(diào)網(wǎng)絡(luò)權(quán)值的方法來解決梯度消失問題,在學術(shù)圈里引起了巨大的反響。自此深度學習進入高速發(fā)展階段,并被應用到計算機視覺領(lǐng)域來處理圖像分類、姿態(tài)估計、目標定位等問題。深度學習作為一類模式分析方法的統(tǒng)稱,主要包括卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)、循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neutral Network,RNN)和自動編碼器(Auto Encoder,AE)三種方法,其中CNN 成為解決計算機視覺問題的主要方法。卷積神經(jīng)網(wǎng)絡(luò)主要由輸入層、卷積層、池化層、全連接層、輸出層等結(jié)構(gòu)組成,由于網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計的不同,不同的卷積神經(jīng)網(wǎng)絡(luò)的性能也有很大的差別。2012 年,Hinton和他的學 生Alex 設(shè)計出了AlexNet[2],一舉拿下了當年ImageNet 競賽的冠 軍。自此之后,諸如VGG(Visual Geometry Group)[3]、ResNet(Residual Network)[4]、GoogLeNet[5]、DenseNet(Densely Connected Networks)[6]等 更多更深的卷積神經(jīng)網(wǎng)絡(luò)模型被提出,極大推進了卷積神經(jīng)網(wǎng)絡(luò)的研究。

池化層在卷積神經(jīng)網(wǎng)絡(luò)中起到了至關(guān)重要的作用,它可以在一定程度上增加平移旋轉(zhuǎn)的不變性。通過池化操作,卷積神經(jīng)網(wǎng)絡(luò)的感受野變大,這就有效降低了網(wǎng)絡(luò)模型的優(yōu)化難度[7]。常規(guī)的池化算法包括最大池化和平均池化,被廣泛地運用到各種卷積神經(jīng)網(wǎng)絡(luò)之中,雖然發(fā)揮著很大的作用,但也有不足。為此,近年來科研人員提出了諸如隨機池化、混合池化、光譜池化、模糊池化等池化算法。隨機池化[8]根據(jù)池化域內(nèi)每個元素的取值計算該點權(quán)重概率,并由此概率選取一個元素作為池化后的結(jié)果;混合池化[9]在最大池化和平均池化兩種池化算法中隨機選擇一種作為當前池化層的池化算法,使得網(wǎng)絡(luò)模型的泛化能力明顯增強;光譜池化[10]運用離散傅里葉變換計算截斷頻域,進而實現(xiàn)降維操作,這種方法為每個參數(shù)保留了比其他池化算法更多的信息,因此效果顯著;模糊池化[11]把模糊邏輯引入池化算法中,目的是解決傳統(tǒng)池化算法中的選擇不確定性,運用模糊邏輯中隸屬度的計算方法,計算池化域的閾值,并由此確定池化結(jié)果;融合隨機池化[12]在隨機池化的基礎(chǔ)上進行了改進,對池化域指定的范圍使用隨機池化算法,既考慮到了池化域內(nèi)元素的平均值,又考慮到了池化域內(nèi)元素的最大值。文獻[13]中提出了一種基于信息熵的池化算法,首先介紹了熵池化的概念,然后根據(jù)熵池化提出分支熵加權(quán)算法,最后通過實驗驗證了該算法的有效性。soft 池化[14]以指數(shù)為基礎(chǔ),在池化算法中使用區(qū)域的激活函數(shù)softmax 的算子對池化域內(nèi)每個元素進行權(quán)值運算,并加權(quán)求和作為算法計算結(jié)果,有效保留了特征圖的細粒度信息,因此效果良好。

最大池化算法和平均池化算法由于計算方式簡單,如果遇到池化域內(nèi)元素值相差較大且不同元素點代表不同特征的情況時,很容易丟失部分特征信息。隨機池化算法雖然引入概率計算的概念,但是最終仍然取池化域中一個元素為結(jié)果,這樣可能會造成其他元素代表的特征被忽略?;旌铣鼗惴S機選擇最大池化或平均池化作為池化方法,雖然增加了算法的泛化能力,但還是沒有避免兩種池化算法的弊端。光譜池化算法運用離散傅里葉變換把池化域里的元素從時域轉(zhuǎn)換為頻域進行處理,然后通過傅里葉反變換把結(jié)果轉(zhuǎn)換到時域,雖然可以保留更多特征信息,但是運算過程繁瑣復雜,大幅增加了算法的時間復雜度和空間復雜度。模糊池化算法依靠模糊邏輯解決池化域元素不確定性的問題,雖然有些效果,但是模糊邏輯過于依賴隸屬度函數(shù)的選擇,針對不同類型的卷積神經(jīng)網(wǎng)絡(luò)以及不同數(shù)據(jù)集可能需要使用不同的隸屬度函數(shù)才能取得較好的效果,這就導致了該算法的泛化能力較差。融合隨機池化算法對隨機池化算法做了改進,對池化域內(nèi)指定區(qū)域隨機池化運算,但是本質(zhì)上還是隨機池化運算,倘若區(qū)域選擇不當,位于兩個區(qū)域邊界的元素包含的特征信息依舊有可能被忽略,所以該方法只是一定程度上解決了特征信息丟失的問題,并沒辦法完全避免該問題?;谛畔㈧氐某鼗惴ㄟx擇信息熵作為度量方法,在池化域較大、元素信息較多時確實可以取得理想的結(jié)果,但是當池化域較小、元素信息較少時,該算法較其他算法在運算結(jié)果方面并無明顯差別,運算效率卻低下許多。soft 池化雖然可以保留特征圖中大部分信息,但是由于該算法本身是可微的,反向傳播時要進行梯度運算,所以較其他算法在性能方面會稍遜一籌。

1 基于高斯函數(shù)的池化算法

眾所周知,池化操作本質(zhì)其實是下采樣,卷積神經(jīng)網(wǎng)絡(luò)中引入池化層是為了壓縮輸入的特征圖,降低神經(jīng)網(wǎng)絡(luò)計算時的算法復雜度。但是在這個過程中,如果池化算法選擇不當,有可能會造成原有輸入的特征圖里的部分特征信息丟失,進而影響整個卷積神經(jīng)網(wǎng)絡(luò)的效果。

由于池化域內(nèi)所有元素的值本質(zhì)上可以被看作是一組一維的數(shù)據(jù),本文受機器學習中最近鄰(K-Nearest Neighbors,KNN)算法中近鄰(相似)程度概念的啟發(fā),提出池化域內(nèi)各元素點與該池化域所含主要特征之間關(guān)聯(lián)性的概念。所謂各元素點與該池化域所含特征之間的關(guān)聯(lián)性,即同一池化域內(nèi)不同元素點與該池化域內(nèi)所包含的最突出的特征(一般認為是池化域內(nèi)所有元素點的最大值)的相關(guān)密切程度。KNN 算法中以待決策樣本與已知樣本的距離作為依據(jù)來判斷近鄰程度,本文提出的各元素點與該池化域所含主要特征之間的密切程度的判斷方法與其類似:首先找到該池化域內(nèi)所有元素點的最大值作為已知樣本;然后計算該池化域內(nèi)所有元素點的值到該樣本的距離;最后根據(jù)得到的距離衡量該元素點與該池化域所含主要特征之間的關(guān)聯(lián)性。由此可知,同一池化域內(nèi),某個元素點的值與該池化域內(nèi)所有元素點中的最大值距離越接近,則認為該元素點與該池化域內(nèi)所包含的最突出的特征相關(guān)程度越密切,關(guān)聯(lián)性越強,那么這個元素點越重要;反之,該元素點與該池化域內(nèi)所包含的最突出的特征相關(guān)程度越疏遠,關(guān)聯(lián)性越弱,那么這個元素點越不重要。

在進行池化計算時,如果可以考慮到池化域內(nèi)各元素點與該池化域所含主要特征之間的關(guān)聯(lián)性,根據(jù)池化域內(nèi)每個元素關(guān)聯(lián)性的強弱來計算池化后的結(jié)果,便可以盡可能地保留輸入特征圖的特征信息,提高卷積神經(jīng)網(wǎng)絡(luò)的性能。諸如最大池化、平均池化、隨機池化等大多數(shù)傳統(tǒng)的池化算法雖然能起到一定的效果,但是由于算法本身較為簡單,計算過程中并未很好地考慮到池化域內(nèi)各元素點與該池化域所含特征之間的關(guān)聯(lián)性,所以難免會在一定程度上丟失特征信息。鑒于這種情況,本文受概率學中高斯分布的相關(guān)知識啟發(fā),提出一種基于高斯函數(shù)的池化算法:通過借用高斯函數(shù)來計算和衡量池化域內(nèi)各元素與其所含主要特征之間的關(guān)聯(lián)性,并由此作為依據(jù)計算池化算法的結(jié)果。

1.1 高斯函數(shù)

高斯函數(shù)是德國數(shù)學家Johann Carl Friedrich Gauss 在1795 年提出的一種初等函數(shù)。高斯函數(shù)在自然科學中有著極大的影響力,被廣泛地應用于數(shù)學、統(tǒng)計學、計算機學等多門學科之中。本文以高斯函數(shù)為基礎(chǔ),提出了一種新的池化算法。高斯函數(shù)的解析式如式(1)所示:

其中:參數(shù)a、b、c均為常數(shù)。

從式(1)可以看出參數(shù)a影響了高斯函數(shù)的峰值大?。粎?shù)b決定了高斯函數(shù)曲線對稱軸的位置;參數(shù)c決定了高斯函數(shù)曲線的曲率,即c越大、曲線越平緩,c越小、曲線越陡峭。

1.2 算法原理

1.2.1 前向傳播

本文算法通過引入高斯函數(shù)來表示池化域內(nèi)各元素與該池化域所含特征之間的關(guān)聯(lián)性。具體做法為:計算池化域內(nèi)每一個元素的高斯函數(shù)值,并定義該函數(shù)值為該元素的高斯權(quán)重。由前文敘述可知,計算得出的高斯權(quán)重可以在一定程度上衡量池化域內(nèi)各元素的關(guān)聯(lián)性。

對于高斯函數(shù)的參數(shù),本文定義參數(shù)a恒等于1;由前文敘述可知,本文使用高斯函數(shù)的目的是衡量池化域內(nèi)各元素與其最突出特征的關(guān)聯(lián)程度,高斯函數(shù)的計算結(jié)果正比于輸入值到參數(shù)b的距離,所以定義參數(shù)b為池化域內(nèi)特征最突出點的值,即所有元素的最大值;參數(shù)c為根據(jù)參數(shù)b計算得到的標準差。參數(shù)b和參數(shù)c具體計算公式如式(2)和式(3)所示:

其中:N為池化域內(nèi)元素個數(shù),xi為池化域內(nèi)第i個元素。

如果池化域內(nèi)所有元素都相同,即xi=b,雖然根據(jù)式(3)計算的參數(shù)c為0 使得式(1)毫無意義,但是此時池化域內(nèi)所有元素相等,所有元素的高斯權(quán)重自然也相等,所以定義此時f(x;a,b,c)=1。因此,本文使用的高斯函數(shù)計算公式如式(4)所示:

根據(jù)高斯權(quán)重,對于池化域內(nèi)各元素進行加權(quán)平均計算,并將最終計算結(jié)果作為本文算法的輸出值,加權(quán)平均計算的公式如式(5)所示:

其中:N為池化域內(nèi)元素的個數(shù),fi為池化域內(nèi)第i個元素的高斯權(quán)重,xi為池化域內(nèi)第i個元素,y為加權(quán)平均計算的結(jié)果。

綜上所述,基于高斯函數(shù)的池化算法的運算步驟如下:

1)取池化域內(nèi)所有元素的最大值為參數(shù)b。

2)將池化域內(nèi)元素代入式(3)計算,求得參數(shù)c。

3)將參數(shù)a、b和c代入式(4)求取每個元素的高斯權(quán)重。

4)根據(jù)各元素的高斯權(quán)重,由式(5)對各元素進行加權(quán)平均計算。

具體算法流程示例如圖1 所示(圖中池化域尺寸為2×2,步長為2,計算結(jié)果保留兩位小數(shù))。

圖1 算法流程示例圖Fig.1 Example of algorithm flow

1.2.2 反向傳播

反向傳播是訓練卷積神經(jīng)網(wǎng)絡(luò)最為常用的一種方法,其原理是根據(jù)由損失函數(shù)計算出的誤差信息,運用某種優(yōu)化算法對各神經(jīng)元的權(quán)重進行優(yōu)化。一般來說,反向傳播分成計算各權(quán)重的偏導數(shù)和更新權(quán)重兩步。由于池化層只是減少了輸入矩陣的元素個數(shù),并沒有需要更新的權(quán)重,所以對于池化層來說,反向傳播只需要將后一層計算得到的梯度數(shù)量擴大到前一層需要的梯度數(shù)量,然后將這些梯度傳遞給前一層網(wǎng)絡(luò)即可。

本文提出的池化算法在常規(guī)算法的基礎(chǔ)上通過在各元素里引入高斯權(quán)重,并且最后使用加權(quán)平均法減少池化域內(nèi)元素的個數(shù),所以反向傳播時只需要根據(jù)高斯權(quán)重逆推導這個過程即可,計算公式如式(6)所示:

其中:fi為池化域內(nèi)第i個元素的高斯權(quán)重,N為池化域內(nèi)元素的個數(shù),x為后一層網(wǎng)絡(luò)計算得出的梯度值,yi為池化域內(nèi)需要傳遞給前一層網(wǎng)絡(luò)的第i個元素的值。該算法的流程如圖2 所示。

圖2 反向傳播算法流程Fig.2 Flowchart of back propagation algorithm

1.2.3 時間復雜度

由前文敘述可知,本文算法計算步驟分為計算參數(shù)b、計算參數(shù)c、計算池化域內(nèi)各元素高斯權(quán)重和計算加權(quán)平均值4 步。由式(2)可知,計算參數(shù)b實質(zhì)上是求取池化域內(nèi)元素的最大值,其時間復雜度為O(n);由式(3)可知,計算參數(shù)c實質(zhì)上是求取池化域內(nèi)各元素與參數(shù)b的標準差,其時間復雜度為O(n);由式(4)可知,計算池化域內(nèi)各元素高斯權(quán)重的時間復雜度為O(n);由式(5)可知,加權(quán)平均運算的時間復雜度為O(n)。由于本文算法的4 個計算步驟時間復雜度均為O(n),且計算方式為串行計算,故算法的時間復雜度為O(n)。

2 實驗及其結(jié)果與分析

2.1 實驗模型

LeNet5 是Lecun 等[15]在1998 年提出的用于手寫體字符識別的卷積神經(jīng)網(wǎng)絡(luò)模型。它共由8 層組成,分別為輸入層、C1 卷積層、S2 池化層、C3 卷積層、S4 池化層、C5 卷積層、F6 全連接層和輸出層。LeNet5 的模型結(jié)構(gòu)如圖3 所示。

圖3 LeNet5模型結(jié)構(gòu)Fig.3 Structure of LeNet5 model

VGG16 是牛津大學計算機視覺實驗室2014 年提出的網(wǎng)絡(luò)結(jié)構(gòu)。它由13 層卷積層、5 層池化層以及3 層全連接層組成。VGG16 的網(wǎng)絡(luò)模型結(jié)構(gòu)如圖4 所示。

圖4 VGG16模型結(jié)構(gòu)Fig.4 Structure of VGG16 model

ResNet[4]是由He 等在2015年提出的卷積神經(jīng)網(wǎng)絡(luò)模型。ResNet18 由1 層卷積層、1 層池化層、4 個殘差塊和1 層全連接層組成,其中每個殘差塊包含兩層卷積和一條直連通道。殘差塊結(jié)構(gòu)如圖5 所示。

圖5 殘差塊結(jié)構(gòu)Fig.5 Structure of residual block

2019 年,谷歌通過繼承前兩代輕量級神經(jīng)網(wǎng)絡(luò)使用的深度可分離卷積技術(shù)和倒殘差結(jié)構(gòu),并且結(jié)合資源受限的神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索技術(shù)和NetAdapt 算法提出第三代輕量級神經(jīng)網(wǎng)絡(luò)——MobileNet v3。MobileNet v3 分為Large 和Small 兩個版本,兩個版本的基本結(jié)構(gòu)相似,區(qū)別僅在于網(wǎng)絡(luò)大小不同。本文選取MobileNet v3 Small 為實驗模型,該版本的網(wǎng)絡(luò)結(jié)構(gòu)如表1 所示。

表1 MobileNet v3 Small模型結(jié)構(gòu)Tab.1 Structure of MobileNet v3 Small model

為驗證基于高斯函數(shù)的池化算法的效果,本文將LeNet5、VGG16、ResNet18 和MobileNet v3 Small 中原有的池化算法分別替換為最大池化、平均池化、隨機池化、混合池化、模糊池化、融合隨機池化、soft 池化和基于高斯函數(shù)的池化,將替換得到的32 個模型作為實驗模型。

2.2 實驗數(shù)據(jù)集

本文選用CIFAR-10、Fer2013 和GTSRB(German Traffic Sign Recognition Benchmark)三個公開數(shù)據(jù)集進行實驗。

CIFAR-10 數(shù)據(jù)集[16]是一個經(jīng)典的圖像分類數(shù)據(jù)集,包括60 000 幅像素為32×32 的彩色圖像,其中50 000 幅圖像用于訓練,10 000 幅圖像用于驗證,無測試集。該數(shù)據(jù)集中的圖像共分為airplane、automobile、bird 等10 個類別,每個類別6 000 幅圖像,所有類別均是完全互斥的,且不同類別間特征大不相同,所以常常被用于驗證圖像分類算法的性能。

Fer2013 數(shù)據(jù)集由Carrier 和Courville 創(chuàng)建[17],是國際機器學習會議2013 面部表情挑戰(zhàn)賽所使用的數(shù)據(jù)集。它由35 887 幅48×48 像素的人臉表情灰度圖構(gòu)成,其中訓練集、驗證集和測試集的圖像數(shù)量分別為28 709、3 589 和3 589。該數(shù)據(jù)集將表情分為憤怒、厭惡、害怕、高興、悲傷、驚訝、中性7 類,每類表情對應圖像數(shù)量并不均衡,并且每張圖像的拍攝角度、背景、人物年齡等都不相同,這些因素極大增加了分類難度,要求圖像分類算法具有很好的泛化性和魯棒性才能取得較好的效果。

GTSRB 數(shù)據(jù)集是國際神經(jīng)網(wǎng)絡(luò)聯(lián)合會議舉辦的多級圖像分類挑戰(zhàn)賽所使用的數(shù)據(jù)集之一[18]。該數(shù)據(jù)集中共有51 839 幅圖像(其中訓練集39 209 幅、驗證集12 630 幅、無測試集),涵蓋43 種不同的交通標識,每種標識為一種類別,不同類別包含圖像數(shù)量不一,且圖片質(zhì)量參差不齊,識別難度要大于其他交通標識分類數(shù)據(jù)集。

2.3 實驗結(jié)果與分析

2.3.1 CIFAR-10數(shù)據(jù)集實驗結(jié)果

本節(jié)實驗使用CIFAR-10 數(shù)據(jù)集,設(shè)置訓練batch size 為256、學習率為0.001、優(yōu)化器為Adam、損失函數(shù)為交叉熵損失函數(shù)、Epoch 為60,分別取第20、40 和60 個epoch 時的top-1(精確到小數(shù)點后三位)為模型性能評估指標。實驗結(jié)果如表2 所示。

表2 各模型在CIFAR-10數(shù)據(jù)集上的top-1指標 單位:%Tab.2 Top-1 index of each model on CIFAR-10 dataset unit:%

從表2 中可以看出,在CIFAR-10 數(shù)據(jù)集上,本文提出的池化算法適用于各個模型上的top-1 較其他7 種池化算法的top-1 提高了0.5~6 個百分點。

2.3.2 Fer2013數(shù)據(jù)集實驗結(jié)果

本節(jié)實驗使用Fer2013 數(shù)據(jù)集,設(shè)置訓練batch size 為256、學習率為0.001、優(yōu)化器為Adam、損失函數(shù)為交叉熵損失函數(shù)、Epoch 為30,分別取第10、20 和30 個epoch 時的top-1(精確到小數(shù)點后三位)為模型性能評估指標。實驗結(jié)果如表3 所示。

表3 各模型在Fer2013數(shù)據(jù)集上的top-1指標 單位:%Tab.3 Top-1 index of each model on Fer2013 dataset unit:%

從表3 中可以看出,在Fer2013 數(shù)據(jù)集上,本文提出的池化算法適用于各個模型上的top-1 較其他7 種池化算法的top-1 提高了1~5 個百分點。

2.3.3 GTSRB數(shù)據(jù)集實驗結(jié)果

本節(jié)實驗使用GTSRB 數(shù)據(jù)集,設(shè)置訓練batch size 為256、學習率為0.001、優(yōu)化器為Adam、損失函數(shù)為交叉熵損失函數(shù)、Epoch 為15,分別取第5、10 和15 個epoch 時的top-1(精確到小數(shù)點后三位)為模型性能評估指標。實驗結(jié)果如表4 所示。

從表4 中可以看出,在GTSRB 數(shù)據(jù)集上,本文提出的池化算法適用于各個模型上的top-1 較其他7 種池化算法的top-1 提高了0.5~3 個百分點。

表4 各模型在GTSRB數(shù)據(jù)集上的top-1指標Tab.4 Top-1 index of each model on GTSRB dataset

2.3.4 運算時間對比實驗結(jié)果

本節(jié)實驗選取分辨率分別為100×100、1 000×1 000 和10 000×10 000,像素點為0~255 隨機數(shù)的圖片各10 幅,將這些圖片作為最大池化、平均池化、隨機池化、混合池化、模糊池化、融合隨機池化、soft 池化和基于高斯函數(shù)的池化八種池化算法的輸入,統(tǒng)計各池化算法的運行時間作為實驗結(jié)果。

上述各池化算法的均池化域為2×2,步長為2。為避免實驗結(jié)果具有偶然性,本節(jié)實驗以各組圖片10 次實驗結(jié)果的平均值(單位為ms,保留3 位小數(shù))作為最終實驗結(jié)果,如表5 所示。

從表5 中可以看出,相比最大池化、平均池化和混合池化等傳統(tǒng)池化算法,本文提出的池化算法由于計算量大一些,所以運算時間較長;本文算法雖然有一定的計算量,但是相比其他較為新穎的池化算法,本文算法的計算過程并沒有特別復雜,所以運算效率方面優(yōu)于這些算法。

表5 各算法在不同圖片分辨率下的運行時間 單位:msTab.5 Running time of each algorithm under different image resolution unit:ms

2.3.5 實驗結(jié)果分析

由表2~4 中的實驗結(jié)果可知,無論是在LeNet5 模型、VGG16 模型、ResNet18 模型還是MobileNet v3 模型上,本文提出的基于高斯函數(shù)的池化算法對比最大池化、平均池化、隨機池化、混合池化、模糊池化、融合隨機池化和soft 池化七種池化算法在CIFAR-10、Fer2013 和GTSRB 三個數(shù)據(jù)集上精度方面都有不同程度的提升,這說明該算法在不同的模型和數(shù)據(jù)集上都具有一定的適用性。

由表5 中的實驗結(jié)果可知,本文提出的基于高斯函數(shù)的池化算法相比最大池化在運算效率方面雖然不及一些傳統(tǒng)算法,但相較于其余新穎算法也有所提升,這說明本文算法適用于可以適當降低對性能的要求,但對精度要求較高的場景。

3 結(jié)語

本文根據(jù)卷積神經(jīng)網(wǎng)絡(luò)池化算法研究現(xiàn)狀,發(fā)現(xiàn)現(xiàn)有的池化算法大都沒能很好地考慮池化域內(nèi)各元素與該池化域所含特征之間的關(guān)聯(lián)性,于是提出了一種基于高斯函數(shù)的池化算法,并且詳細介紹了該算法的原理、前向傳播和反向傳播的流程。

本文選擇LeNet5 模型、VGG16 模型、ResNet18 模型和MobileNet v3 模型作為實驗模型,分別在CIFAR-10、Fer2013和GTSRB 三個公開數(shù)據(jù)集上進行實驗,并且記錄不同訓練次數(shù)時模型的top-1 作為實驗結(jié)果。實驗結(jié)果表明:對比其他池化算法,本文提出的池化算法在不同的模型和數(shù)據(jù)集上均取得了不錯的效果;本文還選擇不同分辨率的圖片對算法運行時間進行實驗,實驗結(jié)果表明:本文提出的池化算法在運算效率方面表現(xiàn)尚可。

綜上所述,得出結(jié)論:文中提出的基于高斯函數(shù)的池化算法具有可行性和泛化能力,可以用于不同情況的理論研究和應用場景中。

猜你喜歡
池化高斯卷積
基于緊湊型雙線性網(wǎng)絡(luò)的野生茵識別方法研究
無線電工程(2024年8期)2024-09-16 00:00:00
小高斯的大發(fā)現(xiàn)
基于Sobel算子的池化算法設(shè)計
卷積神經(jīng)網(wǎng)絡(luò)中的自適應加權(quán)池化
軟件導刊(2022年3期)2022-03-25 04:45:04
基于3D-Winograd的快速卷積算法設(shè)計及FPGA實現(xiàn)
天才數(shù)學家——高斯
從濾波器理解卷積
電子制作(2019年11期)2019-07-04 00:34:38
基于卷積神經(jīng)網(wǎng)絡(luò)和池化算法的表情識別研究
基于傅里葉域卷積表示的目標跟蹤算法
有限域上高斯正規(guī)基的一個注記
昌乐县| 裕民县| 七台河市| 信丰县| 汾西县| 龙陵县| 平湖市| 西宁市| 淅川县| 阿图什市| 缙云县| 拉萨市| 铁力市| 梓潼县| 彰化市| 通州区| 晋城| 尚义县| 绥棱县| 牙克石市| 延寿县| 武安市| 中西区| 马尔康县| 资源县| 景德镇市| 河南省| 永泰县| 甘德县| 平阴县| 专栏| 文登市| 普兰县| 浮梁县| 布尔津县| 凯里市| 和林格尔县| 汉寿县| 商水县| 石城县| 泗阳县|