王輝 張健 杭偉

（保山學(xué)院 云南省保山市 678000）

1 引言

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks,CNN）是一類包含卷積計(jì)算且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)（Feedforward Neural Networks），是深度學(xué)習(xí)（deep learning）的代表算法之一[1-3]。卷積神經(jīng)網(wǎng)絡(luò)具有表征學(xué)習(xí)（representation learning）能力，能夠按其階層結(jié)構(gòu)對(duì)輸入信息進(jìn)行平移不變分類（shift-invariant classification），因此也被稱為“平移不變?nèi)斯ど窠?jīng)網(wǎng)絡(luò)（Shift-Invariant Artificial Neural Networks,SIANN）”[4]。只需在卷積神經(jīng)網(wǎng)絡(luò)傳入數(shù)據(jù)，就可以根據(jù)數(shù)據(jù)表現(xiàn)出圖片的特征，從而對(duì)比圖片，分類出我們需要的羚羊圖片。這種快速而有效的提取有價(jià)值的信息的能力就成了深度學(xué)習(xí)的重中之重，擁有著廣闊的實(shí)用價(jià)值與研究意義。

2 網(wǎng)絡(luò)模型

2.1 人工神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks，簡寫為ANNs）[5]是一種模仿人類的神經(jīng)網(wǎng)絡(luò)的行為特征來進(jìn)行分布式并行信息處理的算法數(shù)學(xué)模型。這項(xiàng)技術(shù)就是學(xué)習(xí)及模仿動(dòng)物的一些神經(jīng)網(wǎng)絡(luò)行為，將信息進(jìn)行分析學(xué)習(xí)以及存儲(chǔ)的智能信息網(wǎng)絡(luò)[6-7]。目前神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺、機(jī)器人、模式識(shí)別、自動(dòng)控制等方面都有很廣泛的應(yīng)用。但人工神經(jīng)網(wǎng)絡(luò)卻不太適合用于圖像識(shí)別，主要有以下幾個(gè)不足：

（1）參數(shù)過多，在CIFAR-10[8-9]數(shù)據(jù)集中，圖像只有大小為32*32*3（W=32，H=32，RGB），因此在正常的神經(jīng)網(wǎng)絡(luò)中的第一隱藏層中的神經(jīng)元，單個(gè)完全連接的神經(jīng)元就將具有32*32*3=3072 個(gè)權(quán)重。這種完全連接無疑是很浪費(fèi)資源的，而且如果有大量的參數(shù)會(huì)很快的導(dǎo)致過度配套從而使效率降低。

（2）未能利用像素間的位置信息。當(dāng)完成每個(gè)連接權(quán)重的學(xué)習(xí)之后，會(huì)發(fā)現(xiàn)有大量權(quán)重的值都是很小的（也就是這些連接其實(shí)無關(guān)緊要），花費(fèi)大量資源在不重要的權(quán)重上，這種學(xué)習(xí)效率是極低的。

（3）網(wǎng)絡(luò)層數(shù)會(huì)限制其表訴能力，網(wǎng)絡(luò)層數(shù)越多，神經(jīng)網(wǎng)絡(luò)的表達(dá)能力就會(huì)越強(qiáng)，但全連接層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)并不能得到層數(shù)很多的神經(jīng)網(wǎng)絡(luò)，會(huì)限制其表達(dá)能力。

2.2 卷積神經(jīng)網(wǎng)絡(luò)

當(dāng)卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于圖像識(shí)別時(shí)，為了達(dá)到更好的學(xué)習(xí)效果，會(huì)將重要的參數(shù)進(jìn)行保留,冗余的參數(shù)進(jìn)行舍棄。卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)包括了輸入層、卷積層(convolutional layer)、池化層(pooling layer)、全連接層及輸出層構(gòu)成。卷積層、和池化層會(huì)存在若干個(gè),其本質(zhì)就是交替設(shè)置，這個(gè)過程會(huì)不斷循環(huán)。在卷積神經(jīng)網(wǎng)絡(luò)之中，網(wǎng)絡(luò)中的神經(jīng)元進(jìn)行局部連接的方式是每個(gè)神經(jīng)元都和上一層與下一層進(jìn)行相連，然后通過對(duì)應(yīng)的連接權(quán)值和局部輸入進(jìn)行加權(quán)求和的方式，最后再加上偏置值就能夠得到該神經(jīng)元輸入值,這個(gè)過程就是卷積的過程。

3 卷積神經(jīng)網(wǎng)絡(luò)模型構(gòu)建

本次論文就是搭建卷積神經(jīng)網(wǎng)絡(luò)中的LeNet-5 網(wǎng)絡(luò)模型，由輸入層、卷積層、池化層、全連接層和輸出層所構(gòu)成。CNN 卷積神經(jīng)網(wǎng)絡(luò)是由具有學(xué)習(xí)權(quán)重和偏差的神經(jīng)元所組成的，每個(gè)神經(jīng)元都會(huì)接收一些輸入，從而執(zhí)行點(diǎn)積操作，且能以非線性的方法跟隨。此外在完全連接層上仍然具有損失函數(shù)，例如SVM / Softmax。CNN 卷積神經(jīng)網(wǎng)絡(luò)的每一層其實(shí)都通過可微分的函數(shù)[10-11]，將一個(gè)激活的值轉(zhuǎn)換為另一個(gè)，在池化層之前一般會(huì)有個(gè)激活函數(shù)，我們將堆疊這些層，形成一個(gè)完整的架構(gòu)。

3.1 卷積層

卷積神經(jīng)網(wǎng)絡(luò)的卷積層一共使用了兩次卷積，需要三層輸入。第一次卷積用的是5*5 的卷積核，輸入3*32*32 的圖片，所有卷積核都需要對(duì)三層圖片都進(jìn)行特征提取，第一次卷積后，得到一組16*28*28 的特征圖；再進(jìn)行第二次卷積，得到32*10*10 的特征圖。在操作之前，由于每次卷積后會(huì)改變圖像大小，導(dǎo)致遺漏某些重要圖像特征，需對(duì)圖片進(jìn)行填充，為了在卷積核提取邊緣特征能更清楚的提取到邊緣特征。

卷積層是卷積神經(jīng)網(wǎng)絡(luò)的核心，它需要完成大部分的計(jì)算工作。因此需要更多的參數(shù)進(jìn)行校驗(yàn)，這些參數(shù)由一組可以學(xué)習(xí)的過濾器組成，在正向傳播時(shí)過濾器沿著圖片的高度和寬度進(jìn)行特征掃描，并經(jīng)過計(jì)算后得到了一個(gè)二維激活圖，展示出該部分的特征，在經(jīng)過激活函數(shù)得到新的特征圖。

3.2 ReLU激活函數(shù)

當(dāng)CNN 運(yùn)行時(shí)，線性模型對(duì)圖像特征的表述能力不足，需要加入非線性因素—激活函數(shù)提高圖像特征的表達(dá)能力。RELU 激活函數(shù)能很好的解決梯度耗散問題，在本次實(shí)驗(yàn)過程中，采用ReLU激活函數(shù)。其目的就是通過加入非線性因素，以此縮短訓(xùn)練時(shí)間以及多層次展現(xiàn)模型的表達(dá)效果。

激活函數(shù)是把“激活的神經(jīng)元的特征”通過函數(shù)的形式把圖像特征保存并映射出去。

3.3 池化層

池化層的主要作用就是對(duì)輸入的圖像進(jìn)行壓縮操作。例如4*4的圖像，采用2*2 過濾器，步幅為2 取圖像中對(duì)應(yīng)位置的最大值，變成2*2 的特征圖。最大池化的實(shí)際作用就是當(dāng)在過濾器中出現(xiàn)了這個(gè)特征的時(shí)候，他就自動(dòng)的保留這個(gè)最大的數(shù)字；當(dāng)沒有特征時(shí)，保留的數(shù)字也很小，那這個(gè)數(shù)字也就是最大池化。此圖就是在2*2的區(qū)域內(nèi)，取數(shù)值最大數(shù)。例如在本次實(shí)驗(yàn)中就進(jìn)行了兩次池化，分別對(duì)28*28 和10*10 的特征圖進(jìn)行池化，池化后得到14*14 和5*5 的特征圖。

3.4 全連接層

卷積操作就是對(duì)輸入圖像進(jìn)行局部特征提取，全連接就是將提取到的特征組合起來，通過局部組成全局，可以看到圖片的整體特征。全連通層的每個(gè)節(jié)點(diǎn)與前一層的所有節(jié)點(diǎn)相連，用于整合從前一層提取的特征。全連接是一個(gè)矩陣乘法，相當(dāng)于對(duì)特征空間進(jìn)行變換，從而提取和整合有用的信息。通過對(duì)激活函數(shù)進(jìn)行非線性映射，多層全連通層理論上能夠模擬任何非線性變換

3.5 基于CNN的羚羊識(shí)別模型技術(shù)原理

為了保證實(shí)驗(yàn)的準(zhǔn)確性與高效性，我們就需要先收集到大量的圖像數(shù)據(jù)用于訓(xùn)練和測(cè)試，若采用傳統(tǒng)查詢保存操作必將消耗大量的時(shí)間與精力，因此采用python 的爬蟲技術(shù)[12]來減少工作量。

定義訓(xùn)練數(shù)據(jù)之后需要構(gòu)建CNN 網(wǎng)絡(luò)模型結(jié)構(gòu)，卷積神經(jīng)網(wǎng)絡(luò)的特點(diǎn)在于池化層和卷積層的引入。首先是卷積層，具體步驟如下：

（1）將圖片分解為一系列有重疊的像素塊。

（2）之后將每個(gè)像素塊輸入一個(gè)簡單的、單層的神經(jīng)網(wǎng)路，保持權(quán)重不變，這一步將像素塊集轉(zhuǎn)化成一個(gè)矩陣。保持每塊像素塊都比較小，處理所需的網(wǎng)絡(luò)也可以保持可控。

（3）之后輸出值會(huì)被排成矩陣，以數(shù)據(jù)形式表示照片中每個(gè)區(qū)域的內(nèi)容，不同維度分別代表顏色、寬度、和高度通道。

之后是池化層，池化層對(duì)3 維或4 維矩陣在空間維度上進(jìn)行下采樣。處理結(jié)果是池化陣列，其中只包含重要的圖像特征，且舍棄冗余部分，能夠最小化計(jì)算成本，同時(shí)也能避免后期識(shí)別出現(xiàn)過擬合問題。

經(jīng)過池化和卷積操作，輸入的尺寸被大幅減小，能夠使用神經(jīng)網(wǎng)絡(luò)進(jìn)行處理，同時(shí)能保持?jǐn)?shù)據(jù)最重要特性的東西。最后一步的輸出代表著系統(tǒng)對(duì)圖片中要素判斷的確信度。

4 實(shí)驗(yàn)結(jié)果分析

運(yùn)行程序加載數(shù)據(jù)集后，文件夾中的圖片被調(diào)用，圖像被分類為有羚羊和沒有羚羊的兩個(gè)分類，在Visdom 中以0 與1 區(qū)分開來，并且圖片的路徑與分類信息保存到images.csv 的文件之中，以便主程序運(yùn)行時(shí)調(diào)用。當(dāng)主程序運(yùn)行后，會(huì)將images.csv 中的數(shù)據(jù)加載進(jìn)所構(gòu)建的卷積神經(jīng)網(wǎng)絡(luò)模型中，并進(jìn)行機(jī)器學(xué)習(xí)，在經(jīng)過一段時(shí)間的訓(xùn)練后就能得出羚羊圖像識(shí)別模型。從實(shí)驗(yàn)結(jié)果可知函數(shù)一開始得出的計(jì)算真實(shí)值與預(yù)測(cè)值之間有較大的差異，但在神經(jīng)網(wǎng)絡(luò)的多次卷積優(yōu)化下不斷減少，當(dāng)Loss 函數(shù)達(dá)到最小值，即損失達(dá)到最小時(shí)網(wǎng)絡(luò)模型得到最優(yōu)解，其準(zhǔn)確率為0.97。

5 總結(jié)

隨著人工智能的高速發(fā)展，機(jī)器人在很多領(lǐng)域已經(jīng)取代人類。如此次所研究的圖像識(shí)別，卷積神經(jīng)網(wǎng)絡(luò)只需要對(duì)模型的構(gòu)建，訓(xùn)練之后就可以很快對(duì)圖片進(jìn)行分類，大大減少了人類的時(shí)間和精力。但是最開始圖像準(zhǔn)確率并不是很高，這就需要進(jìn)行參數(shù)和模型結(jié)構(gòu)的優(yōu)化以提高對(duì)圖像的識(shí)別率，因此將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于圖像識(shí)別中具有重要意義。