陳英義 龔川洋 劉燁琦 方曉敏

(1.中國(guó)農(nóng)業(yè)大學(xué)信息與電氣工程學(xué)院， 北京 100083； 2.農(nóng)業(yè)農(nóng)村部信息獲取技術(shù)重點(diǎn)實(shí)驗(yàn)室， 北京 100083； 3.北京農(nóng)業(yè)物聯(lián)網(wǎng)工程技術(shù)研究中心， 北京 100083)

0 引言

魚類的計(jì)算機(jī)視覺識(shí)別一直是該領(lǐng)域的研究熱點(diǎn)，多年來，許多學(xué)者對(duì)其進(jìn)行了深入研究，尤其是基于顏色、形狀、紋理等圖像內(nèi)容的魚類識(shí)別研究較多，并取得了較大進(jìn)展。STRACHAN等[1]利用魚的形狀進(jìn)行分類。LARSEN等[2]使用線性判別分析方法(Latent dirichlet allocation，LDA)對(duì)魚種形狀和紋理特征進(jìn)行分類，準(zhǔn)確率為76%。HUANG等[3]提出BGOT(Balance guaranteed optimized tree)算法，對(duì)采集的10個(gè)魚種3 179幅圖像數(shù)據(jù)進(jìn)行分類，準(zhǔn)確率為95%。吳一全等[4]提出基于最小二乘支持向量機(jī)(Least squares support vector machine, LSSVM)的識(shí)別方法，準(zhǔn)確率為95.83%以上。杜偉東等[5]提出了基于支持向量機(jī)(Support vector machine，SVM)的決策融合魚類識(shí)別方法，準(zhǔn)確率在90%以上。

圖1 魚類圖像樣本Fig.1 Fish image samples

但是，隨著機(jī)器視覺技術(shù)的發(fā)展，數(shù)據(jù)量劇增，基于內(nèi)容的識(shí)別方法在特征提取方面存在的計(jì)算復(fù)雜、特征不可遷移性[6]等問題愈發(fā)突出。特別是對(duì)圖像中存在目標(biāo)小、他物遮擋、光線干擾等情況的圖像識(shí)別上，存在識(shí)別準(zhǔn)確率低或運(yùn)算效率低等問題，不能滿足實(shí)際需求。深度學(xué)習(xí)[7]中卷積神經(jīng)網(wǎng)絡(luò)[8,11](Convolutional neural network, CNN)的出現(xiàn)已經(jīng)徹底改變了圖像識(shí)別[8-9]、語音識(shí)別[10]以及大數(shù)據(jù)處理在農(nóng)業(yè)中的應(yīng)用方式。劉德營(yíng)等[12]提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的白背飛虱自動(dòng)識(shí)別方法；傅隆生等[13]提出了一種基于Let-Net5[14]卷積神經(jīng)網(wǎng)絡(luò)的田間多簇獼猴桃果實(shí)圖像識(shí)別深度學(xué)習(xí)模型；王璨等[15]提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)提取多尺度分層特征的田間玉米雜草識(shí)別方法，為本研究的開展提供了新思路。

本文在上述研究成果的基礎(chǔ)上，通過分析已有的VGG16[16]卷積神經(jīng)網(wǎng)絡(luò)模型良好的圖像特征提取功能，設(shè)計(jì)FTVGG16卷積神經(jīng)網(wǎng)絡(luò)，提高復(fù)雜應(yīng)用場(chǎng)景魚類目標(biāo)的識(shí)別精度，為構(gòu)建可靠、精準(zhǔn)、快速的魚類識(shí)別系統(tǒng)提供理論基礎(chǔ)。

1 材料與方法

1.1 圖像獲取

圖像數(shù)據(jù)來自大自然保護(hù)協(xié)會(huì)提供的遠(yuǎn)洋捕撈船上攝像頭拍攝的場(chǎng)景[17]。該協(xié)會(huì)提供了3 777幅帶標(biāo)注的魚類圖像和1 000幅不帶標(biāo)注的魚類圖像。部分海魚類圖像示例如圖1所示，圖像包含8類目標(biāo)，其中7類是不同種類的海魚(目標(biāo))和1類不包括魚類目標(biāo)的背景，每幅圖像只屬于某一類別，構(gòu)建的FTVGG16模型需要識(shí)別出每幅圖像中包含的魚類目標(biāo)。

1.2 圖像預(yù)處理

在深度學(xué)習(xí)領(lǐng)域，通過對(duì)圖像進(jìn)行預(yù)處理可以增強(qiáng)數(shù)據(jù)樣本，進(jìn)而提高模型性能。本文圖像預(yù)處理主要包括：

(1)圖像像素值處理，即將JPG格式的圖像轉(zhuǎn)換為RGB三通道的矩陣向量存儲(chǔ)。映射圖像像素值從[0,255]到[0,1]，這樣處理可以使模型在使用激活函數(shù)時(shí)，避免神經(jīng)元進(jìn)入“死區(qū)”而導(dǎo)致神經(jīng)元失活，最終使卷積神經(jīng)網(wǎng)絡(luò)獲得比較快的收斂速度。

(2)圖像空間尺度變換，即將圖像進(jìn)行隨機(jī)縮放、平移、旋轉(zhuǎn)、鏡像、隨機(jī)裁剪。

(3)圖像均值與方差均衡，即樣本歸一化。圖像預(yù)處理的結(jié)果示例如圖2所示。預(yù)處理后圖像尺寸為600像素×600像素。

圖2 魚類圖像預(yù)處理示例Fig.2 Illustration of fish image processing

1.3 試驗(yàn)方法設(shè)計(jì)

模型訓(xùn)練采用的環(huán)境是Ubuntu 16.04LTS操作系統(tǒng)、運(yùn)行內(nèi)存為16GB、NVIDIA 1080 Ti顯卡GPU、并行CUDA[18]編程平臺(tái)，Keras[19]的深度學(xué)習(xí)框架和Python 3.6.5編程語言。試驗(yàn)方法設(shè)計(jì)包括模型訓(xùn)練、測(cè)試、對(duì)比驗(yàn)證。

(1)模型訓(xùn)練：經(jīng)過預(yù)處理后的圖像輸入到卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，保存訓(xùn)練后的模型參數(shù)與結(jié)構(gòu)。模型訓(xùn)練采用k折交叉驗(yàn)證的方式，k取5，將整個(gè)數(shù)據(jù)集的1/k作為測(cè)試集，每個(gè)模型訓(xùn)練k次，測(cè)試k次，誤差取k次的平均值，選擇誤差最小的模型。5折交叉驗(yàn)證示意圖如圖3所示。數(shù)據(jù)集的劃分使用Python腳本程序，提供劃分?jǐn)?shù)據(jù)集的比例，程序自動(dòng)切分?jǐn)?shù)據(jù)集以及隨機(jī)打亂樣本。模型每次訓(xùn)練都會(huì)隨機(jī)地從數(shù)據(jù)集中劃分80%的訓(xùn)練集和20%的驗(yàn)證集。2 953幅圖像作為訓(xùn)練集，用來訓(xùn)練模型，741幅圖像作為驗(yàn)證集，用于調(diào)優(yōu)模型參數(shù)、驗(yàn)證模型，1 000幅不帶標(biāo)注的圖像作為測(cè)試集，用來評(píng)價(jià)模型在未知數(shù)據(jù)集上的泛化性能，數(shù)據(jù)集劃分示例如表1所示。

圖3 5折交叉驗(yàn)證數(shù)據(jù)集劃分Fig.3 Five cross validation data set split

(2)模型測(cè)試：將測(cè)試圖像輸入到模型，獲取輸出分類結(jié)果，選取概率最大的目標(biāo)。基于5折交叉驗(yàn)證方法，最后的預(yù)測(cè)結(jié)果為5次預(yù)測(cè)結(jié)果的平均值。

表1 訓(xùn)練和驗(yàn)證數(shù)據(jù)集Tab.1 Summarization training set and validation set

(3)對(duì)比驗(yàn)證：為驗(yàn)證本模型的識(shí)別效果，本文分別選擇VGG16、VGG19[16]、ResNet50[20]進(jìn)行對(duì)比。

2 FTVGG16卷積神經(jīng)網(wǎng)絡(luò)的魚類個(gè)體識(shí)別

2.1 FTVGG16網(wǎng)絡(luò)模型的構(gòu)建

FTVGG16網(wǎng)絡(luò)由5個(gè)卷積塊、3個(gè)全連接層、1個(gè)softmax層構(gòu)成。每個(gè)卷積塊由卷積層Conv、批規(guī)范層(Batch normalization,BN)[21]、池化層Pool組成，每個(gè)卷積塊中的卷積層數(shù)和卷積核的參數(shù)不同。例如，在第1個(gè)卷積塊中，“Conv1_64×2” 代表第1個(gè)卷積層中有64個(gè)卷積核，“×2”代表對(duì)上一層的輸出進(jìn)行兩次相同的卷積操作運(yùn)算，卷積后的輸出進(jìn)入BN層，BN層的輸出進(jìn)入激活層，激活層的輸出進(jìn)入最大池化層Pool，后續(xù)卷積塊進(jìn)行相同的操作。圖像作為卷積神經(jīng)網(wǎng)絡(luò)的輸入，依次經(jīng)過卷積層、批規(guī)范層、池化層、全連接層，最后的輸出經(jīng)過分類的softmax層進(jìn)行概率空間映射，輸出每種魚的置信度，從而給出分類結(jié)果，F(xiàn)TVGG16網(wǎng)絡(luò)架構(gòu)示例如圖4所示。

圖4 FTVGG16網(wǎng)絡(luò)架構(gòu)Fig.4 Neural network framework of FTVGG16

2.1.1卷積層設(shè)計(jì)

FTVGG16卷積神經(jīng)網(wǎng)絡(luò)有13個(gè)卷積層，每個(gè)卷積層中的卷積核尺寸是3×3，卷積核的移動(dòng)步幅為1個(gè)像素，像素填充為“0”值填充邊界，這樣處理能夠使卷積前后圖像的尺寸保持不變，盡量讓卷積核感受圖像的邊緣信息，每個(gè)卷積層中的卷積核數(shù)量不固定，卷積核的數(shù)量依次為64、128、256、512。

2.1.2批規(guī)范層設(shè)計(jì)

FTVGG16卷積神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過程中每層輸入分布一直在改變, 通過在FTVGG16網(wǎng)絡(luò)每個(gè)卷積層后面添加批規(guī)范層，使得激活值輸出的各個(gè)維度的均值為0，方差為1，尺度縮放和平移操作為了還原最初的輸入，批規(guī)范化有助于規(guī)范化模型，使卷積神經(jīng)網(wǎng)絡(luò)更容易學(xué)習(xí)到數(shù)據(jù)的分布規(guī)律，計(jì)算公式為

(1)

(2)

(3)

(4)

式中xi——第i個(gè)訓(xùn)練樣本

m——批量化數(shù)目

μB——樣本均值σB——樣本方差

ε——誤差項(xiàng)

yi——線性映射以后的值

γ、β——模型學(xué)習(xí)參數(shù)

BNγ，β(xi)——輸出

2.1.3池化層設(shè)計(jì)

FTVGG16卷積神經(jīng)網(wǎng)絡(luò)有5個(gè)池化層，這里使用最大池化層max-pooling，池化層主要用于減少圖像維度的特征值。池化層的卷積核尺寸是2×2，卷積核的移動(dòng)步長(zhǎng)為2像素，像素不填充，圖像經(jīng)過max-pooling 后尺寸會(huì)減小到原來的一半。

2.1.4全連接層設(shè)計(jì)

FTVGG16網(wǎng)絡(luò)的全連接層為Fc1、Fc2、Fc3、softmax，全連接層輸出的神經(jīng)元個(gè)數(shù)分別為4 096、4 096、1 000、8。Fc3全連接層的輸出經(jīng)過softmax層的映射，將實(shí)值映射為0到1之間的數(shù)值，即等價(jià)于輸出每個(gè)類別的概率。

2.1.5Dropout層設(shè)計(jì)

Dropout[22]是指在模型訓(xùn)練過程中，對(duì)于神經(jīng)元按照一定的概率暫時(shí)從網(wǎng)絡(luò)中丟棄。對(duì)于隨機(jī)梯度下降來說，由于是隨機(jī)丟棄，每批次梯度下降(Batch gradient descent,BGD)都在訓(xùn)練不同的網(wǎng)絡(luò)。Dropout在神經(jīng)網(wǎng)絡(luò)訓(xùn)練的過程中隨機(jī)拋棄隱藏層的神經(jīng)元，斷開神經(jīng)元的連接，在神經(jīng)網(wǎng)絡(luò)反向傳播更新參數(shù)時(shí)，斷開的神經(jīng)元不參與參數(shù)的更新。該技術(shù)能夠有效地防止神經(jīng)網(wǎng)絡(luò)過擬合。分別在全連接層Fc1、Fc2后面加入Dropout層，Dropout參數(shù)設(shè)置為0.5，表示有一半的神經(jīng)元不參與訓(xùn)練。

綜上，設(shè)計(jì)FTVGG16卷積層網(wǎng)絡(luò)參數(shù)如表2所示。

2.2 FTVGG16網(wǎng)絡(luò)的優(yōu)化

2.2.1FTVGG16網(wǎng)絡(luò)參數(shù)的優(yōu)化

FTVGG16采用Leaky-ReLU[23]激活函數(shù)，它的隨機(jī)梯度下降[24](Stochastic gradient descent,SGD)收斂速度比sigmod、tanh 快，因?yàn)槭蔷€性的，而且只需要一個(gè)閾值就可以得到激活值，不需要進(jìn)行復(fù)雜的運(yùn)算。

2.2.2損失函數(shù)優(yōu)化

由于識(shí)別的是多類別魚類，故使用多類別交叉熵[25]作為損失函數(shù)，其表達(dá)式為

表2 FTVGG16卷積層網(wǎng)絡(luò)參數(shù)Tab.2 Layers parameters summarization of FTVGG16’s convolutional networks

(5)

式中l(wèi)——損失函數(shù)N——樣本總數(shù)

tnk——標(biāo)注的真實(shí)值第n個(gè)樣本的第k個(gè)屬性的值，采用one-hot編碼

ynk——卷積神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)值第n個(gè)樣本的第k個(gè)屬性的值

防止模型過擬合，在損失函數(shù)加上正則化項(xiàng)，最終的損失函數(shù)表達(dá)式為

(6)

式中wi,j——第i層神經(jīng)元與第j層神經(jīng)元全連接權(quán)重

α——調(diào)節(jié)因子 ?——賦值操作

2.3 FTVGG16網(wǎng)絡(luò)模型的訓(xùn)練過程

FTVGG16卷積神經(jīng)網(wǎng)絡(luò)采用Adam[26](Adaptive moment estimation)優(yōu)化算法進(jìn)行訓(xùn)練。Adam利用梯度的一階矩估計(jì)和二階矩估計(jì)動(dòng)態(tài)調(diào)整每個(gè)參數(shù)的學(xué)習(xí)率，模型訓(xùn)練過程如圖5所示。

圖5 FTVGG16訓(xùn)練流程圖Fig.5 Training flow chart of FTVGG16

系統(tǒng)訓(xùn)練過程步驟如下：

(1)利用Keras框架中的生成器函數(shù)，設(shè)置批尺寸batch_size為32，通過數(shù)據(jù)流的形式，從訓(xùn)練樣本中每次提取32個(gè)樣本參與訓(xùn)練，初始學(xué)習(xí)率learning_rate設(shè)置為0.000 01，步長(zhǎng)step設(shè)置為0.001，訓(xùn)練總輪數(shù)epoch設(shè)置為50，每次通過生成器從內(nèi)存中取出batch_size個(gè)樣本參與一次梯度下降的參數(shù)更新，交叉熵?fù)p失函數(shù)l中的調(diào)節(jié)因子設(shè)置為0.4，模型訓(xùn)練參數(shù)值如表3所示。

表3 FTVGG16模型訓(xùn)練參數(shù)Tab.3 FTVGG16 model training parameters values

(2)在訓(xùn)練集上進(jìn)行訓(xùn)練，并且在驗(yàn)證集上獲取測(cè)試結(jié)果。模型訓(xùn)練使用了“早?！奔夹g(shù)[27]防止過擬合，隨著迭代輪數(shù)的增加，如果發(fā)現(xiàn)驗(yàn)證誤差上升，則停止訓(xùn)練，將停止之后的權(quán)重作為模型的最終參數(shù)。

(3)神經(jīng)網(wǎng)絡(luò)通過前向傳播得到預(yù)測(cè)值，計(jì)算預(yù)測(cè)值和實(shí)際值誤差，如果誤差滿足系統(tǒng)所設(shè)閾值，終止訓(xùn)練迭代；否則繼續(xù)進(jìn)行訓(xùn)練，直至達(dá)到系統(tǒng)設(shè)置訓(xùn)練輪數(shù)上限，停止訓(xùn)練。

(4)返回步驟(1)，循環(huán)訓(xùn)練。

3 測(cè)試結(jié)果與分析

3.1 FTVGG16識(shí)別結(jié)果分析

FTVGG16模型經(jīng)過24輪訓(xùn)練，在訓(xùn)練集上的準(zhǔn)確率為99.43%，在驗(yàn)證集上的準(zhǔn)確率為95.89%，模型訓(xùn)練到第30輪時(shí)，訓(xùn)練集上的誤差幾乎降至零，驗(yàn)證集上的誤差也接近0.2，說明設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)和優(yōu)化算法可以使模型快速收斂，從而達(dá)到較高的準(zhǔn)確率和較低的誤差。此外，模型在驗(yàn)證集上的誤差沒有上升，說明設(shè)計(jì)的FTVGG16模型沒有出現(xiàn)過擬合，能夠較優(yōu)進(jìn)行圖像識(shí)別，F(xiàn)TVGG16模型在訓(xùn)練集和驗(yàn)證集上的準(zhǔn)確率、誤差如圖6所示。FTVGG16模型在訓(xùn)練集、驗(yàn)證集上的測(cè)試結(jié)果如表4所示。測(cè)試結(jié)果包括模型的準(zhǔn)確率、誤差、訓(xùn)練輪數(shù)和每輪訓(xùn)練時(shí)間。

圖6 FTVGG16在訓(xùn)練集和驗(yàn)證集上訓(xùn)練的準(zhǔn)確率和誤差Fig.6 Accuracy and error of FTVGG16 on training set and validation set

數(shù)據(jù)集準(zhǔn)確率/%誤差訓(xùn)練輪數(shù)每輪訓(xùn)練時(shí)間/s訓(xùn)練集99.430.03462499.40驗(yàn)證集95.890.14722499.40

3.2 FTVGG16與其他模型對(duì)比

為了驗(yàn)證FTVGG16模型的識(shí)別效果，對(duì)比了其他卷積神經(jīng)網(wǎng)絡(luò)模型。對(duì)比方法均采用5折交叉驗(yàn)證法，比較的預(yù)測(cè)結(jié)果為5次預(yù)測(cè)結(jié)果取平均。不同模型(FTVGG16、VGG16、VGG19、ResNet50)在訓(xùn)練集、驗(yàn)證集上的測(cè)試結(jié)果如表5所示。結(jié)果表明：FTVGG16模型在訓(xùn)練集上的準(zhǔn)確率為99.43%，誤差為0.034 6；在驗(yàn)證集上的準(zhǔn)確率為95.89%，誤差為0.147 2，在訓(xùn)練集和驗(yàn)證集上的平均準(zhǔn)確率為97.66%，明顯高于其他模型的準(zhǔn)確率。

3.3 FTVGG16卷積神經(jīng)網(wǎng)絡(luò)可視化分析

3.3.1FTVGG16卷積神經(jīng)網(wǎng)絡(luò)特征圖可視化

卷積神經(jīng)網(wǎng)絡(luò)中的卷積操作能夠有效提取圖像的特征[28]，如圖7所示。不同卷積層輸出的特征由具體到抽象，Conv1_2和Conv2_2層的激活值輸出仍保留大部分原始圖像信息，靠后的Conv3_3、Conv4_3層輸出更多地表達(dá)圖像的線條、輪廓等抽象特征，最后的Conv5_3僅僅保留了圖像的高階像素信息。通過可視化卷積層的輸出，有助于理解卷積神經(jīng)網(wǎng)絡(luò)的工作原理，從而更好地改善模型性能。

表5 不同模型在訓(xùn)練集、驗(yàn)證集上的測(cè)試結(jié)果Tab.5 Test results of different models on training set and validation set

3.3.2FTVGG16卷積神經(jīng)網(wǎng)絡(luò)卷積核特征可視化

卷積神經(jīng)網(wǎng)絡(luò)中的卷積核可以提取圖像不同層次的特征，如圖8所示。Conv1_2層中的卷積核可以提取圖像像素特征，Conv2_2層中的卷積核可以提取圖像的邊緣特征，這種邊緣特征經(jīng)過組合可以很好地描述圖像的邊、角、線條、輪廓特征，靠后的Conv3_3、Conv4_3層中的卷積核更多地提取圖像的紋理特征，最后的Conv5_1、Conv5_2中的卷積核通過組合靠前的卷積核提取的特征，重構(gòu)出圖像的形狀特征。通過可視化卷積核的輸出，可以更好地研究卷積核如何從圖像中提取各個(gè)層次的抽象特征，進(jìn)而更好地理解卷積神經(jīng)網(wǎng)絡(luò)的工作原理。

圖7 FTVGG16部分卷積層輸出可視化Fig.7 FTVGG16 partial convolution layers output visualization

圖8 FTVGG16部分卷積核輸出可視化Fig.8 FTVGG16 partial convolution kernels output visualization

3.4 FTVGG16卷積神經(jīng)網(wǎng)絡(luò)在Web中的部署應(yīng)用

本文使用Python語言編寫的輕量級(jí)Web應(yīng)用框架Flask[29]，將訓(xùn)練的深度學(xué)習(xí)模型FTVGG16遷移到實(shí)際生產(chǎn)環(huán)境，F(xiàn)lask 集成了WSGI(服務(wù)器網(wǎng)關(guān)接口)，為Python應(yīng)用程序或框架和Web服務(wù)器之間提供接口，同時(shí)Flask也集成了Jinja2模板引擎，能夠快速搭建一個(gè)基于Web的應(yīng)用。Fish identify 魚類識(shí)別系統(tǒng)在部分圖像上的測(cè)試結(jié)果如圖9所示，F(xiàn)ish identify的魚類平均識(shí)別精度達(dá)到了98%以上，表明系統(tǒng)能夠滿足實(shí)際使用的要求。

圖9 魚類圖像的識(shí)別示例 Fig.9 Illustration of fish image recognition

4 結(jié)論

(1)從深度學(xué)習(xí)的角度，探討了卷積神經(jīng)網(wǎng)絡(luò)在魚類識(shí)別中的應(yīng)用，通過分析已有的VGG16卷積神經(jīng)網(wǎng)絡(luò)模型良好的圖像特征提取能力，設(shè)計(jì)了FTVGG16卷積神經(jīng)網(wǎng)絡(luò)。FTVGG16卷積神經(jīng)網(wǎng)絡(luò)由卷積層、批規(guī)范層、池化層、Dropout層、全連接層，softmax層組成，采用帶有約束的正則權(quán)重項(xiàng)作為模型的損失函數(shù)，并使用Adam優(yōu)化算法對(duì)模型的參數(shù)進(jìn)行更新。FTVGG16網(wǎng)絡(luò)在很大程度上能夠克服訓(xùn)練的過擬合，收斂速度明顯加快，訓(xùn)練時(shí)間明顯減少，針對(duì)魚類目標(biāo)很小、背景干擾很強(qiáng)的圖像，F(xiàn)TVGG16模型平均準(zhǔn)確率為97.66%，對(duì)部分魚的平均識(shí)別準(zhǔn)確率達(dá)到了99.43%，模型具有較高的識(shí)別精度和魯棒性。

(2)雖然FTVGG16模型在識(shí)別精度上達(dá)到了預(yù)期的效果，但是，實(shí)際運(yùn)算過程中需要保存層與層之間的連接權(quán)重，會(huì)造成內(nèi)存的負(fù)擔(dān)，增大了計(jì)算成本，限制了系統(tǒng)響應(yīng)?？梢赃M(jìn)一步從深度模型壓縮加速方面進(jìn)行改進(jìn)，主要從模型參數(shù)修剪和共享、低秩分解、遷移/壓縮卷積濾波器和知識(shí)精煉[30]方面壓縮模型，進(jìn)而訓(xùn)練一個(gè)更加緊湊的神經(jīng)網(wǎng)絡(luò)，以再現(xiàn)大型網(wǎng)絡(luò)的輸出結(jié)果。