高明宇 倪海明 張博洋 陳劍峰 戚大偉 牟洪波

摘 要：為了能夠?qū)δ竟?jié)缺陷進(jìn)行準(zhǔn)確識(shí)別，減少木材的浪費(fèi)，本研究在Pytorch深度學(xué)習(xí)框架的基礎(chǔ)上，提出一種基于GoogLeNet卷積神經(jīng)網(wǎng)絡(luò)的木節(jié)缺陷識(shí)別方法。該方法利用GoogLeNet網(wǎng)絡(luò)對(duì)朽節(jié)、干節(jié)和死節(jié)等7種云杉木節(jié)缺陷的RGB圖像進(jìn)行自動(dòng)提取特征，不需要對(duì)圖像進(jìn)行預(yù)處理，即可實(shí)現(xiàn)分類識(shí)別，采用全局平均池化的方法來(lái)代替全連接層，減少網(wǎng)絡(luò)的參量。同時(shí)為了防止網(wǎng)絡(luò)的過(guò)擬合，在網(wǎng)絡(luò)中使用Dropout機(jī)制。實(shí)驗(yàn)結(jié)果表明，利用該卷積神經(jīng)網(wǎng)絡(luò)對(duì)7種木節(jié)缺陷的識(shí)別率可以達(dá)到95.42%，在木節(jié)缺陷圖像處理中，GoogLeNet模型能準(zhǔn)確有效地識(shí)別木節(jié)缺陷。

關(guān)鍵詞：卷積神經(jīng)網(wǎng)絡(luò);GoogLeNet;木節(jié)缺陷圖像;缺陷識(shí)別

中圖分類號(hào)：S781.1; TP312??? 文獻(xiàn)標(biāo)識(shí)碼：A?? 文章編號(hào)：1006-8023（2021）04-0066-05

A Method for Recognizing Wood Knots Defects Based on GoogLeNet

Convolutional Neural Network

GAO Mingyu， NI Haiming， ZHANG Boyang， CHEN Jianfeng， QI Dawei* ， MU Hongbo*

（College of Science， Northeast Forestry University， Harbin 150040， China）

Abstract：In order to recognize the knots accurately and reduce the waste of wood， a method of recognizing the knots based on GoogLeNet convolution neural network based on the deep learning framework of Pytorch was proposed in this paper. This method used GoogLeNet network to extract features automatically from RGB images of seven kinds of spruce knots， such as decayed knots， dry knots and encased knots et al， so that classification and recognition can be realized without image preprocessing. Global average pooling was used to replace the fully connected layer， and the network parameters can be reduced. At the same time， in order to prevent over-fitting， Dropout mechanism was used in the network. The experimental results showed that， the recognition accuracy of seven kinds of knot defects using the convolutional neural network can reach 95.42%， and the GoogLeNet can identify the knots accurately and effectively in the image processing of wood knot defects.

Keywords：Convolutional neural network; GoogLeNet; wood knot defect image; defect recognition

收稿日期：2021-03-12

基金項(xiàng)目：中央高?；究蒲袠I(yè)務(wù)費(fèi)專項(xiàng)資金資助項(xiàng)目（2572020BC07）;國(guó)家自然科學(xué)基金項(xiàng)目（31570712）

第一作者簡(jiǎn)介：高明宇，碩士研究生。研究方向?yàn)閳D像處理與模式識(shí)別。E-mail： gmy0523@foxmail.com

*通信作者：戚大偉，博士，教授。研究方向?yàn)樯飯D像信息處理與識(shí)別。E-mail： qidw9806@126.com

*并列通信作者：牟洪波，博士，副教授。研究方向?yàn)樯飯D像信息處理與識(shí)別。E-mail： mhb-506@163.com

引文格式：高明宇，倪海明，張博洋，等. 一種基于GoogLeNet卷積神經(jīng)網(wǎng)絡(luò)的木節(jié)缺陷識(shí)別方法[J].森林工程，2021，37（4）：66-70.

GAO M Y， NI H W， ZHANG B Y， et al. A method for recognizing wood knots defects based on GoogLeNet convolutional neural network [J]. Forest Engineering，2021，37（4）：66-70.

0 引言

森林資源作為地球生態(tài)的一部分，具有不可替代性[1]。木材缺陷的分類識(shí)別對(duì)于有效降低森林資源的消耗，提高木材加工業(yè)的自動(dòng)化水平具有潛在的意義。

數(shù)字圖像處理與人工智能算法相結(jié)合是木節(jié)缺陷檢測(cè)與分類的常用方法。在深度學(xué)習(xí)被廣泛使用之前，基于固定特征提取的分類識(shí)別技術(shù)一直受到廣泛的應(yīng)用。這些方法主要有Hu不變矩（Hu moment invariants）[2]、梯度直方圖特征 （Histogram of Oriented Gradient，HOG）[3-4]、局部二值特征（Local Binary Pattern，LBP）[4]、灰度共生矩陣（Gray-level Co-occurrence Matrix，GLCM）[5]和尺度不變特征（Scale-invariant feature transform，SIFT）[6]等。盡管這些方法在計(jì)算機(jī)硬件性能不強(qiáng)的情況下，具有精準(zhǔn)度高、資源利用率低等優(yōu)點(diǎn)，但是這些方法通常需要人為的方式進(jìn)行設(shè)計(jì)和提取，大大降低了識(shí)別的效率，不利于將成果向?qū)嶋H應(yīng)用轉(zhuǎn)化。卷積神經(jīng)網(wǎng)絡(luò)由于其具有自學(xué)習(xí)的能力，可以通過(guò)大量的數(shù)據(jù)進(jìn)行訓(xùn)練，從而自動(dòng)提取到圖像中的特征。同時(shí)由于當(dāng)前計(jì)算機(jī)硬件的提升，卷積神經(jīng)網(wǎng)絡(luò)可以更快速地進(jìn)行訓(xùn)練，極大地提高了自動(dòng)化識(shí)別的效率。

因此，本研究提出了一種基于Pytorch網(wǎng)絡(luò)框架和GoogLeNet卷積神經(jīng)網(wǎng)絡(luò)的木節(jié)識(shí)別方法，以朽節(jié)（decayed knot）、干節(jié)（dry knot）、邊節(jié)（edge knot）、死節(jié)（encased knot）、尖節(jié)（horn knot）、葉節(jié)（leaf knot）和健全節(jié)（sound knot）的圖像作為數(shù)據(jù)集，對(duì)7種木節(jié)進(jìn)行自動(dòng)識(shí)別分類研究。

1 圖像數(shù)據(jù)采集和處理

1.1 圖像數(shù)據(jù)采集

實(shí)驗(yàn)數(shù)據(jù)集由芬蘭奧盧大學(xué)電機(jī)系計(jì)算機(jī)實(shí)驗(yàn)室提供[7-9]，數(shù)據(jù)集中包括朽節(jié)、干節(jié)、邊節(jié)、死節(jié)、尖節(jié)、葉節(jié)和健全節(jié)，其中木節(jié)缺陷的RGB圖像共3 136個(gè)，具體木節(jié)缺陷圖片信息見(jiàn)表1。

1.2 圖像預(yù)處理

由于所獲取的木節(jié)圖像的分辨率不同，同時(shí)為了計(jì)算機(jī)的CPU計(jì)算速度和顯卡的可承受數(shù)據(jù)量，需要對(duì)數(shù)據(jù)集的圖像統(tǒng)一縮小為85×85像素。木節(jié)缺陷數(shù)據(jù)集按6∶2∶2的比例分為訓(xùn)練集、驗(yàn)證集和測(cè)試集，分別包括1 885幅訓(xùn)練圖像、636幅驗(yàn)證圖像和615幅測(cè)試圖像。

2 網(wǎng)絡(luò)結(jié)構(gòu)及訓(xùn)練

2.1 GoogLeNet

GoogLeNet是谷歌公司在2014年提出的一種深度學(xué)習(xí)結(jié)構(gòu)[10]。為了解決之前的網(wǎng)絡(luò)（如AlexNet等）由于網(wǎng)絡(luò)層數(shù)增加而導(dǎo)致的過(guò)擬合、梯度消失和梯度爆炸等問(wèn)題，GoogLeNet采用了一種全新的Inception結(jié)構(gòu)，可以更高效地利用計(jì)算資源，在相同的計(jì)算量下能提取到更多的特征，從而提升訓(xùn)練結(jié)果。本文采用GoogLeNet網(wǎng)絡(luò)，實(shí)現(xiàn)對(duì)7種木節(jié)缺陷圖像的分類識(shí)別。

表2給出了GoogLeNet的網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)。木節(jié)缺陷圖像輸入網(wǎng)絡(luò)后，首先經(jīng)過(guò)卷積層、最大池化層和Inception層后，可以提取出圖像的特征，通過(guò)訓(xùn)練，特征圖被壓縮成一維向量，最后使用softmax函數(shù)進(jìn)行分類。

2.2 激活函數(shù)

為了實(shí)現(xiàn)網(wǎng)絡(luò)的非線性化，本實(shí)驗(yàn)采用了收斂速度快、求梯度簡(jiǎn)單的ReLU （Rectified Linear Unit）激活函數(shù)[11-13]，公式為：

f（x）=max（0，x）。（1）

式中：x為輸入。

與傳統(tǒng)的激活函數(shù)相比，ReLU在梯度下降和反向傳播上具有更高的效率。ReLU是非飽和激活函數(shù)，因此當(dāng)數(shù)值過(guò)大或過(guò)小時(shí)，導(dǎo)數(shù)不會(huì)接近于0，可以避免梯度消失。同時(shí)，由于小于0部分為0，大于0部分才有值，所以可以減少過(guò)擬合。

2.3 優(yōu)化算法

Adam是一種基于訓(xùn)練數(shù)據(jù)的迭代更新神經(jīng)網(wǎng)絡(luò)權(quán)重的一階優(yōu)化算法，用來(lái)替代傳統(tǒng)隨機(jī)梯度下降（SGD）過(guò)程。Adam算法計(jì)算效率高，對(duì)內(nèi)存的需求少，超參數(shù)通常不需要較大的調(diào)整，非常適合數(shù)據(jù)或參數(shù)較大的問(wèn)題[14-18]。

2.4 損失函數(shù)

損失函數(shù)（loss function）或代價(jià)函數(shù)（cost function）是用來(lái)估計(jì)模型的預(yù)測(cè)值與真實(shí)值的不一致程度的函數(shù)，它是一個(gè)非負(fù)實(shí)值函數(shù)[19-20]。本文采用交叉熵函數(shù)作為本實(shí)驗(yàn)的損失函數(shù)，公式為：

C=-1n∑x[ylna+（1-y）ln（1-a）] 。 （2）

式中：C為L(zhǎng)oss函數(shù);n為樣本數(shù);x為輸入;y為期望的輸出;a=σ（z）;z=∑ωjxj+b，z為神經(jīng)元輸出，ω為網(wǎng)絡(luò)權(quán)重，b為網(wǎng)絡(luò)偏置。

2.5 實(shí)驗(yàn)環(huán)境

本實(shí)驗(yàn)在Windows 10操作系統(tǒng)、16 G運(yùn)行內(nèi)存的環(huán)境下，使用Python語(yǔ)言，并基于Pytorch深度學(xué)習(xí)框架進(jìn)行深度學(xué)習(xí)訓(xùn)練。本文的實(shí)驗(yàn)環(huán)境見(jiàn)表3。

2.6 評(píng)價(jià)指標(biāo)

為了評(píng)價(jià)GoogLeNet的性能，在測(cè)試集結(jié)果中設(shè)定了準(zhǔn)確率（Acc）作為模型的評(píng)價(jià)指標(biāo)（混淆矩陣見(jiàn)表4）。評(píng)價(jià)指標(biāo)定義為：

Acc=TP+TNTP+FN+TN。 （3）

式中：Acc為準(zhǔn)確率;TP為將正樣本預(yù)測(cè)為正樣本;FP為將負(fù)樣本預(yù)測(cè)為正樣本;FN為將正樣本預(yù)測(cè)為負(fù)樣本;TN為將負(fù)樣本預(yù)測(cè)為負(fù)樣本。

3 結(jié)果及分析

實(shí)驗(yàn)的結(jié)果如圖1所示。其中，圖1（a）表示訓(xùn)練結(jié)果，圖1（b）表示測(cè)試結(jié)果。橫坐標(biāo)代表迭代次數(shù)，縱坐標(biāo)代表準(zhǔn)確率。經(jīng)過(guò)300次的迭代訓(xùn)練，訓(xùn)練集的損失值約為0.20，驗(yàn)證集的準(zhǔn)確率為98.28%。

經(jīng)計(jì)算，GoogLeNet在測(cè)試集的Acc為95.42%，從而看出，GoogLeNet在木節(jié)缺陷識(shí)別方面具有較高的準(zhǔn)確率，這意味著GoogLeNet可以準(zhǔn)確快速地識(shí)別收集到的木節(jié)缺陷。

優(yōu)化算法對(duì)模型的性能至關(guān)重要。本文采用Adam優(yōu)化算法對(duì)GoogLeNet網(wǎng)絡(luò)進(jìn)行了訓(xùn)練，并將其與SGD（隨機(jī)梯度下降）和Adagrad進(jìn)行了比較。圖2為這3種優(yōu)化算法的訓(xùn)練過(guò)程，其學(xué)習(xí)率為3×10-4。結(jié)果表明，采用Adam算法的模型具有最快的收斂速度。從圖2的損失曲線可以看出，Adam算法收斂速度快，Adam和Adamax具有相近的收斂速度和識(shí)準(zhǔn)確率，但是Adamax的識(shí)別性能和Adam比仍有一定的差距，同時(shí)Adam比SGD和Adagrad算法具有更強(qiáng)的穩(wěn)定性。

圖3為在實(shí)際應(yīng)用中的識(shí)別結(jié)果。其中方框中為識(shí)別的缺陷，旁邊為識(shí)別種類和概率。由圖3可以看出，本文的方法（GoogLeNet）具有較好的準(zhǔn)確率，因此在木節(jié)缺陷識(shí)別方面具有一定的實(shí)用價(jià)值。

4 結(jié)論

本文基于Pytorch網(wǎng)絡(luò)框架，提出了一種基于GoogLeNet卷積神經(jīng)網(wǎng)絡(luò)的木節(jié)缺陷圖像識(shí)別方法。通過(guò)GoogLeNet網(wǎng)絡(luò)提取木節(jié)缺陷圖像特征，減少了人工提取特征所需的時(shí)間，與傳統(tǒng)的需要人工提取特征的神經(jīng)網(wǎng)絡(luò)模型相比，本方法在木節(jié)缺陷數(shù)據(jù)集上可以達(dá)到較高的識(shí)別精度?；谝陨戏治?，GoogLeNet在木材無(wú)損檢測(cè)和缺陷識(shí)別方面具有潛在的應(yīng)用價(jià)值。

【參 考 文 獻(xiàn)】

[1]劉旭升，張曉麗.森林植被遙感分類研究進(jìn)展與對(duì)策[J].林業(yè)資源管理，2004，33（1）：61-64.

LIU X S， ZHANG X L. Research advances and countermeasures of remote sensing classification of forest vegetation[J]. Forest Resources Management， 2004， 33（1）： 61-64.

[2]MU H B， QI D W. Pattern recognition of wood defects types based on hu invariant moments[C]//2009 2nd International Congress on Image and Signal Processing. October 17-19， 2009， Tianjin， China. IEEE， 2009： 1-5.

[3]DALAL N， TRIGGS B. Histograms of oriented gradients for human detection[C]//2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition （CVPR05）. June 20-25， 2005， San Diego， CA， USA. IEEE， 2005： 886-893.

[4]WANG X Y， HAN T X， YAN S C. An HOG-LBP human detector with partial occlusion handling[C]//2009 IEEE 12th International Conference on Computer Vision. September 29 - October 2， 2009， Kyoto， Japan. IEEE， 2009： 32-39.

[5]MOHANAIAH P， SATHYANARAYANA P， GURUKUMAR L. Image texture feature extraction using GLCM approach[J]. International Journal of Scientific & Research Publication， 2013， 3（5）： 1-5.

[6]TAREEN S A K， SALEEM Z. A comparative analysis of sift， surf， kaze， akaze， orb， and brisk[C]//2018 International Conference on Computing， Mathematics and Engineering Technologies （iCoMET）. March 3-4， 2018， Sukkur， Pakistan. IEEE， 2018： 1-10.

[7]KAUPPINEN H， SILVN O. A color vision approach for grading lumber[C]// The 9th Scandinavian Conference on Image Analysis： Theory and Applications of Image Analysis II. 1995： 367-379.

[8]SILVN O， KAUPPINEN H. Recent developments in wood inspection[J]. International Journal of Pattern Recognition and Artificial Intelligence， 1996， 10（1）： 83-95.

[9]KAUPPINEN H， SILVEN O. The effect of illumination variations on color-based wood defect classification[C]//Proceedings of 13th International Conference on Pattern Recognition. August 25-29， 1996， Vienna， Austria. IEEE， 1996： 828-832.

[10]曹富奎，白天，許曉瓏.基于公路監(jiān)控視頻的車(chē)輛檢測(cè)和分類[J].計(jì)算機(jī)系統(tǒng)應(yīng)用，2020，29（10）：267-273.

CAO F K， BAI T， XU X L. Vehicle detection and classification based on highway monitoring video[J]. Computer Systems & Applications， 2020， 29（10）： 267-273.

[11]張有健，陳晨，王再見(jiàn).深度學(xué)習(xí)算法的激活函數(shù)研究[J].無(wú)線電通信技術(shù)，2021，47（1）：115-120.

ZHANG Y J， CHEN C， WANG Z J. Research on activation function of deep learning algorithm[J]. Radio Communications Technology， 2021， 47（1）： 115-120.

[12]劉忠偉，戚大偉.基于卷積神經(jīng)網(wǎng)絡(luò)的樹(shù)種識(shí)別研究[J].森林工程，2020，36（1）：33-38.

LIU Z W， QI D W. Study on tree species identification based on convolution neural network[J]. Forest Engineering， 2020， 36（1）：33-38.

[13]李佳欣，趙鵬，方薇，等.基于深度學(xué)習(xí)的多角度遙感影像云檢測(cè)方法[J].大氣與環(huán)境光學(xué)學(xué)報(bào)，2020，15（5）：380-392.

LI J X， ZHAO P， FANG W， et al. Cloud detection of multi-angle remote sensing image based on deep learning[J]. Journal of Atmospheric and Environmental Optics， 2020， 15（5）： 380-392.

[14]田睿，孟海東.基于Adam優(yōu)化算法的深度神經(jīng)網(wǎng)絡(luò)巖爆預(yù)測(cè)模型[J].礦業(yè)研究與開(kāi)發(fā)，2020，40（11）：40-46.

TIAN R， MENG H D. Rockburst prediction model of deep neural network based on Adam optimization algorithm[J]. Mining Research and Development， 2020， 40（11）： 40-46.

[15]閆壯壯，閆學(xué)慧，石嘉，等.基于深度學(xué)習(xí)的大豆豆莢類別識(shí)別研究[J].作物學(xué)報(bào)，2020，46（11）：1771-1779.

YAN Z Z， YAN X H， SHI J， et al. Classification of soybean pods using deep learning[J]. Acta Agronomica Sinica， 2020， 46（11）： 1771-1779.

[16]田佳鷺，鄧立國(guó).基于改進(jìn)VGG16的猴子圖像分類方法[J].信息技術(shù)與網(wǎng)絡(luò)安全，2020，39（5）：6-11.

TIAN J L， DENG L G. Monkey image classification method based on improved VGG16[J]. Information Technology and Network Security， 2020， 39（5）： 6-11.

[17]賴菲，羅廷芳，丁銳，等.圖像處理技術(shù)在木材表面缺陷檢測(cè)中的應(yīng)用[J].林業(yè)機(jī)械與木工設(shè)備，2021，49（2）：16-21.

LAI F， LUO Y F， DING R， et al. Application of image processing technology to wood surface defect detection[J]. Forestry Machinery & Woodworking Equipment， 2021， 49（2）：16-21.

[18]潘世豪，程玉柱，許正昊，等.基于分形理論的樹(shù)皮圖像特征提取方法[J].林業(yè)機(jī)械與木工設(shè)備，2019，47（2）：7-11.

PAN S H， CHENG Y Z， XU Z H， et al. Feature extraction method of bark images based on the fractal theory[J]. Forestry Machinery & Woodworking Equipment， 2019， 47（2）：7-11.

[19]趙鵬超，戚大偉.基于卷積神經(jīng)網(wǎng)絡(luò)和樹(shù)葉紋理的樹(shù)種識(shí)別研究[J].森林工程，2018，34（1）：56-59.

ZHAO P C， QI D W. Study on tree species identification based on convolution neural network and leaf texture[J]. Forest Engineering， 2018， 34（1）： 56-59.

[20]朱泓宇，謝超.基于可逆卷積神經(jīng)網(wǎng)絡(luò)的圖像超分辨率重建方法[J].林業(yè)機(jī)械與木工設(shè)備，2021，49（3）：20-25.

ZHU H Y， XIE C. Image super-resolution reconstruction method based on invertible convolutional neural networks[J]. Forestry Machinery & Woodworking Equipment， 2021， 49（3）：20-25.