劉青星，黃海松，姚立國(guó)，胡 耀,3

1(貴州大學(xué) 機(jī)械工程學(xué)院，貴陽(yáng) 550025)

2(貴州大學(xué) 現(xiàn)代制造技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室，貴陽(yáng) 550025)

3(貴州人和致遠(yuǎn)數(shù)據(jù)服務(wù)有限責(zé)任公司，貴州 550025)

1 引 言

控制圖是基于統(tǒng)計(jì)學(xué)原理，對(duì)生產(chǎn)過(guò)程中關(guān)鍵工序參數(shù)或產(chǎn)品質(zhì)量特征觀(guān)測(cè)值[1]進(jìn)行統(tǒng)計(jì)分析，判斷制造系統(tǒng)是否處于穩(wěn)定可控狀態(tài).當(dāng)制造過(guò)程出現(xiàn)不穩(wěn)定因素時(shí)，控制圖便會(huì)產(chǎn)生異常波動(dòng)，反映出制造系統(tǒng)中的異常因素.生產(chǎn)者根據(jù)控制圖波動(dòng)模式采取相應(yīng)措施，消除生產(chǎn)過(guò)程中的異常因素，控制產(chǎn)品質(zhì)量的穩(wěn)定性.過(guò)去對(duì)控制圖的識(shí)別依賴(lài)生產(chǎn)者的經(jīng)驗(yàn)，難以實(shí)現(xiàn)對(duì)控制圖模式的實(shí)時(shí)識(shí)別，有礙于智能制造產(chǎn)業(yè)的發(fā)展.隨著機(jī)器學(xué)習(xí)和深度學(xué)習(xí)算法的興起，對(duì)控制圖異常模式識(shí)別不再依賴(lài)于傳統(tǒng)的控制界限或人的經(jīng)驗(yàn)，而是運(yùn)用機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等智能算法識(shí)別控制圖的異常模式.

在機(jī)器學(xué)習(xí)領(lǐng)域，識(shí)別控制圖異常模式的步驟為：特征提取、維數(shù)簡(jiǎn)約、分類(lèi)器選擇等.首先提取控制圖包含的質(zhì)量特征，主要包含統(tǒng)計(jì)特征[2]、形狀特征[3]、小波分解特征[4]等.再對(duì)質(zhì)量特征進(jìn)行融合，如統(tǒng)計(jì)特征與形狀特征融合[5]、統(tǒng)計(jì)特征與原始數(shù)據(jù)融合等.質(zhì)量特征融合后，融合特征的維數(shù)較大，常利用PCA、KPCA、KECA[6]、ICA[7]等降維算法進(jìn)行特征簡(jiǎn)約，最后使用支持向量機(jī)[8]、極限學(xué)習(xí)機(jī)[9]、隨機(jī)森林等分類(lèi)器對(duì)控制圖特征進(jìn)行識(shí)別.使用機(jī)器學(xué)習(xí)方法對(duì)控制圖進(jìn)行特征識(shí)別時(shí)需要人工提取質(zhì)量特征，忽略了數(shù)據(jù)之間的關(guān)聯(lián)性，容易出現(xiàn)過(guò)擬合.

由于深度學(xué)習(xí)對(duì)大數(shù)據(jù)具有很好的分類(lèi)效果，且無(wú)需人工提取數(shù)據(jù)特征，能很好的運(yùn)用特征之間的相關(guān)性對(duì)控制圖進(jìn)行模式識(shí)別.因此，卷積神經(jīng)網(wǎng)絡(luò)[10]、遷移學(xué)習(xí)[11]、脈沖神經(jīng)網(wǎng)絡(luò)[12]等深度學(xué)習(xí)的方法也被運(yùn)用于控制圖的識(shí)別.深度學(xué)習(xí)雖然大樣本數(shù)據(jù)集下有很好的識(shí)別性能，但是對(duì)樣本量較小的情況識(shí)別精度低，不適用于小批量多品種生產(chǎn)過(guò)程中的控制圖識(shí)別.

孿生網(wǎng)絡(luò)是度量學(xué)習(xí)中的一個(gè)重要手段，通過(guò)度量樣本之間的空間距離，識(shí)別出樣本的分類(lèi)，在數(shù)據(jù)量較少時(shí)，表現(xiàn)出良好的分類(lèi)性能，常用于目標(biāo)跟蹤[13]、文本分類(lèi)[14]、圖片分類(lèi)[15]等方面.由于統(tǒng)計(jì)過(guò)程控制(Statistical Process Control，SPC)的應(yīng)用在很大程度是對(duì)生產(chǎn)制造過(guò)程的穩(wěn)定性進(jìn)行監(jiān)控，使得異?？刂茍D樣本較少，異常模式較多，深度學(xué)習(xí)的方法難以準(zhǔn)確識(shí)別異?？刂茍D.針對(duì)上述問(wèn)題，本文提出的基于PCSNN的控制圖異常模式識(shí)別模型，通過(guò)度量控制圖樣本的空間距離，衡量控制圖樣本間的相識(shí)性，從而實(shí)現(xiàn)對(duì)控制圖的異常模式識(shí)別.隨著生產(chǎn)制造過(guò)程的持續(xù)，影響生產(chǎn)過(guò)程穩(wěn)定性的異常因素增多，控制圖異常模式的樣本量也隨之增多，PCSNN模型的識(shí)別率也優(yōu)于其他深度學(xué)習(xí)方法；同時(shí)，在生產(chǎn)制造過(guò)程中，產(chǎn)品品種的改變會(huì)引發(fā)控制圖特征參數(shù)變動(dòng)，在此情況下，PCSNN模型也能較好的識(shí)別出控制圖的異常模式.

2 控制圖的基本模式

控制圖的基本模式由美國(guó)西部電氣公司首先提出，共有8種，如圖1所示，分別為正常模式(Normal,NOR)、循環(huán)模式(Cyclic,CYC)、上升趨勢(shì)(Uptrend,UT)、下降趨勢(shì)(Downtrend,DT)、向上階躍(Upward Shift,US)、向下階躍(Downward Shift,DS)、系統(tǒng)模式(Systematic,SYS)、分層模式(Stratification,STR).控制圖的異常模式，有著各自的表現(xiàn)形式，并代表著生產(chǎn)過(guò)程的不穩(wěn)定狀態(tài)與各種異常因素.控制圖的基本模式在生產(chǎn)過(guò)程中可用公式(1)進(jìn)行描述：

圖1 控制圖基本模式

x(t)=μ+d(t)+r(t)

(1)

式中，x(t)是t時(shí)刻控制圖的觀(guān)測(cè)值；μ是產(chǎn)品質(zhì)量特征的平均值；d(t)是制造系統(tǒng)中的異常因素所引發(fā)的異常模式，當(dāng)制造系統(tǒng)處于穩(wěn)定狀態(tài)時(shí)，則認(rèn)為d(t)為0；r(t)是制造系統(tǒng)中正常的隨機(jī)波動(dòng)，制造過(guò)程處于穩(wěn)定可控狀態(tài)時(shí)，r(t)服從正態(tài)分布.

3 孿生神經(jīng)網(wǎng)絡(luò)

圖2 基于PCNN的孿生網(wǎng)絡(luò)

3.1 One-Shot K-Way分類(lèi)

S={(x1,y1),(x2,y2),…,(xk,yk)},k

(2)

(3)

3.2 多層感知器

如圖3所示，多層感知器(Multilayer Perceptron,MLP)是通過(guò)非線(xiàn)性激活函數(shù)和多層神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)樣本數(shù)據(jù)的非線(xiàn)性表達(dá)，學(xué)習(xí)數(shù)據(jù)特征的非線(xiàn)性關(guān)系.

圖3 多層感知器

3.3 一維卷積神經(jīng)網(wǎng)絡(luò)

如圖4所示，卷積神經(jīng)網(wǎng)絡(luò)通過(guò)對(duì)原始數(shù)據(jù)進(jìn)行填充零元素、卷積、池化、展開(kāi)特征圖等操作.通過(guò)將卷積窗口與數(shù)據(jù)特征進(jìn)行卷積運(yùn)算獲取卷積特征，并用激活函數(shù)對(duì)卷積特征進(jìn)行非線(xiàn)性映射，獲得原始數(shù)據(jù)所包含的數(shù)據(jù)特征.

圖4 一維卷積神經(jīng)網(wǎng)絡(luò)

3.4 控制圖模式識(shí)別模型

在實(shí)際生產(chǎn)中，控制圖的異常樣本較少，且異常模式較多，同時(shí)控制圖樣本的數(shù)據(jù)點(diǎn)一般較少，卷積神經(jīng)網(wǎng)絡(luò)等深度學(xué)習(xí)算法難以獲得控制圖所包含的非線(xiàn)性特征，對(duì)控制圖的識(shí)別率較低.本文基于孿生神經(jīng)網(wǎng)絡(luò)的思想，提出適用于小樣本的控制圖模式識(shí)別模型PCSNN，如圖2所示.所設(shè)計(jì)的孿生網(wǎng)絡(luò)的分支網(wǎng)絡(luò)PCNN如圖5所示.首先使用兩層感知器將控制圖樣本映射到高維空間，增加控制圖質(zhì)量特征的維數(shù)，解決了因控制圖樣本的質(zhì)量特征數(shù)據(jù)點(diǎn)較少導(dǎo)致深度學(xué)習(xí)方法難以提取特征的問(wèn)題；使用4層一維卷積神經(jīng)網(wǎng)絡(luò)提取控制圖所包含的非線(xiàn)性質(zhì)量特征，利用孿生網(wǎng)絡(luò)的思想，實(shí)現(xiàn)小樣本情況下控制圖的模式識(shí)別.

圖5 PCNN模型

用于控制圖樣本維數(shù)升維的兩層感知器的激活函數(shù)均為Relu函數(shù)，第1層感知器包含了100個(gè)神經(jīng)元，先將樣本維數(shù)為(60,1)的控制圖映射為(60,100)；第2層感知器包含了500個(gè)神經(jīng)元，將質(zhì)量特征映射為(60,500)；為了一維卷積神經(jīng)網(wǎng)絡(luò)能夠提取控制圖的質(zhì)量特征，對(duì)映射后的質(zhì)量特征張量進(jìn)行維數(shù)轉(zhuǎn)換，轉(zhuǎn)換為(30000,1)的張量.

通過(guò)卷積網(wǎng)絡(luò)獲取控制圖樣本的非線(xiàn)性特征，第1、2個(gè)卷積層使用較大的卷積窗口初步提取控制圖特征，卷積窗口尺寸分別為16×1、10×1，卷積窗口數(shù)量均為16個(gè).第3、4個(gè)卷積層使用較小的卷積窗口尺寸進(jìn)一步提取微小的特征，卷積窗口尺寸均為3×1，卷積窗口數(shù)量分別為32和64.一維卷積神經(jīng)網(wǎng)絡(luò)在每次完成卷積運(yùn)算后都通過(guò)Relu函數(shù)對(duì)卷積特征進(jìn)行映射，再進(jìn)行最大池化處理，池化窗口為2×1.全連接層包含100個(gè)神經(jīng)元，將一維卷積網(wǎng)絡(luò)所提取的特征圖通過(guò)sigmoid非線(xiàn)性映射函數(shù)映射為(100,1)的特征.

3.4.1 質(zhì)量特征的相似性度量

孿生神經(jīng)網(wǎng)絡(luò)對(duì)質(zhì)量特征進(jìn)行相似性度量，即：計(jì)算兩個(gè)樣本相似的概率，一般常用的方法是：①使用公式(4)計(jì)算控制圖質(zhì)量特征向量的空間距離DG(x)；②通過(guò)公式(5)將控制圖特征向量的空間距離DG(x)映射為樣本相似概率P(x1,x2).

DG(x)=‖G(x1)-G(x2)‖

(4)

P(x1,x2)=sigm(DG(x))

(5)

(6)

式中G(x)為PCNN模型.

3.4.2 PCSNN神經(jīng)網(wǎng)絡(luò)的loss函數(shù)與優(yōu)化函數(shù)

PCSNN使用Adam函數(shù)作為優(yōu)化函數(shù).PCSNN的loss函數(shù)為正則化的交叉熵函數(shù)，如公式(7):

(7)

式中y控制圖樣本對(duì)是否相識(shí)的標(biāo)簽，相似則為1，不相似則為0；P(x1,x2)為控制圖樣本對(duì)(x1,x2)的相似概率.

4 實(shí)驗(yàn)驗(yàn)證

4.1 實(shí)驗(yàn)設(shè)計(jì)

為了驗(yàn)證PCSNN模型的有效性，從兩個(gè)方面對(duì)PCSNN進(jìn)行實(shí)驗(yàn)驗(yàn)證：①將PCNN，MLP模型與PCSNN進(jìn)行對(duì)比，對(duì)比不同訓(xùn)練樣本量下PCNN、MLP、PCSNN模型的識(shí)別率.PCNN模型如圖5所示，直接使用全連接層提取的特征進(jìn)行控制圖的異常模式識(shí)別，并使用Adam優(yōu)化器優(yōu)化PCNN模型；MLP模型使用了5個(gè)隱藏層，分別包含200,200,200,200,100個(gè)神經(jīng)元，隱藏層的激活函數(shù)均為ReLU函數(shù)，且使用Adam優(yōu)化器對(duì)模型進(jìn)行優(yōu)化.②對(duì)比了PSCNN模型在質(zhì)量特征參數(shù)變動(dòng)時(shí)的識(shí)別率.分析在不同訓(xùn)練樣本量下，質(zhì)量特征均值與質(zhì)量特征方差兩個(gè)參數(shù)變化時(shí)，對(duì)PCSNN識(shí)別率的影響.

為滿(mǎn)足對(duì)比實(shí)驗(yàn)的需求，利用Monte-Carlo方法按表1的控制圖參數(shù)對(duì)8種控制圖模式進(jìn)行仿真.共仿真9個(gè)訓(xùn)練樣本集，分別包含40,80,160,240,400,800,1200,2400,4000個(gè)控制圖樣本，每個(gè)樣本包含60個(gè)數(shù)據(jù)點(diǎn)，每個(gè)樣本集有8種分類(lèi)，如表2所示，控制圖均值μ=50，標(biāo)準(zhǔn)差σ=5.

表1 控制圖參數(shù)

根據(jù)表2，使用表1的控制圖參數(shù)，仿真2組測(cè)試集A、B，每組9個(gè)測(cè)試集，每個(gè)測(cè)試集中包含8種控制圖基本模式，每種模式有25個(gè)測(cè)試樣本，共計(jì)200個(gè)測(cè)試樣本.由于A(yíng)5、B5仿真時(shí)均值為50，方差為5，故而A5、B5測(cè)試集為同一個(gè)，同時(shí)也是MLP、PCNN、PCSNN對(duì)比試驗(yàn)的測(cè)試集.

表2 測(cè)試集的均值與方差

4.2 PSCNN與MLP、PCNN的對(duì)比實(shí)驗(yàn)

本節(jié)將A5作為測(cè)試集，分別測(cè)試在9個(gè)不同訓(xùn)練樣本量下，PCSNN、MLP、PCNN的識(shí)別精度，測(cè)試結(jié)果如表3所示.PCSNN是基于度量學(xué)習(xí)的思想，衡量樣本對(duì)之間的相識(shí)性，是小樣本學(xué)習(xí)中的一個(gè)重要方法.如表3所示，在小樣本情況下，PCSNN的識(shí)別精度高于PCNN與MLP方法；同時(shí)，隨著樣本量的增加，PCSNN、PCNN、MLP的識(shí)別精度都有顯著的提升.這是由于深度學(xué)習(xí)方法容易受樣本量的影響，在小樣本情況下，PCNN與MLP學(xué)習(xí)效果不佳.隨著樣本量的增加，深度學(xué)習(xí)方法從數(shù)據(jù)獲取到更多的分類(lèi)信息，從而提高了樣本的識(shí)別率.而本文提出的PCSNN將深度學(xué)習(xí)與度量學(xué)習(xí)的思想結(jié)合，利用深度學(xué)習(xí)方法提取數(shù)據(jù)特征，再利用孿生網(wǎng)絡(luò)的思想構(gòu)建能夠度量樣本類(lèi)別的多維空間，因此，隨著樣本量的增加，深度學(xué)習(xí)方法提取了更多的樣本特征信息，擴(kuò)大了不同樣本間的空間距離，進(jìn)一步提高了PCSNN的識(shí)別率.

表3 PCSNN與其他兩種方法測(cè)試結(jié)果對(duì)比

4.3 質(zhì)量特征參數(shù)變動(dòng)下PCSNN測(cè)試精度對(duì)比實(shí)驗(yàn)

在多品種小批量的制造模式下，質(zhì)量特征的改變主要體現(xiàn)在質(zhì)量特征均值或方差的變化.為了驗(yàn)證孿生網(wǎng)絡(luò)模型在不同品種下對(duì)控制圖的識(shí)別精度，本節(jié)使用PCSNN對(duì)A、B兩組質(zhì)量參數(shù)變動(dòng)的測(cè)試樣本進(jìn)行識(shí)別.

A組測(cè)試集的均值由46向54逐步遞增，方差為5,對(duì)應(yīng)的PSCNN測(cè)試精度如表4所示.B組測(cè)試集的方差由3向7逐步遞增，均值為50，對(duì)應(yīng)的PSNN測(cè)試精度如表5所示.分別對(duì)比表4與表5發(fā)現(xiàn)如下規(guī)律：1)在訓(xùn)練樣本量相同的情況下，A1-A9或B1-B9的測(cè)試精度總體呈現(xiàn)‘峰形’，即測(cè)試樣本的均值或方差與訓(xùn)練樣本的質(zhì)量特征參數(shù)(μ=46，σ=5)相同時(shí)測(cè)試精度最高，測(cè)試樣本的測(cè)試精度隨著質(zhì)量特征參數(shù)‘背離’訓(xùn)練樣本質(zhì)量特征參數(shù)的‘距離’增大而降低；2)絕大多數(shù)情況下，對(duì)于相同的測(cè)試集，隨著訓(xùn)練樣本量的增加，測(cè)試精度逐漸增大；3)PCSNN在訓(xùn)練樣本較少時(shí)，具有較高的識(shí)別率和較強(qiáng)的泛化能力.

表4 樣本均值變動(dòng)下PCSNN測(cè)試結(jié)果

表5 方差變動(dòng)下PCSNN測(cè)試結(jié)果

PCSNN將樣本特征映射到多維空間，通過(guò)算法迭代將相似樣本的空間距離縮小，擴(kuò)大異種樣本的空間距離，從而構(gòu)建了判斷樣本對(duì)是否相似的非線(xiàn)性映射，并通過(guò)One-shot8-way的方式，將待分類(lèi)樣本與基于訓(xùn)練集構(gòu)建的支持集進(jìn)行相似性判斷，實(shí)現(xiàn)樣本的分類(lèi).當(dāng)控制圖樣本質(zhì)量參數(shù)發(fā)生改變時(shí)，該控制圖樣本與訓(xùn)練集樣本的相似性概率降低，但通過(guò)One-shot eight-way的方式，PCSNN選擇與訓(xùn)練集最大相似概率的樣本分類(lèi)作為待分類(lèi)樣本的類(lèi)別.因此，在控制圖樣本的質(zhì)量特征參數(shù)發(fā)生變動(dòng)時(shí)，PCSNN依舊保持較好的識(shí)別率.

5 總 結(jié)

本文提出的PCSNN模型，解決了在樣本量較少、識(shí)別類(lèi)別較多時(shí)的基本控制圖模式識(shí)別問(wèn)題.該網(wǎng)絡(luò)主要有兩個(gè)結(jié)構(gòu)相同、權(quán)值共享的神經(jīng)網(wǎng)絡(luò)構(gòu)成，通過(guò)判斷控制圖樣本對(duì)是否相似，從而識(shí)別控制圖基本模式.通過(guò)使用不同樣本量的控制圖樣本，對(duì)MLP、PCNN、PCSNN進(jìn)行訓(xùn)練，分析了3個(gè)模型的測(cè)試精度，發(fā)現(xiàn)在控制圖的樣本較少情況下，PCSNN模型比MLP、PCNN模型展現(xiàn)出更高的識(shí)別精度；而隨著樣本量的增加，PCSNN的識(shí)別率也比MLP、PCNN高；通過(guò)質(zhì)量特征參數(shù)變動(dòng)下PCSNN測(cè)試精度對(duì)比實(shí)驗(yàn)，發(fā)現(xiàn)在產(chǎn)品品種發(fā)生改變時(shí)，引發(fā)控制圖的特征參數(shù)變動(dòng)的情況下，PCSNN展現(xiàn)出良好的泛化性能，對(duì)控制圖的模式識(shí)別表現(xiàn)出較高的識(shí)別率.