崔慶安, 崔 楠

(1. 上海海事大學(xué)經(jīng)濟(jì)管理學(xué)院, 上海 201306; 2. 武漢大學(xué)經(jīng)濟(jì)與管理學(xué)院, 武漢 430072)

0 引 言

高質(zhì)量產(chǎn)品是企業(yè)贏得競(jìng)爭(zhēng)優(yōu)勢(shì)的關(guān)鍵.在工業(yè)4.0時(shí)代,隨著制造過程復(fù)雜化以及顧客需求日益苛刻,對(duì)質(zhì)量?jī)?yōu)化的要求也日漸提高.傳統(tǒng)方法基于經(jīng)典線性模型,難以描述復(fù)雜的質(zhì)量形成規(guī)律,優(yōu)化結(jié)果仍有較大提升空間.因此,形式靈活的機(jī)器學(xué)習(xí)模型被引入到質(zhì)量?jī)?yōu)化.然而此類模型具有“黑箱”特性,雖然可以實(shí)現(xiàn)全局建模,但內(nèi)部結(jié)構(gòu)解析程度低,難以對(duì)質(zhì)量形成規(guī)律給出有說服力解釋,顯著影響了使用者信心.如何增強(qiáng)該類模型應(yīng)用于質(zhì)量?jī)?yōu)化的可解釋性,是亟待解決的科學(xué)問題.事實(shí)上,即使在機(jī)器學(xué)習(xí)范疇,“可解釋性(interpretability)”也是當(dāng)前研究難點(diǎn)[1, 2].對(duì)于制造過程,質(zhì)量?jī)?yōu)化主要途徑之一是參數(shù)優(yōu)化,即通過選擇合適的加工工藝參數(shù)值,使產(chǎn)品質(zhì)量特性達(dá)到最優(yōu).而機(jī)器學(xué)習(xí)模型應(yīng)用于參數(shù)優(yōu)化的瓶頸,是如何根據(jù)模型解釋各工藝參數(shù)對(duì)質(zhì)量特性影響的顯著程度,進(jìn)而識(shí)別關(guān)鍵工藝參數(shù),降低質(zhì)量?jī)?yōu)化難度與成本.

制造業(yè)實(shí)際中,由于過程噪聲影響,工藝參數(shù)與質(zhì)量特性之間呈統(tǒng)計(jì)相關(guān)而非確定性函數(shù)關(guān)系,因此很難建立精確數(shù)學(xué)模型.目前多是通過試驗(yàn)設(shè)計(jì)(design of experiments,DOE)[3]獲取樣本集,擬合工藝參數(shù)與質(zhì)量特性之間的經(jīng)驗(yàn)回歸模型,而后尋優(yōu)得到質(zhì)量特性優(yōu)化值及對(duì)應(yīng)參數(shù)值.在試驗(yàn)設(shè)計(jì)建模及參數(shù)優(yōu)化中,工藝參數(shù)被稱為“因子”,質(zhì)量特性被稱為“響應(yīng)”,首先需確定“因子—響應(yīng)”回歸模型的基本形式.因子試驗(yàn),響應(yīng)曲面分析(response surface methodology,RSM)[4]等等,采用一階、二階多項(xiàng)式模型,這是一種局部模型,對(duì)于較為復(fù)雜的作用關(guān)系(例如響應(yīng)存在多個(gè)極值,因子與響應(yīng)高度非線性相關(guān))效果有限[5, 6].為此,研究者采用非參數(shù)模型[7],試圖在可行域全局范圍內(nèi)近似“因子—響應(yīng)”的作用關(guān)系.此類模型形式靈活,其前提假設(shè)弱化為響應(yīng)的光滑變化,而不要求與因子線性相關(guān).Vining和Bohn[8]最早將核函數(shù)回歸(kernel function regression,KFR)應(yīng)用于印刷過程質(zhì)量?jī)?yōu)化;此后采用非參數(shù)模型進(jìn)行實(shí)驗(yàn)設(shè)計(jì)建模的研究逐漸豐富[9, 10].除KFR外,高斯過程回歸(Gaussian process regression,GPR)或Kriging模型也被引入試驗(yàn)設(shè)計(jì)建模,用于無重復(fù)誤差的計(jì)算機(jī)試驗(yàn)[11].也有研究者將上述模型應(yīng)用于實(shí)際過程的質(zhì)量預(yù)測(cè)與參數(shù)優(yōu)化[12].近年來,研究者還將機(jī)器學(xué)習(xí)中的人工神經(jīng)網(wǎng)絡(luò)(artificial neural networks,ANN)與試驗(yàn)設(shè)計(jì)結(jié)合[13],利用樣本數(shù)據(jù)訓(xùn)練權(quán)值并擬合作用關(guān)系模型[14].KFR,GPR,ANN優(yōu)勢(shì)在于其較強(qiáng)的非線性擬合能力,但此類模型均是基于“經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化”,即認(rèn)為擬合性能好則預(yù)測(cè)性能也好.這是一種大樣本漸進(jìn)性理論,只有樣本量足夠大,預(yù)測(cè)性能才與擬合性能一致[15],較典型的是ANN的“過擬合”現(xiàn)象.由于試驗(yàn)設(shè)計(jì)樣本量較為有限,上述模型效果也受到限制.雖然可以通過改善訓(xùn)練過程來降低“過擬合”,但是目前并沒有非經(jīng)驗(yàn)性方法來確保得到預(yù)測(cè)性能好的模型.

作為改進(jìn),支持向量回歸機(jī)(support vector regression,SVR)[16]被引入到試驗(yàn)設(shè)計(jì)建模及參數(shù)優(yōu)化.SVR是目前最佳的小樣本機(jī)器學(xué)習(xí)工具,基于“結(jié)構(gòu)風(fēng)險(xiǎn)最小化”,能夠平衡擬合誤差與模型復(fù)雜度,在有限樣本下取得較好預(yù)測(cè)性能,更適合于試驗(yàn)設(shè)計(jì)建模:崔慶安和何楨[17]給出了SVR應(yīng)用于試驗(yàn)設(shè)計(jì)建模及參數(shù)優(yōu)化的基本框架,驗(yàn)證了SVR相對(duì)于KFR,ANN的優(yōu)勢(shì).孫林和楊世元[18]利用正交設(shè)計(jì)建立銑削表面粗糙度的SVR模型,得到穩(wěn)健優(yōu)化結(jié)果.向國(guó)齊和殷國(guó)富[19]針對(duì)兩桿結(jié)構(gòu),提出基于SVR和粒子群算法的穩(wěn)健優(yōu)化方法,與經(jīng)典RSM,ANN和Kriging對(duì)比說明了SVR優(yōu)勢(shì).曲興田等[20]提出基于SVR和粒子群的焊點(diǎn)布置優(yōu)化方法.Zhou等[21]分析了SVR,徑向基函數(shù),GPR在穩(wěn)健性優(yōu)化中的應(yīng)用,驗(yàn)證了此類模型對(duì)于多項(xiàng)式的優(yōu)勢(shì).

上述研究表明,非參數(shù)和機(jī)器學(xué)習(xí)模型形式靈活,應(yīng)用于復(fù)雜作用關(guān)系過程的試驗(yàn)設(shè)計(jì)建模及參數(shù)優(yōu)化優(yōu)勢(shì)明顯;然而這種靈活性也帶來了“可解釋性”差的弊端[8],較難提供類似于經(jīng)典線性模型的推斷性統(tǒng)計(jì)解釋,很大程度上降低了使用者對(duì)模型的信任,主要表現(xiàn)之一就是難以實(shí)現(xiàn)顯著性因子篩選(factors screening).顯著性因子是指在統(tǒng)計(jì)意義上對(duì)響應(yīng)有影響的因子,而非顯著性因子引起的響應(yīng)變化則較小,與隨機(jī)波動(dòng)區(qū)別不明顯,將非顯著性因子剔除可以簡(jiǎn)化作用關(guān)系模型.在實(shí)際制造中,只需控制顯著性因子(對(duì)應(yīng)為關(guān)鍵工藝參數(shù)),而允許其他工藝參數(shù)在較寬范圍波動(dòng),從而降低制造難度和成本.

線性回歸模型是“因子—響應(yīng)”結(jié)構(gòu)形式,表現(xiàn)為因子及其系數(shù)加權(quán)和,各因子(或交互作用)以分立形式存在,可以借助系數(shù)的顯著性檢驗(yàn)來判斷因子顯著性.此類研究較為成熟,包括部分因子設(shè)計(jì)與超飽和設(shè)計(jì)[5],貝葉斯方法[22],序貫分支方法[23]等等.然而對(duì)于非參數(shù)和機(jī)器學(xué)習(xí)模型而言,其結(jié)構(gòu)的“可解釋性”差是本質(zhì)問題;表現(xiàn)為所有因子在模型中以整體樣本點(diǎn)而非分立形式存在.這是一種“樣本點(diǎn)—響應(yīng)”結(jié)構(gòu),難以直接考察因子影響.例如KFR,GPR,SVR模型結(jié)構(gòu)為核函數(shù)及其系數(shù)加權(quán)和,所有因子作為樣本點(diǎn),整體由核函數(shù)進(jìn)行映射變換,很難轉(zhuǎn)化成“因子—響應(yīng)”結(jié)構(gòu).而對(duì)于ANN,其復(fù)雜的網(wǎng)絡(luò)聯(lián)結(jié)以及非線性激勵(lì)函數(shù)映射,使因子與響應(yīng)之間的影響變得更加難以探查和解釋.

目前基于非參數(shù)和機(jī)器學(xué)習(xí)模型進(jìn)行顯著性因子篩選的成果還很少.而與之相關(guān)的,對(duì)于復(fù)雜作用關(guān)系過程的顯著性因子篩選研究可分三類:其一是直接應(yīng)用線性模型.劉麗君和馬義中等[24]將序貫分支方法應(yīng)用于供應(yīng)鏈仿真,考慮位置與散度效應(yīng)篩選顯著性因子;施文等[25]研究了基于動(dòng)態(tài)效應(yīng)的序貫分支方法.但是序貫分支方法以多項(xiàng)式模型為基礎(chǔ),且假設(shè)各因子對(duì)于響應(yīng)的影響方向已知,并不完全適用于非參數(shù)或機(jī)器學(xué)習(xí)模型.此外,Xue和Wang等[26]利用偏相關(guān)分析識(shí)別艦載機(jī)陸下沉速度的關(guān)鍵影響參數(shù),并利用Kriging建模,但識(shí)別依據(jù)是線性顯著性,而且需在模型擬合之前進(jìn)行.其二是根據(jù)非參數(shù)和機(jī)器學(xué)習(xí)模型特點(diǎn),直接從樣本點(diǎn)角度考察顯著性.崔慶安[27]采用SVR擬合過程作用關(guān)系模型,利用因子可行域內(nèi)的支持向量比率,來識(shí)別顯著性樣本點(diǎn).該研究者[28]進(jìn)一步基于最小二乘SVR進(jìn)行序貫設(shè)計(jì)及建模,構(gòu)造了樣本點(diǎn)顯著性檢驗(yàn)的正態(tài)分布統(tǒng)計(jì)量.此類方法雖然可以識(shí)別出顯著性樣本點(diǎn),但是并未單獨(dú)識(shí)別出各因子顯著性.其三,在計(jì)算機(jī)試驗(yàn)中,可采用靈敏度分析識(shí)別關(guān)鍵因子.即改變各因子水平,根據(jù)響應(yīng)協(xié)方差計(jì)算Sobol指數(shù),較大者即對(duì)應(yīng)關(guān)鍵因子.該方法只能給出各因子的相對(duì)重要度,難以判斷其統(tǒng)計(jì)顯著性.Kleijnen[29]采用序貫分支方法對(duì)Kriging模型進(jìn)行變量篩選.Denimal等[30]將GPR或Kriging模型拓展到隨機(jī)誤差情形,對(duì)于此類過程,Sobol指數(shù)較難區(qū)分因子或噪聲影響.如何利用非參數(shù)和機(jī)器學(xué)習(xí)模型,從統(tǒng)計(jì)顯著角度檢驗(yàn)因子顯著性,仍然值得深入研究.

本研究將開展試驗(yàn)設(shè)計(jì)條件下的機(jī)器學(xué)習(xí)模型的顯著性因子篩選研究.考慮到SVR模型在樣本量有限時(shí)的優(yōu)良性能,將其選作基礎(chǔ)回歸模型,利用推斷性統(tǒng)計(jì)檢驗(yàn),從該模型的“樣本點(diǎn)—響應(yīng)”結(jié)構(gòu)中直接篩選顯著性因子.進(jìn)一步地,采用最小二乘SVR(least squares support vector regression,LS-SVR)代替標(biāo)準(zhǔn)SVR進(jìn)行研究.與標(biāo)準(zhǔn)SVR相比,LS-SVR的擬合值是觀測(cè)值線性組合,更有利于構(gòu)造推斷性統(tǒng)計(jì)量[31].本研究首先介紹LS-SVR基本原理;而后提出基于重復(fù)觀測(cè)樣本集的LS-SVR模型擬合不足的近似F-檢驗(yàn)方法;進(jìn)而提出兩階段的顯著性因子篩選方法;最后通過仿真與實(shí)證說明方法的有效性.

1 理論簡(jiǎn)介

LS-SVR是一種回歸估計(jì)方法.設(shè)p維變量x=[x1,…,xp]T∈X與一維隨機(jī)變量y∈Y之間存在未知依賴關(guān)系y=f(x)+ε,其中ε～N(0,σ2)為隨機(jī)誤差.回歸估計(jì)就是利用來自于總體(X,Y)的訓(xùn)練樣本集={(xi,yi),i=1,…,n}去擬合f(x).根據(jù)f(x)形式及擬合方法不同,形成各類回歸模型.例如多項(xiàng)式形式的線性模型

(1)

LS-SVR將f(x)的形式設(shè)定為

f(x)=wTφ(x)+b

(2)

其中φ(x):Rp→H是非線性映射函數(shù),w是權(quán)值向量,改變?chǔ)?x)可得不同f(x)形式.利用樣本集進(jìn)行估計(jì),建立LS-SVR模型的優(yōu)化函數(shù)為

s.t.yi=wTφ(xi)+b+ξii=1,2,…,n

(3)

(4)

(5)

由于Ω、Z-1、c僅與xi有關(guān),于是L與y無關(guān),則Ly是y的線性組合或稱線性光滑(linear smoother),有利于推斷性統(tǒng)計(jì):設(shè)E(y)=μ,Var(y)=σ2I,則E(Ly)=Lμ,Var(Ly)=σ2LLT,E(yTLy)=σ2trace(L)+μTLμ.

2 方法研究

2.1 LS-SVR模型擬合不足的近似F-檢驗(yàn)方法

1)重復(fù)觀測(cè)的樣本集與LS-SVR擬合模型.設(shè)x共有m個(gè)不同水平,有xi=[xi,1,…,xi,p]T,i=1,…,m.在每個(gè)xi處各有ni次重復(fù)試驗(yàn),其觀測(cè)值為yi,j,j=1,…,ni;假設(shè)ni個(gè)yi,j獨(dú)立同分布即yi,j～N(f(xi),σ2),則建模樣本集可表示為

(6)

(7)

(8)

定義SSPe為“純誤差平方和”,表示重復(fù)觀測(cè)值與其平均值之差的平方和

=(Y-MY)T(Y-MY)=YT(I-M)Y

SSRes=SSPe+SSLof

上式即為殘差平方和的分解等式,在此基礎(chǔ)上,可以發(fā)展出相應(yīng)的顯著性檢驗(yàn)方法.

3)擬合不足均方與純誤差均方比值的近似F-分布.由定義,SSRes、SSPe和SSLof均為半正定二次型,其對(duì)應(yīng)矩陣為ARes=I-2L+L2、APe=I-M和ALof=M-2L+L2.根據(jù)二次型理論,SSPe和SSLof的自由度分別為dfPe= tr(APe)=n-m和dfLof=tr(ALof)=m-tr(2L-L2).將平方和除以自由度,即可得純誤差均方MSPe、擬合不足均方MSLof

MSPe=SSPe/dfPe;MSLof=SSLof/dfLof

(9)

F0=MSLof/MSPe～FdfLof,dfPe,λLof,λPe

(10)

E(MSPe)=σ2+ET(Y)APeE(Y)/tr(APe)

(11)

E(MSLof)=σ2+ET(Y)ALofE(Y)/tr(ALof)

(12)

可以證明ME(Y)=E(Y)②,則易證ET(Y)APeE(Y)=0及λPe=0、E(MSPe)=σ2,于是MSPe可以作為σ2的無偏估計(jì).

4)LS-SVR擬合不足的顯著性檢驗(yàn)及方差分析表.該檢驗(yàn)的原假設(shè)H0和備擇假設(shè)H1可設(shè)為

F0=MSLof/MSPe～FdfLof,dfPe

(13)

而當(dāng)模型擬合不足時(shí),根據(jù)半正定二次型性質(zhì),有ET(Y)ALofE(Y)>0因而E(MSLof)>σ2,E(MSLof)>E(MSPe).式(14)中,將有可能出現(xiàn)較大的F0,其顯著性P-value為

P-value=Prob.{F0>Fα,dfLof,dfPe}

(14)

其中α是某個(gè)顯著性水平值(例如0.05).由此可得擬合不足檢驗(yàn)的方差分析表:

式(13)中,當(dāng)ni增大時(shí),n將增大,dfPe=n-m也將增大;但是dfLof=m-tr(2L-L2) 的變化與ni的相關(guān)性不高:因?yàn)閙與ni無關(guān),而tr(2L-L2)與2L和L2的接近程度有關(guān),受不同樣本點(diǎn)數(shù)目m影響較大,與單個(gè)樣本點(diǎn)重復(fù)次數(shù)ni無關(guān).對(duì)于F-分布而言,當(dāng)?shù)诙杂啥?即dfPe)增大時(shí),反映其不對(duì)稱性的指標(biāo)“偏斜”將減少,顯著性檢驗(yàn)的穩(wěn)健性將增加,因此增加重復(fù)試驗(yàn)次數(shù)將有利于顯著性檢驗(yàn).但是ni也不能無限制增加,還需受到實(shí)驗(yàn)成本與時(shí)間約束.

2.2 基于擬合不足檢驗(yàn)的LS-SVR模型顯著性因子篩選

1)利用兩階段的LS-SVR模型考察因子的顯著性.其一是對(duì)初始LS-SVR模型的擬合不足檢驗(yàn),此時(shí)所有因子x1,…,xp均參與建模.根據(jù)樣本集0擬合出初始的LS-SVR模型M(0),其中xi=[xi1,…,xip]T,i=1,…,m.如果由式(13)和式(14)來計(jì)算出的P(0)-value<0.05,則有較強(qiáng)理由認(rèn)為M(0)存在擬合不足.此時(shí)應(yīng)該重新選擇和優(yōu)化模型的超參數(shù),或者增加新的建模樣本點(diǎn),重新擬合模型,直至擬合不足不顯著為止.

其二是改變參數(shù)建模的因子組合,擬合新的LS-SVR擬合模型,再進(jìn)行擬合不足檢驗(yàn)考察各因子(組合)的顯著性.對(duì)于x=[x1,…,xp]T若需考察其中某個(gè)因子xk的顯著性,一個(gè)比較直觀的思路,是將xk從x中移除,形成新的因子組合x(-k)=[x1,…,xk-1,xk+1,…,xp]T及建模樣本集

(15)

而后擬合新的LS-SVR模型M(-k).如果M(-k)擬合不足,則說明不能將xk移除,其對(duì)y有顯著影響.而這種顯著性的大小,可以用P(-k)-value來表示.該值越小,說明因子xk的移除對(duì)模型影響越大,因而xk也就越顯著.若需考察因子組合xc=[xc1,…,xck]T,{c1,…,ck}?{1,…,p}的顯著性,可將xc從x中移除,而后擬合新的LS-SVR模型進(jìn)行擬合不足檢驗(yàn).還可根據(jù)各因子(組合)P-value值的相對(duì)大小進(jìn)一步比較其顯著性.

(16)

其二,關(guān)于M(-k)超參數(shù)的選擇.LS-SVR模型結(jié)構(gòu)主要由h2、γ以及樣本集來確定,可以依樣本集分布而光滑變化.僅僅根據(jù)樣本集(-k),改變h2、γ也可得到某個(gè)擬合模型M′(-k).但是與M(0)相比,M′(-k)的h2、γ和xi均發(fā)生了變化,不論其擬合不足的顯著性如何,均不能看作是僅僅由于將xk移除而導(dǎo)致的.為反映xk移除對(duì)于M(0)的影響,恰當(dāng)做法是將M(0)的h2、γ直接應(yīng)用于M(-k).由于樣本觀測(cè)值yi,j在(-k)與M(0)中保持一致,此時(shí)變化的只有因子組合,由含有xk的xi變?yōu)橐瞥齲k的如果M(-k)出現(xiàn)擬合不足,則說明不能移除xk,其對(duì)于LS-SVR擬合模型而言是顯著的.

2.3 顯著性因子篩選的實(shí)現(xiàn)步驟

根據(jù)上述分析,形成試驗(yàn)設(shè)計(jì)條件下基于LS-SVR擬合不足檢驗(yàn)的顯著性因子篩選步驟.總體上可以分為初始模型擬合,顯著性因子篩選兩個(gè)階段.基于研究的聚焦性,假設(shè)已經(jīng)確定了合適的試驗(yàn)設(shè)計(jì)方式.

階段I初始模型擬合檢驗(yàn).

步驟3利用表1和式(13)、式(14)對(duì)M(0)進(jìn)行擬合不足檢驗(yàn),如果P(0)-value<0.05,則說明M(0)存在擬合不足,此時(shí)需返回步驟3,重新選擇h2和γ,直至擬合不足不顯著.

表1 LS-SVR模型擬合不足檢驗(yàn)的方差分析表

階段II顯著性因子篩選階段.

步驟4令k=1,…,p,依次將xk從x中移出,得到x(-k)=[x1,…,xk-1,xk+1,…,xp]T,以及如式(15)所示的新建模樣本集(-k),采用和M(0)相同的h2和γ,形成簡(jiǎn)化后的擬合模型M(-k).

步驟5對(duì)M(-k)進(jìn)行擬合不足檢驗(yàn),計(jì)算P(-k)-value,其值越小,說明xk越重要.

步驟6k=1,…,p,重復(fù)步驟4、步驟5,將得到的各P(-k)-value由小到大排序P(-1′)-value≤P(-2′)-value≤…≤P(-p′)-value,該序列即是各因子顯著性程度由高至低排序.在0.05的顯著性水平下,P(-k)-value<0.05對(duì)應(yīng)的xk均可看作顯著性因子,其余因子均不顯著.

步驟8對(duì)比分析步驟6與步驟7的結(jié)果,確定可以從LS-SVR模型中移除的不顯著因子,得到顯著性因子組合以及對(duì)應(yīng)的簡(jiǎn)化模型M(Red.).

需要說明的是,表1的計(jì)算與核函數(shù)形式無關(guān),可以適用于各種形式的核函數(shù)(例如多項(xiàng)式核,B-樣條核等等);但是需要根據(jù)其不同的超參數(shù)類型,參照式(16)進(jìn)行約束最優(yōu)化求解,以使ALof滿足近似冪等的條件.

3 仿真研究

利用兩個(gè)典型仿真函數(shù),考察MSLof與MSPe比值的近似F-分布的經(jīng)驗(yàn)概率密度曲線與理論概率密度曲線的符合性;對(duì)基于擬合不足檢驗(yàn)的因子顯著性篩選方法進(jìn)行仿真驗(yàn)證.

3.1 仿真函數(shù)

仿真函數(shù)I是帶有白噪聲的Camel函數(shù)

(17)

其中ε～N(0,σ2);x1,…,x6∈[-2,2].上式中僅含有x1或x2的部分是Camel函數(shù),已被應(yīng)用于各類算法仿真[34].fCamel在x1,x2維度上較為顯著,如圖1所示,而對(duì)于因子xt,t=3,4,5,6,其對(duì)應(yīng)系數(shù)均為0,本質(zhì)上不顯著性.對(duì)于fCamel,一階、二階多項(xiàng)式難以實(shí)現(xiàn)全局性建模.但若采用高階多項(xiàng)式,將會(huì)導(dǎo)致“維數(shù)災(zāi)難”.例如6因子六階多項(xiàng)式,需估計(jì)529個(gè)系數(shù);若只考慮不超過三階的交互作用,則需估計(jì)101個(gè)系數(shù).因此采用LS-SVR進(jìn)行全局性建模.

圖1 Camel函數(shù)的3維和2維投影圖

仿真函數(shù)II是有工程背景的Piston函數(shù),由一系列非線性函數(shù)組成鏈?zhǔn)浇Y(jié)構(gòu),用于對(duì)活塞在氣缸內(nèi)的圓周運(yùn)動(dòng)建模[35],其形式為

(18)

3.2 仿真過程

根據(jù)仿真函數(shù)范圍fCamel∈[0, 9.866 7]+ε,fPiston∈[0.164 2, 1.199 1]+ε,各選取兩個(gè)噪聲水平σ以及因子水平組合數(shù)m.fCamel仿真:σ=0.5,1.0;m=50,100;fPiston仿真:σ=0.05,0.1;m=50,100.而后在每一(σ,m)組合處各進(jìn)行10次仿真.每次仿真的因子水平組合由LHS設(shè)計(jì)生成,表示為x1,…,xm,且規(guī)范化至[0, 1]內(nèi).對(duì)于每個(gè)xi,隨機(jī)生成重復(fù)試驗(yàn)次數(shù)ni≤3.根據(jù)利用式(17)、式(18)生成初始樣本集,利用3.3節(jié)步驟識(shí)別出顯著性因子(或因子組合).作為對(duì)比,利用LHS設(shè)計(jì)生成大小為1 000的預(yù)測(cè)樣本集,分別計(jì)算初始和簡(jiǎn)化LS-SVR模型的預(yù)測(cè)均方誤差MSPE.對(duì)于相同的xi,ni和σ,固定LS-SVR超參數(shù)不變,重復(fù)5 000次試驗(yàn),得到含有隨機(jī)噪聲的響應(yīng)觀測(cè)值.根據(jù)式(9),計(jì)算出5 000個(gè)F0=MSLof/MSPe值,由此估計(jì)出對(duì)應(yīng)的經(jīng)驗(yàn)概率密度曲線(采用核估計(jì)方法);再根據(jù)式(10)計(jì)算理論概率密度曲線.

3.3 仿真結(jié)果

1)關(guān)于近似F-分布的經(jīng)驗(yàn)與理論概率密度曲線.由上述過程得到fCamel和fPiston各40組經(jīng)驗(yàn)與理論概率密度曲線,如圖2(a)、圖2(b)所示.

(a) fCamel (b) fPiston

2)關(guān)于顯著性因子的篩選.表2和表3為fCamel和fPiston仿真的顯著性因子篩選,給出了移除某個(gè)因子后的LS-SVR模型擬合不足P-value.該值越小,被移除因子對(duì)模型影響越為顯著.表中還給出了能夠被移除的最大因子組合.

表3 fPiston仿真的擬合不足P-value

以表2的(σ,m)=(0.5,50)為例,設(shè)定顯著性水平為0.05,第1次仿真,單獨(dú)移除x1或x2,模型均出現(xiàn)擬合不足,P-value分別為4e-11和9e-17(科學(xué)計(jì)數(shù)法);而單獨(dú)移除x3、x4、x5、x6中任一個(gè),P-value均大于0.05,不會(huì)導(dǎo)致擬合不足.如果將因子組合[x3,x4,x5,x6]移除,擬合不足也不顯著(P-value=0.294 9).包含x1或x2的因子組合共45組,將其分別移除后所得P-value最大值為1e-12,擬合不足均為高度顯著;而對(duì)于所有不包含x1或x2的因子組合(共11組),分別將其移除后P-value均大于0.05,擬合不足均不顯著.此時(shí),最大因子組合是[x3,x4,x5,x6],而[x1,x2]即為顯著性因子.

為進(jìn)一步說明,表4給出了fPiston,(σ,m)=(0.05,50)第1次仿真確定可移除的最大因子組合的過程:首先發(fā)現(xiàn)因子x1,x5,x6,x7對(duì)應(yīng)的P-value均大于0.05,于是考慮將該因子組合移除;但發(fā)現(xiàn)移除后P-value=0.032 6<0.05,因而不能整體移除;而后考慮移除其中3個(gè)因子,計(jì)算得知,因子組合[x5,x6,x7]對(duì)應(yīng)P-value= 0.414 6,而其他3因子組合P-value均小于0.05,不能被移除.由此可移除的最大因子組合為[x5,x6,x7],對(duì)應(yīng)的顯著性因子為[x1,x2,x3,x4].

表4 LS-SVR模型的不顯著因子移除過程示意

3)關(guān)于簡(jiǎn)化后的LS-SVR模型的預(yù)測(cè)性能.為考察移除不顯著因子對(duì)LS-SVR模型影響,利用表2和表3的樣本集,采用擬合均方誤差MSE和預(yù)測(cè)均方誤差MSPE來對(duì)比初始模型M(0)和簡(jiǎn)化模型M(Red.)性能,每次仿真均由LHS設(shè)計(jì)生成一個(gè)大小為1 000的測(cè)試樣本集.而后相同(σ,m)的10次仿真形成一組Box圖,fCamel和fPiston各形成4組對(duì)比Box圖,如圖3和圖4所示.

“I”,“II”,“III”,“IV”對(duì)應(yīng)(σ,m)為 (0.5, 50),(0.5, 100),(1.0, 50),(1.0, 100);“A”初始模型,“B”簡(jiǎn)化模型

“I”,“II”,“III”,“IV”對(duì)應(yīng)(σ,m)為 (0.5, 50),(0.5, 100),(1.0, 50),(1.0, 100);“A”初始模型,“B”簡(jiǎn)化模型

4)關(guān)于與逐步回歸方法的對(duì)比.在經(jīng)典理論中,與顯著性因子篩選相關(guān)的交叉驗(yàn)證法主要有逐步回歸法(step wise regression,SWR)[36],序貫分支法等等.后者無法包含二階主效應(yīng),有可能會(huì)引起殘差的異方差.因此采用含一階、二階主效應(yīng)以及二階交互作用效應(yīng)的線性回歸模型,運(yùn)行SWR方法.其模型為

表5 各類方法識(shí)別出的顯著性因子及漏判率、 誤判率對(duì)比(fCamel)

4 實(shí)證研究

4.1 案例背景

3D打印可以應(yīng)用于汽車,航空航天,醫(yī)用材料等領(lǐng)域,是智能制造的代表技術(shù)之一[37].熔融沉積成型是使用最為廣泛的3D打印技術(shù),其基本原理是將高分子等熱熔性材料從噴嘴處擠出,分層堆積凝固形成實(shí)體.此過程的工藝參數(shù)主要包括層厚、打印速度、噴嘴溫度、熱床溫度、填充率、最短冷卻時(shí)間等等;質(zhì)量特性則包括零件的尺寸精度及形狀符合度等等.成型過程需經(jīng)歷從固態(tài)到熔融,再到冷卻成型的復(fù)雜變化,使得工藝參數(shù)與制成品質(zhì)量特性之間呈高度非線性相關(guān).對(duì)于大多數(shù)3D打印制成品而言,翹曲(warping)和飛邊(flash)是主要質(zhì)量缺陷,而通過基于試驗(yàn)設(shè)計(jì)建模的工藝參數(shù)優(yōu)化,可以較為顯著性地降低翹曲程度和飛邊長(zhǎng)度.然而上述工藝參數(shù)的影響大小不一致,在質(zhì)量?jī)?yōu)化之前,需要先識(shí)別出顯著性因子,以降低優(yōu)化控制的難度.考慮到3D打印過程的強(qiáng)非線性,這里采用所提出的LS-SVR建模和顯著性因子篩選方法,再通過遺傳算法尋優(yōu),得到優(yōu)化的工藝參數(shù)值及質(zhì)量特性值,并通過試驗(yàn)驗(yàn)證有效性.

試驗(yàn)設(shè)備為“Z-603S”型“極光爾沃”牌3D打印機(jī).采用直徑1.75 mm的聚乳酸材料進(jìn)行打印.試驗(yàn)零件為15 mm×15 mm×3 mm的立方體.工藝參數(shù)分別為層厚/(mm):x1∈[0.06,0.20],打印速度/(mm/s):x2∈[20,70],噴嘴溫度/(℃):x3∈[190,220],熱床溫度/(℃):x4∈[50,70],填充率/(%):x5∈[20,50],最短冷卻時(shí)間/(s):x6∈[3,6].質(zhì)量特性為翹曲/(mm):ywarp和飛邊/(mm):yflash,均為望小型.采用游標(biāo)卡尺進(jìn)行測(cè)量,以制成品水平放置時(shí),其表面距離水平面的最大高度為ywarp,以各條邊的最大飛邊長(zhǎng)度為yflash.

4.2 試驗(yàn)設(shè)計(jì)樣本集獲取及顯著性因子篩選

圖5 3D打印過程因子(或因子組合)移除后的擬合不足顯著性

圖6 3D打印的簡(jiǎn)化LS-SVR模型曲面及等高線

表6 3D 打印試驗(yàn)LHS設(shè)計(jì)的因子組合及響應(yīng)值

4.3 質(zhì)量特性尋優(yōu)

表7 3D打印的簡(jiǎn)化LS-SVR模型尋優(yōu)結(jié)果驗(yàn)證試驗(yàn)

5 結(jié)果討論

5.1 所提方法的有效性

1)非中心F-分布的符合性.從圖7(a)和圖7(b)可以看出,非中心F-分布的經(jīng)驗(yàn)與理論概率密度曲線的符合程度較好.

(a)fCamel (b)fPiston

其二,經(jīng)驗(yàn)與理論概率密度曲線的尾部符合性更高,對(duì)于較為顯著的擬合不足判斷影響較小.擬合不足意味著存在一個(gè)較大MSLof/MSPe,對(duì)應(yīng)在曲線右偏尾部位置.圖7表明,兩類曲線的差異主要集中在最高點(diǎn)附近,而尾部差異不大.作為歸一化,采用各概率密度相對(duì)于近似F-分布(理論分布)分位數(shù)Fα的曲線作為參照,定義

其中g(shù)e(Fα)和gt(Fα)表示Fα處的經(jīng)驗(yàn)和理論概率密度,D2(Fα)表示累積到Fα處的兩類概率密度曲線的偏差均方.圖7(a)和圖7(b)給出了fCamel與fPiston仿真的D2(Fα)曲線.可以看出,當(dāng)Fα較大(例如>0.5)時(shí),D2(Fα)呈快速減小趨勢(shì).

2)顯著性因子識(shí)別及簡(jiǎn)化模型結(jié)構(gòu)的一致性.表2和表3說明,所提方法能夠有效識(shí)別顯著性因子,給出可移除的不顯著因子最大組合.

其一,所提方法在識(shí)別顯著性因子方面的一致性較高.fCamel的40次仿真,x1、x2均被識(shí)別為顯著,其對(duì)應(yīng)的擬合不足P-value均較小;與作為白噪聲添加進(jìn)模型的不顯著因子x3、x4、x5、x6對(duì)應(yīng)的P-value有明顯差異;40次仿真中,37次(比例為92.5%)識(shí)別出了所有不顯著因子.fPiston的40次仿真,x2有39次(比例為97.5%)被識(shí)別為顯著,x3有35次(比例為87.5%)被識(shí)別為顯著;40次仿真中,能夠被移除的最大因子組合均包含[x5,x6,x7].

其二,簡(jiǎn)化模型的基本結(jié)構(gòu)具有一致性.表2和表3說明,σ和m不同,被移除最大因子組合不同,對(duì)應(yīng)的簡(jiǎn)化模型也不同.fCamel的(σ,m)=(0.5,50)第1次仿真,得到了含有x1、x2的簡(jiǎn)化模型;而(σ,m)=(0.5,50)第10次仿真,得到了含有x1、x2、x4的簡(jiǎn)化模型,但是所有40次仿真,真實(shí)的顯著性因子x1、x2均被無差別識(shí)別并包含于簡(jiǎn)化模型.也就是說,簡(jiǎn)化模型基本一致,且描述了初始模型主要特征.對(duì)于fPiston,其仿真函數(shù)沒有特別加入權(quán)重系數(shù)為0的白噪聲因子,但是40次仿真中,x2、x3均包含于簡(jiǎn)化模型,說明了簡(jiǎn)化模型結(jié)構(gòu)的基本一致性.

3)簡(jiǎn)化模型復(fù)雜度降低和預(yù)測(cè)性能改善.直觀理解,如果將某些因子移除,模型表現(xiàn)能力將降低.但圖3和圖4說明,與初始模型相比,簡(jiǎn)化模型擬合誤差增加,但預(yù)測(cè)誤差卻明顯降低.

其一,簡(jiǎn)化模型的預(yù)測(cè)均方誤差MSPE降低且波動(dòng)減小.對(duì)于fCamel和fPiston,簡(jiǎn)化模型的擬合性能降低,表現(xiàn)為擬合均方誤差MSE的均值和波動(dòng)性均有所增加,但是預(yù)測(cè)均方誤差MSPE卻優(yōu)于初始模型,并且其IQR(四分位距)也有明顯減小,說明方法預(yù)測(cè)性能也較為穩(wěn)定.

5.2 與經(jīng)典線性模型顯著性因子篩選方法的比較

1)均是以F-分布和方差分析為基礎(chǔ).所提方法基于式(10)的近似F-分布和方差分析,與經(jīng)典線性模型相比,這也是一種統(tǒng)計(jì)檢驗(yàn)方法.因此在單次檢驗(yàn)中,會(huì)由于過程噪聲σ影響,得到不同的顯著性結(jié)果,表2和表3也說明,最終被移除的最大因子組合不完全相同.但在多次重復(fù)檢驗(yàn)下,某個(gè)因子組合將會(huì)以較大概率出現(xiàn),例如表2中的[x3,x4,x5,x6]和表3的[x5,x6,x7],這也是統(tǒng)計(jì)檢驗(yàn)方法的特點(diǎn).類似地,經(jīng)典線性模型中,對(duì)于同一個(gè)“因子—響應(yīng)”過程,不同觀測(cè)值也可能導(dǎo)致不同的顯著性因子篩選結(jié)果.

3)對(duì)于樣本量大小的要求不同.經(jīng)典線性模型的F-分布要求樣本量n→+∞.然而試驗(yàn)設(shè)計(jì)建模樣本量一般有限且較小.而所提方法的近似F-分布不以n→+∞為基礎(chǔ),試圖在有限樣本條件下通過調(diào)整LS-SVR超參數(shù)h2與γ來獲得,具有較強(qiáng)的工程實(shí)踐現(xiàn)實(shí)意義.再者,近似F-分布對(duì)于樣本量的要求與LS-SVR模型本身的小樣本特性是一致的,更有利于體現(xiàn)模型性能,圖3和圖4也說明,通過近似F-分布剔除不顯著因子得到的簡(jiǎn)化模型,其預(yù)測(cè)性能得到了較好改善.

4)關(guān)于因子效應(yīng)的“稀疏性”、“交互作用”與“因子組合”的顯著性.因子效應(yīng)的“稀疏性”指試驗(yàn)設(shè)計(jì)中的重要因子(即顯著性因子)是少數(shù)的[38].例如析因試驗(yàn)中,只有一部分因子效應(yīng)呈現(xiàn)為統(tǒng)計(jì)學(xué)意義上的顯著,而其他(尤其是高階交互作用的效應(yīng))不顯著.本研究也體現(xiàn)了這一原則,對(duì)于3D打印試驗(yàn),總計(jì)6個(gè)工藝參數(shù),能夠被同時(shí)移除的有3個(gè),其余為顯著性因子.由于LS-SVR模型的特點(diǎn),所提方法未涉及各因子間的交互作用.“交互作用”項(xiàng)指線性模型的因子乘積項(xiàng)(例如x1x2).LS-SVR模型中不存在因子乘積項(xiàng),而實(shí)際制造過程也不存在能夠單獨(dú)控制的“交互作用”項(xiàng).所提方法可以從因子組合整體(而非多個(gè)因子簡(jiǎn)單加和)角度判斷顯著性,可以較好地適應(yīng)實(shí)際過程參數(shù)優(yōu)化和控制的需要,3D試驗(yàn)也說明了這一點(diǎn).

5)與逐步回歸方法的“漏判率”與“誤判率”對(duì)比.從表5可以看出,所提方法的MAR與FAR均優(yōu)于SWR方法.所提方法的MAR在不同m與σ組合下均為0,而SWR方法最高達(dá)0.15,意味著在10次仿真中有3個(gè)(次)顯著性因子未被有效識(shí)別出.所提方法的FAR最高為0.075,而SWR方法最高達(dá)0.275,是本文方法的3.67倍.此外,當(dāng)σ增大時(shí),所提方法的FAR均變?yōu)?,更適合于工程實(shí)踐噪聲較大的情形.

6 結(jié)束語

本研究根據(jù)LS-SVR特點(diǎn),提出了基于擬合不足檢驗(yàn)的顯著性因子篩選方法,用以在試驗(yàn)設(shè)計(jì)建模及參數(shù)優(yōu)化中識(shí)別關(guān)鍵工藝參數(shù)、降低質(zhì)量改進(jìn)成本.利用LS-SVR線性光滑估計(jì)的特點(diǎn),將擬合模型殘差平方和分解為擬合不足與純誤差的平方和;利用重復(fù)性試驗(yàn),給出了擬合不足與純誤差均方比值的近似F-分布,構(gòu)造了擬合不足檢驗(yàn)的方差分析表;利用移除某個(gè)因子(組合)導(dǎo)致的擬合不足顯著性P-value的變化,提出了顯著性因子的篩選方法;還通過增加滿足近似F-分布的約束,給出了LS-SVR模型的超參數(shù)選擇方法.仿真與實(shí)證研究表明,本研究較好地實(shí)現(xiàn)了具有“樣本點(diǎn)—響應(yīng)”及核函數(shù)結(jié)構(gòu)的機(jī)器學(xué)習(xí)模型的顯著性因子篩選,簡(jiǎn)化了模型形式,改善了預(yù)測(cè)性能.本研究有助于增強(qiáng)在試驗(yàn)設(shè)計(jì)建模及參數(shù)優(yōu)化中應(yīng)用LS-SVR模型的“可解釋性”,有利于從因子(而非樣本點(diǎn))角度探究其影響,拓展機(jī)器學(xué)習(xí)模型在質(zhì)量改進(jìn)的應(yīng)用.所提方法也適用于大數(shù)據(jù)集的因子顯著性篩選.一般而言,大數(shù)據(jù)集缺乏嚴(yán)格的重復(fù)性樣本集,可以考慮將某一樣本點(diǎn)附近較小鄰域內(nèi)的樣本點(diǎn)近似作為重復(fù)測(cè)量.而鄰域半徑的確定、近似重復(fù)性對(duì)于顯著性檢驗(yàn)的影響等等,是需要進(jìn)一步研究的問題.