(1.河源職業(yè)技術(shù)學(xué)院 電子與信息工程學(xué)院, 廣東 河源 517000； 2.惠州學(xué)院 信息科學(xué)技術(shù)學(xué)院, 廣東 惠州 516007； 3.惠州學(xué)院 電子信息與電氣工程學(xué)院, 廣東 惠州 516007)

0 引言

當(dāng)前，液晶顯示已廣泛應(yīng)用于電子生產(chǎn)與消費(fèi)領(lǐng)域，液晶屏的質(zhì)量直接關(guān)乎電子產(chǎn)品的整體品質(zhì)。因此，在液晶屏的生產(chǎn)過程中，由工藝及環(huán)境導(dǎo)致液晶屏顯示的諸如包括亮點(diǎn)、漏光、白點(diǎn)、異物、斑紋、BLOB(幾何形態(tài))、MURA、黑點(diǎn)、顏色不均、劃傷、氣泡、褶皺等缺陷問題。隨著機(jī)器視覺在智能制造領(lǐng)域的進(jìn)一步應(yīng)用，目前的缺陷檢測一改往日的人工檢測手段，采用基于機(jī)器視覺的液晶屏檢技術(shù)，大大地提升檢測的效率及準(zhǔn)確性。因此在智能制造企業(yè)，為保證制造企業(yè)順利、高效且智能地完成各生產(chǎn)任務(wù)，投入了大量的工業(yè)機(jī)器人，并引入具有識(shí)別、定位與檢測技術(shù)的視覺系統(tǒng)就顯得至關(guān)重要。

當(dāng)前，從事工業(yè)自動(dòng)化應(yīng)用之機(jī)器視覺領(lǐng)域的研究備受業(yè)界廣泛關(guān)注，并取得了一定的成果。包括日本學(xué)者研究的弧焊機(jī)器人，澳大利亞大學(xué)機(jī)構(gòu)研制的六自由度工業(yè)機(jī)器人，以及瑞典 ABB 公司推出的“第II代”拾取機(jī)器人等，都屬于工業(yè)自動(dòng)化應(yīng)用之機(jī)器視覺技術(shù)的實(shí)踐[1]。鑒于此，我國也陸續(xù)研制了碼垛機(jī)器人和卸垛機(jī)器人等。然而，在電子制造業(yè)利用機(jī)器視覺實(shí)現(xiàn)LED自動(dòng)化屏檢的應(yīng)用并不多見，與已有的技術(shù)應(yīng)用仍存在一定的局限[2-4]。一般地，提高生產(chǎn)率、增加檢測的精度與節(jié)省人力成本仍是制造企業(yè)首要考慮的重要議題[5]，而機(jī)器視覺技術(shù)在工業(yè)機(jī)器人的應(yīng)用正是當(dāng)前智能制造的趨勢之一。與已有檢測技術(shù)不同，借助工業(yè)機(jī)器人在工業(yè)生產(chǎn)過程中智能屏檢樣例的積累與學(xué)習(xí)，對(duì)于BLOB(幾何形態(tài))、亮暗點(diǎn)、橫豎線等三大缺陷進(jìn)行檢測，設(shè)計(jì)并實(shí)現(xiàn)了一種基于深度學(xué)習(xí)理論的增量檢測算法，旨在發(fā)揮深度學(xué)習(xí)在計(jì)算機(jī)視覺技術(shù)檢測方面的優(yōu)勢，業(yè)以提高工業(yè)機(jī)器人在智能制造檢測效率與精度，并節(jié)省人力成本，最終提高企業(yè)的生產(chǎn)效率與產(chǎn)品質(zhì)量。

1 檢測思路

通常，深度學(xué)習(xí)是通過主動(dòng)訓(xùn)練數(shù)據(jù)獲取特征模型。然而，在缺陷檢測中，考慮到缺陷種類的多樣性，決定對(duì)已標(biāo)注小樣本數(shù)據(jù)集進(jìn)行訓(xùn)練，得到具有初始參數(shù)值的粗特征模型進(jìn)行缺陷識(shí)別。接著對(duì)已識(shí)別的缺陷產(chǎn)品保存到樣本集，針對(duì)原有模型多次采用增量學(xué)習(xí)方法對(duì)參數(shù)進(jìn)行調(diào)整，得到更為精確的模型，提升識(shí)別率。具體識(shí)別流程如圖1所示。

圖1 小樣本缺陷檢測與識(shí)別流程

2 數(shù)據(jù)集缺陷特征分類

一般地，在LED屏的工藝制造過程中，受外力擠壓，很容易導(dǎo)致LED屏在灰度或色度顯示不均勻出現(xiàn)污漬的Mura現(xiàn)象[6]；而受靜電或工藝參數(shù)等影響，易導(dǎo)致其電學(xué)特性發(fā)生變化，或電源線信號(hào)線發(fā)生斷裂，使得屏幕在點(diǎn)亮?xí)r出現(xiàn)亮暗點(diǎn)。

為消除人類視覺存在的誤區(qū)，可以采用光學(xué)檢測方法[7]，通過數(shù)字相機(jī)像素級(jí)光點(diǎn)的參數(shù)計(jì)算來改善LED TV生產(chǎn)在自動(dòng)化屏檢過程的準(zhǔn)確性。因此，要實(shí)現(xiàn)基于機(jī)器視覺的智能屏檢，必需完成液晶屏的點(diǎn)燈和外觀檢測過程，在像素級(jí)層面對(duì)LED TV的液晶屏出現(xiàn)的亮點(diǎn)、漏光、白點(diǎn)、異物、斑紋、MURA、黑點(diǎn)、顏色不均、劃傷、氣泡、褶皺等完成缺陷的檢測。因此從宏觀、微觀的角度，依據(jù)缺陷的形狀，可以將缺陷劃分為點(diǎn)缺陷(像素缺陷)、線缺陷和面缺陷幾類。圖2為關(guān)于點(diǎn)、線、面形狀缺陷類別。

圖2 點(diǎn)、線、面形狀缺陷類別

3 融合遷移學(xué)習(xí)與FCNet的學(xué)習(xí)策略

較之以往的機(jī)器學(xué)習(xí)、人工智能，近年來深度學(xué)習(xí)引起了廣泛關(guān)注，其沿用了神經(jīng)網(wǎng)絡(luò)分層結(jié)構(gòu)，主要采用CNN卷積神經(jīng)網(wǎng)絡(luò)卷積層和池化層，根據(jù)需要串聯(lián)多個(gè)卷積、非線性變換和池化有監(jiān)督地訓(xùn)練所有過濾器中的權(quán)值參數(shù)，獲得特征模型。深度學(xué)習(xí)是一種深層次的大規(guī)模網(wǎng)絡(luò)結(jié)構(gòu), 針對(duì)海量數(shù)據(jù)進(jìn)行訓(xùn)練,不斷調(diào)整參數(shù), 是一種主動(dòng)學(xué)習(xí)行為，所以深度學(xué)習(xí)模型需要更長的訓(xùn)練時(shí)間，由此，研究模型的收斂速度就顯得至關(guān)重要[8]。

眾所都知，深度學(xué)習(xí)是機(jī)器學(xué)習(xí)中一種基于對(duì)數(shù)據(jù)進(jìn)行特征學(xué)習(xí)的方法。卷積神經(jīng)網(wǎng)絡(luò)(CNN)屬于深度學(xué)習(xí)的監(jiān)督學(xué)習(xí)方法，同樣是一種高效的特征提取方法。以往的機(jī)器學(xué)習(xí)，需要對(duì)數(shù)據(jù)先進(jìn)行標(biāo)注，將投入大量的人力、物力，如果能對(duì)小樣本數(shù)據(jù)集進(jìn)行深度學(xué)習(xí)進(jìn)而獲取特征模型，必將節(jié)約大量資源，因此很有必要研究一種面向小樣本數(shù)據(jù)集的深度學(xué)習(xí)分類算法。算法主要包括兩個(gè)階段：一是基于遷移學(xué)習(xí)策略的深度特征提取階段；二是使用全連接神經(jīng)網(wǎng)絡(luò)(Fully Connected Neural Network, FCNet)作為分類器的分類階段[7]。通過遷移學(xué)習(xí)，獲得更利于分類的特征模型。由此，遷移學(xué)習(xí)的特征提取采用深度學(xué)習(xí)的方法具有顯著優(yōu)勢。當(dāng)前，由于訓(xùn)練數(shù)據(jù)有限，可能會(huì)由于訓(xùn)練不足導(dǎo)致參數(shù)不準(zhǔn)確而影響深度學(xué)習(xí)的模型。

通常，構(gòu)成深度學(xué)習(xí)的網(wǎng)絡(luò)框架層數(shù)越多，需要訓(xùn)練的數(shù)據(jù)越多，當(dāng)然取得的分類效果就越好。然而在LED TV缺陷檢測中，已標(biāo)注的樣本數(shù)量有限，要獲取更多的樣本需要通過不斷地增量存取。為了在有限的樣本數(shù)據(jù)集中能更好地提高分類性能，引入包含3個(gè)全連接層的FCNet分類器，如圖3所示。在FCNet輸入單幅圖像采用遷移學(xué)習(xí)方法提取的4 096維全連接層的特征數(shù)據(jù)集合[9]，為消除過擬合現(xiàn)象，在網(wǎng)絡(luò)全連接層應(yīng)用DropOut策略，為應(yīng)對(duì)梯度衰減問題，在全連接層后引入修正的線性化單元(Rectified Linear Units，ReLU)層[10]。因此，F(xiàn)CNet模型的損失函數(shù)定義為：

(1-yn)log(1-σW,b(xn))]

(1)

(2)

由此，給定被檢測樣本xj，由公式(3)可得到其分類情況。

[p,C]=max(WTxj+b)

(3)

其中:W,b是在訓(xùn)練過程中得到的參數(shù)，p表示樣本xj屬于類別C的概率。

圖3 FCNet分類器結(jié)構(gòu)

4 缺陷特征增量學(xué)習(xí)

一般地，一個(gè)模式識(shí)別系統(tǒng)包括特征模型和分類器兩個(gè)主要部分[11]。然而，針對(duì)已標(biāo)注樣本的特征分類，包括點(diǎn)缺陷、線缺陷和面缺陷樣本的充分訓(xùn)練，加入增量數(shù)據(jù)后(不是時(shí)序模型問題)除了將算法在全量數(shù)據(jù)(歷史樣本數(shù)據(jù)+增量數(shù)據(jù))上重新運(yùn)行一遍外，在全量數(shù)據(jù)上更新算法模型將浪費(fèi)大量資源，還影響系統(tǒng)的性能。由此可以采用在線學(xué)習(xí)算法，每過來一個(gè)樣本，更新一次參數(shù)，并將該樣本保存到訓(xùn)練數(shù)據(jù)集，甚至不需要儲(chǔ)存歷史樣本數(shù)據(jù)，但可以達(dá)到和跑全量數(shù)據(jù)差不多的效果。圖4所示為新增樣本的缺陷特征學(xué)習(xí)網(wǎng)絡(luò)模型，有(A，B)、(A，C)2個(gè)訓(xùn)練樣本輸入節(jié)點(diǎn)以及2個(gè)特征模型輸出節(jié)點(diǎn)(X，Y)，經(jīng)過模型融合，形成新的特征增量學(xué)習(xí)網(wǎng)絡(luò)。

圖4 具有3輸入2輸出的增量學(xué)習(xí)演變示例

為應(yīng)對(duì)高速變化和實(shí)時(shí)特性的大量數(shù)據(jù)，必然要求使用的特征學(xué)習(xí)算法支持增量動(dòng)態(tài)更新，且具有實(shí)時(shí)學(xué)習(xí)高速動(dòng)態(tài)變化數(shù)據(jù)的特征，包括新數(shù)據(jù)實(shí)例更新模型的參數(shù)與結(jié)構(gòu)，能夠快速學(xué)習(xí)新數(shù)據(jù)的特征；且盡力保持模型的原始知識(shí)[12]。支持增量更新的深度學(xué)習(xí)模型包括預(yù)訓(xùn)練和參數(shù)微調(diào)兩個(gè)階段。通過各基礎(chǔ)模塊的訓(xùn)練，構(gòu)建增量式深度計(jì)算模型；使用已標(biāo)注的數(shù)據(jù)對(duì)整個(gè)模型的參數(shù)進(jìn)行微調(diào)，獲得參數(shù)解，從而提升模型的準(zhǔn)確度。在參數(shù)微調(diào)時(shí)，要盡量使得更新的模型融入新數(shù)據(jù)的特征，保持模型的原有的特性，新模型能夠有效學(xué)習(xí)歷史數(shù)據(jù)的特征，即特征模型適應(yīng)性與保持性。因此對(duì)于給定訓(xùn)練的新增數(shù)據(jù)X，定義基于權(quán)重的適應(yīng)性的誤差函數(shù)如公式(4)所示。

(4)

為衡量參數(shù)更新后模型的連續(xù)性，定義參數(shù)更新誤差Epers函數(shù)如公式(5)所示。

(5)

為顧及參數(shù)更新的適應(yīng)性與連續(xù)性，定義了代價(jià)函數(shù)如公式(6)。

P(x,θ+Δθ)=Eadp+Epers

(6)

為計(jì)算參數(shù)的增量Δθ，利用泰勒定理對(duì)φ(x,θ+Δθ)展開，可求得:

可見，Δθ的這個(gè)近似解與在線梯度下降算法具有相似的形式。不同的是θ和Δθ是參數(shù)張量及其增量的向量表示。

5 實(shí)驗(yàn)驗(yàn)證

為了更好地完成自動(dòng)屏檢，必需給出屏幕覆蓋的范圍，取單個(gè)相機(jī)的可視范圍，計(jì)算出針對(duì)平面、曲面LED屏的相關(guān)測試參數(shù)。如圖5所示，假定LED液晶屏的長寬比為16：9，測試的最大尺寸為65 英吋。則有：

24 MP,(16x)2+(9x)2=652→x=3.54 Inch，

即可計(jì)算單相機(jī)可視范圍σ為：

依據(jù)經(jīng)驗(yàn)，現(xiàn)分別設(shè)定水平LED屏檢的測試參數(shù)：其中的測試機(jī)架的上下相機(jī)中心安裝距離為405 mm；水平相機(jī)安裝距離為520 mm。進(jìn)而設(shè)定LED(4000R)曲面屏檢的測試機(jī)架參數(shù)，其上下相機(jī)中心安裝距離為405 mm；水平安裝的相機(jī)需變形為4000R的曲面；其中心安裝距離則為500 mm。

圖5 16:9幅寬相機(jī)矩陣參數(shù)

為驗(yàn)證前面提出的小樣本深度學(xué)習(xí)的智能屏檢算法，將LED屏幕缺陷劃分為亮/暗點(diǎn)、橫/豎線、亮/暗斑三大類，在可視區(qū)域內(nèi)進(jìn)行全方位的檢測。表1列出了以往生產(chǎn)過程中對(duì)應(yīng)尺寸大小不同的LED TV屏檢測試參數(shù)。

表1 不同屏檢尺寸對(duì)應(yīng)的測試參數(shù)

實(shí)驗(yàn)伊始，對(duì)已標(biāo)注缺陷樣本采用機(jī)器學(xué)習(xí)獲得融合3類特征模型；接著對(duì)上位機(jī)采集的圖像采用特征模型進(jìn)行邊檢測邊增量學(xué)習(xí)的策略，并對(duì)特征模型依照適應(yīng)性和連續(xù)性進(jìn)行參數(shù)調(diào)整。

在缺陷檢測中，缺陷圖像的分割是非常關(guān)鍵的環(huán)節(jié)。由于缺陷具有邊緣模糊、對(duì)比度低以及圖像背景不均勻等特點(diǎn)，因此必須針對(duì)3類缺陷進(jìn)行多級(jí)訓(xùn)練獲得特征模型，從而更好地進(jìn)行識(shí)別。即，通過算法檢測了5個(gè)缺陷標(biāo)識(shí)，包括點(diǎn)狀、線狀以及圖斑。特征提取自30個(gè)樣本數(shù)據(jù)塊，包括了10個(gè)區(qū)域、3種尺度以及RGB或者灰度。而后我們訓(xùn)練生產(chǎn)了60個(gè)FCNets網(wǎng)絡(luò)，每一個(gè)都從某一個(gè)面部塊及其水平對(duì)稱圖像中提取了兩個(gè)160維特征。最后，我們得到了19200維的特征(160×2×60)。

在實(shí)際生產(chǎn)中只要滿足缺陷特征模型范圍值就能達(dá)到檢測的目的，據(jù)不完全統(tǒng)計(jì)，缺陷檢測的識(shí)別率可達(dá)到97%以上。具體的3種缺陷特征的現(xiàn)場實(shí)驗(yàn)對(duì)應(yīng)的實(shí)驗(yàn)結(jié)果見圖6所示。

圖6 三類缺陷樣本示例

考慮到訓(xùn)練樣本集和測試集數(shù)據(jù)特征相對(duì)較穩(wěn)定，亦或微調(diào)參數(shù)，使得更新的網(wǎng)絡(luò)模型學(xué)習(xí)新檢測數(shù)據(jù)的特征，因此除驗(yàn)證檢測效率與準(zhǔn)確性外，本文還進(jìn)一步驗(yàn)證參數(shù)増量式更新算法的有效性。通過適應(yīng)性、連續(xù)性和更新效率進(jìn)行驗(yàn)證?，F(xiàn)取已標(biāo)注的100張有缺陷樣本圖片作為訓(xùn)練集，記為S0；并從600張測試樣本中選100張歷史數(shù)據(jù)(含新保存的檢測數(shù)據(jù))作為増量式訓(xùn)練數(shù)據(jù)集，記為S1；剩余測試樣本數(shù)據(jù)集記為S2。對(duì)上述3個(gè)數(shù)據(jù)子集訓(xùn)練如下4個(gè)參數(shù)：

1)在S0上訓(xùn)練獲得特征參數(shù)P0；

2)以P0作為原始參數(shù)，在S1上執(zhí)行增量學(xué)習(xí)算法，獲得增量更新參數(shù)P1；

3)在數(shù)據(jù)集S0,S1上執(zhí)行基本的深度學(xué)習(xí)算法，獲得參數(shù)P2；

4)在數(shù)據(jù)集S2上執(zhí)行基本的深度學(xué)習(xí)算法，獲得參數(shù)P3；

從圖7可以看到，融合了遷移學(xué)習(xí)與FCNet深度學(xué)習(xí)策略能較大的改進(jìn)基于圖像的LED TV缺陷特征模型。另一方面，與傳統(tǒng)機(jī)器學(xué)習(xí)相比，平均誤差將隨著樣本數(shù)量的增加，我們提出的模型平均誤差最小。這也表明我們的學(xué)習(xí)模型可以非常有效地從不同的特征空間中學(xué)到知識(shí)，能改善缺陷識(shí)別率。

圖7 融合遷移學(xué)習(xí)與FCNet的誤差率情況

根據(jù)S2的MSE檢驗(yàn)上述4個(gè)參數(shù)對(duì)分類的正確性，包括新參數(shù)模型對(duì)動(dòng)態(tài)變化數(shù)據(jù)的適應(yīng)性。MSE越小,說明新參數(shù)模型的適應(yīng)性越強(qiáng)。實(shí)驗(yàn)結(jié)果如圖8所示。

圖8 測試數(shù)據(jù)集實(shí)驗(yàn)結(jié)果

均方誤差MSE統(tǒng)計(jì)結(jié)果如表2所示。實(shí)驗(yàn)數(shù)據(jù)表明，θ作為參數(shù)對(duì)數(shù)據(jù)集進(jìn)行分類得到的均方誤差MSE最大。主要原因是基本的深度學(xué)習(xí)模型屬于一種靜態(tài)學(xué)習(xí)模型，而增量學(xué)習(xí)能有效學(xué)習(xí)新數(shù)據(jù)的特征，因此當(dāng)P1作為參數(shù)對(duì)數(shù)據(jù)集S2進(jìn)行分類時(shí)，得到的MSE明顯小于0，同時(shí)我們注意到，P2作為參數(shù)進(jìn)行學(xué)習(xí)，其分類結(jié)果與P1比較接近，因?yàn)樾聰?shù)據(jù)實(shí)例與原始數(shù)據(jù)整體執(zhí)行基本深度學(xué)習(xí)獲得了較好的結(jié)果。因而P3作為參數(shù)對(duì)S2進(jìn)行分類時(shí)，獲得的MSE最小。

接著需要驗(yàn)證4個(gè)參數(shù)對(duì)測試數(shù)據(jù)集S0進(jìn)行分類的有效性。主要是檢驗(yàn)4個(gè)參數(shù)對(duì)樣本數(shù)據(jù)的連續(xù)性，即保持性，MSE越小，表明更新模型對(duì)樣本庫數(shù)據(jù)的保持性越強(qiáng)。連續(xù)實(shí)驗(yàn)10次，實(shí)驗(yàn)結(jié)果如圖9所示,MSE統(tǒng)計(jì)結(jié)果如表3所示。

表2 自適應(yīng)均方差統(tǒng)計(jì)結(jié)果

表3 可持續(xù)性均方差統(tǒng)計(jì)結(jié)果

圖9 測試數(shù)據(jù)集連續(xù)性實(shí)驗(yàn)結(jié)果

以上實(shí)驗(yàn)結(jié)果表明，用參數(shù)θ對(duì)S0分類的MSE最小。主要是因?yàn)閰?shù)θ是通過原始學(xué)習(xí)獲得，獲得了較好的分類效果，具有很強(qiáng)的連續(xù)性。且使用參數(shù)P1,P2進(jìn)行分類，MSE值仍比較小，表明其對(duì)歷史數(shù)據(jù)的特征學(xué)習(xí)具有良好的保持性。圖10描述了采用傳統(tǒng)機(jī)器學(xué)習(xí)、深度學(xué)習(xí)網(wǎng)絡(luò)以及本文提出的應(yīng)用融合遷移學(xué)習(xí)與FCNet的深度學(xué)習(xí)策略缺陷檢測的準(zhǔn)確率。圖示結(jié)果說明了本文提出的學(xué)習(xí)策略優(yōu)于其他2種識(shí)別算法。

圖10 缺陷檢測準(zhǔn)確率比較

6 結(jié)束語

工業(yè)自動(dòng)化生產(chǎn)過程中采用機(jī)器視覺為基礎(chǔ)的機(jī)器人，為工業(yè)4.0在企業(yè)的智造轉(zhuǎn)型升級(jí)提供了保障。文章首先對(duì)亮暗點(diǎn)、橫豎線、BLOB(幾何形態(tài))等幾類產(chǎn)品缺陷進(jìn)行了特征分析，尤其是對(duì)已標(biāo)注圖像的樣本學(xué)習(xí)所獲得特征模型，進(jìn)行缺陷識(shí)別，且對(duì)已識(shí)別的圖像保存為樣本數(shù)據(jù)，通過多次增量學(xué)習(xí)進(jìn)而調(diào)整識(shí)別模型參數(shù)，最終改善LED TV屏檢的準(zhǔn)確度。本學(xué)習(xí)策略已部署在TCL液晶產(chǎn)業(yè)園的自動(dòng)化生產(chǎn)線并已投入使用，整個(gè)檢測過程不需要操作人員干預(yù)，僅需單個(gè)人就能同時(shí)完成兩套測試系統(tǒng)測試產(chǎn)品的準(zhǔn)備工作，人力可減少50%，并能提高檢測效率。此外，還一定程度地提高了產(chǎn)品的生產(chǎn)質(zhì)量，大大減少返工率，獲得了一定的經(jīng)濟(jì)效益?？紤]到檢測目標(biāo)及其產(chǎn)品缺陷的差異，通過樣本學(xué)習(xí)，模型參數(shù)的獲取，機(jī)器視覺識(shí)別算法的準(zhǔn)確度也將有一定的影響。因此，針對(duì)樣本學(xué)習(xí)模型的準(zhǔn)確度未能進(jìn)行相關(guān)比較，期待今后能更進(jìn)一步的探討[13-16]。