田中可 ，陳成軍，李東年+ ，趙正旭，洪 軍

(1.青島理工大學(xué) 機(jī)械與汽車工程學(xué)院，山東 青島 266033；2.西安交通大學(xué) 機(jī)械制造系統(tǒng)工程國(guó)家重點(diǎn)實(shí)驗(yàn)室，陜西 西安 710049)

0 引言

現(xiàn)代大型復(fù)雜機(jī)械裝備涉及的裝配知識(shí)較多，單純依靠工人的經(jīng)驗(yàn)、技術(shù)和知識(shí)難以高效完成復(fù)雜機(jī)械裝備的裝配工作。而使用紙質(zhì)和電子手冊(cè)時(shí)，操作者需要邊操作設(shè)備邊手動(dòng)查看手冊(cè)，操作難度大、效率低，而且注意力需要在手冊(cè)和設(shè)備之間頻繁切換，容易受周圍環(huán)境的影響，使裝配出現(xiàn)差錯(cuò)。隨著增強(qiáng)現(xiàn)實(shí)技術(shù)的發(fā)展，增強(qiáng)現(xiàn)實(shí)裝配誘導(dǎo)逐漸受到各國(guó)研究者的重視。國(guó)外空客軍用飛機(jī)公司已將增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用在A400M 軍用運(yùn)輸機(jī)布線誘導(dǎo)中[1]，美國(guó)海軍將增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用于艦船維修[2]，Webel 等[3]將增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用于產(chǎn)品裝配技能培訓(xùn)；國(guó)內(nèi)南京航空航天大學(xué)的趙新燦等[4]研究了增強(qiáng)現(xiàn)實(shí)維修誘導(dǎo)系統(tǒng)交互技術(shù)；北京理工大學(xué)的萬(wàn)畢樂(lè)等[5]研究并實(shí)現(xiàn)了虛擬環(huán)境中的線纜建模和快速布線；青島理工大學(xué)陳成軍等[6-7]提出基于語(yǔ)義情境的機(jī)械設(shè)備拆裝增強(qiáng)現(xiàn)實(shí)誘導(dǎo)方法和基于特征包圍盒模型的裝配誘導(dǎo)信息自適應(yīng)顯示方法。

現(xiàn)有的增強(qiáng)現(xiàn)實(shí)裝配維修誘導(dǎo)系統(tǒng)多采用語(yǔ)音、鍵盤的方式查詢誘導(dǎo)信息，其人機(jī)交互性差，而且只是誘導(dǎo)，并不能檢查裝配的正確性，如裝配位置和裝配順序的正確性等。因此，目前需要一種裝配體零件識(shí)別和裝配監(jiān)測(cè)方法來(lái)準(zhǔn)確地識(shí)別出裝配過(guò)程中裝配體的各個(gè)零件及其狀態(tài)，以監(jiān)測(cè)裝配過(guò)程中的零件裝配位置和裝配順序的正確性。

目前，已有不少學(xué)者對(duì)機(jī)械零件識(shí)別及裝配過(guò)程監(jiān)測(cè)進(jìn)行了研究。在機(jī)械零件識(shí)別領(lǐng)域，嚴(yán)華等[8]提出基于邊界矩的零件圖像輪廓特征提取方法，實(shí)現(xiàn)了機(jī)械零件的有效分類；匡遜君等[9]采用不變矩與支持向量機(jī)(Support Vector Machine ，SVM)結(jié)合的方法實(shí)現(xiàn)了機(jī)械零件的分類識(shí)別；Cao等[10]提出一種新的零件圖像特征提取算法，并通過(guò)實(shí)驗(yàn)證明該方法的有效性。在裝配監(jiān)測(cè)領(lǐng)域，Yin 等[11]提出一種面向飛機(jī)裝配監(jiān)測(cè)的無(wú)線射頻識(shí)別(Radio Frequency IDentification，RFID)布局方法，滿足了飛機(jī)裝配過(guò)程的監(jiān)測(cè)要求；陳培等[12]設(shè)計(jì)了基于高級(jí)精簡(jiǎn)指令集計(jì)算機(jī)(Advanced Reduced instruction set computer Machine，ARM)的線纜智能生產(chǎn)監(jiān)控系統(tǒng)，滿足了線纜生產(chǎn)自動(dòng)化控制中的監(jiān)測(cè)要求；周銓[13]提出過(guò)盈壓裝裝配工序的過(guò)程監(jiān)測(cè)系統(tǒng)，該系統(tǒng)通過(guò)實(shí)時(shí)監(jiān)測(cè)生產(chǎn)線進(jìn)行裝配過(guò)程的質(zhì)量控制和數(shù)據(jù)采集；汪嘉杰等[14]提出的航天電連接器智能識(shí)別與裝配引導(dǎo)方法，實(shí)現(xiàn)了航天電連接器的裝配監(jiān)測(cè)。本文主要研究了基于深度圖像和像素分類的裝配體零件識(shí)別與裝配過(guò)程監(jiān)測(cè)方法。

目前，基于深度圖像和像素分類的識(shí)別方法主要集中在人體部位識(shí)別和姿態(tài)識(shí)別、人手監(jiān)測(cè)與跟蹤、手勢(shì)識(shí)別與交互等問(wèn)題上。Keskin等[15]提出一種手的實(shí)時(shí)骨架擬合算法，并實(shí)現(xiàn)了對(duì)手的深度圖像的實(shí)時(shí)識(shí)別；Shotton等[16]提出一種基于單幅深度圖像的人體姿態(tài)估計(jì)算法，采用深度差分特征，運(yùn)用隨機(jī)森林分類器，實(shí)現(xiàn)了對(duì)人體的實(shí)時(shí)識(shí)別與跟蹤；林鵬等[17]在Shotton研究的基礎(chǔ)上對(duì)數(shù)據(jù)選擇、特征提取和訓(xùn)練方法3方面進(jìn)行簡(jiǎn)化，進(jìn)一步提高了識(shí)別準(zhǔn)確率；張艷[18]在對(duì)人手關(guān)節(jié)點(diǎn)識(shí)別研究時(shí)加入了像素點(diǎn)對(duì)質(zhì)心的偏移角度，使其在有效區(qū)分人手部位的同時(shí)兼具旋轉(zhuǎn)魯棒性；張樂(lè)鋒等[19]提出改進(jìn)型深度差分特征，引入人體部位尺寸比例因子，在一定程度上提高了人體部位識(shí)別的準(zhǔn)確率。

受以上研究成果的啟發(fā)，本文借鑒人體部位識(shí)別和人手識(shí)別方面的研究成果，將基于深度圖像和像素分類的識(shí)別方法應(yīng)用于裝配體零件識(shí)別和裝配監(jiān)測(cè)研究中，包括建立深度圖像標(biāo)記樣本集、提取深度差分特征、利用隨機(jī)森林分類器實(shí)現(xiàn)像素分類、根據(jù)分類結(jié)果完成裝配體零件識(shí)別及裝配過(guò)程監(jiān)測(cè)。

1 方法框架

本文的方法整體框架如圖1所示。首先建立深度圖像標(biāo)記樣本集，包括合成標(biāo)記樣本集和真實(shí)標(biāo)記樣本集；接著利用改進(jìn)后的深度差分特征對(duì)標(biāo)記樣本集內(nèi)的深度圖像進(jìn)行特征提取，建立訓(xùn)練集與測(cè)試集，文中所建真實(shí)標(biāo)記樣本集只用于測(cè)試，不用于訓(xùn)練；然后建立隨機(jī)森林分類器并確定各相關(guān)參數(shù)，對(duì)深度圖像的像素進(jìn)行分類；最后，根據(jù)像素分類結(jié)果獲取像素預(yù)測(cè)圖像，實(shí)現(xiàn)裝配體零件識(shí)別及裝配過(guò)程監(jiān)測(cè)。

2 標(biāo)記樣本集的建立

標(biāo)記樣本集的建立主要包括獲取合成標(biāo)記樣本集和采集真實(shí)標(biāo)記樣本集。

在建立合成標(biāo)記樣本集時(shí)，首先建立三維裝配體模型，然后利用三維渲染引擎，以圖形渲染的方式自動(dòng)生成所需模型的深度圖像標(biāo)記樣本集及對(duì)應(yīng)的顏色標(biāo)簽圖像標(biāo)記樣本集，改變模型角度，重復(fù)以上渲染過(guò)程，批量獲取不同角度下的合成深度圖像和顏色標(biāo)簽圖像構(gòu)成合成標(biāo)記樣本集。在改變模型角度時(shí)，考慮到本文所采集的實(shí)物圖像多數(shù)為正面朝上，本文主要修改裝配體模型偏航角(Yaw)的度數(shù)，對(duì)于滾動(dòng)角(Roll)和俯仰角(Pitch)只做略微調(diào)整，圖2a所示為合成標(biāo)記樣本集。

在建立真實(shí)標(biāo)記樣本集時(shí)，本文利用Kinect 2.0采集裝配體實(shí)物的真實(shí)深度圖像，利用背景差分法去除背景部分，通過(guò)轉(zhuǎn)換實(shí)物的角度獲取不同角度下的真實(shí)深度圖像。為了更好地顯示出所有零件，此處的實(shí)物轉(zhuǎn)換角度主要繞Z軸旋轉(zhuǎn)。最后，利用人工標(biāo)記法對(duì)真實(shí)深度圖像的各零件進(jìn)行顏色標(biāo)記獲取對(duì)應(yīng)的顏色標(biāo)簽圖像，真實(shí)深度圖像與顏色標(biāo)簽圖像共同組成真實(shí)標(biāo)記樣本集，圖2b所示為真實(shí)標(biāo)記樣本集。

圖2的每對(duì)圖像中左邊為深度圖像，右邊為顏色標(biāo)簽圖像。圖2a為合成深度圖像，為了與Kinect 2.0所采集的深度圖像保持一致，獲取更好的像素分類效果，本文設(shè)置背景灰度值為205，圖像大小為512×424，視景體的視野垂直角度為60°，深度范圍為1 000 mm～1 500 mm，并通過(guò)圖像灰度值范圍 0～255來(lái)體現(xiàn)。圖2b中的深度圖像是經(jīng)背景差分法去除背景后所提取的前景部分深度圖像，拍攝距離為1 000 mm～1 500 mm，顏色標(biāo)簽圖像通過(guò)PS(Adobe Photoshop)人工標(biāo)記法獲取。

3 深度差分特征提取

考慮到像素分類法是通過(guò)將圖像內(nèi)各像素點(diǎn)分類來(lái)識(shí)別圖像內(nèi)的各部分，比較適合本文對(duì)裝配體深度圖像內(nèi)各零件的識(shí)別研究，本文選擇像素分類法對(duì)裝配體深度圖像內(nèi)各零件進(jìn)行識(shí)別。在選擇像素點(diǎn)特征時(shí)，考慮到深度差分特征提取算法運(yùn)算簡(jiǎn)單、易于實(shí)現(xiàn)，本文選擇深度差分特征作為本文像素分類的像素點(diǎn)特征。

3.1 經(jīng)典型深度差分特征

Shotton等提出的深度差分特征結(jié)合了梯度特征與點(diǎn)特征的優(yōu)點(diǎn)，具體定義為

(1)

3.2 深度差分特征的改進(jìn)

本文在繼承Shotton等經(jīng)典型深度差分特征的基礎(chǔ)上，提出對(duì)深度差分特征進(jìn)行改進(jìn)，方法引入了邊緣因子b，改進(jìn)后的深度差分特征增加了去噪能力及邊緣像素點(diǎn)偏移向量的自適應(yīng)能力。改進(jìn)后深度差分特征值的計(jì)算公式為

(2)

(3)

綜上所述，相比Shotton等[11]提出的經(jīng)典型深度差分特征，本文提出的對(duì)深度差分特征的改進(jìn)之處主要體現(xiàn)為：①提高了偏移向量的自適應(yīng)能力，如圖4所示；②增強(qiáng)了本方法的抗噪能力。

3.3 對(duì)偏移向量u，v的確定

4 隨機(jī)森林分類器

隨機(jī)森林[20]分類器是由多個(gè)決策樹[21]分類器組成的強(qiáng)分類器，相比單個(gè)決策樹分類器來(lái)說(shuō)，其最大的優(yōu)勢(shì)在于有效避免了決策樹分類器經(jīng)常出現(xiàn)的過(guò)擬合現(xiàn)象。隨機(jī)森林分類器的工作特點(diǎn)是每棵決策樹單獨(dú)工作，互不影響，每棵樹所使用的訓(xùn)練集都是從總的訓(xùn)練集中有放回地隨機(jī)抽取，其通過(guò)多棵決策樹的投票結(jié)果進(jìn)行分類，得出最后的判斷結(jié)果。因?yàn)殡S機(jī)森林分類器不會(huì)像單獨(dú)決策樹那樣對(duì)同樣的樣本犯同樣的錯(cuò)誤，所以其分類準(zhǔn)確性得到顯著提高。圖6所示為隨機(jī)森林分類模型。

本文采用OpenCV機(jī)器學(xué)習(xí)庫(kù)MLL中的隨機(jī)森林分類器相關(guān)算法工具和類庫(kù)構(gòu)建隨機(jī)森林分類器，單棵決策樹的訓(xùn)練過(guò)程如下：

(1)隨機(jī)選取一組候選屬性φ=(θ,τ)，其中θ為深度特征的偏移向量對(duì)，τ為候選分割閾值。

(2)根據(jù)候選屬性φ將輸入訓(xùn)練數(shù)據(jù)S={(I,x)}分割為左右子集：

(4)

式中：Sl為左子集，Sr為右子集，fθ(I,x)為深度圖像I上像素點(diǎn)x的深度差分特征值。

(3)計(jì)算左右子集的基尼指數(shù)，以左子集為例，假設(shè)左子集所含類別數(shù)為m，則基尼指數(shù)

(5)

式中pj為j類元素出現(xiàn)的頻率，同理可求出右子集的基尼指數(shù)GSr。

(4)計(jì)算屬性φ劃分樣本集S的基尼指數(shù)GS,φ*，并求出最小基尼指數(shù)對(duì)應(yīng)的屬性φ*:

(6)

φ*=argminGS,φ。

(7)

(5)得到最小基尼指數(shù)GS,φ*后，判斷當(dāng)前節(jié)點(diǎn)是否達(dá)到樹生長(zhǎng)終止條件，是則設(shè)置當(dāng)前節(jié)點(diǎn)為葉子節(jié)點(diǎn)，該葉子節(jié)點(diǎn)的預(yù)測(cè)輸出為當(dāng)前節(jié)點(diǎn)樣本集合中數(shù)量最多的那一類，然后繼續(xù)訓(xùn)練其他節(jié)點(diǎn)；否則重復(fù)迭代步驟(2)～步驟(4)，直到滿足終止條件為止。

由于本文直接借用OpenCV機(jī)器學(xué)習(xí)庫(kù)MLL中隨機(jī)森林分類器的相關(guān)函數(shù)進(jìn)行訓(xùn)練，所以訓(xùn)練過(guò)程主要涉及對(duì)訓(xùn)練圖像數(shù)量、隨機(jī)森林分類器中決策樹的最大深度、隨機(jī)森林分類器中決策樹的數(shù)量上限等參數(shù)的確定，這部分將在實(shí)驗(yàn)部分?jǐn)⑹觥?/p>

5 裝配過(guò)程的識(shí)別與監(jiān)測(cè)

5.1 裝配體零件的識(shí)別

在合成模型深度圖像時(shí)，本文用不同顏色標(biāo)記不同的零件，并記錄各零件所標(biāo)記的RGB(red,green,blue)值；然后用模型深度圖像訓(xùn)練隨機(jī)森林分類器，使用訓(xùn)練好的分類器對(duì)待測(cè)深度圖像進(jìn)行像素分類；最后根據(jù)分類結(jié)果繪制待測(cè)深度圖像對(duì)應(yīng)的像素預(yù)測(cè)圖像。

本文將像素預(yù)測(cè)圖像與顏色標(biāo)簽圖像進(jìn)行比對(duì)，通過(guò)分析顏色標(biāo)簽圖像獲取各零件與標(biāo)記RGB值的對(duì)應(yīng)關(guān)系，通過(guò)分析像素預(yù)測(cè)圖像內(nèi)各部分的RGB值來(lái)直觀呈現(xiàn)深度圖像內(nèi)各零件的形狀和位置，并將統(tǒng)計(jì)像素分類測(cè)試時(shí)每種顏色的像素分類正確率作為本文方法對(duì)每種零件識(shí)別的準(zhǔn)確率。

5.2 裝配過(guò)程監(jiān)測(cè)

因?yàn)樵谘b配過(guò)程中，多數(shù)裝配體的底座都會(huì)被固定或者存在幾種有限位置，所以本文假設(shè)裝配體底座在裝配過(guò)程中的位置不變，相機(jī)的拍攝角度也不變。鑒于裝配過(guò)程中常出現(xiàn)的裝配錯(cuò)誤為零件錯(cuò)位和零件漏裝，本文選擇將待測(cè)狀態(tài)像素預(yù)測(cè)圖像與正確裝配像素預(yù)測(cè)圖像進(jìn)行對(duì)比來(lái)判斷以上兩種裝配錯(cuò)誤。

判斷過(guò)程如下：在監(jiān)測(cè)裝配過(guò)程之前，首先獲取裝配體在該位置下正確裝配所對(duì)應(yīng)的正確裝配像素預(yù)測(cè)圖像，命名為像素預(yù)測(cè)圖像a；監(jiān)測(cè)裝配時(shí)，采集裝配過(guò)程中裝配體的深度圖像并進(jìn)行像素分類，獲得待測(cè)像素預(yù)測(cè)圖像，命名為像素預(yù)測(cè)圖像b；將像素預(yù)測(cè)圖像b與像素預(yù)測(cè)圖像a進(jìn)行比對(duì)，分別計(jì)算出像素預(yù)測(cè)圖像b中各零件相對(duì)于像素預(yù)測(cè)圖像a的像素重合率qz和像素減少率qn，有

(9)

式中：nc為零件Pn分別在像素預(yù)測(cè)圖像a和像素預(yù)測(cè)圖像b中坐標(biāo)重合的像素點(diǎn)數(shù)；nz為零件Pn在像素預(yù)測(cè)圖像a中所包含的總像素點(diǎn)數(shù)；na和nb為零件Pn分別在像素預(yù)測(cè)圖像a和b中所包含的像素點(diǎn)數(shù)。

最后，通過(guò)分析各零件qz和qn的值來(lái)判斷可能出現(xiàn)的裝配錯(cuò)誤，其中像素重合率qz用于判斷裝配過(guò)程是否出錯(cuò)，像素減少率qn用于判斷裝配過(guò)程出錯(cuò)的類型。判斷過(guò)程如下：當(dāng)某零件的qz?1而qn?0，即該零件的像素點(diǎn)重合率較低且像素點(diǎn)數(shù)差距較大時(shí)，基本可以判斷該零件漏裝；當(dāng)某零件只有qz?1而qn的絕對(duì)值接近0，即該零件的像素點(diǎn)重合率較低但像素點(diǎn)數(shù)變化不大時(shí)，基本可以判斷該零件錯(cuò)位。

6 實(shí)驗(yàn)及結(jié)果分析

本文所使用的裝配體為雙級(jí)圓柱圓錐減速器。采用SolidWorks進(jìn)行建模，Mutigen Creator對(duì)零件的顏色進(jìn)行標(biāo)記，具體標(biāo)記如圖7所示。

通過(guò)OSG(open scene graph)三維渲染功能生成實(shí)驗(yàn)所需的合成樣本集；采用Kinect 2.0進(jìn)行采集，采用人工標(biāo)記法進(jìn)行標(biāo)記，獲取實(shí)驗(yàn)所需的真實(shí)樣本集。實(shí)驗(yàn)減速器的實(shí)物如圖8a所示，真實(shí)深度圖像采集場(chǎng)景如圖8b所示。

本文實(shí)驗(yàn)環(huán)境配置如下:計(jì)算機(jī)為Intel? Xeon(R)CPU E5-2630 V4 @ 2.20GHz x 20,64 G內(nèi)存，Ubuntu 16.04 LTS系統(tǒng)；深度圖像獲取傳感器為Kinect 2.0；編譯環(huán)境為GNU編譯器套件(GNU Compiler Collection, GCC)編譯器。

6.1 參數(shù)的確定

為確定隨機(jī)森林分類器的各主要參數(shù)及偏移圓1半徑的最佳取值，本文設(shè)計(jì)了若干組實(shí)驗(yàn)。實(shí)驗(yàn)中的訓(xùn)練集完全來(lái)自合成標(biāo)記樣本集，每張深度圖像隨機(jī)選取2 000個(gè)像素點(diǎn)進(jìn)行特征提取。測(cè)試集分為合成測(cè)試集和真實(shí)測(cè)試集兩類，合成測(cè)試集是從合成標(biāo)記樣本集中隨機(jī)選取10張深度圖像，每張深度圖像隨機(jī)選取3 000個(gè)像素點(diǎn)進(jìn)行特征提取形成的；真實(shí)測(cè)試集是從真實(shí)標(biāo)記樣本集中隨機(jī)選取10張形成的，其選點(diǎn)方式與前者相同。實(shí)驗(yàn)數(shù)據(jù)如圖9所示。

(1)訓(xùn)練圖像的數(shù)量

一定量的訓(xùn)練圖像是分類器進(jìn)行識(shí)別的前提。理論上，訓(xùn)練圖片的數(shù)量越多，分類準(zhǔn)確率就會(huì)越高，識(shí)別能力也會(huì)越強(qiáng)，然而由于設(shè)備和時(shí)間的限制，加上隨機(jī)森林自身的特點(diǎn)，實(shí)際應(yīng)用中仍需使用者通過(guò)實(shí)驗(yàn)來(lái)確定最佳訓(xùn)練圖片的數(shù)量。本實(shí)驗(yàn)將決策樹數(shù)量的上限設(shè)置為20，決策樹的最大深度設(shè)置為25，訓(xùn)練圖像的數(shù)量從10張逐漸增加到150張，每次增加10張，圖9a所示為本實(shí)驗(yàn)的實(shí)驗(yàn)數(shù)據(jù)。由實(shí)驗(yàn)數(shù)據(jù)可得：開始時(shí)，隨著訓(xùn)練張數(shù)的增加，分類準(zhǔn)確率快速上升，直到120張后開始上下浮動(dòng)，雖然這種飽和很可能是因決策樹的棵數(shù)及最大深度有限而導(dǎo)致的相對(duì)飽和，但是考慮到時(shí)間成本和硬件限制，最終確定訓(xùn)練圖像的數(shù)量為120張。

(2)決策樹數(shù)量的上限

隨機(jī)森林分類模型之所以很好地解決過(guò)擬合現(xiàn)象，依靠的就是擁有大量決策樹，其分類結(jié)果是由所有決策樹單獨(dú)分類結(jié)果共同投票決定的。對(duì)于一個(gè)隨機(jī)森林分類模型，如果決策樹較少則會(huì)出現(xiàn)過(guò)擬合現(xiàn)象，如果太多又會(huì)增加訓(xùn)練時(shí)間，提高實(shí)驗(yàn)成本，因此本文為了確定最佳的決策樹數(shù)量的上限，設(shè)計(jì)了圖9b所示的兩組實(shí)驗(yàn)。實(shí)驗(yàn)將訓(xùn)練圖片設(shè)置為120張，決策樹的最大深度設(shè)置為25，決策樹的數(shù)量上限從5增加到50，每次增加5，實(shí)驗(yàn)數(shù)據(jù)如圖9b所示。由實(shí)驗(yàn)數(shù)據(jù)可見，隨著決策樹數(shù)量的增加，分類準(zhǔn)確率先快速上升，大約在35棵后上升速度減緩，因此本文確定決策樹的最佳數(shù)量為35。

(3)決策樹的最大深度

隨機(jī)森林的分類準(zhǔn)確率由隨機(jī)森林中各決策樹的分類準(zhǔn)確率共同決定，因此要獲得最佳的分類準(zhǔn)確率，必須先確定最佳的決策樹深度，使每棵樹都具有最佳的分類性能。本文實(shí)驗(yàn)設(shè)定訓(xùn)練圖片的張數(shù)為120，決策樹的數(shù)量上限為35，決策樹的最大深度從5增加到30，每次增加5。圖9c所示為確定決策樹最大深度的實(shí)驗(yàn)，由實(shí)驗(yàn)數(shù)據(jù)可見，隨著深度的增加，分類準(zhǔn)確率快速上升，直到25時(shí)不再變化，因此本文確定決策樹的最大深度為25。

(4)偏移圓1的半徑

偏移圓半徑的大小直接影響偏移向量u，v的大小，因此需要通過(guò)實(shí)驗(yàn)來(lái)確定各偏移圓半徑的最佳取值；又因?yàn)?個(gè)偏移圓半徑之間存在1:2:3:4的關(guān)系，所以只需確定偏移圓1的半徑即可。本文為此設(shè)計(jì)了圖9d所示的兩組實(shí)驗(yàn)，實(shí)驗(yàn)設(shè)定訓(xùn)練圖片張數(shù)為120，決策樹的數(shù)量上限為35，決策樹的最大深度為25，偏移圓1的半徑從2增加到20，每次增加2。圖9d所示為本實(shí)驗(yàn)的實(shí)驗(yàn)數(shù)據(jù)，由實(shí)驗(yàn)數(shù)據(jù)可見，偏移圓1的半徑對(duì)合成測(cè)試集的分類準(zhǔn)確率影響不大，而對(duì)真實(shí)測(cè)試集的影響比較明顯，隨著偏移圓1半徑的增大，分類準(zhǔn)確率先上升后下降，大約在偏移圓1的半徑為12時(shí)達(dá)到最大值，因此本文確定偏移圓1的半徑為12。

本文確定的各主要參數(shù)值如下:訓(xùn)練圖像數(shù)量為120張，決策樹最大深度為25，決策樹的數(shù)量上限為20，偏移圓1的半徑最佳取值為12。后文實(shí)驗(yàn)中除特殊說(shuō)明外皆采用此組參數(shù)。

6.2 邊緣因子的影響

為了探究邊緣因子對(duì)分類準(zhǔn)確率的影響，本文設(shè)計(jì)了表1所示的兩組對(duì)比試驗(yàn)。實(shí)驗(yàn)中，訓(xùn)練集全部選自合成標(biāo)記樣本集，共120張，每張深度圖像隨機(jī)選取2 000個(gè)像素點(diǎn)進(jìn)行特征提??；測(cè)試集中，合成測(cè)試集是從合成標(biāo)記樣本集中隨機(jī)選取10張深度圖像，每張深度圖像隨機(jī)選取3 000個(gè)像素點(diǎn)進(jìn)行特征提取形成；真實(shí)測(cè)試集是從真實(shí)標(biāo)記樣本集中隨機(jī)選取10張形成，其選點(diǎn)方式與前者相同。實(shí)驗(yàn)數(shù)據(jù)如表1所示。

表1 邊緣因子引入前后像素分類準(zhǔn)確率對(duì)比 %

由表1可得，邊緣因子的引入對(duì)合成測(cè)試集準(zhǔn)確率的提高并不明顯，可能是由于引入前分類器對(duì)合成測(cè)試集的分類準(zhǔn)確率已經(jīng)很高；對(duì)真實(shí)測(cè)試集像素點(diǎn)分類的準(zhǔn)確率有明顯提高，大約提高了1.50%左右。

為了探究邊緣因子對(duì)圖像識(shí)別時(shí)間的影響，本文設(shè)計(jì)了2組對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)條件與上文完全相同。實(shí)驗(yàn)中，因?yàn)閱螐垐D像的識(shí)別總時(shí)間包括特征提取時(shí)間和像素分類時(shí)間，其他部分時(shí)間相對(duì)較短，可忽略不計(jì)，所以本文主要統(tǒng)計(jì)了特征提取時(shí)間和像素分類時(shí)間，統(tǒng)計(jì)數(shù)據(jù)如表2所示。

表2 邊緣因子引入前后的圖像識(shí)別時(shí)間對(duì)比 ms

由表2可得，在單張圖像采集點(diǎn)數(shù)為3 000像素點(diǎn)的情況下，本文方法對(duì)單張合成圖像的識(shí)別時(shí)間大約為3 s，對(duì)單張真實(shí)圖像的識(shí)別時(shí)間大約為4 s 。對(duì)比邊緣因子引入前后的數(shù)據(jù)可得：邊緣因子的引入使合成測(cè)試集的識(shí)別時(shí)間增加了約0.38 s，使真實(shí)測(cè)試集的識(shí)別時(shí)間增加了約0.22 s，雖然時(shí)間有所增加，但是增加程度不大，在降低效率方面對(duì)實(shí)際生產(chǎn)的影響基本可以忽略。圖10所示為邊緣因子引入前后分類器對(duì)真實(shí)深度圖像的識(shí)別像素預(yù)測(cè)圖像，通過(guò)圖像明顯可見改進(jìn)后的深度差分特征比經(jīng)典型深度差分特征具有更強(qiáng)的抗噪能力。

6.3 對(duì)裝配體各零件的識(shí)別

為了獲取本文方法對(duì)裝配體各零件的像素識(shí)別率，設(shè)計(jì)以下兩組實(shí)驗(yàn)。其中，訓(xùn)練集與測(cè)試集的來(lái)源與6.2節(jié)實(shí)驗(yàn)相同，實(shí)驗(yàn)數(shù)據(jù)如圖11所示，圖中橫坐標(biāo)為零件標(biāo)號(hào)，標(biāo)號(hào)的具體意義可參照?qǐng)D7，縱坐標(biāo)為各零件像素的識(shí)別率。

由實(shí)驗(yàn)數(shù)據(jù)可得，本文方法對(duì)合成測(cè)試集整體像素的識(shí)別率達(dá)98.58%，對(duì)各零件的像素識(shí)別率基本都在96%以上；對(duì)真實(shí)測(cè)試集整體像素的識(shí)別率達(dá)82.70%，對(duì)各零件的像素識(shí)別率基本都在60%以上。圖12所示為經(jīng)分類器分類后的深度圖像及對(duì)應(yīng)的像素預(yù)測(cè)圖像，其中每組圖像右邊為深度圖像，左邊為像素預(yù)測(cè)圖像。

6.4 對(duì)裝配過(guò)程的監(jiān)測(cè)

本文研究除解決對(duì)裝配體各零件的識(shí)別問(wèn)題外，還要求能夠?qū)ρb配過(guò)程進(jìn)行監(jiān)測(cè)。本文通過(guò)對(duì)比正確裝配體的像素預(yù)測(cè)圖像與待測(cè)裝配體的像素預(yù)測(cè)圖像來(lái)實(shí)現(xiàn)裝配監(jiān)測(cè)功能，根據(jù)兩者的像素重合率qz和像素減少率qn推斷待測(cè)裝配體各零件所處的狀態(tài)。然而由于Kinect深度圖像采集精度及外界環(huán)境的影響，本文主要以合成深度圖像為例，對(duì)監(jiān)測(cè)過(guò)程進(jìn)行詳細(xì)分析。

案例一待測(cè)深度圖像為模型的合成深度圖像；裝配錯(cuò)誤為P10件出現(xiàn)漏裝。經(jīng)特征提取及像素分類后獲得的像素預(yù)測(cè)圖像如圖13所示。

根據(jù)式(8)和式(9)計(jì)算圖13b相對(duì)于圖13a的像素重合率qz和像素減少率qn，計(jì)算結(jié)果如表3所示。

表3 P10件漏裝的比對(duì)數(shù)據(jù) %

續(xù)表3

通過(guò)分析表3中數(shù)據(jù)可見，只有P10件的像素重合率明顯較低，可以推斷該件可能存在裝配錯(cuò)誤，而且只有P10件的像素減少率偏高，因此基本可以判斷P10件出現(xiàn)了漏裝現(xiàn)象。

案例二待測(cè)深度圖像為模型的合成深度圖像；裝配錯(cuò)誤為P0件出現(xiàn)錯(cuò)位。經(jīng)特征提取及像素分類后獲得像素預(yù)測(cè)圖像，如圖14所示。

根據(jù)式(8)和式(9)計(jì)算圖14b相對(duì)于圖14a的像素重合率qz和像素減少率qn，計(jì)算結(jié)果如表4所示。

表4 P0件錯(cuò)位的比對(duì)數(shù)據(jù) %

續(xù)表4

通過(guò)分析表4的數(shù)據(jù)可見，P0件的重合率相對(duì)偏低，可以推斷該件可能存在裝配錯(cuò)誤，而且P0件的像素減少率與其他件相比雖然偏高，但差距不大，因此基本可以判斷P0件出現(xiàn)了錯(cuò)位現(xiàn)象；P13件的像素減少率的絕對(duì)值雖然較大，但其像素重合率正常，可以判斷該件并未出現(xiàn)裝配錯(cuò)位，只是由于相鄰件出現(xiàn)錯(cuò)位導(dǎo)致其減少率異常。

以上兩個(gè)案例的待測(cè)深度圖像均選用模型的合成深度圖像，像素識(shí)別率較高，僅憑單一視角下的裝配體深度圖像便可判斷出可能存在的裝配錯(cuò)誤。而對(duì)于待測(cè)深度圖像為實(shí)物的真實(shí)深度圖像，由于Kinect深度圖像的采集精度及外界環(huán)境影響，導(dǎo)致像素識(shí)別率有限，僅憑單一視角下的裝配體深度圖并不能準(zhǔn)確判斷裝配過(guò)程中出現(xiàn)的裝配錯(cuò)誤。此時(shí)，本文選擇使用多個(gè)深度攝像機(jī)，多視角采集裝配體深度圖像，綜合不同視角下的判斷結(jié)果確定此時(shí)的裝配錯(cuò)誤。

案例三待測(cè)深度圖像為實(shí)物的真實(shí)深度圖像；裝配錯(cuò)誤為P3件出現(xiàn)漏裝。經(jīng)特征提取和像素分類后獲得像素預(yù)測(cè)圖像，如圖15所示。

根據(jù)式(8)和式(9)計(jì)算圖15b相對(duì)于圖15a的像素重合率qz和像素減少率qn，計(jì)算結(jié)果如表5所示。

表5 P3件錯(cuò)位的比對(duì)數(shù)據(jù)A %

通過(guò)分析表5的數(shù)據(jù)可見，P3件重合率相對(duì)偏低，可以推斷該件可能存在裝配錯(cuò)誤，而且P3件的像素減少率相對(duì)較大，因此基本可以判斷P3件出現(xiàn)了漏裝現(xiàn)象。從表6同樣顯示，P13件的像素重合率也相對(duì)較低，像素減少率也出現(xiàn)了偏大的現(xiàn)象，盡管程度不如P3件，但也有可能存在漏裝問(wèn)題，因此需要進(jìn)一步判斷。圖16所示為P3件出現(xiàn)漏裝現(xiàn)象但與圖15視角不同的像素預(yù)測(cè)圖像。

根據(jù)式(8)和式(9)計(jì)算圖16b相對(duì)于圖16a的像素重合率qz和像素減少率qn，計(jì)算結(jié)果如表6所示。

表6 P3件錯(cuò)位的比對(duì)數(shù)據(jù)B %

通過(guò)分析表6的數(shù)據(jù)可見，P3件出現(xiàn)漏裝現(xiàn)象，而P13件的像素重合率并無(wú)明顯異常。綜合表6和表7的對(duì)比數(shù)據(jù)，基本可以判斷此待測(cè)狀態(tài)下只有P3件出現(xiàn)了漏裝現(xiàn)象。

7 結(jié)束語(yǔ)

本文針對(duì)機(jī)械產(chǎn)品裝配中零件和裝配體的識(shí)別、監(jiān)測(cè)問(wèn)題，提出一種基于深度圖像和像素分類的裝配體零件識(shí)別與裝配監(jiān)測(cè)方法。首先，構(gòu)建了裝配體深度圖像標(biāo)記樣本集；然后，通過(guò)隨機(jī)森林分類器對(duì)裝配體深度圖像的像素進(jìn)行分類，對(duì)合成深度圖像的像素分類準(zhǔn)確率可達(dá)98.583 3%，對(duì)真實(shí)深度圖像的像素分類準(zhǔn)確率可達(dá)82.703 3%；最后，對(duì)比像素預(yù)測(cè)圖像與顏色標(biāo)簽圖像，對(duì)裝配體各零件進(jìn)行識(shí)別，對(duì)比待測(cè)狀態(tài)像素預(yù)測(cè)圖像與正確裝配像素預(yù)測(cè)圖像，實(shí)現(xiàn)了對(duì)裝配過(guò)程中常出現(xiàn)的零件錯(cuò)裝與漏裝現(xiàn)象的監(jiān)測(cè)。實(shí)驗(yàn)證明，將本文方法用于增強(qiáng)現(xiàn)實(shí)裝配維修誘導(dǎo)，基本可以正確監(jiān)測(cè)裝配過(guò)程中零件的裝配位置和裝配順序。目前，本文方法僅針對(duì)裝配環(huán)境相對(duì)簡(jiǎn)單且裝配效率要求不高的情況，而在實(shí)際應(yīng)用中，裝配環(huán)境相對(duì)復(fù)雜，裝配監(jiān)測(cè)過(guò)程中的遮擋問(wèn)題將是下一步深入研究的內(nèi)容。