余旭東，殷 廣，朱晨迪，謝栩聰

(1. 大連理工大學 寧波研究院, 浙江 寧波 315000; 2. 上汽大眾汽車有限公司, 上海 201805)

0 引言

一臺轎車約由2萬多個零部件組裝而成，其中鐵制零件(白車身零件)占絕大多數(shù)[1]。在白車身制造過程中，零件的幾何尺寸精度除了影響車輛的裝配質量，也會影響汽車的NVH、操控性及耐久性等諸多關鍵性能[2]，因此，零件的尺寸檢測一直都是各大整車廠商重點關注的對向。

白車身零件基本為厚度0.6 mm到2.5 mm的打孔薄板沖壓件，零件上有數(shù)量眾多的圓形/長腰孔[3]。例如上汽大眾Viloran車型后門內板上就有超過60個孔位，而這些孔位中除了24個相對重要的夾具/零件安裝定位孔由于精度要求高被納入常規(guī)白光測量報告外，其余內飾卡扣安裝孔容許公差較大(公差± 2 mm，因為卡扣有活動量)，常規(guī)測量報告通常不會將它們包括在內，但如果該尺寸超差會直接影響后道總裝車間內飾安裝，引發(fā)大量返工并造成經(jīng)濟和時間損失。不同于流水線質檢對單一零件進行大批量精確檢測，車身現(xiàn)場工程師處理尺寸問題時需要考慮每個零件工位測量焊接前后孔位尺寸，以分析確認誤差來自焊接過程還是單件本身。出于測量效率(進入工位需要停線)以及使用環(huán)境考慮，三坐標或藍光測量方法都無法適用于以上場景[4]。目前現(xiàn)場工程師一般借助游標卡尺等接觸式方法對孔位進行測量，該方法直接有效，但也會遇到包括夾具干涉無法伸入測量工具、孔位較多導致測量效率低的問題[5]。此外在測量孔位間距時，測量人員需要分別測出兩個孔位大小以及邊緣距離，然后進行計算得出結果。如果遇上長腰孔測量則計算難度還會上升，因此迫切需要一種能夠適應車間現(xiàn)場工作要求的零件孔位測量方法。

通過機器視覺測量技術來完成對零件幾何尺寸的測量，是近年來工業(yè)檢測領域的研究熱點之一。該技術測量測度快，可實現(xiàn)生產(chǎn)線上連續(xù)測量[4]，目前已經(jīng)被廣泛應用在微電子[6]、航空航天產(chǎn)品[7]、軌道交通[8]、大型零件制造[9-11]、汽車工業(yè)[12-14]等行業(yè)。賈國邦[5]基于圖像處理技術提出一種非接觸式高效且高精度的微小孔零件尺寸測量方式，采用Canny算子進行圖像輪廓提取，以鋁板小孔為實驗對象，得到的測量結果誤差達到了微米級別。唐君萍[15]針對飛機零件上大量小尺寸導孔測量問題提出了一套快速檢測系統(tǒng)MBMS，實驗件上75個導孔共花費7.4 min，檢測效率超過了三坐標測量機。為了快速綜合檢測剎車片尺寸，徐志玲[16]提出了一種基于公差設計原則和圖像處理的綜合尺寸檢測方法：利用 CCD 相機拍攝圖形，處理得到二值圖像并利用最小外接矩形優(yōu)化算法，確定其放縮倍數(shù)，最后利用白色像素點數(shù)與標準模版圖白色像素點數(shù)差異得到檢測結果。朱文博[17]為了提高二維尺寸測量精度和效率，采用形態(tài)學梯度算子提取圖像邊緣，并用最小二乘法擬合像素尺寸，通過標準件法對系統(tǒng)進行標定獲得零件尺寸。上述方法雖然保有較高精度，但都需要借助實驗平臺、專業(yè)相機和計算機完成檢測，成本較高且無法達到現(xiàn)場工作要求。倪彤元[18]基于圖像處理技術提出了一種基于Android APP的混凝土表面裂縫無損檢測方法，該方法主要用于估算混凝土表面裂縫長度和面積，可以借助手機端完成快速檢測，能夠以一種低成本且高效率的手段滿足工程應用要求，但并未應用于尺寸測量。

為了提升現(xiàn)有視覺測量技術的工程應用價值，在適當降低測量精度，并提升測量高效性與便捷性的前提下，本文提出一種可以借助智能手機完成識別的零件孔位尺寸快速檢測方法，以期以較低的使用成本為現(xiàn)場測量工作提供一種補充手段，并為零件視覺測量提供一種可供借鑒的思路和方法。首先，在待測量零件孔位左側粘貼測量基準貼紙作為測量用比例尺，計算出圖像的單位像素點比例；其次，基于測量得到的手機相機畸變系數(shù)對拍攝圖像去畸變；最后，對圖像進行高斯濾波及Canny邊緣檢測，并將圖像從左至右對目標孔位進行標記，以基準貼紙所得單位像素點比例計算出每個孔位的最小外接矩形長寬及距離。針對長條形零件測量探索了基于Surf算法的圖像拼接方法。相關圖像處理借助Matlab實現(xiàn)，并設計了PC端交互界面，能夠在移動端借助Matlab Mobile完成檢測。

1 零件孔位尺寸測量原理

1.1 測量基準貼紙

不同于雙目視覺技術能夠利用兩個鏡頭從兩個視點對同一個目標進行拍攝后得到深度信息[19]，由于車間現(xiàn)場使用條件限制，只能使用單目視覺方法進行測量。若在待測物體距離未知的情況下，不可能直接對圖像中物體進行尺寸大小的測量計算[20]。參照Chen[21]在單目測量中使用的像素比例概念，本文引入如圖1所示的測量基準貼紙作為比例尺，該貼紙為直徑d=10 mm的圓。

圖1 測量基準貼紙

在二維圖像處理中，定義長度方向的單位像素點比例pl與長度方向的單位像素點比例為pw：

pl=la/d

(1)

pw=wa/d

(2)

式中，la、wa分別為圖像中基準貼紙經(jīng)過處理得到最小外接矩形的長寬，可通過式(9)、(10)得到。

1.2 圖像去畸變

任何透鏡都不是完美無缺的，而文中測量方法借助智能手機實現(xiàn)，不同手機鏡頭畸變程度各不相同，為了尺寸測量結果的準確性及一致性，有必要對手機拍攝的圖像進行幾何去畸變處理。通過張正友棋盤格標定法[22]標定透鏡畸變，由于標定板圖案尺寸至少要大于1/4視場，小于整個視場[23]，綜合考慮車間現(xiàn)場照片拍攝情況，選取GP 260黑白棋盤格進行標定，如圖2所示，得到相機的內參矩陣、外參矩陣和畸變系數(shù)。

圖2 黑白棋盤格

由于算法采用的是張正友標定法，畸變系數(shù)D(k1,k2,p1,p2,k3)中只用k1,k2,p1,p2。實際像素變換至理想像素的計算公式如下：

x’ =x· (1 +k1r2+k2r4) + 2p1xy+p2(r2+ 2x2)

(3)

y’ =y· (1 +k1r2+k2r4) + 2p2xy+p1(r2+ 2y2)

(4)

其中：r2=x2+y2，(x’,y’)為矯正后的像素點，(x,y)為原圖像素點。

圖3分別展示了去畸變前后的圖像，對比圖3(a)與(b)可以看出該算法修復了原有圖像上的輕微枕形畸變。

圖3 去畸變前后圖像對比

1.3 灰度變換、空間濾波與邊緣檢測

采用 MATLAB中的rgb2gray函數(shù)進行灰度處理，得到灰度圖像。高斯濾波目前是最為流行的去噪濾波算法，其原理為根據(jù)待濾波的像素點及其鄰域點的灰度值按照高斯公式生成的參數(shù)規(guī)則進行加權平均，這樣可以有效濾去理想圖像中疊加的高頻噪聲。通過imfilter函數(shù)對圖像進行高斯濾波，函數(shù)中濾波模板由fspecial (‘gaussian’, [10 10], sigma)函數(shù)生成，sigma = 1。

Canny邊緣檢測算子是John F. Canny開發(fā)的一個多級邊緣檢測算法，其目標是找到一個最優(yōu)的邊緣，其最優(yōu)邊緣的定義包括：盡可能多地標示出實際邊緣；標識出的邊緣要與實際邊緣盡可能接近；邊緣只能標識一次且忽略圖像噪聲。由于采用了最優(yōu)化的思想，Canny邊緣檢測具有良好的信噪比、高精度以及較優(yōu)的定位性能[24]，賈國邦[5]分別使用Sobel算子、Roberts算子、Prewitt算子和Canny算子對孔位進行了檢測，最終選擇了精度最高的Canny方法。沈正福[25]在進行食品主體尺寸識別時，也比較了Sobel算子、Laplace算子和Canny算子的精度，最終也選擇了Canny作為邊緣檢測算子，因此本文選用該方法對圖像進行邊緣檢測。使用edge (I, ‘Canny’, threshold)函數(shù)，其中I為輸入圖像，threshold為閾值，根據(jù)現(xiàn)場輪廓檢測效果進行調整。此外在實際檢測案例中，被測量零件上可能存在的較小紋理及銹蝕或污損點會對后序按八連通區(qū)域的檢測造成干擾，因此文中先通過孔洞填充去除紋理，接著用Canny邊緣檢測提取孔洞填充圖像外圍邊緣，最后使用形態(tài)學算法去除較小的對象，減少干擾。

1.4 尺寸換算與標注

完成對圖像的處理階段后，通過[labelpic, num] = bwlabel (I,n)函數(shù)對圖像目標從左至右進行標記，其中I為輸入圖像，n=8表示是按八連通尋找區(qū)域。配合find函數(shù)進行特定目標的操作，標記左起第一個輪廓為標準貼紙計算單位像素點比例。運用旋轉卡殼算法[26]將標記得到的目標對象進行最小外接矩形的計算，得到最小外接矩形4個角的坐標，假設孔位1的最小外接矩形坐標為a(xa,ya)、b(xb,yb)、c(xc,yc)、d(xd,yd)，如圖4所示。

圖4 距離測量圖示

矩形邊長計算如式(3)：

(5)

(6)

(7)

(8)

da-b、db-c、dc-d、dd-a分別為ab、bc、cd、da邊長，且ab=cd，bc=da，則孔位1的最小外接矩形長l1和寬w1分別如式(9)、(10)所示，同理可得到測量基準貼紙邊長la、wa以及孔位2的最小外接矩形邊長l2和寬w2。

l1= max (da-b,db-c,dc-d,dd-a)

(9)

w1= min (da-b,db-c,dc-d,dd-a)

(10)

孔位1的實際外接矩形長L1和寬W1可通過式(11)、(12)得到，其中pl與pw是由式(1)、(2)計算得出的單位像素點比例。

L1=pl·l1

(11)

W1=pw·w1

(12)

除了孔位大小的尺寸計算外，孔位間的距離也是需要重點關注的尺寸。使用同樣的原理進行計算。假設孔位2的最小外接矩形坐標為A(xA,yA)、B(xB,yB)、C(xC,yC)、D(xD,yD)，則可得到孔位1和孔位2的最小外接矩形中心點坐標e(xe,ye)、E(xE,yE)，如式(13)～(16)所示。

xe= (xa+xb+xc+xd)/4

(13)

ye= (ya+yb+yc+yd)/4

(14)

xE= (xA+xB+xC+xD)/4

(15)

yE= (yA+yB+yC+yD)/4

(16)

由式(7)可得到孔位1與孔位2之間的實際距離D：

(17)

使用line函數(shù)在圖像中繪制出最小外接矩形以及孔位中點間距的連線，并通過text函數(shù)直接將計算得到的實際間距標注在圖像中進行顯示。

1.5 圖形拼接功能

在對車身車間零件進行測量時，常會遇到需要窗框加強版、車門加強筋等長條形零件上的通孔的測量需求。由于拍攝圖像比例限制，長條形零件上孔位難以借助一張圖片表達。黎欣[9]針對大尺寸零件視覺測量提出了基于Surf特征點算法的圖像拼接方法，并且將其與BP神經(jīng)網(wǎng)絡相結合，應用于滾動軸的故障識別，得到了較好的識別效果。本文也將借助Surf特征點算法對待測零件圖像進行拼接，實現(xiàn)對長條形零件孔位的檢測。

Surf算法的圖像拼接過程主要包括：通過detect_surf函數(shù)提取兩個圖像的Surf有效特征并存儲；通過匹配存儲的特征建立兩個圖像之間的對應關系；通過函數(shù)matchFeatures確定匹配特征集后，通過變換模型將待拼接圖像變換到參考坐標系下，即對圖像矩陣進行投影變換，最終借助圖形融合得到拼接完成的圖像。

2 零件孔位尺寸測量過程及實驗

2.1 操作過程

在進行零件尺寸測量時，首先將測量基準貼紙粘貼在零件待測量孔位的最左側，并確保其與孔位在同一平面上；然后拍攝照片，拍攝過程中需要盡量保證手機與待測量平面平行，并且將基準貼紙和待測量孔位都納入拍攝范圍內。完成拍攝后將照片導入MATLAB程序中進行處理，經(jīng)過正畸、灰度變換、空間濾波、邊緣檢測，最后完成尺寸標注后輸出測量結果，具體操作流程如圖5所示。

圖5 零件孔位尺寸測量流程

此外，在手機拍攝待測量孔位時，需要確保相機位置與光圈值、快門速度、ISO 等拍攝參數(shù)與手機進行棋盤標定時條件相同[27]，這樣才能確保圖像正畸變達到最佳效果。

2.2 測量結果對比

通過兩個案例來驗證所提出方法的測量精度。借助堅果R2后置1 300像素主攝鏡頭完成圖像拍攝，測得鏡頭的畸變系數(shù)D(k1,k2,p1,p2,k3) = (0.024 3, -0.012 7, -0.001 5, 0.000 6, 0)，經(jīng)過畸變校正后進行尺寸識別。

第一個案例要求識別白車身底板上一個焊接零件的孔位大小尺寸和孔距離尺寸，這個案例包括一個圓孔和一個長腰孔，具有一定典型性。圖6為圖形處理過程中每個步驟下的處理結果，圖6 (a)，(b)，(c)，(d)分別為正畸變后圖像，灰度處理后圖像、高斯濾波后圖像，邊緣檢測后圖像和尺寸標注圖像。

圖6 底板零件孔位尺寸測量

為了驗證本文所述檢測方法的準確性，使用精度為0.05 mm的游標卡尺對該零件進行接觸式測量，每個數(shù)據(jù)測量3次取算數(shù)平均值，而本文測量方法所得圓孔結果取長寬距離平均值，兩者對比結果如表1所示。

表1 底板零件測量結果對比 mm

由于數(shù)據(jù)是四組測量值和真實值的對比，故參照沈正福[25]的工作補充標準誤差來評價系統(tǒng)的測量準確性，計算公式如式(18)：

(18)

其中:xi,x(_)分別表示本文方法測量值和游標卡尺測量值，σ為標準誤差，帶入數(shù)據(jù)得到標準相對誤差為0.274 mm。

該零件孔位主要用于安裝內飾塑料卡扣，允許有較大活動量，公差為+/-2 mm，而文中孔位尺寸最大相對誤差0.3 mm，距離相對誤差0.4 mm，能夠滿足該種非定位孔的幾何尺寸測量。除此之外，文中測量方法能直接給出孔孔之間距離，而不必像游標卡尺測量一樣需要進行換算，在檢測效率上也有一定的優(yōu)勢。

另一個案例為車輛前門內板上靠近A柱區(qū)域的塑料蓋板安裝孔測量，由于孔位數(shù)量較多，接觸式測量效率較低。案例的測量過程如圖7 (a)，(b)，(c)，(d)所示，分別為正畸變后圖像，灰度處理、高斯濾波后圖像，邊緣檢測后圖像和尺寸標注圖像，4個孔位的標注順序如圖7 (a)所示。

圖7 車門零件孔位尺寸測量

同樣用精度為0.05 mm的游標卡尺對該零件進行測量，孔位編號如圖7 (a)所示，本文方法測量與游標卡尺測量結果對比如表2所示。

表2 車門零件測量結果對比 mm

通過公式(8)得到第二個案例所有測量值的標準相對誤差為0.220 mm。其中4個孔位的標準相對誤差為0.112 mm，孔位間距的標準相對誤差為0.311 mm。

門內板卡扣孔位公差為±2 mm，而文中孔位尺寸相對誤差0.2 mm，距離相對誤差0.4 mm，能夠滿足該種非定位孔的幾何尺寸測量。文中測量方法能直接給出4個孔與孔中心之間距離而不用像游標卡尺測量一樣進行進一步換算，有效提升了測量效率。

2.3 圖形拼接結果對比

圖像拼接功能將同一個零件的兩張圖片進行變換、拼接后合成一張圖片，在沒有支架測量系統(tǒng)的支持下，誤差會比較大。本節(jié)將以第一個案例，白車身底板上一個焊接零件為例，拍攝兩張照片合成后與單張照片及游標卡尺測量結果對比，說明圖像拼接合成后識別尺寸與單張照片及實際零件尺寸之間的差異。

拍攝的兩張圖像I1和I2如圖8 (a)、(b)所示，通過Surf特征點算法找到兩個圖像的Surf有效特征點和有效特征，再進行匹配，匹配的特征點對應關系如圖8 (c)所示。通過圖像變換得到的合成圖如圖8 (d)所示。

圖8 底板零件圖像合成

得到合成圖后再次進行孔位尺寸識別，處理過程與2.2章節(jié)第一個案例相同，得到的識別結果如圖9所示。圖像合成方法測量、單張拍攝圖片測量與游標卡尺測量結果對比如表3所示。

圖9 圖像合成后尺寸標注后圖像

表3 底板零件測量結果對比 mm

由于基準貼紙與左側的腰孔是在同一張圖像I1內，合成后計算得到的誤差與單張圖片時幾乎一致。而右側的圓孔在另一張待合成的圖像I2上，由于在拍照時沒有借助專用的測量支架，而是直接拍攝，其拍攝角度和距離必然與第一次拍攝圖像I1時不同，因此在進行圖像合成變換時不可避免會出現(xiàn)測量誤差。圓孔直徑相對誤差由-0.1 mm增大為-0.8 mm；孔距離相對誤差由0.4 mm增大為-0.8 mm。由于測量誤差相對較大，圖像拼接后測量得到的孔位只能作為參考值，尤其是沒有貼基準測量貼紙的圖像上的孔位。一個能夠固定拍攝角度和拍攝距離的手機測量支架或許能夠提升測量準確度。

3 用戶界面及手機端使用

3.1 PC端用戶界面

采用圖形用戶接口(GUI)編程技術，開發(fā)設計了孔位尺寸測定的軟件系統(tǒng)，用戶界面如圖10所示。5個模塊分別為輸入圖像、處理選擇、輸出尺寸、邊緣檢測閾值和調試信息。首先點選輸入圖像模塊中瀏覽選項，選取拍攝好、正畸變后的圖像，點擊加載。在處理選擇Input下出現(xiàn)待識別圖像后，選擇邊緣檢測(高斯濾波)閾值，從車間現(xiàn)場總結得到的默認閾值為0.725，可根據(jù)現(xiàn)場實際要求進行調整，調整范圍在0～1之間，即“權重”。當數(shù)值增大時，識別圖像內的輪廓數(shù)量會相應減小，即濾波的效果越強；當數(shù)值減小時，識別圖像內的輪廓數(shù)量會相應增大，即濾波效果越弱。確定需要選擇的待測量圖像出現(xiàn)在Input下后點選“處理”框，開始進行孔位尺寸測量。如處理完成，調試信息框中出現(xiàn)“圖像處理與圖像輸出完成”，如處理失敗，則調試信息框中出現(xiàn)“圖像處理與圖像輸出失敗”字樣。在調試信息框中出現(xiàn)“圖像處理與圖像輸出完成”字樣后，處理選擇Output框中會出現(xiàn)識別完成后有尺寸標注的圖像，同時輸出尺寸框中也會分別顯示出孔位尺寸，包括最小外接矩形的長寬、以及孔位間距離，單位為mm。

圖10 圖像分析與尺寸測定系統(tǒng)用戶界面

3.2 手機端測量過程

除了通過PC端進行測量運算外，為了進一步方便現(xiàn)場的測量工作，還借助MATLAB Mobile移動端在移動手機端實現(xiàn)現(xiàn)場白車身零件在線測量。

MATLAB Mobile是一款移動端輕應用，可以安裝在Android或IOS移動設備上，并且連接到在 MathWorks Cloud上運行的 MATLAB?會話。由于其易用性與高效性，MATLAB Mobile被廣泛應用于理工類實驗與教學中[28-29]。在使用手機端軟件前，需要先在PC端將圖像處理的m文件存儲到 MATLAB Drive云端，完成后打開手機端安裝的MATLAB Mobile APP，登錄MathWorks Cloud上相同的賬戶，即可打開云端的文件。同時有關尺寸的計算都在云端完成，云端計算完成后將計算結果發(fā)送回手機端。即只要能夠上網(wǎng)，即使是處理能力較差的手機也能夠完成測量。同時，MATLAB Mobile還能夠與同個Wifi下的PC端MATLAB連接，在PC端口完成計算后將結果發(fā)送至手機，在不連接云端的條件下同樣能夠完成計算。

在實際操作中，拍攝完現(xiàn)場待識別零件照片后，首先在手機端將MATLAB Mobile應用打開，并將拍攝的照片移動到MATLAB Drive云端m文件所在的目錄下，點擊運行程序即可得到孔位尺寸和孔位間距的識別結果。MATLAB Mobile在移動端界面如圖11所示，具體操作可參考相關文獻[30]。

圖11 MATLAB Mobile在移動端界面

4 結束語

本文針對汽車車身車間現(xiàn)場白車身零件尺寸測量的問題，采用圖像處理技術(機器視覺方法)對零件孔位進行在線測量，并且直接在原圖上標注出測量完成的孔位距離以及孔位大小。具體發(fā)現(xiàn)包括：

1)基于圖像處理技術實現(xiàn)了對零件孔位尺寸的二維非接觸式測量。對零件圖像進行灰度化、高斯濾波處理，生成二值圖像；通過Canny邊緣檢測方法提取圖像邊緣；去除尺寸較小的干擾因素；最終采用最小外接矩形標注孔位尺寸，通過幾何方法求解孔位間尺寸。此外引入鏡頭去畸變技術，提升尺寸測量結果的準確性及一致性。

2)使用測量基準貼紙作為比例尺，并且引入了手機端MATLAB Mobile，實現(xiàn)了車間現(xiàn)場測量的可行性與高效性。

3)測量案例表明，該方法對孔位尺寸測量最大相對誤差0.3 mm，孔距離最大相對誤差0.4 mm；孔位尺寸測量最大標準相對誤差0.274 mm，孔距離標準相對誤差0.311 mm，能夠作為公差要求較低的非定位孔的輔助測量手段。該方法尤其適用于白車身制造中用于安裝飾板的零件孔位，這些孔位常常處于一個平面且數(shù)量較大，借助該方法能方便且高效完成測量。

4)針對長條形零件測量，探索了基于Surf算法的圖像拼接方法，比較了單張圖像拍攝、兩張圖像拍攝和直接測量的結果，發(fā)現(xiàn)由于兩次拍攝圖像的角度、距離不同，合成后圖像孔位，尤其是遠離基準貼紙的孔位尺寸誤差相對較大，目前還不能應用于現(xiàn)場尺寸測量中，僅可作為參考結果。

5) 在現(xiàn)場圖像拍攝過程中，需要盡量保持拍攝角度為90°俯視，以防物體尺寸出現(xiàn)扭曲，因此對拍攝者拍攝手法要求較高。此外測量誤差仍然相對較大，設計一個合適又便捷的手機測量支架是今后進一步完善該方法的研究方向。