張　華，趙碧霞，劉桂華，王靜強，王　姮

(西南科技大學信息工程學院，四川 綿陽 621000)

0　引言

目前，鋼軌探傷領域采用的主要技術有超聲探傷技術、人工目視法、磁場法和電渦流法等。周鵬等[1]提出基于多激光線的鋼軌表面缺陷檢測方法。該方法主要通過向鋼軌表面投射多激光線，根據(jù)相機采集到的圖像進行激光中心線提取等二維圖像處理，雖可以較好地解決由于鋼軌跳動造成的“誤檢”問題，但是不能對細小的鋼軌裂紋進行提取，無法得到鋼軌缺陷的深度信息。Canan Tas timur等[2]研究的基于形態(tài)特征的實時視頻缺陷檢測方法，采用形態(tài)學操作提取特征，并可識別缺陷區(qū)域。該方法在不同方向和照明條件下均有較高的識別率。Lin C等[3]提出了基于局部鄰域的表面缺陷檢測方法，利用局部鄰域窗口在整個檢查圖像上滑動，將變異系數(shù)用于均勻性度量。由于無缺陷區(qū)域產(chǎn)生的變異系數(shù)值比缺陷區(qū)域更小，故用閾值法提取和分割缺陷區(qū)域，以提高計算效率。但該算法僅用于檢測一個單獨的特征，不具有普遍適用性。采用以上方法得到的均為有缺陷的二維信息，而非三維信息。所以，針對裂紋等缺陷，通過上述方法并不能很好地求解深度信息。

本文提出了基于多攝像機的鋼軌表面三維檢測方法。通過結合多對雙目相機組成的多攝像機系統(tǒng)與線結構光，根據(jù)圖像預處理、高斯擬合和極線約束等方法，重建鋼軌樣品的表面輪廓信息，可直觀地獲得鋼軌長度方向上的全貌信息以及缺陷的輪廓和深度信息。

1　相關原理

1.1　單目相機標定

本文采用張正友平面標定方法[4]求解攝像機內外參數(shù)。該方法具有較高的精度和魯棒性。其基本原理為：在攝像機視場范圍內，采集標定板的多幅圖像。設Z=0，K為3×3的攝像機內參數(shù)矩陣，M=(XYZ)T為標定板平面上點的齊次坐標，m=(uv1)T為標定板平面上的點投影到圖像平面上的對應點齊次坐標，R=[r1r2r3]和T=[tXtVtZ]T分別為標定板相對于攝像機坐標系中的旋轉矩陣和平移向量，λ為常數(shù)因子，則有：

(1)

當且僅當靶標平面拍攝的圖片數(shù)大于3時，可唯一確定攝像機內參數(shù)矩陣R。根據(jù)攝像機內外參數(shù)矩陣的關系，便可求出攝像機的外參數(shù)矩陣。

1.2　多目相機標定

多目標定除了要求出各相機的內外參數(shù)[5-6]，還要求出各相機之間的相對位置關系。以三目相機為例，設Ck、Cp為相機之間位置關系的矩陣，其中k、p分別為1、2、3，則相機的位置關系可以表示為：

Ck=RckpCp+tckp

(2)

式中：Rckp為相機p到相機k的旋轉矩陣；tckp為相機p到相機k的平移向量。

將世界坐標系作為中間變量，便可得到相機的位置關系：

(3)

(4)

式中：Rp為單目相機在相同世界坐標系下的旋轉矩陣；tp為平移向量。

則對于不同位置n幅標定板圖片計算得到的Rckp和tckp，根據(jù)非線性最小二乘(levenberg marquardt，LM)算法，優(yōu)化方程如下：

Rckp,tckp=minJ

(5)

式中：minJ為優(yōu)化目標；J=J1+J2+J3。

3臺相機的約束關系如下：

(6)

(7)

(8)

1.3　光條中心提取算法

線激光的光強分布近似高斯分布。本文采用高斯擬合方式提取激光中心線[7-8]。由于圖像是由大量的水平線(橫截面)組成的，故以具有不同期望和方差的高斯信號作為基礎，最大程度擬合激光條紋圖像的橫截面。當找到最佳擬合結果時，根據(jù)每個高斯信號的對稱中心來實現(xiàn)激光條中心的最佳估計。

假設采集的圖像為Mi,j(其中，i、j為圖像的像素坐標值)。對于共有N行像素值的圖像，MN(j)為該橫截面圖像中編號為j的像素值序列。將序列號作為時間，則MN(t)成立。將經(jīng)過3次插值采樣的結果設為輸入信號mN(t)，內插間隔為t=nTs和Ts。利用閾值法計算中心點和線寬，令u0為第一級高斯信號的初始能量中心，并令ui=u0+si(s為偏移量)；設z為1個高斯信號的可延展度，z=2σ2。其中，σ為線寬，可獲得第一級高斯分布的可延展信號z1。高斯信號序列為g(t)：

(9)

式中：g(t)為疊加而成的人工信號，該信號被稱為基本高斯信號。

(10)

式(10)用于計算每個基本高斯信號和輸入信號之間的相似性。此時，設第一層基本高斯信號的偏移量為0，且令g(t)=gz1,u0(t)，添加高斯信號的下一層，并計算人工信號g(t)。改變之前設定的基本高斯信號的偏移si，并利用式(11)計算人工信號和輸入信號之間的相關度。

(11)

找到相關度最大的偏移量si，則人工信號和輸入信號具有更高的相似性。重復多次計算，直到獲取最優(yōu)的基本高斯信號。通過每一個高斯信號能量中心的偏移量s1,s2,…,sm以及總偏移量T，得到當rf(τ)最大時，人工信號與輸入信號非常相似，由此可以得到中心點的最佳估計。

(12)

式中：λi為不同能量中心的權重；ri為每個基本高斯函數(shù)和輸入信號之間的相似度。ri越高，表明輸入信號包括更多可擴展尺度為zi的高斯信號。此外，η為每個高斯信號能量中心的影響程度的修正比例因子。

1.4　特征點匹配算法

為了重建激光掃描數(shù)據(jù)[9-14]，需要對2臺相機提取到的激光條紋進行匹配，在不同視點下投影圖像中，尋找1條激光線在像素間的對應關系。本文采用極線約束的方法，對于1幅圖像上的每一個像素點，它所對應的另一幅圖像上的像素點一定在1條特定的極線上。同時，它又在這條激光條紋上，則這條極線和激光線的交點就是所求的匹配點。

(13)

式中：u1=(xi1,yi1,1)T；u2=(xi1,yi1,1)T。

對獲得的匹配點進行對稱性測試，將從左圖像到右圖像的極限約束算法重新應用于右圖像到左圖像，并去除只有1個方向滿足或者2個方向都不滿足的約束關系的匹配，即可得到正確的匹配特征點，用于后續(xù)計算。

2　試驗驗證

2.1　系統(tǒng)結構

本系統(tǒng)分為運動控制模塊、圖像采集模塊和軟件處理模塊。運動控制模塊主要控制鋼軌樣品在水平方向上的運動，包括傳送帶、編碼器及鋼軌樣品。圖像采集模塊主要包括多對雙目相機、線激光發(fā)射器等。軟件處理模塊主要包括圖像處理設備、圖像顯示設備、I/O設備等。將鋼軌樣品置于傳送帶上，通過運動控制模塊的編碼器控制其進行單向運動。編碼器通過獲取移動的距離信息，觸發(fā)圖像采集模塊的多目攝像機拍照。攝像機將采集到的帶有激光線的圖像經(jīng)數(shù)據(jù)線傳送到計算機控制模塊，進行相應的三維視覺處理。如果鋼軌樣品表面不存在缺陷，且不考慮鋼軌端面形狀的誤差與鋼軌的擺動、扭動等因素，則激光光帶在鋼軌表面的投影是固定的。如果鋼軌表面存在缺陷，則激光光帶在鋼軌表面缺陷處發(fā)生變化。通過激光光帶坐標的變化情況，可獲得鋼軌表面缺陷的三維信息。將重建得到的鋼軌三維輪廓信息與標準鋼軌輪廓信息作對比，判斷是否存在缺陷。若存在缺陷，即返回缺陷的深度。

測量系統(tǒng)硬件結構如圖1所示。

圖1　系統(tǒng)硬件結構圖Fig.1　System hardware structure

為了全面重建鋼軌的輪廓，本文設計并構建了圖像采集模塊，如圖2所示。

圖2　圖像采集模塊Fig.2　Image acquisition module

該模塊共包括5臺攝像機、4臺線性激光發(fā)射器。由相鄰的2臺相機組成一對雙目系統(tǒng)。每臺激光器位于兩個相機之間，成30°～45°角。

本文使用分辨率為640 dpi×480 dpi的彩色工業(yè)相機，采用線寬為650 nm可調的紅色線激光器。傳送帶速度為1 m/s。傳送帶每運動1 mm，編碼器觸發(fā)一次攝像機采集1次圖像。中央處理器主頻為2.13 GHz，內存容量為4 GB。系統(tǒng)搭建環(huán)境為Win7操作系統(tǒng)，編程開發(fā)環(huán)境為Visual Studio 2010。

2.2　試驗結果

通過軟件設計界面控制相機拍攝棋盤格標定板的圖片，并利用相機單目、多目標定得到相機的旋轉矩陣和平移矩陣。將紅色線激光投射至鋼軌樣品表面，由相機采集帶有線激光的圖片，經(jīng)過預處理、高斯擬合及特征點匹配算法后獲得匹配點。對獲得的匹配點與相機的旋轉矩陣和平移矩陣進行變換，得到三維坐標信息。圖3為重建得到的三維點云圖。

圖3　三維點云圖Fig.3　3D cloud map

在標準鋼軌樣品的結構重建過程中，獲得的部分點云圖如圖3(a)所示，經(jīng)過點云拼接得到的完整的點云圖如圖3(b)所示。存在缺陷的鋼軌樣品的結構重建過程中，獲得的部分點云圖如圖3(c)所示，經(jīng)過點云拼接得到的完整的點云圖如圖3(d)所示。對比兩種樣品的點云圖，可以清晰地看到圖3(c)淺色部分即為缺陷，可據(jù)此對鋼軌樣品進行判定。系統(tǒng)測得缺陷的深度為0.49 mm，已知缺陷的深度為0.51 mm，則測量誤差為4%。

3　結束語

本文提出了一種基于多目立體視覺的鋼軌表面輪廓三維重建方法。與傳統(tǒng)鋼軌表面缺陷檢測方法相比，該方法能夠全面重建鋼軌的輪廓并獲得三維信息。本文詳細介紹了系統(tǒng)方案，著重論述了三維重建的原理，設計了基于Visual Stdio 2010的鋼軌三維實時重建和缺陷檢測軟件系統(tǒng)，并對該方案進行了基于試驗平臺的驗證。根據(jù)試驗數(shù)據(jù)可知，該系統(tǒng)可以有效地檢測出鋼軌表面的一些缺陷深度信息，達到實時在線檢測的目的。

目前，該檢測系統(tǒng)仍存在一些不足，即沒有對二維和三維的圖像信息進行共同檢測。對于一些深度缺陷較小的區(qū)域，例如裂紋等，利用線結構光無法重建過小區(qū)域的三維輪廓。下一步需要將二維圖像處理和線結構光三維重建相結合，以檢測鋼軌表面的缺陷。

參考文獻:

[1] 周鵬,徐科,張春陽,等.基于多激光線的鋼軌表面缺陷在線檢測方法[J].北京科技大學學報,2015(s1):18-23.

[3] 馬頌德,張正友.計算機視覺:計算理論與算法基礎[M].北京：科學出版社,1998.

[4] 李孟,周波,孟正大,等.三目立體相機的標定研究[J].計算機技術與發(fā)展,2015(2):69-73.

[5] 楊振先.多攝像機標定技術研究及其應用[D].長沙：湖南大學,2011.

[6] FASOGBON P,DUVIEUBOURG L,MACAIRE L.Fast laser stripe extraction for 3D metallic object measurement[C]//Industrial Electronics Society,IECON 2016-42nd Annual Conference of the IEEE.IEEE,2016:923-927.

[7] LI C,YE X,GONG Y,et al.A center-line extraction algorithm of laser stripes based on multi-gaussian signals fitting[C]//2016 IEEE International Conference on Information and Automation (ICIA).IEEE,2016:189-194.

[8] 陳仲銘,彭凌西.線式激光中心二次通道提取算法[J].計算機工程與設計,2016,37(9):2464-2468.

[9] PAN Z.Research of target positioning technology in 3D digital photography[C]//International Conference on Smart Grid and Electrical Automation (ICSGEA).IEEE,2016:187-190.

[10]余樂文,張達,張元生.基于線結構光的三維測量系統(tǒng)關鍵技術研究[J].光電子·激光,2016(2):156-161.

[11]毛佳紅,婁小平,李偉仙,等.基于線結構光的雙目三維體積測量系統(tǒng)[J].光學技術,2016,42(1):10-15.

[12]卜燕,王姮,張華,等.一種室內障礙物與地面分割的快速方法[J].自動化儀表,2016,37(10):13-15.

[13]HASHMI M F,KESKAR A G.Computer-vision based visual inspection and crack detection of railroad tracks[C]//Recent Advances in Electrical and Computer Engineering,2014:102-110.

[14]TENG Z,LIU F,ZHANG B.Visual railway detection by superpixel based intracellular decisions[M].NewYork:Kluwer Academic Publishers,2016.