王玉柱，劉婷婷

(1.華北計(jì)算技術(shù)研究所 北京 100083；2.工業(yè)和信息化部電信研究院 北京 100191)

基于雙目視覺的鋼軌磨耗測量技術(shù)研究

王玉柱1，劉婷婷2

(1.華北計(jì)算技術(shù)研究所 北京 100083；2.工業(yè)和信息化部電信研究院 北京 100191)

近年來隨著高速鐵路和重載運(yùn)輸?shù)拇罅Πl(fā)展，客貨運(yùn)量和行車密度大幅度增長，鋼軌磨耗日益嚴(yán)重。而我國鋼軌磨耗大部分采用接觸式卡距或其它接觸式測量方法，存在勞動強(qiáng)度較大、精度較低、效率較低等缺點(diǎn)。研制新的非接觸式的鋼軌磨耗自動測量系統(tǒng)具有重大的意義。目前國內(nèi)已有基于單目視覺的非接觸式鋼軌磨耗測量系統(tǒng)的研究。本文針對單目視覺的局限性將雙目視覺技術(shù)應(yīng)用到鋼軌磨耗測量研究中，對系統(tǒng)關(guān)鍵技術(shù)進(jìn)行了深入的研究，實(shí)現(xiàn)了鋼軌磨耗的測量。

鋼軌磨耗測量；雙目視覺；相機(jī)標(biāo)定；立體匹配；三維重建

0 引言

隨著全國鐵路提速、重載運(yùn)輸?shù)拇罅Πl(fā)展、客貨運(yùn)量和行車密度大幅增長，對鐵軌磨耗參數(shù)測量精度要求也越來越高。鋼軌磨耗是否超限直接決定鋼軌是否需要更換或打磨，否則將造成重大損失。因此精確地測量出磨耗值對于鋼軌的維護(hù)及行車安全是非常重要的。

目前，國內(nèi)外現(xiàn)行的鋼軌磨耗測量方法主要有三種：機(jī)械設(shè)備測量、電子設(shè)備測量和非接觸光學(xué)系統(tǒng)測量。其中機(jī)械設(shè)備測量需要人工進(jìn)行檢測，存在工作量大、工作環(huán)境惡劣、和效率低等缺陷，并且由于機(jī)械裝置與鋼軌進(jìn)行接觸式檢測使得結(jié)果中的鋼軌外形和軌距的準(zhǔn)確度及完整性不夠高，同時長期的接觸式測量使鋼軌造成不必要的磨損。電子設(shè)備測量雖然比機(jī)械設(shè)備測量有較大進(jìn)步，但是還尚未實(shí)現(xiàn)在線自動檢測，增加了鐵路維修周期。非接觸光學(xué)系統(tǒng)測量性能比以上兩種好，該測量方法快速、結(jié)構(gòu)小巧、上下道方便、顯示直觀，并能反映鋼軌剖面磨耗的軌跡。

但是現(xiàn)有非接觸光學(xué)檢測系統(tǒng)幾乎都采用二維重建取得鋼軌斷面輪廓，即將光結(jié)構(gòu)平面理想化為與鋼軌垂直。本文設(shè)計(jì)了一種考慮光結(jié)構(gòu)平面扭曲的基于雙目視覺的鋼軌磨耗自動檢測系統(tǒng)，采用三維重建取得鋼軌斷面輪廓的三維坐標(biāo)。

1 系統(tǒng)測量原理與硬件組成

基于雙目視覺的鋼軌磨耗自動檢測系統(tǒng)基于激光三角測量原理，采用光取斷面技術(shù)實(shí)現(xiàn)對鋼軌磨耗的非接觸測量。利用高強(qiáng)度的窄激光光束，以一定的角度投射到軌道上(軌面至內(nèi)側(cè)軌腰)，在軌道表面和內(nèi)側(cè)軌腰上形成一條光帶，此光帶為結(jié)構(gòu)光與軌道的交線。面陣CCD安裝在與光束成一定角度的位置上，對光帶進(jìn)行攝像，影像的信息經(jīng)處理后形成具有影像邊界的鋼軌輪廓。本系統(tǒng)將鋼軌輪廓數(shù)字化，經(jīng)過三維重建，再將它與標(biāo)準(zhǔn)軌形比較，即可得出磨耗值。系統(tǒng)結(jié)構(gòu)如圖1所示。

圖1 系統(tǒng)結(jié)構(gòu)示意圖Fig.1 Schematic diagram of system structure

以往鋼軌測量系統(tǒng)多采用單相機(jī)結(jié)構(gòu)，拍得鋼軌輪廓的單幅圖像，以單幅圖像來計(jì)算鋼軌輪廓的三維坐標(biāo)，這樣只能是將結(jié)構(gòu)光理想化為與鋼軌垂直，即將鋼軌輪廓的z軸坐標(biāo)理想化為零，只計(jì)算x，y軸坐標(biāo)，并沒有考慮結(jié)構(gòu)光和鋼軌扭曲的情況，給計(jì)算帶來很大誤差。圖2為結(jié)構(gòu)光面與鋼軌發(fā)生扭曲的示意圖。

圖2 結(jié)構(gòu)光發(fā)生扭曲的兩種情況Fig.2 Two cases of structural light distortion

本系統(tǒng)鋼軌每側(cè)采用了兩個攝像機(jī)，根據(jù)立體雙目視覺三維測量方法，通過兩幅或兩幅以上圖像就可以很輕松的計(jì)算出鋼軌輪廓的三維坐標(biāo)，這樣就避免結(jié)構(gòu)光扭曲給計(jì)算帶來的誤差。

假定空間任意點(diǎn)P的世界坐標(biāo)為：(xw,yw,zw)，點(diǎn)P在兩個相機(jī)的成像平面上的像點(diǎn)分別為1P與 P2， P1和P2的像素坐標(biāo)分別為：(u1,v1)和(u2,v2)， C1和C2相機(jī)的投影矩陣分別為：

根據(jù)相機(jī)的成像模型有：

其中Zc1和Zc2分別為空間點(diǎn)P在兩個相機(jī)的光心坐標(biāo)系中沿光軸方向的坐標(biāo)值。消去（10）中的Zc1和Zc2整理并合并得如下方程組：

其中:

求解方程組（3），得到的解(xw,yw,zw)就是空間點(diǎn)P的世界坐標(biāo)。這里我們采用最小二乘法來求解(xw,yw,zw)的值，則有：

從以上的分析可知，知道了兩個相機(jī)的投影矩陣和空間點(diǎn)在兩個不同位置的相機(jī)所拍攝圖像中的像素坐標(biāo)，由式（3）就可以確定點(diǎn)P在世界坐標(biāo)系中的位置坐標(biāo)。

2 系統(tǒng)的軟件實(shí)現(xiàn)

經(jīng)具有平行光軸布局的兩個圖像采集卡得到的真實(shí)彩色圖像進(jìn)行快速匹配得到初始匹配點(diǎn)對，然后分別對兩幅圖像進(jìn)行去噪聲和邊緣檢測，以及細(xì)化處理，得到鋼軌的單像素目標(biāo)圖像。在初始匹配點(diǎn)中搜索和細(xì)化后的輪廓圖相吻合的匹配點(diǎn)對，并對其進(jìn)行三維重建，得到鋼軌輪廓的真實(shí)三維世界坐標(biāo)點(diǎn)，對這些點(diǎn)進(jìn)行曲線擬合，得到鋼軌的目標(biāo)輪廓圖，與標(biāo)準(zhǔn)的鋼軌輪廓圖進(jìn)行匹配測量，計(jì)算出磨耗值。系統(tǒng)的軟件實(shí)現(xiàn)框架圖見圖3。

圖3 系統(tǒng)流程圖Fig.3 System flow-process diagram

2.1 相機(jī)標(biāo)定

相機(jī)標(biāo)定是計(jì)算機(jī)立體視覺中的第一步，也是關(guān)鍵一步，相機(jī)標(biāo)定精確與否，直接影響了立體視覺系統(tǒng)測量的精度，因而實(shí)現(xiàn)立體攝像機(jī)對的標(biāo)定工作是必不可少的。

本文對三種模板做了比較，如圖4所示。

圖4 三種模板標(biāo)定示意圖Fig.4 Sketch map of the three kinds of templates

前兩種模板采用Harris算法提取角點(diǎn)，目測其最大誤差在一個像素之內(nèi)，圓形模板采用Hough圓檢測算法提取圓心，精度可達(dá)亞像素級。

本文對線性標(biāo)定算法和經(jīng)典的T-sai兩步標(biāo)定算法做了比較，線性標(biāo)定對靠近圖像邊緣的角點(diǎn)進(jìn)行坐標(biāo)反算誤差達(dá)7個像素左右。T-sai兩步法標(biāo)定對三種模板提取的25個特征點(diǎn)進(jìn)行標(biāo)定，另外選取11個特征點(diǎn)驗(yàn)證標(biāo)定的精度。結(jié)果如表1所示。

表1 三種模板的標(biāo)定精度對比Tab.1 Comparison of calibration accuracy of the three templates

從標(biāo)定結(jié)果中可以發(fā)現(xiàn)采用圓形模板標(biāo)定精度最高，且越是偏離圖像中心的特征點(diǎn)誤差越大。所以本系統(tǒng)針對鋼軌外形特點(diǎn)對一般的標(biāo)定模板做了改進(jìn)，使得鋼軌更接近于圖像中心，改進(jìn)結(jié)果見圖5。

圖5 實(shí)驗(yàn)標(biāo)定組圖Fig.5 Experimental calibration photos

2.2 立體匹配算法

本系統(tǒng)構(gòu)造了一種具有平行光軸布局的立體視覺系統(tǒng)，利用極線約束改進(jìn)了SIFT立體匹配算法，大大提高了算法速度和穩(wěn)定性，從而可以獲得鋼軌輪廓線上的較為稠密的初始匹配點(diǎn)。圖5為實(shí)驗(yàn)采集的圖像對。

對圖5采用改進(jìn)的sift立體匹配算法，得到圖像初始匹配點(diǎn)，結(jié)果如圖6所示。

圖6 基于sift特征點(diǎn)匹配兩幅圖像的結(jié)果Fig.6 Results of sift matching two images based on feature points

2.3 邊緣提取

基于計(jì)算機(jī)視覺的測量的關(guān)鍵在于確定出代表對象特征的圖像邊緣。然后系統(tǒng)才能根據(jù)檢測要求計(jì)算邊緣坐標(biāo)或邊緣所代表的含義，如面積、形狀等。邊緣提取的結(jié)果直接影響圖像細(xì)化的效果。邊緣特征提取目前有 Laplacian算子、Canny算子、Roberts算子、Sobel算子和Kirsch算子等提取方法。本系統(tǒng)對幾種邊緣提取算法應(yīng)用于鋼軌輪廓邊緣提取做了一些嘗試與實(shí)驗(yàn)。結(jié)果如圖7所示。

圖7 邊緣提取效果圖Fig.7 Edge extraction effect chart

通過將上面 5種算子提取的各自圖像進(jìn)行比較，顯然Kirsch提取的效果最好。所以本系統(tǒng)采用Kirsch算子邊緣提取方法提取圖像中鋼軌的輪廓。

2.4 輪廓細(xì)化

理想情況下所獲得的鋼軌斷面圖應(yīng)是一個單像素的鋼軌輪廓軌跡，而實(shí)際測量中預(yù)處理后的斷面圖像是一條光帶。光帶寬度遠(yuǎn)遠(yuǎn)大于一個像素，它無法準(zhǔn)確地反映出鋼軌的輪廓形狀，必須經(jīng)過細(xì)化處理提取出一條能反映外形的曲線，即鋼軌斷面曲線中心線。細(xì)化算法的原理是根據(jù)刪除條件來重復(fù)地剝掉二值圖像的邊界像素。細(xì)化操作之后的鋼軌輪廓圖像易出現(xiàn)短枝和斷點(diǎn)，如何消除短枝并連接斷點(diǎn)是遇到的實(shí)際困難。為了解決這一問題，可以對細(xì)化后的圖像進(jìn)行擴(kuò)展， 然后再對其進(jìn)行多次細(xì)化操作，從而達(dá)到盡量消除斷點(diǎn)和短枝個數(shù)的目的。

這里采取了Zhang快速并行細(xì)化算法，它包含兩層子循環(huán)，第一個子循環(huán)中，目標(biāo)像素刪除條件是：

（8）2≤B(P)≤6；（9）A(P)=1；（10）P0× U2×P6=0；（11）P0×P4×P6=0。

其中 A(P)是有序集{P0,…P7}中的 0l模式數(shù)，B(P)是{P0,…P7}中的非0像素?cái)?shù)，而{PO…P7}是像素P的八鄰域，如圖8所示。

圖8 八鄰域示意圖Fig.8 Schematic diagram of the eight neighborhood

在第二層子循環(huán)中，把上述條件中的(10)、(11)改寫成為：

若條件成立，則目標(biāo)像素P被標(biāo)記為可刪除像素。最終的細(xì)化結(jié)果見圖9。

圖9 細(xì)化效果圖Fig.9 Thinning effect diagram

2.5 輪廓圖重建

在初始匹配點(diǎn)中搜索和細(xì)化后的輪廓圖相吻合的匹配點(diǎn)對，并對其進(jìn)行三維重建，得到 130-150個鋼軌的真實(shí)三維世界坐標(biāo)點(diǎn)。如表2所示。

表2 鋼軌輪廓三維世界坐標(biāo)點(diǎn)Table 2 3D coordinate points of rail profile

應(yīng)用最小二乘法對這些點(diǎn)進(jìn)行曲線擬合，得到鋼軌的真實(shí)輪廓圖，如圖10所示。

圖10 鋼軌真實(shí)輪廓圖Fig.10 Real map of rail

3 磨耗計(jì)算與誤差分析

將所得鋼軌圖像分割成軌頭，軌腰兩部分。由于軌腰部分幾乎未被磨損，所以很容易與標(biāo)準(zhǔn)鋼軌圖像的軌腰部分匹配成功。根據(jù)軌腰匹配結(jié)果得到軌頭圖像之間的對應(yīng)關(guān)系，對比可得到磨耗值，實(shí)驗(yàn)測得鋼軌的45度部分磨耗值為0.56 mm，如圖11所示。

圖11 鋼軌頭部真實(shí)圖像與標(biāo)準(zhǔn)圖像的重合效果圖Fig.11 The coincidence of the real image of the rail head and the standard image

根據(jù)系統(tǒng)的測量方案可知，影響本系統(tǒng)最終的測量結(jié)果的精度總體上可分為兩方面因素。其中一是系統(tǒng)的硬件因素，包括硬件的性能參數(shù)，還有系統(tǒng)的整體物理結(jié)構(gòu)誤差。另一個是系統(tǒng)軟件部分采用各種算法存在著誤差。其中包括：

（1）相機(jī)標(biāo)定模塊的特征點(diǎn)提取算法和標(biāo)定算法直接影響系統(tǒng)標(biāo)定參數(shù)的準(zhǔn)確性。

（2）圖像匹配算法是立體視覺的關(guān)鍵步驟，但是由于拍攝環(huán)境復(fù)雜多變，匹配的不確定性，現(xiàn)有算法在某些方面都有不盡人意的缺陷，都相應(yīng)的存在誤差。

（3）在圖像預(yù)處理模塊中的細(xì)化、去噪和還原等算法更是直接對被測圖像進(jìn)行一些圖像處理過程。所以也影響著最后系統(tǒng)的測量結(jié)果的精度。

對于系統(tǒng)的硬件誤差可以通過提升硬件性能，精密設(shè)計(jì)系統(tǒng)框架來減小。對于軟件因素的誤差，可以通過優(yōu)化算法，或者改用更精確標(biāo)定方案均能對系統(tǒng)的測量精度有一定的提高。

4 結(jié)論

采用雙目視覺技術(shù)對鋼軌磨耗進(jìn)行自動檢測對鋼軌的維護(hù)具有很重要的意義，相比單目視覺測量方法具有以下優(yōu)點(diǎn)：一是實(shí)際測量時很難保證結(jié)構(gòu)光和鋼軌理想化的垂直，且很難保證攝像機(jī)的支架有足夠的剛度和穩(wěn)定性，雙目視覺測量避免了結(jié)構(gòu)光和鋼軌發(fā)生扭曲給計(jì)算帶來的誤差；二是單目視覺中環(huán)境的振動對測量結(jié)果產(chǎn)生很大的影響，實(shí)際車載式鋼軌磨耗測量時，鋼軌和攝像機(jī)又不可避免的產(chǎn)生抖動。雙目視覺可以有效的緩解了抖動給測量系統(tǒng)帶來的誤差。不過，此系統(tǒng)還需要進(jìn)行以下的后期研究：結(jié)合各種惡劣環(huán)境來確定出良好自適應(yīng)的系統(tǒng)攝像機(jī)標(biāo)定以及圖像的校正方案；使系統(tǒng)具有智能型，能測量多種型號的鋼軌，轉(zhuǎn)換要方便，利用簡單的鍵盤操作來實(shí)現(xiàn)此目的；優(yōu)化算法，進(jìn)一步提高測量的速度和精度，有益于系統(tǒng)實(shí)際應(yīng)用。

[1]Wang J.Wang X.Liu F.et al.Modeling of binocular stereo vision for remote coordinate measurement and fast calibration[J].Optics and Lasers in Engineering.2014.54: 269-274.

[2]LIU H.Li Z.Wang B.et al.Table tennis robot with stereo vision and humanoid manipulator II: Visual measurement of motion-blurred ball[C].Robotics and Biomimetics (ROBIO).2013 IEEE International Conference on.IEEE.2013: 2430-2435.

[3]Goulermas J Y, Liatsis P, Fernando T.A constrained nonlinear energy minimization framework for the regularization of the stereo correspondence problem[J].IEEE Trans on Circuits and Systems for Video Technology, 2006, 15(4): 550-565.

[4]吳若鴻.基于特征匹配的雙目立體視覺技術(shù)研究[D].武漢: 武漢科技大學(xué).2010.

[5]王曉華.基于雙目視覺的三維重建技術(shù)研究[D].濟(jì)南: 山東科技大學(xué).2004.

[6]申茂盛.基于雙目視覺的質(zhì)心定位算法的研究[J].軟件, 2014, 35(12): 69-74.

[7]馬頌德, 張正友.計(jì)算機(jī)視覺——計(jì)算機(jī)理論與算法基礎(chǔ)[M].北京科學(xué)出版社, 1998.

[8]曹妍, 陳偉, 徐森.圖像去噪方法研究與仿真[J].軟件, 2015, 36(4): 33-36.

[9]白明, 莊嚴(yán), 王偉.雙目立體匹配算法的研究與進(jìn)展[C].控制與決策, 2008.23-7.

[10]陳志波, 李聲.基于雙目視覺的邊緣檢測算法[C].光學(xué)與光電技術(shù), 2008, 6-4.

[11]熊琰.三維數(shù)據(jù)建模與處理技術(shù)研究.[D].南京航空航天大學(xué).2007.3.

[12]趙聰, 元學(xué)鵬, 柯晶.基于控制點(diǎn)約束及區(qū)域相關(guān)的立體匹配算法[J].機(jī)器視覺.2008-0090-03.

[13]邱會貴.陳新.雙目立體視覺定位的三維坐標(biāo)提取與分析[J].閩江學(xué)院學(xué)報(bào).2013.34(2): 98-101.

[14]張文明.劉彬.李海濱.基于雙目視覺的三維重建中特征點(diǎn)提取及匹配算法的研究[J].光學(xué)技術(shù).2008.34(2): 181-185.

[15]劉碧霞.李紹滋.郭鋒.等.一種簡單快速的相機(jī)標(biāo)定新方法[J].計(jì)算機(jī)工程與科學(xué).2011.33(001): 88-93.

[16]李蘇祺.張廣軍.魏振忠.基于區(qū)域鄰接圖的立體視覺邊緣匹配算法[J].光電工程.2008.35(10): 92-97.

[17]邢向華.顧國華.基于模板匹配和特征點(diǎn)匹配相結(jié)合的快速車牌識別方法[J].光電子技術(shù).2004.23(4): 268-270.

[18]黃風(fēng)山.劉恩福.方憶湘.等.基于智能三坐標(biāo)測量機(jī)的零件位姿單目立體視覺識別[J].光學(xué)精密工程.2013.21(5): 1326-1332.

Research on Measurement Technology of Steel Rail Abrasion Based on Binocular Vision

WANG Yu-zhu1, Liu Ting-ting2
(1.North China Institute of computing technology, 100083; 2.China Academy of Telecommunication Research of MIIT, 100191)

In recent years, with the rapid development of high-speed railway and the grate increase in the capacity of trains for passengers and goods, the rail abrasion becomes a serious problem.However, the rail wear is currently measured by contact measurement in most cases, it is necessary to develop an automatic system for measuring the rail wear.Now there are some researches on steel rail abrasion measurement based on monocular vision in domestic.The steel rail abrasion measurement based on binocular vision was put forward in this thesis to against the shortcomings of monocular vision.After the deep analysis of the key technology, the measurement of steel rail abrasion was implemented.

Steel rail abrasion measurement; Binocular vision; Camera calibration; Stereo mMatching; 3-D reconstruction

TPl8

A

10.3969/j.issn.1003-6970.2017.03.023

王玉柱，男，1983-，華北計(jì)算技術(shù)研究所工程師；劉婷婷，女，1986-，工業(yè)和信息化部電信研究院工程師。

本文著錄格式：王玉柱，劉婷婷.基于雙目視覺的鋼軌磨耗測量技術(shù)研究[J].軟件，2017，38（3）：113-117