郭迎超,王國(guó)琿
(西安工業(yè)大學(xué) 光電工程學(xué)院,西安 710021)
隨著科技發(fā)展,機(jī)器視覺(jué)在人類(lèi)生產(chǎn)過(guò)程中越來(lái)越重要,提高生產(chǎn)的靈活性和自動(dòng)化程度是機(jī)器視覺(jué)最基本的特點(diǎn),一部分人類(lèi)難以工作的危險(xiǎn)環(huán)境或者人類(lèi)難以滿(mǎn)足要求的場(chǎng)所,機(jī)器視覺(jué)將會(huì)是一個(gè)很好的替代選項(xiàng)。線(xiàn)陣相機(jī)[1-6]就是只有一行或一列像元陣列的相機(jī),它的經(jīng)濟(jì)條件實(shí)惠,拍攝視場(chǎng)大,像元尺寸靈活,幀頻率高,十分適合一維動(dòng)態(tài)高精密目標(biāo)的測(cè)量,可以滿(mǎn)足許多測(cè)量生產(chǎn)的高精度現(xiàn)場(chǎng)要求,故而需要對(duì)線(xiàn)陣相機(jī)進(jìn)行更高精度的標(biāo)定[7]。
由于線(xiàn)陣相機(jī)自身特殊的物理性質(zhì),標(biāo)定物[8-9]不能使用類(lèi)似面陣相機(jī)的常規(guī)標(biāo)定物(如棋盤(pán)格),因此,一些學(xué)者設(shè)計(jì)了特殊的標(biāo)定物。由于線(xiàn)陣相機(jī)標(biāo)定方法特殊,導(dǎo)致對(duì)其優(yōu)化重投影誤差算法的發(fā)展緩慢,大大影響了線(xiàn)陣相機(jī)的精準(zhǔn)度。本文利用光束平差法模型來(lái)降低線(xiàn)陣系統(tǒng)中的重投影誤差。光束法平差[10-15](bundle adjustment)又叫束調(diào)整、捆集調(diào)整,它主要是將多個(gè)相機(jī)的位姿和測(cè)量點(diǎn)的三維坐標(biāo)作為未知參數(shù)求解,其本質(zhì)是一個(gè)優(yōu)化模型。將相機(jī)拍出照片中的特征點(diǎn)像素坐標(biāo)作為觀(guān)測(cè)數(shù)據(jù)后利用最優(yōu)化算法得到最優(yōu)的相機(jī)參數(shù)和世界點(diǎn)坐標(biāo)。目前優(yōu)化算法發(fā)展已經(jīng)多種多樣,經(jīng)常使用的優(yōu)化算法有粒子群算法,Gauss-Newton法、列文伯格-馬夸爾特(LM,Levenberg-Marquardt)法,粒子群算法是一種群體算法,它可以在全局搜索到最優(yōu)的解,但每次的解都不一定相同,對(duì)于多維復(fù)雜的式子優(yōu)化精度較低。Gauss-Newton法是對(duì)Newton法的改良,它解決了Newton法計(jì)算量過(guò)大的問(wèn)題,但需要求解公式的Jacobian矩陣正定且非奇異。LM算法又屬于信賴(lài)域算法,信賴(lài)域算法指的是以算法每次迭代的初始位置作為前提,設(shè)立出一個(gè)可以信賴(lài)的最大位移區(qū)間,通過(guò)在該位移區(qū)間中尋找目標(biāo)函數(shù)的近似函數(shù)來(lái)求解得到真正的位移。目前,光束法平差發(fā)展迅速,廣泛應(yīng)用在同步定位和地圖構(gòu)建[16-17](SLAM)、運(yùn)動(dòng)推斷結(jié)構(gòu)(SFM)和遙感遙測(cè)等領(lǐng)域。
本文研究了線(xiàn)陣相機(jī)的數(shù)學(xué)模型和一般的非線(xiàn)性標(biāo)定方法,隨后利用光束法平差進(jìn)一步優(yōu)化了相機(jī)參數(shù),提高了系統(tǒng)的標(biāo)定精度。
該系統(tǒng)基于立體交匯原理[18],由兩個(gè)視場(chǎng)共面放置的線(xiàn)陣相機(jī)組成,構(gòu)建雙線(xiàn)陣系統(tǒng)的數(shù)學(xué)模型,Ow-XwYwZw是世界坐標(biāo)系,左右線(xiàn)陣相機(jī)的相機(jī)坐標(biāo)系分別為Oc1-Xc1Yc1Zc1和Oc2-Xc2Yc2Zc2??臻g中有一點(diǎn)Pw(Xw,Yw,Zw),在左右相機(jī)中都有投影,其投影關(guān)系[19]為:
Pc1=R1Pw+T1
(1)
Pc2=R2Pw+T2
(2)
其中:Pc1和Pc2為點(diǎn)Pw分別在左右相機(jī)坐標(biāo)系中的坐標(biāo)。R1,T1和R2,T1是世界坐標(biāo)系轉(zhuǎn)換到左右相機(jī)坐標(biāo)系的旋轉(zhuǎn)矩陣和平移矩陣。R和T是描述左右相機(jī)位姿關(guān)系的旋轉(zhuǎn)矩陣和平移矩陣。
線(xiàn)陣相機(jī)可以視為特殊情況下的面陣相機(jī),由于線(xiàn)陣相機(jī)成像像元只有一行,故而對(duì)于左線(xiàn)陣相機(jī)坐標(biāo)Pc1(Xc1,Yc1,Zc1)成像模型為:
(3)
圖1為目標(biāo)世界坐標(biāo)經(jīng)過(guò)相機(jī)變換為像素坐標(biāo)的成像模型圖,由于線(xiàn)陣相機(jī)只有一個(gè)維度,故而可以忽視掉世界坐標(biāo)系中與線(xiàn)陣相機(jī)視場(chǎng)正交的維度,線(xiàn)陣相機(jī)世界坐標(biāo)到相機(jī)坐標(biāo)的轉(zhuǎn)換和相機(jī)坐標(biāo)到像素坐標(biāo)的轉(zhuǎn)換[20]可以得出相機(jī)世界坐標(biāo)到像素坐標(biāo)的轉(zhuǎn)換關(guān)系,在實(shí)驗(yàn)時(shí)將雙線(xiàn)陣相機(jī)視場(chǎng)與標(biāo)定靶面平行,則可忽視雙目相機(jī)中的ZW,故而可以得出線(xiàn)陣相機(jī)的成像數(shù)學(xué)模型:
(4)
圖1 線(xiàn)陣相機(jī)成像模型圖
式中,l11,l12,l13,l31,l32,l34與線(xiàn)陣相機(jī)內(nèi)參系數(shù)和外參系數(shù)有關(guān),他們確定了攝像機(jī)的成像特性,通過(guò)多個(gè)空間特征點(diǎn)(Xi,Yi)和他們一一對(duì)應(yīng)的像素坐標(biāo)ui可以解出l11,l12,l13,l31,l32,l34的值,通過(guò)對(duì)這6個(gè)未知數(shù)的分解,可以得到各個(gè)線(xiàn)陣攝像機(jī)的內(nèi)參數(shù)(fx,fy,α,β)和外參數(shù)(R,T)。另外,在理想情況下,如果已知雙線(xiàn)陣相機(jī)各自的l11,l12,l13,l31,l32,l34,便可以得到雙線(xiàn)陣相機(jī)所拍攝圖像的世界坐標(biāo)。聯(lián)立矩陣,可以將像素坐標(biāo)信息表示為:
(5)
此時(shí),方程中含有6個(gè)未知數(shù),因此需要6個(gè)或者以上的像素坐標(biāo)與世界坐標(biāo)的對(duì)應(yīng)關(guān)系,就可以計(jì)算得出L中所有的元素。在對(duì)線(xiàn)陣相機(jī)標(biāo)定時(shí),通常會(huì)將所制作的標(biāo)定物上采集已知世界坐標(biāo)特征點(diǎn)的數(shù)量大于6個(gè),從而建立起的方程數(shù)量大過(guò)未知數(shù)的數(shù)量,再利用最小二乘法的計(jì)算方式計(jì)算出方程的解,這樣做不但可以計(jì)算出每個(gè)未知數(shù)的結(jié)果,而且還可以提高計(jì)算精度。為了簡(jiǎn)化運(yùn)算,將L中所有元素除以l34,并將設(shè)計(jì)實(shí)驗(yàn)中獲取到的N個(gè)特征點(diǎn)的像素坐標(biāo)u和世界坐標(biāo)XW,YW代入上式獲得新的矩陣方程:
(6)
通過(guò)N個(gè)特征點(diǎn)和式(6),可以利用線(xiàn)性方程組求解方法求解出L矩陣,L矩陣包含了線(xiàn)陣相機(jī)模型中的內(nèi)參系數(shù)和外參系數(shù),整理可得:
(7)
聯(lián)立式(7)即可將單個(gè)線(xiàn)陣相機(jī)內(nèi)參數(shù)和外參數(shù)表示出來(lái),這就是直接線(xiàn)性標(biāo)定方法,將相機(jī)的各個(gè)系數(shù)表達(dá)出來(lái):
(8)
綜上所述,由單個(gè)線(xiàn)陣相機(jī)的直接線(xiàn)性變換標(biāo)定方法推導(dǎo)出線(xiàn)陣相機(jī)基本標(biāo)定原理,得到線(xiàn)陣相機(jī)的內(nèi)參系數(shù)和外參系數(shù)。但該方法只是理想條件下所能獲得的線(xiàn)陣相機(jī)系數(shù),沒(méi)有考慮在實(shí)際應(yīng)用中鏡頭自身所存在的畸變。
在實(shí)際標(biāo)定過(guò)程中,因?yàn)楦鞣N物理現(xiàn)實(shí)中的問(wèn)題,鏡頭都會(huì)存在一些畸變,而與理想狀態(tài)下的線(xiàn)陣攝像機(jī)模型不符合。根據(jù)畸變的成因主要將畸變種類(lèi)分為徑向畸變,離心畸變和薄棱鏡畸變。徑向畸變主要是因?yàn)橥哥R在生產(chǎn)加工時(shí)發(fā)生形變導(dǎo)致的,圖像像素點(diǎn)沿著畸變中心徑向產(chǎn)生偏差。離心畸變主要是因?yàn)橄到y(tǒng)光學(xué)中心和幾何中心不一致所導(dǎo)致的。薄棱鏡畸變則是因?yàn)樵O(shè)計(jì)時(shí)就存在的缺陷或者加工時(shí)的誤差所導(dǎo)致。為此,為了降低畸變導(dǎo)致的誤差,建立線(xiàn)陣相機(jī)的畸變模型對(duì)其做一定的處理,為了方便計(jì)算簡(jiǎn)化畸變數(shù)學(xué)模型,結(jié)果為:
(9)
為了減少鏡頭畸變對(duì)圖像所造成的誤差,將畸變數(shù)學(xué)模型作為最優(yōu)化算法中的目標(biāo)函數(shù)迭代求出相機(jī)的畸變參數(shù)k1,k2。
利用實(shí)驗(yàn)和算法將兩架線(xiàn)陣相機(jī)各自的內(nèi)參系數(shù),外參系數(shù)還有畸變系數(shù)一一求解出來(lái)后,還需要求出兩臺(tái)相機(jī)的相對(duì)位姿信息,也就是對(duì)雙線(xiàn)陣系統(tǒng)進(jìn)行聯(lián)合標(biāo)定。具體做法是同時(shí)對(duì)兩架線(xiàn)陣相機(jī)進(jìn)行標(biāo)定后,得到兩架相機(jī)各自的相機(jī)坐標(biāo)系對(duì)同一個(gè)世界坐標(biāo)系的旋轉(zhuǎn)矩陣和平移向量,利用計(jì)算求出的結(jié)果根據(jù)下面的公式計(jì)算,便可以求出兩架相機(jī)的相對(duì)位置關(guān)系,完成聯(lián)合標(biāo)定。當(dāng)兩架線(xiàn)陣相機(jī)對(duì)同一個(gè)世界坐標(biāo)系下的標(biāo)定物時(shí)獲取的外參(旋轉(zhuǎn)矩陣和平移矩陣)分別為:R1,R2,T1,T2,兩架相機(jī)的相機(jī)坐標(biāo)系為Pc1,Pc2時(shí),可以得到兩個(gè)線(xiàn)陣相機(jī)之間的關(guān)系:
(10)
對(duì)于雙線(xiàn)陣成像系統(tǒng),在得到左相機(jī)的像素坐標(biāo)后,可以利用左右相機(jī)內(nèi)參系數(shù)和位姿關(guān)系求得右相機(jī)的重投影坐標(biāo),其公式為:
(11)
光束平差法本質(zhì)是一個(gè)優(yōu)化模型,它的目的是優(yōu)化重投影誤差。光束法平差的目的就是利用已知的多個(gè)相機(jī)信息找出最優(yōu)的相機(jī)位姿信息和空間點(diǎn)坐標(biāo),使兩次投影之間誤差最小。如圖2所示,從特征點(diǎn)(六面體的角點(diǎn))發(fā)射出的光線(xiàn)經(jīng)過(guò)兩個(gè)相機(jī)成像在像平面上,理論上特征點(diǎn)PW,實(shí)際成像點(diǎn)P1還有投影中心Oc應(yīng)該連成一條直線(xiàn),但是現(xiàn)實(shí)世界中因?yàn)樵胍粽`差等各種因素影響,每條光線(xiàn)基本不可能準(zhǔn)確匯聚到投影中心Oc上,利用多臺(tái)相機(jī)位姿信息計(jì)算出另一臺(tái)相機(jī)的理想成像點(diǎn),優(yōu)化相機(jī)參數(shù)和目標(biāo)空間點(diǎn)坐標(biāo),使實(shí)際成像點(diǎn)盡可能地靠近理想成像點(diǎn)。由此,可得到光束法平差算法的目標(biāo)函數(shù):
(12)
圖2 光束平差模型
因?yàn)長(zhǎng)M算法能夠便捷地求得最優(yōu)解,所以通過(guò)LM算法優(yōu)化光束平差法,對(duì)其進(jìn)行相機(jī)中各個(gè)系數(shù)的優(yōu)化求解,尋找最優(yōu)的相機(jī)系數(shù)。LM算法全稱(chēng)Levenberg-Marquardt(列文伯格-馬夸爾特)算法,是一種基于最小二乘法的優(yōu)化算法。迭代公式是最小二乘問(wèn)題的核心,為:
xk+1=xk+αgk
(13)
其中:gk為收斂的方向,α為收斂的步長(zhǎng),LM算法在牛頓法和高斯牛頓法的基礎(chǔ)上做出了改進(jìn),利用Jacobian矩陣近似Hessian矩陣解決了牛頓法計(jì)算量過(guò)大的問(wèn)題,提高了算法效率,又利用信賴(lài)域和增量轉(zhuǎn)換矩陣的方法解決了高斯牛頓法中當(dāng)?shù)介L(zhǎng)不滿(mǎn)秩或者非正定時(shí)導(dǎo)致算法無(wú)法迭代的問(wèn)題,LM法的迭代公式為:
xk+1=xk-(JTJ+μD)-1gk
(14)
LM迭代步長(zhǎng)在高斯牛頓法生成的一個(gè)近似被信任區(qū)間內(nèi),這就是LM法又被稱(chēng)為信賴(lài)域算法的原因,通常,μ被稱(chēng)為信賴(lài)域半徑,當(dāng)μ為0時(shí),LM法就與高斯牛頓法沒(méi)有區(qū)別,D為增量轉(zhuǎn)換矩陣,為了減少計(jì)算量,在LM算法中增量轉(zhuǎn)換矩陣通常用使用單位矩陣I來(lái)代替。另外,J為Jacobian矩陣,它類(lèi)似于多元函數(shù)的導(dǎo)數(shù),其表達(dá)式為:
(15)
其中,LM法詳細(xì)步驟如下:
1)將非線(xiàn)性相機(jī)標(biāo)定過(guò)程中得到的相機(jī)參數(shù)設(shè)為初始值,設(shè)置迭代終止的閾值,第一次迭代k=0。
2)計(jì)算JTJ,根據(jù)增量方程△x=(JTJ+μD)-1gk,求解得出△x。
3)計(jì)算ρ:
(16)
若ρ大于3/4,則μ=2μ,若ρ小于1/4,則μ=0.5μ。這是利用目標(biāo)函數(shù)和近似模型函數(shù)的比值來(lái)判斷迭代的有效性。
4)若誤差小于迭代設(shè)置的閾值或者到達(dá)最大迭代次數(shù),則結(jié)束循環(huán),否則令k=k+1從第二步繼續(xù)迭代循環(huán)。
圖像采集系統(tǒng)主要由鋁型材搭建成的支架,標(biāo)定板系統(tǒng)還有兩架線(xiàn)陣相機(jī)以及圖像采集卡組成。實(shí)驗(yàn)所用的線(xiàn)陣相機(jī)為德國(guó)Balser公司所生產(chǎn)的黑白線(xiàn)陣相機(jī),型號(hào)為Basler sprint spL2048-140 km。相機(jī)鏡頭采用的是尼康公司型號(hào)為14 mm f/2.8D ED AF Nikkor的定焦鏡頭,圖像采集卡選用的是X64-Xcelera-CL-PX4Full(OR-X4C0-XPF00)采集卡,它是X64-Xcelera系列的采集卡,可以充分發(fā)揮PCI-Express(Peripheral Component Interconnect Express)采集平臺(tái)的優(yōu)勢(shì)。PCI-Express平臺(tái)不需要字體總線(xiàn)負(fù)載,幾乎不占用CPU運(yùn)算便可以完成圖像的采集與上傳功能,圖像向計(jì)算機(jī)上傳的速度可以達(dá)到1 GB/s。
實(shí)驗(yàn)采用匯聚式雙目視覺(jué)模型,實(shí)驗(yàn)所用雙線(xiàn)陣系統(tǒng)與其數(shù)學(xué)模型如圖3(b)所示,通過(guò)標(biāo)定靶標(biāo)和標(biāo)定板建立起目標(biāo)特征點(diǎn)像素坐標(biāo)和空間坐標(biāo)之間一一對(duì)應(yīng)的點(diǎn)對(duì)關(guān)系。線(xiàn)陣系統(tǒng)是對(duì)空間中一維的點(diǎn)成像,因?yàn)槠涑上竦奶厥庑?,在一般情況下很難將成像與拍攝目標(biāo)準(zhǔn)確對(duì)應(yīng)。為了滿(mǎn)足這個(gè)要求,就必須設(shè)計(jì)和制作出特殊的標(biāo)定物,標(biāo)定靶和標(biāo)定板設(shè)計(jì)的好壞尤為重要,它們會(huì)直接影響到標(biāo)定的準(zhǔn)確度,增加不必要的誤差。
圖3 標(biāo)定板與標(biāo)定靶標(biāo)示意圖
由于線(xiàn)陣相機(jī)成像畫(huà)面是一維的,這就需要標(biāo)定板必須表面光滑并且擁有較高的平整度,這樣它才可以提供足夠精準(zhǔn)度的世界坐標(biāo)位置信息,最大化減少獲取到每一個(gè)特征點(diǎn)世界坐標(biāo)時(shí)候的誤差,滿(mǎn)足線(xiàn)陣相機(jī)高精度的標(biāo)定要求。所以采用了有較高平整度的鍍鋅鐵板當(dāng)作本實(shí)驗(yàn)的標(biāo)定板,另外,由于鍍鋅鐵板有較強(qiáng)的磁性,它可以將標(biāo)定靶牢固地垂直吸附固定在標(biāo)定板上。實(shí)驗(yàn)利用鋁型材做出一個(gè)1 850 mm高,1 225 mm長(zhǎng)的平臺(tái),平臺(tái)底部裝有輪子方便移動(dòng)。將一個(gè)長(zhǎng)1 300 mm,寬900 mm的鍍鋅鐵制標(biāo)定板左右兩點(diǎn)固定在平臺(tái)兩側(cè)距離地面900 mm的鋁型材支架上,標(biāo)定板上粘貼一張1 050 mm×750 mm的坐標(biāo)紙,通過(guò)在坐標(biāo)紙上建立坐標(biāo)系,從紙上的刻度來(lái)方便快速地獲取到世界坐標(biāo)信息。利用一個(gè)內(nèi)部鑲嵌有磁鐵的鋼尺作為標(biāo)定靶標(biāo),鋼尺可以牢牢吸附在標(biāo)定板上,鋼尺上每隔100 mm放置一個(gè)標(biāo)定柱,總共8個(gè),標(biāo)定柱由一個(gè)長(zhǎng)60 mm的圓柱和一個(gè)直徑為10 mm的底盤(pán)組成。利用坐標(biāo)紙上的刻度校準(zhǔn)鋼尺的位置,確定好每一個(gè)標(biāo)定柱的坐標(biāo)信息后利用雙線(xiàn)陣系統(tǒng)獲得原始圖像,獲取到一幅原始圖像后更換位置校準(zhǔn),再次采集圖像,從而獲取到足夠數(shù)量的點(diǎn)對(duì)。
然后,利用雙線(xiàn)陣系統(tǒng)采集鋼尺在不同刻度下的多幅圖像,對(duì)其進(jìn)行圖像處理后,獲取到每一個(gè)標(biāo)定柱的圖像像素中心坐標(biāo)。得到世界坐標(biāo)信息與求得的圖像像素坐標(biāo)信息后,通過(guò)公式(8)的計(jì)算,從而獲得初始理想雙線(xiàn)陣系統(tǒng)的內(nèi)參與外參。按照匯聚式雙目視覺(jué)模型擺放好標(biāo)定板和兩架線(xiàn)陣相機(jī)的位置,圖3(a)為實(shí)驗(yàn)搭建圖。擺放時(shí)應(yīng)注意標(biāo)定板應(yīng)垂直于地面,左右相機(jī)視場(chǎng)與標(biāo)定板所在平面應(yīng)平行,并且盡量使左右相機(jī)視場(chǎng)共面。
由于線(xiàn)陣相機(jī)的視場(chǎng)近似于一條線(xiàn),拍攝出的圖像無(wú)法通過(guò)照片準(zhǔn)確地對(duì)應(yīng)到實(shí)際物件中,對(duì)擺放相機(jī)位姿調(diào)整相機(jī)視場(chǎng)造成了一定的困難,本實(shí)驗(yàn)通過(guò)對(duì)架設(shè)相機(jī)的設(shè)備進(jìn)行特殊結(jié)構(gòu)設(shè)計(jì)解決該問(wèn)題,在相機(jī)上方安裝一個(gè)帶有直線(xiàn)的激光器,以模擬和指示相機(jī)的視場(chǎng)。用這條直線(xiàn)手動(dòng)調(diào)整激光器,使其與線(xiàn)陣相機(jī)的視場(chǎng)重合,這樣激光器發(fā)射的激光就可以用來(lái)模擬線(xiàn)陣相機(jī)視場(chǎng)。在其上方安裝一個(gè)線(xiàn)性紅外激光器作為輔助光源。實(shí)驗(yàn)開(kāi)始前,用投影儀將校準(zhǔn)板的平面與水平面對(duì)齊,然后調(diào)整校準(zhǔn)板的左右兩側(cè)與水平面平行。使用校準(zhǔn)板所在的平面作為參考,使用激光器發(fā)射的線(xiàn)激光器模擬線(xiàn)性陣列相機(jī)的視場(chǎng),從而調(diào)整左相機(jī)和右相機(jī)的視場(chǎng)以使其平面與校準(zhǔn)板所在平面平行。然后,進(jìn)行局部微調(diào),以確保左線(xiàn)陣相機(jī)和右線(xiàn)陣相機(jī)視場(chǎng)完全重疊。
當(dāng)左右線(xiàn)陣相機(jī)視場(chǎng)基本共面后,即可開(kāi)始線(xiàn)陣相機(jī)的標(biāo)定實(shí)驗(yàn)。隨后利用Basler CCT+軟件配置相機(jī),使用CamExper軟件采集圖像,通過(guò)調(diào)試軟件,可以得到清晰完整的8根標(biāo)定柱圖像時(shí),即完成一次原始圖像采集。本次實(shí)驗(yàn)總共移動(dòng)了6次標(biāo)定靶標(biāo),得到了56個(gè)標(biāo)定柱的世界坐標(biāo),利用兩架線(xiàn)陣相機(jī)拍攝了14張圖片,得到了112個(gè)特征點(diǎn)坐標(biāo),世界坐標(biāo)與兩架線(xiàn)陣相機(jī)得到的標(biāo)定柱特征點(diǎn)各自構(gòu)成了一一對(duì)應(yīng)的點(diǎn)對(duì)關(guān)系。
由于外部光照、陰影、空氣中雜質(zhì)和復(fù)雜環(huán)境等因素的影響,難以有效識(shí)別和提取各個(gè)標(biāo)定柱的像素坐標(biāo)。這些影響無(wú)法利用實(shí)驗(yàn)進(jìn)行消除,故而通過(guò)利用對(duì)圖像的預(yù)處理,來(lái)消除圖像中不需要的數(shù)據(jù)。目前,比較常見(jiàn)的處理方法有背景差分法,模板匹配和光流法。這些方法因?yàn)檩^為成熟而受到廣泛的應(yīng)用。
由于線(xiàn)陣相機(jī)標(biāo)定拍攝實(shí)驗(yàn)是在靜態(tài)的背景下拍攝原始圖像,不需要固定的模板,因此模板匹配法并不適合于對(duì)本實(shí)驗(yàn)圖像進(jìn)行預(yù)處理。光流法抗外部噪音效果較差,運(yùn)算量巨大,并且本實(shí)驗(yàn)成像并不隨著時(shí)間變化而變化,因此光流法也不適合本實(shí)驗(yàn)。背景差分法計(jì)算量較小,定位精度較高并且操作簡(jiǎn)單,本實(shí)驗(yàn)在進(jìn)行圖像采集時(shí),背景是固定不變的,因此背景差分法是一種效果卓越的處理方法。本實(shí)驗(yàn)采用背景差分法對(duì)8根標(biāo)定柱進(jìn)行檢測(cè),消除固有背景對(duì)目標(biāo)標(biāo)定物的影響。
背景差分法主要是將兩張同一背景的圖像相比較,去掉同一區(qū)域,將灰度效果不同的部分與原始圖像進(jìn)行分離,得出的信息就是標(biāo)定柱信息。其實(shí)現(xiàn)如式(17)所示:
fc(x,y)=fa(x,y)-fb(x,y)
(17)
其中:fc為背景差分后的特征點(diǎn)圖像,fa和fb為原始圖像和背景圖像。
圖像形態(tài)學(xué)處理是一種基于圖像結(jié)構(gòu)和幾何形狀分析的非線(xiàn)性處理算法。它可以通過(guò)圖像自身的結(jié)構(gòu)元素定量修改圖像的幾何特征,算法結(jié)構(gòu)簡(jiǎn)單,降噪效果極佳。腐蝕,膨脹,閉運(yùn)算和開(kāi)運(yùn)算是形態(tài)學(xué)處理算法中的4種基本運(yùn)算。腐蝕運(yùn)算主要是去除掉圖像中包含的噪音和毛刺,使圖像邊界像里收縮。膨脹運(yùn)算主要是將微小缺失的像素點(diǎn)填補(bǔ),將目標(biāo)與周?chē)袼攸c(diǎn)合并,使圖像邊界向外擴(kuò)展。A是目標(biāo)標(biāo)定柱原始圖像,B是結(jié)構(gòu)元素。式(18)為腐蝕運(yùn)算,式(19)為膨脹運(yùn)算:
A?B={x|[(B)x?A}
(18)
(19)
腐蝕運(yùn)算和膨脹運(yùn)算經(jīng)常一起用于圖像處理領(lǐng)域,形態(tài)學(xué)的開(kāi)運(yùn)算是先將目標(biāo)圖像進(jìn)行腐蝕運(yùn)算,然后再對(duì)其進(jìn)行膨脹運(yùn)算,閉運(yùn)算則恰恰相反,是先將目標(biāo)圖像進(jìn)行膨脹運(yùn)算后,再對(duì)得到的圖像進(jìn)行腐蝕運(yùn)算。開(kāi)運(yùn)算主要是將目標(biāo)圖像中小于結(jié)構(gòu)元素的區(qū)域和孤立點(diǎn)濾除掉,平滑目標(biāo)輪廓邊緣。閉運(yùn)算則是將目標(biāo)圖像中小于結(jié)構(gòu)元素的空洞,斷點(diǎn)填充連接起來(lái),達(dá)到對(duì)目標(biāo)缺失區(qū)域的填補(bǔ)效果。開(kāi)運(yùn)算和閉運(yùn)算與單純的腐蝕膨脹運(yùn)算比起來(lái),目標(biāo)圖像原有的特征可以得到保持。開(kāi)運(yùn)算的定義公式為式(20),閉運(yùn)算的定義公式為式(21):
A°B=(A?B)⊕B
(20)
A·B=(A⊕B)?B
(21)
按照?qǐng)D4所示的流程對(duì)圖像進(jìn)行處理,依次進(jìn)行背景差分法,灰度化,二值化及圖像形態(tài)學(xué)處理后得到處理后的圖像,根據(jù)實(shí)驗(yàn)所獲取圖像的性質(zhì),采用半徑為5個(gè)像素點(diǎn)的結(jié)構(gòu)元素對(duì)二值化后的圖像進(jìn)行開(kāi)運(yùn)算,得到如圖5第二張圖的效果。
圖5 標(biāo)定圖像特征點(diǎn)提取
圖6 光束法平差優(yōu)化前后重投影誤差對(duì)比
最后再通過(guò)形心法得到各個(gè)目標(biāo)特征點(diǎn)中心坐標(biāo),視為檢測(cè)到的像素點(diǎn),處理結(jié)果如圖5最后一張圖所示。形心法可以快速方便簡(jiǎn)潔精度較高的計(jì)算出原始圖像中的中心像素坐標(biāo),如式(22)所示:
(22)
使用前文所推導(dǎo)出的直接線(xiàn)性變換法得到理想情況下的相機(jī)數(shù)據(jù),再使用優(yōu)化算法對(duì)標(biāo)定參數(shù)進(jìn)行參數(shù)優(yōu)化,得到相機(jī)的內(nèi)參系數(shù)(fx,fy,α,β)、畸變系數(shù)(k1,k2)見(jiàn)表1,相機(jī)外參系數(shù)(R,T)見(jiàn)表2。
表1 相機(jī)內(nèi)參和畸變參數(shù)的標(biāo)定結(jié)果(光束法平差優(yōu)化前)
表2 雙線(xiàn)陣系統(tǒng)外參數(shù)的標(biāo)定結(jié)果(光束法平差優(yōu)化前)
在雙線(xiàn)陣系統(tǒng),光束平差法主要是以傳統(tǒng)的非線(xiàn)性標(biāo)定方法得到的相機(jī)內(nèi)參系數(shù),外參系數(shù)和畸變系數(shù)為基礎(chǔ),將他們與世界坐標(biāo)作為優(yōu)化目標(biāo)組成一集合作為優(yōu)化初值,結(jié)合LM最優(yōu)化算法不斷迭代更新該集合直至重投影誤差最小。優(yōu)化后的標(biāo)定參數(shù)結(jié)果見(jiàn)表3。優(yōu)化后的世界坐標(biāo)見(jiàn)表4。
表3 雙線(xiàn)陣系統(tǒng)外參數(shù)的標(biāo)定結(jié)果(優(yōu)化后)
表4 雙線(xiàn)陣系統(tǒng)經(jīng)過(guò)光束平差法優(yōu)化后的世界坐標(biāo)
圖4為使用光束法平差前后的重投影誤差變化對(duì)比圖。未使用光束法平差前,系統(tǒng)的各個(gè)特征點(diǎn)重投影誤差不但數(shù)值很大,而且變化幅度也很大,平均值為0.662 1 pixel,而使用了光束平差法優(yōu)化了之后,系統(tǒng)的重投影誤差逐漸降低并穩(wěn)定在0.165 4 pixel附近.
表5分析計(jì)算使用光束法平差優(yōu)化后的重投影誤差。雙線(xiàn)陣系統(tǒng)標(biāo)定的重投影誤差比優(yōu)化前減少了。因此使用光束平差法對(duì)雙線(xiàn)陣系統(tǒng)進(jìn)行優(yōu)化是必要的。
表5 法平差優(yōu)化前后重投影誤差對(duì)比
使用自制的鋁型材支架,鍍鋅鐵板標(biāo)定板和內(nèi)含磁鐵的不銹鋼靶標(biāo)對(duì)雙線(xiàn)陣系統(tǒng)進(jìn)行標(biāo)定,利用形心法檢測(cè)圖像中的目標(biāo)數(shù)并精確提取到每個(gè)不銹鋼柱的像素坐標(biāo)。利用基于直接線(xiàn)性變換法和LM算法對(duì)雙線(xiàn)陣系統(tǒng)進(jìn)行標(biāo)定,得到雙線(xiàn)陣系統(tǒng)的內(nèi)參系數(shù),外參系數(shù)和畸變系數(shù)。為了更好地表征該系統(tǒng)在現(xiàn)實(shí)物理空間中的定位誤差,使用光束平差法對(duì)雙線(xiàn)陣系統(tǒng)的參數(shù)和特征點(diǎn)的世界坐標(biāo)進(jìn)行迭代優(yōu)化,優(yōu)化后雙線(xiàn)陣系統(tǒng)重投影誤差為0.165 4 pixel,相比于一般的雙線(xiàn)陣相機(jī)標(biāo)定方法減少了75.01%,提高了雙線(xiàn)陣系統(tǒng)的標(biāo)定精度。