錢 峰，李 勇，文淑容

(1 湖北工業(yè)大學(xué)機(jī)械工程學(xué)院現(xiàn)代制造質(zhì)量工程湖北省重點(diǎn)實(shí)驗(yàn)室，湖北 武漢 430068；2 湖北省產(chǎn)品質(zhì)量監(jiān)督檢驗(yàn)研究院，湖北 鄂州 436070)

隨著車載電子技術(shù)的快速發(fā)展，人們對(duì)乘用車安全駕駛的要求越來越高，傳統(tǒng)的車載輔助駕駛系統(tǒng)只在車尾安裝攝像頭，只能覆蓋車尾的小部分區(qū)域，而車輛兩側(cè)后視鏡無法捕捉的區(qū)域和車頭左右立柱遮擋的區(qū)域，無疑會(huì)形成視野盲區(qū)，增加駕駛的風(fēng)險(xiǎn)，在狹窄的街道和停車場(chǎng)容易出現(xiàn)擦碰事故。為消除視野盲區(qū)，提高駕駛的安全性，就必須讓駕駛員能夠?qū)崟r(shí)查看車輛周圍的環(huán)境，這就需要多個(gè)魚眼攝像頭共同采集車輛周圍的圖像，然后通過主控處理單元進(jìn)行拼接，形成一幅覆蓋車輛周圍的全景環(huán)視圖像。

全景泊車輔助系統(tǒng)包含兩大核心技術(shù)：一是魚眼攝像頭標(biāo)定及魚眼圖像畸變矯正技術(shù)，二是全景圖像拼接技術(shù)。魚眼鏡頭焦距小，視場(chǎng)大，采集的圖像有嚴(yán)重的畸變問題?；兊拇嬖诓粌H使人眼觀察的效果差，也不利于圖像的進(jìn)一步處理，需要對(duì)其進(jìn)行矯正。目前，國內(nèi)外學(xué)者對(duì)魚眼圖像的畸變矯正已經(jīng)進(jìn)行了大量研究。其中，比較有代表性的有球面透視投影模型校正法[1]、等距模型校正法[2]、橢圓模型校正法[3]。這些方法不需要標(biāo)定模板，校正過程比較簡(jiǎn)單，但都存在校正圖像邊緣信息缺失、圖像寬大，畸變校正不徹底等問題。在系統(tǒng)完成魚眼圖像的畸變矯正后，為形成一幅覆蓋車輛周圍的全景圖像，需要進(jìn)一步將矯正后的圖像進(jìn)行拼接。目前，關(guān)于圖像拼接的方法主要有基于特征點(diǎn)的圖像拼接法[4-5]和基于區(qū)域的圖像拼接法[6-7]。這兩種方法都能夠較快地實(shí)現(xiàn)圖像的拼接，但拼接后的全景圖像都不同程度地存在殘留拼接縫隙、偽影、變形大等問題。

本文在現(xiàn)有全景泊車輔助系統(tǒng)[8-10]的基礎(chǔ)上，對(duì)魚眼圖像畸變矯正技術(shù)和全景圖像拼接技術(shù)進(jìn)行了研究，設(shè)計(jì)了一種新的全景泊車輔助系統(tǒng)。該新系統(tǒng)比較完整地保留了魚眼圖像畸變矯正后的信息，消除了圖像拼接后的殘留縫隙，并有效解決了全景圖像變形大、偽影等問題。

1 眼攝像頭標(biāo)定及魚眼圖像畸變矯正

1.1 魚眼攝像頭標(biāo)定

為了對(duì)魚眼攝像頭所采集的圖像進(jìn)行畸變校正，需要對(duì)魚眼攝像頭進(jìn)行標(biāo)定來獲取內(nèi)外參數(shù),找到圖像坐標(biāo)系和世界坐標(biāo)系的對(duì)應(yīng)關(guān)系，從而建立畸變圖像和矯正后圖像的映射關(guān)系。本文的標(biāo)定過程是通過將魚眼攝像頭固定在一個(gè)位置，在距攝像頭f處(即魚眼攝像頭的焦距處)放一個(gè)黑白棋盤格，通過旋轉(zhuǎn)棋盤，每次旋轉(zhuǎn)36°，直至旋轉(zhuǎn)360°，使攝像頭和黑白棋盤格的相對(duì)視角不同，采集10張黑白棋盤格圖像，通過算法來計(jì)算攝像頭的內(nèi)外參數(shù)(圖1)。

圖1 車載魚眼攝像頭標(biāo)定示意圖

1.2 魚眼圖像畸變矯正

為了解決傳統(tǒng)魚眼圖像畸變矯正方法中存在的矯正圖像邊緣信息缺失、圖像寬大、畸變矯正不徹底等問題。本文提出了基于線性特征的兩步式魚眼圖像畸變矯正方法。第一步先結(jié)合傳統(tǒng)的線性魚眼圖像畸變矯正算法的優(yōu)勢(shì)對(duì)魚眼圖像進(jìn)行初步矯正；第二步加入多項(xiàng)式變換算法，對(duì)矯正后的魚眼圖像作進(jìn)一步的修正，使矯正后的圖像盡可能多的保留原圖像的信息。

假設(shè)(u,v)為圖像坐標(biāo)系中的任意點(diǎn)，(u0,v0)為坐標(biāo)系的原點(diǎn)，u軸,v軸的單位為像素。(Xc,Yc,Zc)為攝像頭坐標(biāo)系點(diǎn)，(X0,Y0,Z0)為坐標(biāo)系原點(diǎn)，Xc軸，Yc軸，Zc軸的單位為mm。圖像坐標(biāo)點(diǎn)和攝像頭坐標(biāo)系點(diǎn)之間的關(guān)系[9]如

(1)

式中：k，l為單位像素的大??；f為魚眼攝像頭的焦距；θ為魚眼攝像頭的安裝角度，在安裝精度要求不高的情況下，θ為90°。因此，方程[9](1)又可表示為

(2)

a,b,u0,v0為魚眼攝像頭的內(nèi)參數(shù)，由魚眼攝像頭本身決定。由于魚眼攝像頭在生產(chǎn)和安裝的過程中存在誤差，即使同一生產(chǎn)線制造的魚眼攝像頭，其參數(shù)也可能存在較大差異?？紤]到魚眼攝像頭的徑向畸變和切向畸變，為了獲取更加準(zhǔn)確的標(biāo)定參數(shù)，圖像坐標(biāo)點(diǎn)和世界坐標(biāo)點(diǎn)的關(guān)系如圖2所示，可表示為[11]

(3)

(4)

(5)

(6)

式中：R3×3為旋轉(zhuǎn)矩陣，t3×1為平移矩陣，r3×1為旋轉(zhuǎn)矢量。(x′,y′)是理想圖像坐標(biāo)點(diǎn)，(x,y)為畸變圖像坐標(biāo)點(diǎn)。k1,k2,k3為徑向畸變系數(shù)，p1,p2為切向畸變系數(shù)，r為畸變半徑，r2=x2+y2。

1-世界坐標(biāo)系;2-入射光線;3-單位球面;4-攝像頭坐標(biāo)系;5-像素坐標(biāo)系;6-圖像平面;7-圖像坐標(biāo)系圖2 魚眼攝像頭成像過程

考慮到魚眼攝像頭為非線性結(jié)構(gòu)，結(jié)合上文所建立的魚眼攝像頭坐標(biāo)點(diǎn)與世界坐標(biāo)點(diǎn)以及圖像坐標(biāo)點(diǎn)之間的關(guān)系，可以推導(dǎo)出世界坐標(biāo)系點(diǎn)與圖像坐標(biāo)系的關(guān)系:

(7)

由式(7)可知，f(abu0v0r3×1t3×1k1k2k3p1p2)為魚眼攝像頭的內(nèi)外參數(shù)。當(dāng)世界坐標(biāo)系中的點(diǎn)[Xw,Yw,Zw,1]T和f確定時(shí)，像素坐標(biāo)系中的點(diǎn)[u,v,1]T也即唯一確定。在同一圖像中，圖像坐標(biāo)系中的點(diǎn)(u,v)的灰度值g(u,v)唯一確定。通過這種唯一確定關(guān)系，可以實(shí)現(xiàn)魚眼圖像的畸變矯正。f(abu0v0r3×1t3×1k1k2k3p1p2)中的參數(shù)包含魚眼攝像頭的所有特征，可以通過實(shí)驗(yàn)值f′(abu0v0r3×1t3×1k1k2k3p1p2)獲取。由于實(shí)驗(yàn)值f和真實(shí)f′之間有誤差，因此，矯正圖像中從f′值中獲取的g′值與畸變圖像中從f值中獲取的g值之間也有差異。為了最大限度的將魚眼畸變圖像矯正為正常視野的圖像，上述問題又可被等效為尋找g和g′之間的最小差異[9]，其數(shù)學(xué)關(guān)系

(8)

其中：n×m為矯正后的圖像尺寸。g1表示的畸變的魚眼圖像的灰度值，g2為矯正后的圖像的灰度值，魚眼圖像矯正的效果如圖3所示，像素誤差為0.5 pix。

圖3 魚眼圖像畸變矯正效果圖

2 全景圖像拼接

在完成魚眼圖像的畸變矯正后，為形成一幅覆蓋車輛周圍的全景圖像，需要進(jìn)一步將矯正后的圖像進(jìn)行拼接。根據(jù)圖像拼接的特點(diǎn)、配準(zhǔn)方式、應(yīng)用場(chǎng)景的不同，全景圖像拼接主要分為兩類：一類是基于特征點(diǎn)的全景圖像拼接法，另一類是基于區(qū)域的全景圖像拼接法。為了減少圖像拼接過程中的計(jì)算量、噪聲的影響，提高精度，本文選擇基于特征點(diǎn)的全景圖像拼接法對(duì)圖像進(jìn)行拼接。

2.1 俯視投影變換

在全景泊車輔助系統(tǒng)中，4個(gè)魚眼攝像頭以不同的角度安裝在車輛的前、后、左、右，其光軸與地面不全是垂直關(guān)系。因此，魚眼攝像頭采集的圖像中的地面與水平面不全平行，且四個(gè)魚眼攝像頭采集的圖像中的地面相互之間也不平行。這導(dǎo)致采集的圖像不能進(jìn)行拼接，也無法形成鳥瞰圖像。為了使系統(tǒng)能最終獲取一幅環(huán)視的全景鳥瞰圖，就必須對(duì)矯正后的魚眼圖像進(jìn)行俯視投影變換。

本文采用基于圖像的單應(yīng)性矩陣DLT算法來對(duì)矯正后的魚眼圖像進(jìn)行俯視投影變換。該算法不需要測(cè)量魚眼攝像頭的安裝角度和安裝位置等參數(shù)，俯視變換圖像更加精確，安全，可靠?；趫D像的單應(yīng)性矩陣DLT算法的俯視投影變換計(jì)算公式

(9)

其中：s為比例因子；L1，L2，L4，L5，L6，L8，L9，L10為矩陣H中的未知參數(shù)；(u,v)為像素坐標(biāo)點(diǎn)，(Xw,Yw,Zw)為世界坐標(biāo)點(diǎn)，Zw=0。為了求解這些未知數(shù)，并進(jìn)一步求解出俯視投影變換過程中的單應(yīng)性矩陣H，選擇黑白棋盤格的4個(gè)頂點(diǎn)作為世界坐標(biāo)點(diǎn)，并與相應(yīng)的像素坐標(biāo)點(diǎn)建立映射關(guān)系，組成8組方程。魚眼攝像頭采集的圖像經(jīng)畸變矯正后與俯視投影變換圖像的對(duì)應(yīng)點(diǎn)的坐標(biāo)關(guān)系

(10)

圖3b中的魚眼圖像畸變矯正效果圖,通過基于圖像的單應(yīng)性矩陣DLT算法的俯視投影變換效果如圖4所示。

圖4 俯視投影變換效果

2.2 基于SIFI特征點(diǎn)匹配的全景圖像拼接

在完成對(duì)魚眼圖像的畸變矯正、俯視投影變換等預(yù)處理后，可通過對(duì)相鄰魚眼攝像頭采集圖像的重疊部分的特征點(diǎn)進(jìn)行提取和匹配，進(jìn)而實(shí)現(xiàn)全景泊車輔助系統(tǒng)的全景圖像拼接。基于SIFI(尺度不變特征轉(zhuǎn)換，ScaleInvariant Feature Transform)特征點(diǎn)匹配是對(duì)兩幅圖像重疊部分的特征點(diǎn)進(jìn)行相關(guān)性計(jì)算，得到一組互相關(guān)系數(shù)。然后根據(jù)需要設(shè)定閾值，對(duì)滿足閾值的特征點(diǎn)進(jìn)行保留并配對(duì)。假設(shè)兩幅待配準(zhǔn)圖像分別以函數(shù)D1(x,y)和D2(x,y)表示，則在特征點(diǎn)中心為(0,0),S∈(0

(11)

3 系統(tǒng)實(shí)驗(yàn)和結(jié)果

魚眼圖像的畸變矯正和圖像拼接是全景泊車輔助系統(tǒng)中的關(guān)鍵步驟，其結(jié)果不僅需要在PC仿真中進(jìn)行測(cè)試，還需要在實(shí)際場(chǎng)景中安裝在嵌入式開發(fā)板上進(jìn)行測(cè)試。

3.1 魚眼圖像畸變矯正的實(shí)驗(yàn)結(jié)果

本文中所陳述的魚眼圖像畸變矯正,采用的是兩步法和多項(xiàng)式坐標(biāo)變換法,通過多個(gè)角度采集黑白棋盤格圖像，使魚眼攝像頭標(biāo)定的更加精確，矯正的效果更好。魚眼圖像矯正效果如圖5所示。

圖5 魚眼圖像畸變矯正效果圖

3.2 全景圖像拼接實(shí)驗(yàn)結(jié)果

本文通過基于SIFI特征點(diǎn)的圖像拼接法對(duì)矯正后的魚眼圖像進(jìn)行了拼接，消除了縫隙處的拼接線,實(shí)現(xiàn)了圖像的平滑過渡，拼接后的全景圖像視覺效果較好。如圖6所示，黑色矩形框?yàn)槟M平臺(tái)(車輛)所處位置?；谔卣鼽c(diǎn)的全景圖像拼接法所需的時(shí)間與基于區(qū)域的全景圖像拼接法時(shí)間進(jìn)行對(duì)比(表1)。

圖6 拼接后的全景圖像

表1 基于特征點(diǎn)與基于區(qū)域的全景圖拼接法的耗時(shí)對(duì)比

從表1可知，基于特征點(diǎn)的全景圖像拼接法處理各個(gè)視圖的部分區(qū)域圖像的時(shí)間均小于基于區(qū)域的全景圖像拼接法的時(shí)間，且時(shí)間的提升率均在35%以上,這對(duì)于實(shí)時(shí)性要求很高的車載系統(tǒng)有較高應(yīng)用價(jià)值。

4 結(jié)論

本文對(duì)全景泊車輔助系統(tǒng)的關(guān)鍵技術(shù)進(jìn)行了研究，提出了一種新的魚眼圖像畸變矯正方法，有效地改善了矯正圖像寬大、局部信息缺失、矯正不徹底的問題。通過SIFI特征點(diǎn)匹配的方法對(duì)矯正后的圖像進(jìn)行了拼接，實(shí)現(xiàn)了相鄰圖像在拼接處的平滑過渡和無縫拼接。通過模擬平臺(tái)進(jìn)行仿真和測(cè)試表明：該系統(tǒng)成本低廉，耗時(shí)低，魯棒性強(qiáng)，最后形成的全景圖像效果良好，能夠輔助駕駛員泊車。