遲瑞娟，趙木禎，，王建強(qiáng)，張德兆，3

(1.中國(guó)農(nóng)業(yè)大學(xué) 車輛人機(jī)工程與智能控制研究室，北京100083;2.清華大學(xué)，汽車節(jié)能與安全國(guó)家重點(diǎn)實(shí)驗(yàn)室，北京100084;3.中國(guó)汽車工程研究院汽車噪聲振動(dòng)和安全技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室，重慶400039)

隨著車載相機(jī)模組技術(shù)的發(fā)展與成本的降低，車輛監(jiān)控從傳統(tǒng)的倒車后視監(jiān)控逐漸發(fā)展成為車輛全景環(huán)視[1].利用多個(gè)相機(jī)監(jiān)控車輛周圍環(huán)境并以圖像拼接技術(shù)進(jìn)行視覺(jué)增強(qiáng)性的輔助系統(tǒng)，已成為目前轎車等乘用車影像的主流.大客車體積大、左右后視鏡的視野較小，在車輛后方、右后側(cè)方以及左右前輪處均存在盲區(qū)，而且觀看左右后視鏡進(jìn)行判斷時(shí)駕駛員動(dòng)作幅度大，容易造成駕駛疲勞，使客車行車危險(xiǎn)系數(shù)增加[2-3].全景環(huán)視系統(tǒng)能全方位和準(zhǔn)確地對(duì)車輛周圍的環(huán)境信息進(jìn)行監(jiān)控，有效地提升行車安全[1，3，4].目前車輛全景環(huán)視等盲點(diǎn)監(jiān)控系統(tǒng)在轎車上的實(shí)現(xiàn)已經(jīng)較多[1，4]，而在大客車上實(shí)現(xiàn)的例子鮮見(jiàn)，且方案不成熟.在系統(tǒng)標(biāo)定方案上，已有全景環(huán)視系統(tǒng)的標(biāo)定需要在車周圍很大范圍內(nèi)布滿均勻棋盤(pán)[5-6]，或者采集相機(jī)的多張棋盤(pán)圖片間接參與標(biāo)定計(jì)算[5，7]，對(duì)標(biāo)定設(shè)備和標(biāo)定場(chǎng)地要求較高.在系統(tǒng)所用魚(yú)眼相機(jī)模型建模上，大多利用徑向畸變和切向畸變相機(jī)模型進(jìn)行建模[3]，其他模型還有高階徑向模型[3]、球面坐標(biāo)模型[3]以及橢圓坐標(biāo)模型[5]等.在標(biāo)定算法上，主要以Tsai的兩級(jí)標(biāo)定法和Zhang的快速標(biāo)定方法最為常用[8-9].Zhang法的精度高于兩級(jí)標(biāo)定法，且不需要高精度的定位儀器[3]，實(shí)用性較高.由于乘用車體積較小，利用上述方法在乘用車上較易于實(shí)現(xiàn)全景環(huán)視系統(tǒng)[5];但對(duì)于大客車，一般車廠難以提供這么大面積的標(biāo)定工位和標(biāo)定設(shè)備.

客車全景環(huán)視系統(tǒng)，從相機(jī)模型出發(fā)，根據(jù)相機(jī)外參數(shù)加入特殊平面與地面的映射關(guān)系，在客車上采用升高標(biāo)定棋盤(pán)的方式進(jìn)行系統(tǒng)實(shí)現(xiàn)和系統(tǒng)標(biāo)定，有效避免了直接將乘用車的方案應(yīng)用到客車帶來(lái)的標(biāo)定場(chǎng)地和標(biāo)定設(shè)備復(fù)雜、標(biāo)定時(shí)間長(zhǎng)等問(wèn)題.

1 客車全景環(huán)視系統(tǒng)

1.1 系統(tǒng)組成

客車全景環(huán)視系統(tǒng)由安裝在客車周圍能覆蓋車輛周邊視場(chǎng)的4個(gè)魚(yú)眼相機(jī)、圖像處理控制器ECU、中控臺(tái)顯示屏及相應(yīng)線束組成.

ECU控制器內(nèi)集成有4路魚(yú)眼圖像的標(biāo)定、畸變校正、投影變換以及圖像拼接算法，由DSP實(shí)現(xiàn).系統(tǒng)組成框圖如圖1所示，系統(tǒng)部件的實(shí)車布置方案如圖2所示.

圖1 全景環(huán)視系統(tǒng)的系統(tǒng)組成Fig.1 Components of the top-view system

圖2 客車全景環(huán)視系統(tǒng)部件安裝位置示意Fig.2 Installation position of the top-view system

1.2 系統(tǒng)工作原理介紹

如圖3所示，經(jīng)過(guò)魚(yú)眼相機(jī)拍攝的四幅圖像視野較大，但是存在較大變形失真，經(jīng)過(guò)DSP處理后，將各部分的圖像進(jìn)行畸變矯正和俯視變換，配合車輛尺寸等參數(shù)進(jìn)行標(biāo)定計(jì)算拼接得到客車正上方視角的鳥(niǎo)瞰視圖送顯給駕駛員.

圖3 全景環(huán)視系統(tǒng)工作原理示意Fig.3 Working diagram of the top-view system

2 相機(jī)模型及標(biāo)定計(jì)算方法

2.1 折反射魚(yú)眼相機(jī)模型及標(biāo)定方法

折反射魚(yú)眼相機(jī)模型[11-12]如圖4所示.

利用該模型計(jì)算的標(biāo)定方法中，需要放置標(biāo)定模板，采圖像后提取圖像角點(diǎn)坐標(biāo)參與標(biāo)定計(jì)算.該模型中從世界坐標(biāo)到成像面坐標(biāo)的投影關(guān)系為一個(gè)包含相機(jī)畸變參數(shù)的非線性投影函數(shù)，其用泰勒級(jí)數(shù)展開(kāi)多項(xiàng)式表示為[11]:

圖4 折反射魚(yú)眼相機(jī)模型及坐標(biāo)系Fig.4 Catadioptric fisheye camera model and coordinate system

用Rt=[r1r2r3t]表示世界坐標(biāo)到相機(jī)坐標(biāo)的旋轉(zhuǎn)平移矩陣，也即相機(jī)相對(duì)棋盤(pán)的安裝位置外參數(shù)矩陣，則有世界坐標(biāo)系內(nèi)一物點(diǎn)P(x，y，z)到其成像點(diǎn)的投影關(guān)系[11]:

不失一般性，成像點(diǎn)的坐標(biāo)與圖像上的像素坐標(biāo)存在如下的仿射變換關(guān)系[10-11]:

由此就通過(guò)一系列參數(shù)確定了圖像坐標(biāo)與世界坐標(biāo)的對(duì)應(yīng)關(guān)系.求取這些參數(shù)時(shí)，利用通過(guò)上面的投影關(guān)系和從圖像中識(shí)別到模板的角點(diǎn)坐標(biāo)數(shù)據(jù)，首先在感光面中心與圖像中心一致的假設(shè)條件下，計(jì)算得到相機(jī)的外參數(shù)和對(duì)應(yīng)內(nèi)參數(shù)的初始值，然后對(duì)模板中的角點(diǎn)坐標(biāo)采用Levenbereg-Marquardt算法迭代求解成像投影誤差值的最大似然估計(jì)，對(duì)超定方程組的偽逆求解得到準(zhǔn)確的相機(jī)內(nèi)外參數(shù)[11].整個(gè)標(biāo)定過(guò)程簡(jiǎn)單快速，易于編程實(shí)現(xiàn).

2.2 實(shí)驗(yàn)室內(nèi)標(biāo)定仿真驗(yàn)證

利用上述的模型和標(biāo)定方法在實(shí)驗(yàn)室進(jìn)行了標(biāo)定仿真實(shí)驗(yàn).相機(jī)固定后放置標(biāo)定模板，采集原始魚(yú)眼圖像，如圖5所示.

如圖6所示，經(jīng)過(guò)模板角點(diǎn)識(shí)別和棋盤(pán)坐標(biāo)系建立，進(jìn)行投影模型擬合計(jì)算參數(shù)初始值，然后根據(jù)優(yōu)化計(jì)算擬合得到相應(yīng)的相機(jī)內(nèi)參數(shù)與外參數(shù).結(jié)果如表1所示.

圖5 實(shí)驗(yàn)室內(nèi)的魚(yú)眼原始圖像Fig.5 Fisheye image captured in Lab

圖6 角點(diǎn)識(shí)別與棋盤(pán)坐標(biāo)系Fig.6 Corners found and the coordinate system

表1 相機(jī)內(nèi)外參數(shù)優(yōu)化擬合結(jié)果Table 1 Optimizing results of intrinsic and external parameters

根據(jù)參數(shù)的標(biāo)定計(jì)算結(jié)果，在VC下編程得到相應(yīng)的校正圖像和俯視圖像，如圖7所示.從實(shí)驗(yàn)結(jié)果和表1的誤差統(tǒng)計(jì)結(jié)果看出，此方法可以得到較好的俯視投影效果.

圖7 實(shí)驗(yàn)室內(nèi)的標(biāo)定結(jié)果Fig.7 Calibration results of fisheye image in Lab

最后，為了驗(yàn)證標(biāo)定參數(shù)的準(zhǔn)確性，對(duì)于標(biāo)定結(jié)果中具有在世界坐標(biāo)系下具有實(shí)際意義的外參數(shù)進(jìn)行了對(duì)比(如表2).

表2 標(biāo)定外參數(shù)與實(shí)際外參數(shù)對(duì)比Table 2 Contrast of calibration parameters and actual parameters

從對(duì)比結(jié)果可知，標(biāo)定參數(shù)經(jīng)羅格里斯變換后的數(shù)值與真實(shí)測(cè)量數(shù)值很接近，即利用該模型進(jìn)行計(jì)算的結(jié)果較為準(zhǔn)確，標(biāo)定得到的外參數(shù)值符合實(shí)際意義，反折射魚(yú)眼相機(jī)模型和對(duì)應(yīng)的標(biāo)定方法適用于全景環(huán)視系統(tǒng)設(shè)計(jì).

2.3 基于標(biāo)定結(jié)果的圖像拼接

2.3.1 建立統(tǒng)一坐標(biāo)系

為了利用上面的標(biāo)定結(jié)果，將4幅畫(huà)面的俯視圖像拼接獲得全景環(huán)視的效果圖像，根據(jù)系統(tǒng)設(shè)計(jì)中相機(jī)的安裝位置，建立了如圖8的坐標(biāo)系.

圖8 圖像拼接中統(tǒng)一坐標(biāo)系的建立Fig.8 The coordinate system inimage jointprogross

其中，W、H、L1、L2、L3、L4為全景環(huán)視有效區(qū)域尺寸(單位:mm).

前、左、右、后4個(gè)相機(jī)在地面的投影點(diǎn)在統(tǒng)一坐標(biāo)系(O-X-Y)內(nèi)的坐標(biāo)分別為O1(Cfx，Cfy)，O2(Clx，Cly)，O2(Crx，Cry)，O2(Cbx，Cby).可以用如下的平移向量表示:

為了表示棋盤(pán)與相機(jī)位置關(guān)系，建立相機(jī)坐標(biāo)系與棋盤(pán)坐標(biāo)系的關(guān)系模型，如圖9所示.

圖9 相機(jī)坐標(biāo)系與棋盤(pán)坐標(biāo)系的關(guān)系模型建立Fig.9 Relationship model of camera and pattern coordinate system

2.3.2 投影關(guān)系分析

對(duì)相機(jī)i(i=前、后、左、右)來(lái)說(shuō)，其在圖像拼接中側(cè)相機(jī)原始圖像到全景圖像投影中各個(gè)坐標(biāo)系的轉(zhuǎn)換過(guò)程如下:

首先將i側(cè)相機(jī)的相機(jī)坐標(biāo)系(Oc-Xc-Yc-Zc)旋轉(zhuǎn)至Z軸豎直向下，X軸、Y軸方向與圖8中(oi-x-y)坐標(biāo)系內(nèi)x，y方向一致的坐標(biāo)系，用Ri表示旋轉(zhuǎn)矩陣，其轉(zhuǎn)換關(guān)系可以表示為

而旋轉(zhuǎn)后的相機(jī)坐標(biāo)系(oi-x-y)與統(tǒng)一坐標(biāo)系(O-X-Y)有如下對(duì)應(yīng)的關(guān)系:

式中:ti表示式(4)～(7)表示的平移向量;R0表示兩坐標(biāo)系之間的旋轉(zhuǎn)矩陣，它的表達(dá)式[10，12]為

對(duì)于前、左、后、右各側(cè)相機(jī)，旋轉(zhuǎn)角度g的取值依次為:-90°、0°、180°、90°.

上面內(nèi)容表示了從多幅圖像到最終全景環(huán)視圖像的正投影關(guān)系.由統(tǒng)一坐標(biāo)系內(nèi)全景圖像區(qū)域的一點(diǎn)坐標(biāo)和全景環(huán)視有效區(qū)域的尺寸，可以確定此點(diǎn)的原始圖像來(lái)自哪個(gè)相機(jī)，然后對(duì)此相機(jī)通過(guò)以上關(guān)系的逆投影計(jì)算得到俯視圖像上坐標(biāo)值，最后利用俯視圖像到原始圖像的逆投影變換即可得到對(duì)應(yīng)的原始圖像坐標(biāo).遍歷整個(gè)全景區(qū)域，逆投影求得的原始魚(yú)眼圖像坐標(biāo)數(shù)據(jù)進(jìn)行插值處理后，即可得到全景環(huán)視圖像[12].

2.4 實(shí)驗(yàn)室模型車的全景環(huán)視系統(tǒng)驗(yàn)證

在實(shí)驗(yàn)室的模型樣車上，依據(jù)2.1和2.3的理論內(nèi)容進(jìn)行了仿真實(shí)驗(yàn)，搭建的實(shí)驗(yàn)場(chǎng)景如圖10(a)所示.

圖10 模型車仿真實(shí)驗(yàn)場(chǎng)景與實(shí)驗(yàn)圖像示例Fig.10 Experimental scene of model for simulation and images

實(shí)驗(yàn)設(shè)計(jì)的標(biāo)定棋盤(pán)方格大小為30 mm，全景環(huán)視有效區(qū)域如圖10(a)中框線所示，其尺寸:W=17 mm，H=27 mm，L1=200 mm，L2=200 mm，L3=80 mm，L4=150 mm.擺放好標(biāo)定棋盤(pán)后，對(duì)相機(jī)進(jìn)行標(biāo)定實(shí)驗(yàn)，采集原始圖像利用圖像進(jìn)行標(biāo)定結(jié)算，原始圖像和根據(jù)標(biāo)定結(jié)果計(jì)算的俯視圖像分別如圖10(b)、10(c)所示.

按照2.3節(jié)中的圖像拼接的算法，遍歷全景圖像有效區(qū)域，最后的插值方法利用雙線性插值，得到如圖11所示的模型車全景環(huán)視效果.

圖11 模型車實(shí)現(xiàn)的全景環(huán)視系統(tǒng)結(jié)果Fig.11 Results of top-view system from model car

3 針對(duì)大客車的簡(jiǎn)化標(biāo)定方案設(shè)計(jì)

根據(jù)模型車的仿真實(shí)驗(yàn)可知，折反射魚(yú)眼相機(jī)模型及其標(biāo)定方法符合全景環(huán)視系統(tǒng)的標(biāo)定要求，在標(biāo)定外參數(shù)準(zhǔn)確的前提下，圖像拼接計(jì)算僅與標(biāo)定的結(jié)果中棋盤(pán)與相機(jī)的外參數(shù)有關(guān).

在實(shí)際客車上的實(shí)驗(yàn)中，在客車周圍地面擺放方格大小為30'30(cm)的5'5標(biāo)定棋盤(pán)并其進(jìn)行標(biāo)定實(shí)驗(yàn)，結(jié)果如圖12所示:

圖12 實(shí)際客車在地面擺放標(biāo)定棋盤(pán)與標(biāo)定結(jié)果示例Fig.12 Calibration results of fisheye image while the pattern placed on the ground around bus

可以看出圖12(b)中只有中間擺放棋盤(pán)的區(qū)域俯視效果較好，邊緣區(qū)域俯視效果較差，不符合全景環(huán)視系統(tǒng)的預(yù)想標(biāo)定結(jié)果，要利用地面棋盤(pán)進(jìn)行標(biāo)定，就需要整個(gè)有效區(qū)域內(nèi)的鋪滿方格大小適宜的棋盤(pán).這對(duì)于地面棋盤(pán)的要求太高.

為解決這個(gè)難題，提出了如下的改進(jìn)方法:將棋盤(pán)平行升高，在2.3節(jié)中圖像拼接過(guò)程的投影關(guān)系中加入升高棋盤(pán)世界坐標(biāo)系與相機(jī)投影點(diǎn)為原點(diǎn)的地面世界坐標(biāo)系的映射關(guān)系建立模型，如圖13所示.

圖13 加入棋盤(pán)平面與地面關(guān)系建立投影模型Fig.13 Relationship model of camera and ground coordinate system

對(duì)升高的棋盤(pán)模板提出如下要求:

1)棋盤(pán)平整，通過(guò)水平尺進(jìn)行調(diào)整，使其與地面平行放置，即圖13中棋盤(pán)坐標(biāo)軸與車身平行;

2)棋盤(pán)大小要保證棋盤(pán)顯示在圖像中的區(qū)域盡可能的覆蓋全景環(huán)視的有效區(qū)域.

需要補(bǔ)充的測(cè)量數(shù)據(jù)為抬高的平行棋盤(pán)距離地面的尺寸距離 (單位:mm).

基于以上模型，根據(jù)相機(jī)小孔成像的規(guī)律[10]，得到棋盤(pán)與地面的對(duì)應(yīng)關(guān)系:

式中:h表示棋盤(pán)在豎直方向上離相機(jī)坐標(biāo)系中心的距離，根據(jù)標(biāo)定結(jié)果的外參數(shù)，求得的相機(jī)外參矩陣為

其中，r1、r2分別為棋盤(pán)坐標(biāo)系中X、Y軸在相機(jī)坐標(biāo)系中的方向向量[10-11].通過(guò)方向向量可以求得X、Y軸確定的平面方程，計(jì)算相機(jī)坐標(biāo)系原點(diǎn)與X-Y平面的距離即為相機(jī)高度h.

經(jīng)過(guò)此計(jì)算后，再利用2.3中的方法，遍歷全景環(huán)視區(qū)域?qū)崿F(xiàn)利用升高的小棋盤(pán)進(jìn)行客車全景環(huán)視系統(tǒng)的標(biāo)定.

4 實(shí)車實(shí)驗(yàn)及實(shí)驗(yàn)結(jié)果

根據(jù)以上內(nèi)容，設(shè)計(jì)了系統(tǒng)的標(biāo)定工作流程如圖14所示:

圖14 客車全景環(huán)視系統(tǒng)標(biāo)定流程Fig.14 Flow chart of the calibration for bus top-view system

在實(shí)際應(yīng)用中為提升實(shí)時(shí)性，系統(tǒng)標(biāo)定完成后可以生成全景圖象與原始圖像的查找映射表供車載控制器硬件平臺(tái)使用，查找表格后利用雙線性插值的方法生成圖像送顯.

實(shí)驗(yàn)中安放升高標(biāo)定棋盤(pán)如圖15(a)所示，采集用于標(biāo)定計(jì)算的原始圖像如圖15(b)所示，對(duì)相機(jī)進(jìn)行標(biāo)定計(jì)算后利用標(biāo)定結(jié)果得到的俯視圖像如圖15(c)所示.

遍歷全景圖像有效區(qū)域進(jìn)行圖像拼接，利用雙線性插值，得到客車的全景環(huán)視圖像，如圖16所示.

圖15 標(biāo)定棋盤(pán)放置和實(shí)驗(yàn)圖像示意Fig.15 Experimental scene of bus top-view system and images

圖16 客車全景環(huán)視系統(tǒng)實(shí)車效果Fig.16 Experiment result of bus top-view system

5 結(jié)束語(yǔ)

利用基于折反射原理的魚(yú)眼攝像機(jī)模型及標(biāo)定方法，針對(duì)大客車對(duì)全景環(huán)視系統(tǒng)的標(biāo)定步驟做了適當(dāng)?shù)母倪M(jìn)，提出一種適合客車的全景環(huán)視系統(tǒng)的標(biāo)定方法，能快速準(zhǔn)確地得到系統(tǒng)效果.試驗(yàn)表明，該標(biāo)定方法克服了傳統(tǒng)標(biāo)定方法中標(biāo)定過(guò)程繁瑣、對(duì)場(chǎng)地和設(shè)備要求嚴(yán)格、標(biāo)定時(shí)間長(zhǎng)等缺點(diǎn)，同時(shí)也適用于乘用車等小型車輛，可以簡(jiǎn)化標(biāo)定過(guò)程和標(biāo)定設(shè)備，具有較大的實(shí)際應(yīng)用意義.

[1]徐子健.全周影像行車輔助系統(tǒng)發(fā)展及市場(chǎng)趨勢(shì)[J].車輛研測(cè)資訊，2010(6):18-22.XU Zijian.The development and the market trend of around view driving assist system[J].Information of Vehicle Research and Measurement，2010(6):18-22.

[2]公安部交通管理局.中華人民共和國(guó)道路交通事故統(tǒng)計(jì)年報(bào)(2011年度)[Z].無(wú)錫市:公安部交通管理科學(xué)研究所，2011.Ministry of Public Security Traffic Management.Statistics annual report on road traffic accident of the People＇s Republic of China(2011annual)[Z].Wuxi:Ministry of Public Security Traffic Management Science Research Institute，2011.

[3]丁鑫.全景視覺(jué)泊車輔助系統(tǒng)研究[D].杭州:浙江大學(xué)，2008:77-83.DING Xin.Parking-assistant system using omni directional vision[D].Hangzhous Zhejiang University，2008:77-83.

[4]凃淵耀.嵌入式環(huán)車監(jiān)控系統(tǒng)[D].臺(tái)北:國(guó)立交通大學(xué)，2006:5-13，35-40.TU Yuanyao.An embedded system for vehicle surrounding monitoring[D].Taiwan:National Chiao Tung University，2006:5-13，35-40.

[5]上海杰圖軟件技術(shù)有限公司.魚(yú)眼標(biāo)定方法和裝置[P].中國(guó):CN102096923A，2011.6.15.

[6]宓桃，安平.基于多視定位算法的多攝像機(jī)標(biāo)定[J].中國(guó)圖像圖形學(xué)報(bào)，2008，13(10):1922-1925.MI Tao，AN Ping.Depending on the location algorithm based on the camera calibration[J].Journal of Image and Graphics of China，2008，13(10):1922-1925.

[7]劉育志.魚(yú)眼攝影機(jī)校正與多視點(diǎn)影像接合[D].臺(tái)灣:國(guó)立交通大學(xué)，2007:15-16，30-33 LIU Yuzhi.Fisheye camera calibration and multiple-viewpoint image stitching[D].Taiwan:National Chiao Tung U-niversity，2007:15-16，30-33.

[8]ZHANG Zhengyou.A flexible new technique for camera calibration[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22(11):1330-1334.

[9]TSAI R Y.An efficient and accurate camera calibration technique for 3D machine vision[C]//Proceedings of IEEE Conference on Computer Vision and Pattem Reeognition.Miami Beach，USA，1986.

[10]章毓進(jìn).圖像處理技術(shù)[M].4版.北京:清華大學(xué)出版社，2008:102-113.

[11]SCARAMUZZA D.A toolbox for easily calibrating omnidirectional cameras[C]//Proceedings of the Fourth IEEE InternationalConference on Computer Vision Systems(ICVS).[s.l.]，2006.

[12]張浩鵬，王宗義.全景攝像機(jī)標(biāo)定[J].哈爾濱工程大學(xué)學(xué)報(bào)，2011，30(11):1239-1245.ZHANG Haopeng，WANG Zongyi.Panoramic camera calibration[J].Journal of Harbin Engineering University，2011，30(11):1239-1245