冀將，孟立凡

（中北大學(xué)儀器與電子學(xué)院，山西太原 030051）

在移動(dòng)式機(jī)器人、無人小車及無人機(jī)等諸多應(yīng)用場(chǎng)景下避障技術(shù)都至關(guān)重要，而障礙物識(shí)別是避障技術(shù)的前提。目前針對(duì)障礙物探測(cè)采用的主要方法有激光雷達(dá)探測(cè)、超聲波探測(cè)以及基于單目攝像頭的視覺識(shí)別等。傳統(tǒng)方法中的激光雷達(dá)具有精度高、采集速度快等優(yōu)點(diǎn)，但其費(fèi)用較高難以應(yīng)用于小型開發(fā)；超聲波測(cè)距需要對(duì)行進(jìn)方向上不同高度的障礙物信息分別進(jìn)行采集，且測(cè)量范圍??；而基于單目相機(jī)的視覺識(shí)別易受環(huán)境光照影響，且需大量數(shù)據(jù)集以完成計(jì)算，這些因素使得傳統(tǒng)探測(cè)方法在越加廣泛的實(shí)際應(yīng)用領(lǐng)域難以施展拳腳。與此同時(shí)，將計(jì)算機(jī)視覺應(yīng)用于障礙物識(shí)別具有實(shí)時(shí)性高、成本較低且不易受外界干擾的優(yōu)點(diǎn)，故更適應(yīng)于當(dāng)下應(yīng)用[1-2]。

雙目立體視覺利用左右攝像頭分別以各自角度出發(fā)對(duì)同一場(chǎng)景進(jìn)行采集得到場(chǎng)景圖像對(duì)，其后在圖像對(duì)對(duì)應(yīng)點(diǎn)之間位置差異的基礎(chǔ)上通過數(shù)學(xué)推導(dǎo)得到場(chǎng)景中物體的三維信息[3]。隨著雙目立體視覺理論的成熟，該技術(shù)已廣泛應(yīng)用于工業(yè)生活中的各個(gè)領(lǐng)域。文中基于雙目立體視覺原理，利用雙目相機(jī)對(duì)目標(biāo)場(chǎng)景成像以獲取其立體圖像對(duì)，并通過算法匹配出相應(yīng)像點(diǎn)，隨后利用對(duì)應(yīng)像點(diǎn)間的視差信息計(jì)算得到目標(biāo)場(chǎng)景對(duì)應(yīng)的深度信息，并最終實(shí)現(xiàn)障礙物的識(shí)別。

1 雙目相機(jī)標(biāo)定

雙目相機(jī)的標(biāo)定是指得到和確定相機(jī)自身各類內(nèi)外參數(shù)的過程，雙目相機(jī)的內(nèi)參是指各種與相機(jī)本身特性相關(guān)的參數(shù)，如焦距、投影中心、傾斜系數(shù)、畸變系數(shù)等；雙目相機(jī)的外參是指諸如左右攝像頭相對(duì)位置及相機(jī)平移、旋轉(zhuǎn)向量等轉(zhuǎn)換參數(shù)[4-5]。通過標(biāo)定得到內(nèi)外參數(shù)后，便可將被測(cè)物體從空間三維坐標(biāo)系中“轉(zhuǎn)移到”相機(jī)成像平面的像素坐標(biāo)系上。

文中在對(duì)各類標(biāo)定方法進(jìn)行對(duì)比實(shí)驗(yàn)后選用張正友標(biāo)定法對(duì)雙目相機(jī)進(jìn)行標(biāo)定，該方法選用標(biāo)準(zhǔn)棋盤格作為參考物，在利用世界坐標(biāo)系位置的自由度獲取各角點(diǎn)空間坐標(biāo)，并基于像素坐標(biāo)系獲取各角點(diǎn)對(duì)應(yīng)像素坐標(biāo)，便可以計(jì)算得到相機(jī)內(nèi)參，并求解出相機(jī)各類轉(zhuǎn)換矩陣的值[3]。綜合考慮，文中選用CMOS 型OV9714 攝像頭模組建立雙目系統(tǒng)如圖1所示。

圖1 雙目相機(jī)

標(biāo)定工作分為單目標(biāo)定與雙目標(biāo)定兩個(gè)階段，首先，分別進(jìn)行左右單目標(biāo)定，為提高標(biāo)定精確度，利用左右攝像頭從不同位置角度對(duì)棋盤格進(jìn)行拍攝得到14 張標(biāo)定圖像，然后，利用Matlab 對(duì)這些圖像進(jìn)行全部讀取，讀取結(jié)果如圖2 所示。

圖像讀取結(jié)束后，通過逐個(gè)點(diǎn)擊定位棋盤格圖像的4 個(gè)邊界角點(diǎn)（角點(diǎn)處于相鄰4 個(gè)方格的交點(diǎn)）獲取棋盤格邊界，然后，根據(jù)實(shí)際尺寸及角點(diǎn)橫縱排列可實(shí)現(xiàn)圖像中所有角點(diǎn)的定位。

圖2 棋盤格圖片讀取

攝像機(jī)拍照功能的實(shí)現(xiàn)是通過透鏡將實(shí)物投影到成像平面上，但是在透鏡的制造和組裝過程中由于精度等技術(shù)上的偏差會(huì)引入畸變，最終在投影時(shí)引起圖像的失真[6]。為避免畸變帶來的影響，文中通過輸入預(yù)估畸變系數(shù)對(duì)圖像角點(diǎn)進(jìn)行二次定位，標(biāo)定工具箱會(huì)根據(jù)輸入的預(yù)估畸變系數(shù)調(diào)節(jié)定位位置，所有圖像角點(diǎn)提取完成后即完成單目標(biāo)定。分別完成左右攝像頭單目標(biāo)定獲得內(nèi)參文件并利用內(nèi)參實(shí)現(xiàn)相機(jī)的雙目標(biāo)定。

其中左攝像頭內(nèi)參如表1 所示，相機(jī)外參如表2所示。

表1 左攝像頭內(nèi)參數(shù)

表2 雙目相機(jī)外參數(shù)

2 圖像預(yù)處理

在圖像處理過程的諸多環(huán)節(jié)（如輸入、采集、處理等）中會(huì)引入各類噪聲（主要體現(xiàn)為椒鹽噪聲及高斯噪聲），這些因素會(huì)極大得影響到后續(xù)圖像匹配的精度[7]。

文中利用中值濾波和高斯濾波對(duì)圖像進(jìn)行去噪操作。其中，中值濾波的主要原理是以圖像目標(biāo)區(qū)域內(nèi)灰度值的中值代替該區(qū)域中心點(diǎn)處的灰度值，對(duì)椒鹽噪聲去除效果較為明顯[8-9]。該方法通過創(chuàng)建一個(gè)包含目標(biāo)區(qū)域所有像素的濾波模板并進(jìn)行排序處理，最終在序列中找到灰度中值完成替代工作。此二維序列中值濾波輸出為：

其中，f(x,y)和g(x,y)分別是原圖像和處理后的圖像；k∈w,w為輸入的二維模板。

高斯濾波的主要原理是以圖像目標(biāo)區(qū)域內(nèi)灰度值加權(quán)平均處理后的結(jié)果代替中心點(diǎn)灰度值[8-9]，其中一維高斯分布以及二維高斯分布分別表示為：

文中選用σ=1.5 時(shí)的5*5 高斯模板對(duì)圖像進(jìn)行了處理，較為完整地去除了圖像中存在的高斯噪聲。

由于雙目攝像頭兩個(gè)鏡頭之間內(nèi)部參數(shù)的差異以及拍攝時(shí)由于位置差異導(dǎo)致的接受光照強(qiáng)度的不同，會(huì)使得左右兩張圖像之間存在像素灰度差異，即產(chǎn)生了亮度差。文中使用直方圖均衡化方法進(jìn)行亮度差消除。在實(shí)際情況下,首先，需要將獲取的彩色圖像轉(zhuǎn)換為灰度圖,一般情況下圖像的灰度級(jí)范圍為0～255,通過以下線性變換可將圖像灰度壓縮到區(qū)間[0,1][9]。

得到和灰度圖后，計(jì)算圖中每個(gè)灰度值所含的像素個(gè)數(shù)占圖像總像素的比例并對(duì)其進(jìn)行累加，隨后根據(jù)概率值對(duì)圖像各灰度值所包含像素進(jìn)行重新分配得到新圖像。累加值計(jì)算公式如式（5）所示，其中k表示灰度級(jí)數(shù)。

改變圖像中某一個(gè)特征的同時(shí)很有可能會(huì)引起圖像其他特征的變化，在對(duì)圖像進(jìn)行去噪及去除亮度差處理等平均或積分運(yùn)算后，會(huì)造成圖像某些信息的丟失。圖像的銳化處理正是以上運(yùn)算的逆處理過程，其目的是加強(qiáng)圖像邊緣、輪廓線等細(xì)節(jié)，因此，該文在上述處理后對(duì)圖像進(jìn)行了拉普拉斯銳化以恢復(fù)圖像細(xì)節(jié)信息。

經(jīng)以上各處理過程后，雙目系統(tǒng)所拍攝圖像的前后處理效果如圖3 所示，可見此時(shí)圖像噪點(diǎn)減少，對(duì)比度及細(xì)節(jié)度得到提升。

3 立體匹配與深度恢復(fù)

圖3 圖像預(yù)處理

立體匹配的基本原理是利用圖像對(duì)中對(duì)應(yīng)點(diǎn)之間的視差，結(jié)合標(biāo)定過程中得到的雙目相機(jī)參數(shù)實(shí)現(xiàn)圖像三維坐標(biāo)的恢復(fù)。雙目相機(jī)成像的模型如圖4 所示。

圖4 相機(jī)成像模型

圖4中P點(diǎn)表示被測(cè)目標(biāo)空間位置，P1和P2分別為P點(diǎn)在左右攝像頭像平面的成像位置，f表示焦距，XR和XT分別表示成像點(diǎn)P1和P2在像面上距離平面左邊緣的距離，可見此時(shí)左右光軸處于平行狀態(tài)[10-11]。由此可得視差和被測(cè)物體深度之間的關(guān)系式：

式中，Z為被測(cè)物體深度，可推導(dǎo)得到：

可知雙目立體視覺的深度恢復(fù)建立在雙目系統(tǒng)理想狀態(tài)下，故在立體匹配之前需對(duì)系統(tǒng)進(jìn)行立體校正以解決圖像非共面行對(duì)準(zhǔn)問題。文中在相機(jī)標(biāo)定中已經(jīng)通過畸變系數(shù)去除了鏡頭畸變帶來的影響，在此基礎(chǔ)上利用標(biāo)定所得內(nèi)外參數(shù)進(jìn)行極線校正即可使相機(jī)達(dá)到理想狀態(tài)[12-13]。極線校正結(jié)果如圖5 所示。

圖5 極線校正

立體匹配的目的是利用圖像中某些特征實(shí)現(xiàn)左右圖像中對(duì)應(yīng)像素點(diǎn)的匹配，最終得到圖像視差，本質(zhì)上是從二維的圖像對(duì)中得到三維信息。匹配過程可以看作是對(duì)圖像對(duì)之間最大對(duì)應(yīng)概率的求解，并尋求最小復(fù)雜度的求解算法（能量最小化）。經(jīng)典的全局匹配算法通過構(gòu)造一個(gè)能量函數(shù)E=Edata+Esmooth（其中，Edata表示圖像匹配程度，Esmooth表示定義場(chǎng)景的約束）求得其最小值，以完成圖像最佳匹配。對(duì)能量函數(shù)的最小化求解方法很多，包括動(dòng)態(tài)規(guī)劃，模擬優(yōu)化算法，置信度擴(kuò)展及圖割等[13]。

OpenCV 中基于局部及全局匹配原理提供了3 種匹配算法，為找出適合本系統(tǒng)的匹配算法，分別利用BM 算法及SGBM 算法對(duì)此前處理后的圖像對(duì)進(jìn)行了匹配實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果顯示BM 算法耗時(shí)314.132 ms，SGBM 算法耗時(shí)189.677 ms。圖6（a）為BM 算法匹配結(jié)果，圖6（b）為SGBM 算法匹配結(jié)果。

圖6 目標(biāo)場(chǎng)景深度圖

通過圖6 中的對(duì)比可見SGBM 算法所得深度圖更為稠密，其包含的目標(biāo)場(chǎng)景深度信息也更為完整。基于障礙物探測(cè)角度考慮，BM 與SGBM 算法匹配時(shí)間均在0.5 s 以內(nèi)，為系統(tǒng)可接受范圍；兩種算法匹配所得三維信息都較為準(zhǔn)確，但BM 算法所得深度圖空洞較多，輪廓較為模糊，丟失了較大一部分信息，而SGBM 算法所得深度圖輪廓較為清晰，圖像信息保留也較為完整。BM 算法匹配完整度不足會(huì)直接影響到后續(xù)障礙物分割的效果，故文中選擇SGBM 算法進(jìn)行圖像匹配作為后續(xù)圖像分割的基礎(chǔ)。

4 障礙物分割識(shí)別

搭載雙目系統(tǒng)的運(yùn)動(dòng)載體在運(yùn)動(dòng)過程中會(huì)獲取其行進(jìn)方向上所有靜態(tài)和動(dòng)態(tài)物體的深度信息，故需對(duì)這些深度信息做出判斷。首先，需要設(shè)定一個(gè)障礙物判定標(biāo)準(zhǔn)，通常以行進(jìn)路線上物體與雙目系統(tǒng)之間的距離關(guān)系進(jìn)行定義，即根據(jù)雙目系統(tǒng)工作范圍、運(yùn)動(dòng)載體行進(jìn)速度及運(yùn)動(dòng)時(shí)的躲避速度設(shè)定出一個(gè)距離閾值Sm。將運(yùn)動(dòng)載體與物體間距離定義為S，視S與Sm之間的關(guān)系做出判斷，只有當(dāng)物體與運(yùn)動(dòng)載體之間距離S≤Sm且處于運(yùn)動(dòng)載體行進(jìn)路線上時(shí)，該物體才會(huì)被視作為障礙物。根據(jù)實(shí)際需求文中設(shè)定0.5 m 為障礙物距離閾值，障礙物分割識(shí)別需基于此進(jìn)行判斷。設(shè)立判斷標(biāo)準(zhǔn)后，文中利用數(shù)據(jù)聚類算法對(duì)SGBM 算法獲得的深度圖進(jìn)行障礙物分割[14]。

圖像分割的目的是將圖像區(qū)域化從而突出圖像中有價(jià)值的目標(biāo)，其實(shí)質(zhì)是對(duì)圖像像素?cái)?shù)據(jù)集的聚類處理。K-means 算法是一種數(shù)據(jù)聚類算法，該算法會(huì)將一個(gè)大型數(shù)據(jù)集聚類成k個(gè)簇，并通過不斷優(yōu)化調(diào)整得到各點(diǎn)與所屬簇中心距離平方和為最小值時(shí)的最佳簇中心分布[15-16]。但將該算法應(yīng)用于圖像分割時(shí)具有一些天然的缺陷，由于此算法必須提前確定聚類數(shù)量且聚類數(shù)量會(huì)直接影響到最終分割效果，通常無法預(yù)先估計(jì)并給定一個(gè)合理值，這極大地制約了算法的準(zhǔn)確度；而在算法復(fù)雜度方面，由于該算法需要對(duì)簇中心不斷地進(jìn)行調(diào)整以實(shí)現(xiàn)新的聚類，因此，時(shí)間復(fù)雜度與空間復(fù)雜度均較高。

為提高原始K-means 算法的分割效率[17-18]，文中改進(jìn)了其初始中心點(diǎn)的選取方式，改進(jìn)后算法首先在給定的數(shù)據(jù)集中隨機(jī)選取一個(gè)點(diǎn)作為第一個(gè)簇中心，然后，計(jì)算數(shù)據(jù)集中所有點(diǎn)與所有簇中心之間的最短距離以挑選下一個(gè)簇中心點(diǎn)，重復(fù)此過程直到選出k個(gè)簇中心。此時(shí)算法避免了預(yù)估聚類數(shù)量，最終結(jié)果較原算法更為穩(wěn)定，簇中心選取最壞的情況下復(fù)雜度下降，算法效率得到很大提升。利用改進(jìn)后算法對(duì)SGBM 算法所得深度圖的分割效果如圖7所示?？梢姼倪M(jìn)后算法可以較為準(zhǔn)確的在目標(biāo)場(chǎng)景深度圖中分割識(shí)別到障礙物。

圖7 障礙物分割

5 結(jié)論

文中采用雙目系統(tǒng)對(duì)目標(biāo)場(chǎng)景進(jìn)行障礙物分割識(shí)別，實(shí)驗(yàn)結(jié)果表明該系統(tǒng)可較為快速準(zhǔn)確的獲取目標(biāo)場(chǎng)景的深度信息，并利用聚類算法實(shí)現(xiàn)了最終的障礙物識(shí)別，這為系統(tǒng)運(yùn)動(dòng)載體的后續(xù)避障提供了有效信息，達(dá)到了預(yù)期的實(shí)驗(yàn)?zāi)繕?biāo)。但使用SGBM 算法圖像匹配得到的深度圖中仍存在少數(shù)空洞，在紋理性比較弱的場(chǎng)景下會(huì)導(dǎo)致誤差增大，故在后續(xù)研究中需進(jìn)一步對(duì)圖像匹配算法做出改進(jìn)。