王向軍，楊壽常，陳瑞祥

（1.天津大學(xué) 精密測試技術(shù)及儀器國家重點實驗室，天津 300072；2.天津大學(xué) 微光機電系統(tǒng)技術(shù)教育部重點實驗室，天津 300072）

0 引言

根據(jù)世界衛(wèi)生組織的統(tǒng)計，2016年道路交通傷害導(dǎo)致140 萬人死亡，已經(jīng)是全球第八大死亡原因[1]，道路交通安全已經(jīng)成為人類不可忽視的安全威脅之一。為減少道路交通對人類造成的傷害，目前已經(jīng)有多種傳感器系統(tǒng)被應(yīng)用于汽車輔助駕駛，以期在危險情況中及時對駕駛者做出提醒，如雷達、激光測距雷達、超聲波和攝像機等技術(shù)。其中雷達、激光測距雷達和超聲波等屬于主動測量方案，在復(fù)雜環(huán)境下易受干擾；而基于攝像機的測量方案屬于被動測量方法，抗干擾能力更強，在輔助駕駛和自動駕駛領(lǐng)域具有廣闊的應(yīng)用前景，已經(jīng)成為計算機視覺領(lǐng)域的熱門研究方向。

在夜間、霧霾等低可見度天氣條件下，由于駕駛員的視線受阻，更易發(fā)生交通事故。紅外線由于波長較長，具有穿透霧霾的能力，且所有溫度高于絕對零度的物體都會產(chǎn)生紅外輻射[2]，故對紅外線成像的紅外相機具有全天候工作能力，特別在夜間、霧霾等對可見光相機成像具有嚴(yán)重干擾的天氣條件下具有明顯優(yōu)勢。因此，利用紅外成像設(shè)備作為輔助觀測手段以提高行車安全性的方法，得到了廣大相關(guān)研究人員和國內(nèi)各大汽車制造廠商的關(guān)注[3]。

目前，基于紅外相機的車載輔助駕駛系統(tǒng)主要利用紅外相機的全天候工作特性，幫助駕駛員在惡劣條件下觀察路面情況，技術(shù)手段主要集中在行人檢測與跟蹤領(lǐng)域。如文獻[3]-[4]介紹了車載夜視技術(shù)以及紅外行人檢測算法的發(fā)展現(xiàn)狀，文獻[5]介紹了一種基于YOLO模型的遠紅外車載圖像快速行人檢測方法，文獻[6]提出了一種相關(guān)濾波框架下的紅外圖像行人跟蹤方法，行人的位置估計需依靠駕駛員的經(jīng)驗判斷。文獻[7]使用激光雷達成像與紅外成像融合的方式獲取可視圖像及深度信息，但成本較高。

基于立體視覺原理獲取深度信息，僅需兩個相機采集雙目圖像，然后利用雙目視差原理計算目標(biāo)深度，成本較低。但是在紅外圖像中，由于紋理細(xì)節(jié)較少，在可見光立體視覺中使用廣泛的BM（Block Matching）和SGBM（Semi Global Block Matching）等傳統(tǒng)稠密立體匹配算法不能很好地完成紅外圖像立體匹配。因此，本文結(jié)合道路場景的特點，設(shè)計了一種基于紅外立體視覺的路況行人感知方法，該方法可以生成感興趣目標(biāo)處稠密的全局半稠密深度圖。經(jīng)實驗驗證，該方法在道路環(huán)境下可以有效地提供車前行人等目標(biāo)的深度信息。

1 雙目測距模型

1.1 三角測量模型

本文雙目測距模型如圖1所示，兩相機光心O1、O2存在x、z方向明顯位移dx、dz?？紤]到實際系統(tǒng)的安裝誤差因素，兩相機坐標(biāo)系間同時存在y方向位移dy和繞x、y、z三軸的相對旋轉(zhuǎn)α、β、γ。dx、dy、dz和α、β、γ共同構(gòu)成相機的外部參數(shù)，可通過雙目相機標(biāo)定獲得。

通過標(biāo)定獲得相機內(nèi)部及外部參數(shù)后，本文采用線性三角測量法對空間點進行解算，如圖1，空間點N分別投影到兩相機像平面π1、π2的n1、n2點處，投影關(guān)系可由式(1)表示，其中n1、n2用π1、π2像面坐標(biāo)系下的齊次坐標(biāo)表示，N用世界坐標(biāo)系下的齊次坐標(biāo)表示，P1、P2分別表示空間點N到像面π1、π2的投影關(guān)系，為3×4矩陣，由相機內(nèi)、外部參數(shù)計算得到：

圖1 雙目測量模型Fig.1 Binocular measurement mo del

通過π1、π2像面上的一對匹配點n1?n2，可根據(jù)式(2)[8]計算得到N點在世界坐標(biāo)系下的齊次坐標(biāo)。其中，xi、yi分別表示πi像面上N的像點ni的橫、縱坐標(biāo)，pij表示Pi矩陣的第j行（i＝1,2，j＝1,2,3）。

1.2 極線約束

極線約束是指雙目圖像中某一圖像上的點必然對應(yīng)于另一圖像上的一條線，如圖1，直線O1N上任一點都成像于π1像面上的n1點處，而其在像面π2上的像位于直線e2n2上，即e2n2為n1的對極線，e2為光心O1在像面π2上的投影點，其數(shù)學(xué)關(guān)系可用式(3)表示：

式中：Ie2n2表示直線e2n2；F為基本矩陣，可通過相機內(nèi)、外部參數(shù)獲得。

由于n2是N在像面π2的像點，故n2在直線Ie2n2上，即n2TIe2n2= 0，所以一對匹配點n1?n2滿足式(4)關(guān)系。

因此，可利用式(4)對初始匹配結(jié)果進行篩選，去除誤匹配點。

2 系統(tǒng)設(shè)計與搭建

2.1 系統(tǒng)方案設(shè)計

駕駛員在駕駛車輛時，一般需要觀察車輛正前方和兩側(cè)路面情況以確保行車安全。因此，為了滿足實際道路應(yīng)用條件，本文設(shè)計了一種大視場紅外雙目立體視覺環(huán)境感知單元，有效視場角約為120°。由于目前紅外相機成像單元分辨率普遍不高，以及紅外相機鏡頭視場角等因素的制約，本文提出了一種雙紅外雙目測量方案。方案設(shè)計如圖2所示，即使用兩對雙目相機分別覆蓋左右兩側(cè)，組成等效120°測量視場。圖2中4 只相機分別組成左視、右視雙目相機組，兩相機組的基線長度均設(shè)計為75cm，兩組雙目相機測量視場構(gòu)成120°等效測量視場。該方案將4 只紅外相機安裝在同一直線上，將系統(tǒng)尺寸限制在100 cm×10 cm ×10 cm 內(nèi)，有利于在不改變車輛結(jié)構(gòu)的條件下安裝使用。

圖2 系統(tǒng)設(shè)計方案Fig.2 System design scheme

2.2 實驗系統(tǒng)平臺

依據(jù)2.1節(jié)所述方案，搭建實驗平臺，如圖3所示，該平臺由4 只長波紅外相機及廣角鏡頭、嵌入式處理單元、外圍電路、剛性載體和外殼組成。

圖3 大視場紅外立體視覺實驗系統(tǒng)Fig.3 Largefield of view infrared stereo vision experimental system

2.3 紅外棋盤格標(biāo)定板

由于三角測量模型需要已知的相機內(nèi)參和雙目相機外參解算匹配點坐標(biāo)，因此需對相機進行標(biāo)定。目前應(yīng)用最廣泛的相機標(biāo)定算法為張正友標(biāo)定法[9]，該方法需要單平面棋盤格作為標(biāo)定板。由于紅外輻射量和物體溫度有關(guān)，物體溫度越高，紅外輻射越強，紅外圖像體現(xiàn)的是物體溫度差異。根據(jù)紅外成像原理，本文設(shè)計了一種紅外棋盤格標(biāo)定板（下稱標(biāo)定板），如圖4所示。

圖4 紅外棋盤格標(biāo)定板Fig.4 Infrared chessboard

圖4(a)為該標(biāo)定板的可見光圖像，圖4(b)為紅外圖像。棋盤格白格為良導(dǎo)熱材料制成，背層貼有電熱片，黑格為隔熱材料制成，背層無電熱片，通電后白格區(qū)域電熱片發(fā)熱使其溫度升高，黑格區(qū)域的隔熱材質(zhì)使其保持相對較低的溫度，從而使棋盤格的紅外圖像具有與可見光圖像相似的圖像特征。本文設(shè)計的棋盤格可用于紅外相機標(biāo)定，可見光相機標(biāo)定和紅外、可見光相機聯(lián)合標(biāo)定。

3 深度圖生成方法

本文的路況行人感知問題研究定位于道路使用者中的行人和騎行者等目標(biāo)。由于人體具有較為明顯的溫度、邊緣特征，因此可以此為依據(jù)在雙目相機左、右圖像中尋找感興趣區(qū)域，并在感興趣區(qū)域中進行特征點提取、配準(zhǔn)并最終生成可視化半稠密深度圖。

3.1 圖像冪次變換

圖像冪次變換是指通過對圖像灰度值的k次冪變換，使灰度值較大的位置得到增強，而灰度值較小的位置得到抑制。圖像冪次變換可用式(5)表示：

式中：iold、inew為圖像上任一點轉(zhuǎn)換前、后灰度值；imax為原圖像的最大灰度值；M為處理后的圖像最大灰度值，指數(shù)k越大，圖像增強效果越明顯，本文應(yīng)用場景中k值的取值范圍為1.6～2.0。

由于紅外圖像是對紅外熱輻射的成像，溫度高的物體成像位置灰度值大，溫度低的物體成像位置灰度值小。一般紅外場景中的人體溫度較高，背景溫度較低，對應(yīng)紅外圖像中，行人目標(biāo)位置灰度值較大，背景位置灰度值較小，通過圖像冪次變換，可有效增強行人目標(biāo)，抑制背景。如圖5(b)，相對原圖（圖5(a)），其背景得到明顯抑制，行人目標(biāo)得到增強。

3.2 感興趣區(qū)域提取

由于行人、騎行者的豎向邊緣較多[10]，因此可以使用Sobel 邊緣檢測算法檢測圖像中的豎向邊緣，如圖5(c)（為了便于觀察，圖像有亮度增強）所示，圖中實線框內(nèi)為行人目標(biāo)，虛線框內(nèi)為無效目標(biāo)，利用目標(biāo)灰度約束可以剔除大部分無用邊緣信息，如圖5(d)所示，圖像中剩余的輪廓信息主要集中在行人位置處。由于輪廓位置所占圖像面積較小，僅將該位置作為特征提取區(qū)域不利于提取到足夠多的特征點，因此使用圖像膨脹算法對圖5(d)所示基于灰度約束的邊緣提取圖像進行處理，得到圖5(e)所示感興趣區(qū)域（Region of interest,ROI），通過在左右圖像ROI區(qū)域內(nèi)提取和匹配特征點，可有效減少特征點提取和匹配數(shù)量，減少誤匹配數(shù)量，提高算法運行效率。

圖5 感興趣區(qū)域提取Fig.5 Region of interest (ROI)detection

3.3 特征點檢測與匹配

由于紅外圖像缺乏一般可見光圖像中豐富的紋理細(xì)節(jié)特征，僅在目標(biāo)輪廓邊緣等梯度變化較大的地方存在明顯圖像特征，因此本文采用SURF（Speeded-Up Robust Features）算法[11]在ROI 區(qū)域?qū)D像進行特征提取。SURF 算法基于圖像邊緣檢測特征點，且運行速度快，經(jīng)實驗驗證，其在長波紅外圖像上具有良好的特征點提取效果。利用SURF 算法在ROI區(qū)域進行特征點檢測和匹配的效果如圖6(a)所示，圖中線段的端點為特征點位置，其兩端為一對初始匹配點，可以看出其中存在明顯錯誤匹配點。利用式(4)對匹配點進行篩選，結(jié)果如圖6(b)所示，圖中線段連接的匹配點為篩選后的匹配點，可見圖6(a)中的明顯錯誤匹配點被有效剔除。

圖6 特征點提取及匹配Fig.6 Feature points extraction and match

3.4 半稠密深度圖估計

獲取篩選后匹配點后，利用三角測量模型可以解算匹配點對應(yīng)的空間點坐標(biāo)，獲取原始稀疏深度圖（如圖7(a)）。由于原始深度圖是稀疏的，因此其直接用于顯示效果較差。本文采用種子填充法（Seed-Filling）標(biāo)記圖5(e)中不同連通域，在各連通域中選取原始深度圖對應(yīng)區(qū)域中的所有有效深度值的中值作為該區(qū)域的代表深度值，得到半稠密深度圖，如圖7(b)。

圖7 深度圖（局部）Fig.7 Depth map (local)

由于ROI 圖像中不同連通域表示場景中的不同目標(biāo)，同一目標(biāo)的不同位置的深度值是相近的，因此使用代表深度值估計整個目標(biāo)的深度是可行的，且代表深度值的中值選取策略可以有效避免少量錯誤匹配點產(chǎn)生的異常深度值對目標(biāo)深度估計的影響。

3.5 深度圖顯示

為便于觀察，本文采用從淺到深的漸變顏色表示0～30 m 內(nèi)的距離遠近。距離越遠，顏色越深；距離越近，顏色越淺。圖8給出了6 組夜間路面測試結(jié)果，對照圖和顯示圖依次對應(yīng)。其中對照圖經(jīng)過冪次變換對背景進行了抑制，顯示圖在對照圖的基礎(chǔ)上引入了漸變顏色表示圖像中目標(biāo)的深度信息，并在圖像右側(cè)給出了顏色圖例。圖8中6 組顯示圖中包含不同距離的行人、跑步者、騎行者等目標(biāo)。可以看出，行人、跑步者、騎行者等目標(biāo)均得到較好的顏色標(biāo)記，參考顏色圖例可以判斷目標(biāo)的相對遠近，從而為駕駛員在夜間駕駛提供良好的輔助觀測信息。

圖8 路面測試結(jié)果Fig.8 Resultsof road test

4 測距精度實驗

為驗證系統(tǒng)測距精度，本文在夜間室外環(huán)境下，采用合作目標(biāo)對左、右視雙目相機分別進行精度實驗，合作目標(biāo)為一個2×2 紅外棋盤格，如圖9所示。以左視雙目相機為例，合作目標(biāo)參考位置如圖10所示，取3 個方向，每個方向5～30 m 范圍內(nèi)的18 個點（圖中未全部畫出）驗證系統(tǒng)測距精度。合作靶標(biāo)的位置約定真值由精度為2＋2 ppm 的全站儀間接測得，以左相機為基準(zhǔn)點，利用全站儀分別測量左相機和合作靶標(biāo)的中心角點坐標(biāo)，通過計算得到合作靶標(biāo)中心距左相機基準(zhǔn)點的距離約定真值。將系統(tǒng)測距結(jié)果和約定真值作比較，圖11給出了系統(tǒng)測距誤差，系統(tǒng)測距結(jié)果在30 m 范圍內(nèi)絕對誤差均小于1 m，相對誤差小于3%；15 m 范圍內(nèi)絕對誤差小于0.5 m，相對誤差小于1.5%?？紤]到本文的路況行人感知方法的主要應(yīng)用場景為向駕駛者提供輔助觀測信息，系統(tǒng)的測距精度滿足實用需求。

圖9 2×2紅外棋盤格Fig.9 2×2 infrared chessboard

圖10 左視雙目視場目標(biāo)參考位置Fig.10 Reference position of targets in left binocular field of view

圖11 測距實驗結(jié)果Fig.11 Resultsof distance measurement

5 結(jié)論

本文設(shè)計了一種基于紅外立體視覺的路況行人感知方法。針對紅外圖像紋理細(xì)節(jié)少，傳統(tǒng)稠密雙目立體匹配算法效果差的問題。本文首先提取圖像ROI，然后在其中提取特征點并匹配以生成原始稀疏深度圖，最后結(jié)合ROI和原始稀疏深度圖估計ROI內(nèi)稠密的全局半稠密深度圖。并設(shè)計了實驗系統(tǒng)對該方法進行實驗驗證。實驗結(jié)果表明，該方法具有良好的行人等目標(biāo)的檢測效果，在系統(tǒng)約120°觀測視場角內(nèi)，目標(biāo)深度感知相對誤差在15 m 范圍內(nèi)優(yōu)于1.5%，30m范圍內(nèi)優(yōu)于3%，滿足實際應(yīng)用場景。