武 星 張 穎 李林慧 樓佩煌 何 珍

(南京航空航天大學(xué)機(jī)電學(xué)院，南京 210016)

復(fù)雜光照條件下視覺導(dǎo)引AGV路徑提取方法

武 星 張 穎 李林慧 樓佩煌 何 珍

(南京航空航天大學(xué)機(jī)電學(xué)院，南京 210016)

針對復(fù)雜光照條件下視覺導(dǎo)引AGV的路徑提取問題，提出一種基于光照色彩模型的自適應(yīng)圖像照度分區(qū)閾值分割方法。首先研究光照照度與圖像亮度分量的關(guān)系，通過統(tǒng)計(jì)復(fù)雜光照條件下的圖像色彩分布建立光照色彩模型。其次根據(jù)光照色彩模型將導(dǎo)引路徑圖像劃分為不同照度區(qū)域。然后在RGB色彩空間對低照度區(qū)域進(jìn)行圖像增強(qiáng)以還原路徑色彩信息，在高亮光區(qū)域?qū)ι确至緾b與Cr進(jìn)行差分運(yùn)算以抑制共模照度干擾，最后對不同照度區(qū)域分別進(jìn)行自適應(yīng)閾值分割。大量實(shí)驗(yàn)結(jié)果表明，在光照環(huán)境中同時(shí)存在高反光和暗陰影的運(yùn)行路面，該路徑提取方法具有較強(qiáng)的復(fù)雜光照適應(yīng)性，可顯著降低在高反光和暗陰影區(qū)域的欠分割及過分割誤差，對導(dǎo)引路徑的識別率為98%。

視覺導(dǎo)引； 路徑提取； 圖像處理； 閾值分割； 光照色彩模型

引言

自動(dòng)導(dǎo)引車(Automated guided vehicle，AGV)是一種可沿指定路徑自動(dòng)行駛并在不同工位點(diǎn)之間進(jìn)行物料搬運(yùn)的移動(dòng)機(jī)器人，已廣泛應(yīng)用于汽車、電子、倉儲(chǔ)和食品等行業(yè)的生產(chǎn)物流輸送。相比于其它導(dǎo)引方式，視覺導(dǎo)引技術(shù)具有路徑布局柔性大、測量精度高、設(shè)置成本低等優(yōu)點(diǎn)[1-2]，然而機(jī)器視覺系統(tǒng)的識別性能易受復(fù)雜環(huán)境光照變化的影響[3-4]，在作業(yè)現(xiàn)場復(fù)雜多變的光照條件下實(shí)現(xiàn)機(jī)器視覺系統(tǒng)的穩(wěn)定可靠運(yùn)行，是提升視覺導(dǎo)引AGV復(fù)雜環(huán)境適應(yīng)性的關(guān)鍵技術(shù)。

針對復(fù)雜光照條件下的導(dǎo)引路徑圖像提取問題，李進(jìn)等[5]采用動(dòng)態(tài)閾值分割方法，具有較好的光照適應(yīng)性，然而該方法根據(jù)已知路徑寬度來確定圖像分割的閾值，無法適用于導(dǎo)引路徑污損導(dǎo)致寬度變化的情況。楊旭等[6]采用色度補(bǔ)償法解決高光問題，然而只適用于已知光照模型的視覺導(dǎo)引系統(tǒng)。蔡晉輝等[7]將復(fù)雜光照條件下的整幅圖像劃分為若干固定的子區(qū)域，通過子區(qū)域自適應(yīng)閾值分割提取路徑特征，然而其圖像分割效果并不太理想。袁挺等[8]采用基于色彩穩(wěn)定性分析的方法取得較好的路徑提取效果。此外，還有學(xué)者嘗試采用顏色恒常性、光照無關(guān)分量提取等方法解決復(fù)雜光照問題[9-10]，然而這些方法計(jì)算復(fù)雜度較高，無法滿足AGV視覺導(dǎo)引實(shí)時(shí)性的要求。在導(dǎo)引路徑視覺識別方面，常用方法有Hough變換法、最小均方差法、最小二乘法以及基于曲率角估計(jì)的擬合法等[11-17]。這些方法在理想光照環(huán)境下的導(dǎo)引精度較高，然而路徑識別精度對圖像分割錯(cuò)誤點(diǎn)較敏感，無法保證復(fù)雜光照條件下視覺導(dǎo)引的精確性與可靠性。

本文針對復(fù)雜光照環(huán)境，提出一種基于光照色彩模型的自適應(yīng)圖像照度分區(qū)閾值分割方法。首先根據(jù)光照色彩模型在導(dǎo)引路徑圖像中劃分不同照度區(qū)域，并對圖像的不同照度區(qū)域分別進(jìn)行圖像預(yù)處理，然后對不同照度圖像進(jìn)行自適應(yīng)閾值分割，從而實(shí)現(xiàn)具有光照適應(yīng)性的視覺導(dǎo)引路徑提取。

1 復(fù)雜光照下的路徑提取問題

1.1 復(fù)雜光照下的路徑圖像

本文研究的視覺導(dǎo)引AGV以水磨石地面上設(shè)置的藍(lán)色色帶作為導(dǎo)引路徑。在視覺導(dǎo)引AGV的運(yùn)行過程中，車載攝像機(jī)采集導(dǎo)引路徑圖像時(shí)需依靠視覺照明系統(tǒng)提供光照條件。而運(yùn)行環(huán)境中不同地點(diǎn)的光照條件可能不斷發(fā)生變化，并可能存在地面反光、強(qiáng)光照、暗陰影以及光照突變等各種復(fù)雜光照干擾現(xiàn)象，嚴(yán)重影響了車載攝像機(jī)所采集的導(dǎo)引路徑圖像質(zhì)量。例如，在不同地點(diǎn)、時(shí)間和照明光源(包括車載LED光源、室內(nèi)白熾燈和自然光)的環(huán)境中，車載攝像機(jī)采集的導(dǎo)引路徑圖像呈現(xiàn)不同的效果，如圖1所示。圖像的光照不均勻可以分為兩類：一類是因光照不足出現(xiàn)的圖像局部亮度值低，細(xì)節(jié)模糊無法辨認(rèn)，如圖1d所示的陰影區(qū)域。一類是物體表面發(fā)生反光，出現(xiàn)高光現(xiàn)象，導(dǎo)致圖像原始信息丟失且難以提取，如圖1c所示的高亮光區(qū)域。本文所研究的復(fù)雜光照條件就是指由高亮光與暗陰影的隨機(jī)出現(xiàn)而導(dǎo)致的圖像照度及其區(qū)域分布的不規(guī)則動(dòng)態(tài)變化。隨著不同地點(diǎn)、不同時(shí)刻的復(fù)雜光照動(dòng)態(tài)變化，地面背景與導(dǎo)引路徑的顏色特征發(fā)生顯著變化，路徑識別算法的精確性和可靠性受到很大影響。為了保證視覺導(dǎo)引系統(tǒng)的性能穩(wěn)定性，有必要對復(fù)雜光照條件下路徑提取問題進(jìn)行深入研究。

圖1 復(fù)雜光照條件下的導(dǎo)引路徑圖像Fig.1 Images of guide paths under complex illumination conditions

1.2 導(dǎo)引路徑提取方法

針對作為導(dǎo)引路徑的地面藍(lán)色色帶，AGV采用彩色模擬CCD攝像機(jī)獲取逐行倒相(Phase alternating line，PAL)制式的模擬信號，經(jīng)視頻解碼器解碼，輸出8位YCbCr格式的彩色圖像到圖像處理器，圖像分辨率為640像素×480像素。

為消除復(fù)雜光照動(dòng)態(tài)變化對導(dǎo)引路徑圖像質(zhì)量的影響，首先，研究光照照度與圖像亮度分量的關(guān)系，并通過統(tǒng)計(jì)復(fù)雜光照條件下的路徑圖像色彩分布建立光照色彩模型。其次，根據(jù)光照色彩模型確定圖像亮度分量Y(x,y)的2個(gè)閾值T1和T2，據(jù)此將導(dǎo)引路徑圖像劃分為低照度區(qū)域、高亮光區(qū)域和正常照度區(qū)域。再次，將低照度區(qū)域的圖像從YCbCr色彩空間轉(zhuǎn)換到RGB色彩空間，根據(jù)光照色彩模型選取標(biāo)準(zhǔn)照度所對應(yīng)的圖像亮度值并進(jìn)行圖像增強(qiáng)，再將其轉(zhuǎn)換至YCbCr色彩空間；在高亮光區(qū)域，根據(jù)光照色彩模型對藍(lán)色色度與紅色色度分量進(jìn)行差分運(yùn)算從而獲得色度差分圖像。最后，采用最大類間方差(Otsu)的閾值分割算法，分別提取低照度區(qū)域和高亮光區(qū)域的導(dǎo)引路徑；采用固定單閾值分割方法，提取正常照度區(qū)域的導(dǎo)引路徑，實(shí)現(xiàn)具有光照適應(yīng)性的圖像分區(qū)閾值分割方法，并同時(shí)兼顧了處理方法的時(shí)間復(fù)雜度。整個(gè)導(dǎo)引路徑提取方法的處理流程如圖2所示。

圖2 光照自適應(yīng)的導(dǎo)引路徑提取流程圖Fig.2 Flow chart of illumination-adaptive extraction for guide paths

2 基于光照色彩模型的圖像照度分區(qū)

2.1 光照照度與圖像亮度的關(guān)系

CCD攝像機(jī)成像過程中光電及信號轉(zhuǎn)換原理為

(1)

式中Qin——像素的理論電荷量

gz——光電轉(zhuǎn)換系數(shù)

Ee——感光元件表面的輻照度

t——曝光時(shí)間Y——圖像亮度分量

go——增益系數(shù)gs——系數(shù)

o——輸出直流偏置

σr——輸出隨機(jī)噪聲

由式(1)可得感光傳感器上的輻照度為

(2)

式中g(shù)v——模擬電路前端增益放大器的增益

gt——光電轉(zhuǎn)換系數(shù)與模擬電路增益的乘積，對于固定的成像系統(tǒng)，gt為定值

由于隨機(jī)噪聲不可知，故式(2)可進(jìn)一步改寫為

(3)

式中ov——根據(jù)gv變化的直流偏置

由于gt的計(jì)算相對復(fù)雜，當(dāng)成像系統(tǒng)確定，則gt為定值，因此在應(yīng)用中不需要計(jì)算出gt的值，所以定義傳感器的相對輻照度為

(4)

式(4)中第2項(xiàng)是噪聲項(xiàng)，相比于第1項(xiàng)其值較小，舍去第2項(xiàng)則式(4)可簡化為

(5)

由式(5)可知，傳感器的相對照度與圖像亮度值的關(guān)系僅與增益項(xiàng)和曝光時(shí)間有關(guān)。對于某一選定的CCD攝像機(jī)，其CCD增益和曝光時(shí)間是固定的，則傳感器的相對照度與圖像亮度值存在一定線性關(guān)系。秦莉等[18]通過標(biāo)定系統(tǒng)測得場景點(diǎn)實(shí)際照度值與傳感器上相對照度值間的關(guān)系。利用式(5)可計(jì)算出實(shí)際照度與圖像亮度之間關(guān)系為

(6)

其中，a、b為標(biāo)定系數(shù)，其值取決于發(fā)光表面與攝像機(jī)之間的距離。在實(shí)際應(yīng)用中，攝像機(jī)一般固定安裝，其到地面的距離保持不變，a、b均可看成固定值。

圖3 亮度分量與照度關(guān)系曲線Fig.3 Relationship curves between brightness and luminance

為驗(yàn)證上述理論，采用彩色模擬CCD攝像頭，通過采集不同照度條件下的路徑圖像，利用照度計(jì)測量光心位置實(shí)際照度值E，并計(jì)算圖像對應(yīng)光心位置處的亮度Y，圖3為3次重復(fù)實(shí)驗(yàn)的數(shù)據(jù)結(jié)果。實(shí)驗(yàn)過程中，照度條件為0～1 100 lx。由圖3可知，圖像亮度在50～255之間對應(yīng)的照度條件為0～900 lx，在此區(qū)間內(nèi)，圖像亮度與攝像機(jī)視野內(nèi)照度存在近似線性相關(guān)關(guān)系。因此，可利用圖像亮度分量對圖像照度進(jìn)行評定，研究圖像色彩隨圖像亮度變化而呈現(xiàn)不同特性，無需考慮成像系統(tǒng)中復(fù)雜的反射系數(shù)等因素。

2.2 光照色彩模型

在車載攝像機(jī)采集的YCbCr格式的導(dǎo)引路徑圖像中，藍(lán)色色帶與地面背景在藍(lán)色色度分量Cb上差異較大，且分量Cb對光照有一定的聚類特性，易于路徑提取，故直接在YCbCr色彩空間對路徑圖像進(jìn)行識別。YCbCr與RGB色彩空間的轉(zhuǎn)換公式為[19]

(7)

圖4 光照色彩模型Fig.4 Illumination color models

從理論上看，在YCbCr色彩空間中，藍(lán)色色度與紅色色度分量均具有一定的聚類特性，且與光照條件變化無關(guān)[20]，然而在現(xiàn)實(shí)中這種特性卻會(huì)受到光照影響。根據(jù)式(5)，光照照度與圖像亮度成一定線性關(guān)系，故這種影響可以量化地由圖像亮度來表征。隨著亮度分量Y的變化，色度分量的聚類特性會(huì)呈現(xiàn)一種非線性變化趨勢。

為研究復(fù)雜光照條件下圖像的色彩特性，采集不同光照條件下的路徑圖像300幅。在YCbCr色彩空間，針對每一幅圖像的地面背景和導(dǎo)引路徑部分，選取光照不均勻區(qū)域的像素點(diǎn)，分別統(tǒng)計(jì)其色度分量Cb和Cr與亮度分量Y的相關(guān)分布，結(jié)果如圖4所示，數(shù)據(jù)變化趨勢反映了色度分量與圖像亮度的相關(guān)程度。

由圖4所示的光照色彩模型可知，導(dǎo)引路徑的藍(lán)色色度分量值基本上大于地面背景，導(dǎo)引路徑的紅色色度分量值基本上小于地面背景；地面背景的藍(lán)色色度和紅色色度分量值基本處于110～140區(qū)間段；隨著圖像亮度變化，藍(lán)色色度和紅色色度分量呈現(xiàn)不同的變化趨勢，但仍存在一定的聚類特性。分析路徑圖像Y-Cb子空間分布圖可知，亮度在35～55區(qū)間段以及180～230區(qū)間段所對應(yīng)的照度條件下，導(dǎo)引路徑與地面背景的藍(lán)色色度分量值均較接近，不易于提取路徑特征；亮度在55～180區(qū)域段所對應(yīng)的照度條件下，導(dǎo)引路徑與地面背景的藍(lán)色色度分量值存在明顯差異。分析路徑圖像Y-Cr子空間分布圖可知，亮度大于145的區(qū)間段所對應(yīng)的照度條件下，導(dǎo)引路徑與地面背景的紅色色度分量值存在明顯的差異；亮度小于145的區(qū)間段所對應(yīng)的照度條件下，兩者的紅色色度分量值相近。因此，可將路徑圖像的亮度在35～55區(qū)間段所對應(yīng)的照度條件定義為低照度，將亮度在180～230區(qū)間段所對應(yīng)的照度條件定義為高亮光，將亮度在55～180區(qū)間段所對應(yīng)的照度條件定義為正常照度，從而將55和180兩個(gè)亮度作為各個(gè)照度區(qū)域劃分的閾值。

2.3 圖像照度分區(qū)

一幀圖像中可能包含有高亮光區(qū)域、低照度區(qū)域及正常照度區(qū)域，在不同區(qū)域，目標(biāo)圖像表達(dá)不一致，導(dǎo)致路徑無法完整提取，路徑視覺識別結(jié)果出現(xiàn)較大誤差。文獻(xiàn)[19]選取15像素×15像素固定大小的基本單元對不同照度的圖像進(jìn)行分區(qū)，但由于高亮光區(qū)域或低照度區(qū)域的大小及形狀隨機(jī)出現(xiàn)，按此方法劃分極易將不同照度的像素劃分為同一塊區(qū)域。針對此問題，本文提出一種基于光照色彩模型的自適應(yīng)圖像照度動(dòng)態(tài)分區(qū)方法，主要步驟如下：

(1)設(shè)置2個(gè)閾值T1、T2，根據(jù)光照色彩模型可知T1=55、T2=180。

(2)根據(jù)

(8)

(9)

式中Y(i,j)——像素點(diǎn)(i,j)處亮度分量

g(i,j)、h(i,j)——二值化后像素點(diǎn)(i,j)處灰度

對原始圖像的分量Y進(jìn)行2次閾值分割，輸出2幅圖像，然后分別對2幅圖像進(jìn)行如下處理。

(3)先對二值圖像做一次10像素×10像素的開運(yùn)算，消除較小的非目標(biāo)連通區(qū)域，再進(jìn)行連通區(qū)域檢測。

圖5為復(fù)雜光照條件下導(dǎo)引路徑圖像的自適應(yīng)照度動(dòng)態(tài)分區(qū)的實(shí)驗(yàn)結(jié)果。圖5a為含有高亮光的導(dǎo)引路徑圖像，經(jīng)過閾值分割和連通區(qū)域檢測得到如圖5d所示的高亮光區(qū)域。圖5e為含有暗陰影的導(dǎo)引路徑圖像，圖5h為處理得到的低照度區(qū)域。

圖5 圖像分區(qū)結(jié)果Fig.5 Results of image partitioning

3 分區(qū)圖像自適應(yīng)閾值分割

3.1 正常照度區(qū)域

圖像二值化的常用方法包括迭代最優(yōu)閾值、最大類間方差(Otsu)、固定單閾值及固定多閾值分割方法等?；?.2節(jié)對復(fù)雜光照條件下光照色彩模型的分析，本文采用分區(qū)圖像自適應(yīng)閾值分割方法。對于正常照度區(qū)域，導(dǎo)引路徑與地面背景的藍(lán)色色度分量值存在較大差異。導(dǎo)引路徑的藍(lán)色色度分量值在160以上，而地面背景的藍(lán)色色度分量值保持在140以下，適合采用固定單閾值分割方法，閾值Tmid在145～155之間分割效果均較佳。本文設(shè)定Tmid=148，固定單閾值分割為

(10)

式中Cb(i,j)——像素點(diǎn)(i,j)處藍(lán)色色度

G(i,j)——二值化結(jié)果

3.2 低照度區(qū)域

在圖4所示的光照色彩模型中，對于由于陰影或照度低而導(dǎo)致的低照度區(qū)域，導(dǎo)引路徑與地面背景無論是藍(lán)色色度分量還是紅色色度分量都較為接近，難以正常提取圖像中的導(dǎo)引路徑。為此，首先對低照度區(qū)域進(jìn)行圖像增強(qiáng)處理，然后采用最大類間方差(Otsu)法對增強(qiáng)后的圖像區(qū)域進(jìn)行閾值分割。圖像增強(qiáng)的目標(biāo)是將低照度下質(zhì)量較差的失真圖像恢復(fù)到標(biāo)準(zhǔn)照度條件下的正常圖像，因此選取合適的標(biāo)準(zhǔn)照度，是保證通過圖像增強(qiáng)有效恢復(fù)路徑信息的關(guān)鍵。

具體的圖像增強(qiáng)方法為：首先利用式(7)將低照度區(qū)域圖像從YCbCr色彩空間轉(zhuǎn)換至RGB色彩空間；再根據(jù)實(shí)際照度分布與標(biāo)準(zhǔn)照度的比例關(guān)系，分別從R、G、B3個(gè)通道對低照度像素點(diǎn)的色彩分量進(jìn)行相應(yīng)比例的放大增強(qiáng)，公式為

IZ(i,j)=I(i,j)Kexp(-Y(i,j)/Ymid)

(11)

式中I(i,j)——原始圖像中像素點(diǎn)(i,j)處R、G、B3個(gè)分量中的某一分量

IZ(i,j)——圖像增強(qiáng)后像素點(diǎn)(i,j)處的相應(yīng)R、G、B分量

K——增強(qiáng)比例系數(shù)

Ymid——選取的標(biāo)準(zhǔn)照度

以圖6a為例，先將圖像轉(zhuǎn)換至RGB色彩空間，采用式(11)對低照度圖像進(jìn)行增強(qiáng)，實(shí)驗(yàn)結(jié)果如圖6b所示。圖像增強(qiáng)后存在散點(diǎn)噪聲，對圖像閾值分割的影響較大，再進(jìn)行一次3像素×3像素的中值濾波處理，降低噪聲干擾，實(shí)驗(yàn)結(jié)果對比如圖6c、6d所示。其次在YCbCr空間，采用Otsu閾值分割算法分別對原始低照度圖像和增強(qiáng)后圖像進(jìn)行二值化，實(shí)驗(yàn)結(jié)果對比如圖6e、6f所示。最后對圖1d所示的整幅導(dǎo)引路徑圖像分區(qū)并進(jìn)行增強(qiáng)處理，實(shí)驗(yàn)結(jié)果如圖7所示?？梢?，基于光照色彩模型的自適應(yīng)閾值分割方法在低照度區(qū)域可獲得良好的路徑提取結(jié)果。

圖6 低照度區(qū)域預(yù)處理結(jié)果Fig.6 Preprocessing results of low illumination regions

圖7 整幅圖像預(yù)處理結(jié)果Fig.7 Preprocessing results of a whole image

3.3 高亮光區(qū)域

高光反射現(xiàn)象描述了被拍攝物體表面的光學(xué)特性，在圖像中高亮光表現(xiàn)為像素的亮度分量值高，致使物體顏色改變、輪廓失真，進(jìn)而給視覺識別帶來困難。然而，不同材質(zhì)物體表面的高光會(huì)表現(xiàn)不同特性，目前并沒有一種能夠有效處理各種材質(zhì)表面高光的統(tǒng)一算法。由圖4所示的光照色彩模型可知，高亮光區(qū)域中的導(dǎo)引路徑與地面背景在藍(lán)色色度分量上區(qū)分不明顯，主要是由于導(dǎo)引路徑的藍(lán)色色度分量在高亮光區(qū)域迅速下降。然而，導(dǎo)引路徑的紅色色度分量在高亮光區(qū)域也有下降趨勢，藍(lán)色色度與紅色色度分量之差在高亮光區(qū)域相對穩(wěn)定。如果將高亮度光照視為一種同時(shí)影響色度分量Cb和Cr的共模干擾，則通過對色度分量Cb和Cr進(jìn)行差分運(yùn)算可有效抑制這種共模干擾。因此，對高亮光區(qū)域進(jìn)行色度差分運(yùn)算，將YCbCr色彩空間的圖像轉(zhuǎn)換到差分YCbCr色彩空間，公式為

ΔS(i,j)=Cb(i,j)-Cr(i,j)

(12)

式中 ΔS(i,j)——原始圖像的藍(lán)色色度與紅色色度分量的差分分量

Cr(i,j)——原始圖像的紅色色度分量

針對不同光照條件下采集的300幅路徑圖像，在差分YCbCr色彩空間，統(tǒng)計(jì)差分色度分量ΔS(i,j)與亮度分量Y的相關(guān)分布，如圖8所示?？梢姡瑢?dǎo)引路徑與地面背景在差分色度分量上具有明顯的差異，易于區(qū)分。因此，可在差分YCbCr色彩空間對導(dǎo)引路徑圖像采用Otsu閾值分割算法，提取高亮光區(qū)域的路徑信息。

以圖9a為例，利用式(12)求其差分色度圖像。圖9b、9c分別為路徑圖像在Cb子空間和差分色度空間的分布情況，采用Otsu閾值分割算法分別對藍(lán)色色度分量和差分色度分量進(jìn)行二值化處理，結(jié)果分別如圖9d、9e所示。對比分割效果可知，基于差分YCbCr色彩空間的自適應(yīng)閾值分割方法在高亮光區(qū)域獲得了良好的路徑提取結(jié)果。

圖8 光照差分色度模型Fig.8 Model of differential chromaticity with respect to illumination

圖9 高亮光區(qū)域預(yù)處理結(jié)果Fig.9 Preprocessing results of high illumination regions

4 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證本文所提方法的有效性，利用視覺導(dǎo)引AGV前置傾斜安裝的彩色模擬CCD攝像機(jī)，在各種復(fù)雜光照條件下，采集路徑圖像150幅作為實(shí)驗(yàn)樣本。根據(jù)光照條件分為3類：低照度圖像，高亮光圖像，兼有低照度及高亮光區(qū)域的圖像，每類光照條件包括50幅樣本圖像，圖像分辨率為640像素×480像素。在Matlab實(shí)驗(yàn)平臺上進(jìn)行圖像處理，分別采用固定單閾值分割、最大類間方差(Otsu)閾值分割以及本文的自適應(yīng)圖像照度分區(qū)閾值分割方法，從3類樣本圖像中提取導(dǎo)引路徑并生成二值化結(jié)果，再選取3類具有典型光照條件的路徑圖像進(jìn)行對比分析，圖像處理結(jié)果如圖10所示。上述3種方法進(jìn)行圖像分割的閾值以及從圖像背景中提取導(dǎo)引路徑的目標(biāo)像素等實(shí)驗(yàn)數(shù)據(jù)如表1所示。

圖10 路徑提取對比實(shí)驗(yàn)Fig.10 Experimental comparisons of path extraction

圖10a為帶陰影的路徑圖像，窗戶邊框的投影橫穿導(dǎo)引路徑，然而陰影區(qū)域的照度不是很低。此時(shí)，Otsu閾值分割和固定閾值分割均能取得較好的路徑提取效果。固定閾值分割的算法實(shí)時(shí)性較高，且其閾值具有一定的魯棒性，根據(jù)光照色彩模型確定的分割閾值為148，即使圖10b采用閾值160具有一定的偏差，然而在正常照度區(qū)域仍然可取得較好的路徑提取效果。表1中數(shù)據(jù)也顯示出這3種方法所提取導(dǎo)引路徑的目標(biāo)像素?cái)?shù)大致相同。

圖10e為帶高亮光的路徑圖像，透過窗戶的強(qiáng)烈陽光照射在導(dǎo)引路徑上，部分導(dǎo)引路徑上的光照強(qiáng)度非常大，高亮光區(qū)域的路徑圖像嚴(yán)重丟失原有的色彩信息。此時(shí)，固定閾值分割方法所提取的導(dǎo)引路徑上方存在明顯的圖像缺失，如圖10f所示。Otsu閾值分割方法雖然能從高亮光區(qū)域提取很細(xì)的導(dǎo)引路徑，但其寬度明顯小于正常路徑寬度，且導(dǎo)引路徑右側(cè)出現(xiàn)多條很細(xì)的疑似路徑干擾，如圖10g所示。只有本文的自適應(yīng)圖像照度分區(qū)閾值分割方法既能從高亮光區(qū)域提取正常寬度的導(dǎo)引路徑，又能避免導(dǎo)引路徑右側(cè)的條形高光區(qū)域所產(chǎn)生的疑似路徑干擾，如圖10h所示。表1中數(shù)據(jù)顯示：固定閾值分割方法所提取導(dǎo)引路徑的目標(biāo)像素?cái)?shù)少于后兩種方法，Otsu閾值分割方法所提取的目標(biāo)像素?cái)?shù)略多于本文方法，因?yàn)樗鼘?dǎo)引路徑右側(cè)的條形高光區(qū)域也誤識別為導(dǎo)引路徑。

表1 圖像分割實(shí)驗(yàn)數(shù)據(jù)Tab.1 Experimental data for image segmentation

圖10i為帶暗陰影的路徑圖像，導(dǎo)引路徑處于環(huán)境物體的黑暗陰影中，暗陰影區(qū)域的路徑圖像細(xì)節(jié)模糊無法辨認(rèn)。此時(shí)，單閾值分割和Otsu閾值分割方法所提取的導(dǎo)引路徑下方存在大部分的圖像缺失，如圖10j、10k所示。只有本文的自適應(yīng)圖像照度分區(qū)閾值分割方法能從暗陰影區(qū)域成功提取導(dǎo)引路徑，僅存在很小的圖像缺失，如圖10l所示。表1中數(shù)據(jù)顯示：本文方法所提取導(dǎo)引路徑的目標(biāo)像素?cái)?shù)明顯多于前兩種方法，有效克服了暗陰影對路徑識別的不利影響。

為進(jìn)一步評價(jià)本文所提方法的路徑提取效果，現(xiàn)定義兩種圖像分割的誤差率：一種是將圖像中路徑像素誤識別為背景像素的欠分割誤差率F-，另一種是將圖像中背景像素誤識別為路徑像素的過分割誤差率F+。設(shè)圖像背景像素總數(shù)為Nb，真實(shí)路徑的像素?cái)?shù)量為Np，將路徑像素誤識別為背景像素的數(shù)量為Nle，將背景像素誤識別為路徑像素的數(shù)量為Nte，則兩種分割誤差率為

(13)

(14)

在每幅圖像中，設(shè)路徑提取方法識別的路徑像素?cái)?shù)量為Nld，則每幅圖像中導(dǎo)引路徑的像素識別率為

(15)

根據(jù)光照條件將采集的150幅路徑圖像分為低照度、高亮光、兼有低照度及高亮光3組。一方面，針對每組50幅圖像，利用本文的自適應(yīng)圖像照度分區(qū)閾值分割方法提取導(dǎo)引路徑的二值化結(jié)果，再對照真實(shí)路徑像素統(tǒng)計(jì)閾值分割出現(xiàn)錯(cuò)誤的像素?cái)?shù)，并針對識別錯(cuò)誤的類型計(jì)算上述定義的兩種分割誤差率，統(tǒng)計(jì)結(jié)果如表2所示。另一方面，針對每組50幅圖像(Mt=50)，統(tǒng)計(jì)路徑像素識別率大于96%的圖像數(shù)量Mp，則每組圖像中導(dǎo)引路徑的圖像識別率為

ηg=×100% (16)

由表2可知，本文的路徑提取方法仍然具有一定的識別誤差。針對低照度條件的50幅圖像，僅有1.82%的欠分割誤差率，所有圖像都能達(dá)到96%的路徑像素識別率。針對高亮光條件的50幅圖像，同時(shí)有1.54%的欠分割誤差率和2.20%的過分割誤差率，98%的圖像能達(dá)到96%的路徑像素識別率。針對兼有低照度及高亮光條件的50幅圖像，同時(shí)有2.13%的欠分割誤差率和2.10%的過分割誤差率，98%的圖像能達(dá)到96%的路徑像素識別率。識別誤差仍然存在的原因?yàn)椋涵h(huán)境光照的方向和強(qiáng)弱變化在導(dǎo)引路徑的周圍形成的陰影過暗或強(qiáng)光反射過強(qiáng)，導(dǎo)致路徑圖像細(xì)節(jié)模糊或輪廓邊緣完全改變，在圖像增強(qiáng)或色度差分過程中無法完全恢復(fù)原有的路徑信息，不可避免地存在欠分割及過分割誤差。然而，后續(xù)的路徑識別方法在擬合導(dǎo)引路徑時(shí)還可以進(jìn)一步消除分割錯(cuò)誤點(diǎn)，針對上述150幅實(shí)驗(yàn)樣本，本文的路徑提取方法可達(dá)98%的路徑識別率，這將為后續(xù)的路徑擬合提供足夠的精度。

5 結(jié)束語

為解決復(fù)雜光照條件下視覺導(dǎo)引路徑的精確提取問題，提出了一種基于光照色彩模型的自適應(yīng)圖像照度分區(qū)閾值分割方法。研究了光照照度與圖像亮度的關(guān)系，并在YCBCr色彩空間建立了復(fù)雜光照條件下導(dǎo)引路徑圖像光照色彩模型。根據(jù)此模型將圖像劃分為不同照度區(qū)域：針對正常照度區(qū)域，采用固定單閾值分割算法能高效精確提取路徑信息；針對低照度區(qū)域，先在RGB色彩空間采用圖像增強(qiáng)算法以還原路徑色彩信息，然后將增強(qiáng)后的圖像區(qū)域轉(zhuǎn)換至YCbCr色彩空間；針對高亮光區(qū)域，對圖像進(jìn)行色度差分運(yùn)算以抑制共模照度干擾；再采用Otsu閾值分割算法分別提取高亮光區(qū)域和低照度區(qū)域的路徑信息。大量實(shí)驗(yàn)結(jié)果表明，在光照環(huán)境中同時(shí)存在高反光和暗陰影的運(yùn)行路面，本文提出的路徑提取方法具有較強(qiáng)的復(fù)雜光照適應(yīng)性，對導(dǎo)引路徑的識別率為98%。

1 MILJKOVIC Z, VUKOVIC N, MITIC M, et al.New hybrid vision-based control approach for automated guided vehicles[J].The International Journal of Advanced Manufacturing Technology, 2013, 66(1-4): 231-249.

2 WU Xing, LOU Peihuang, YU Jun, et al.Intersection recognition and guide-path selection for a vision-based AGV in a bidirectional flow network[J].International Journal of Advanced Robotic Systems, 2014, 11(39): 1-17.

3 CHOI H C, OH S Y．Illumination invariant lane color recognition by using road color reference and neural networks[C]∥The 2010 International Joint Conference on Neural Networks(IJCNN), 2010: 18-23.

4 YI S K, HARALICK R M, SHAPIRO L G.Optimal sensor and light source positioning for machine vision[J].Computer Vision and Image Understanding, 1995, 61(1): 122-137.

5 李進(jìn), 陳杰平, 徐朝勝, 等.基于動(dòng)態(tài)圖像閾值的智能車輛路徑導(dǎo)航[J/OL].農(nóng)業(yè)機(jī)械學(xué)報(bào), 2013, 44(4): 39-44.http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=20130407&flag=1&journal_id=jcsam.DOI:10.6041/j.issn.1000-1298.2013.04.007.

LI Jin, CHEN Jieping, XU Chaosheng, et al.Path tracking of intelligent vehicle based on dynamic image threshold [J/OL].Transactions of the Chinese Society for Agricultural Machinery, 2013, 44(4):39-44.(in Chinese)

6 楊旭, 樓佩煌, 武星, 等.基于光照約束的AGV視覺導(dǎo)引非均勻光照增強(qiáng)方法[J].機(jī)械科學(xué)與技術(shù), 2013, 32(12): 1752-1757.

YANG Xu, LOU Peihuang, WU Xing, et al.A method for enhancing non-uniform illumination of vision-guided automatic guided vehicle with illumination constraints[J].Mechanical Science and Technology for Aerospace Engineering, 2013, 32(12): 1752-1757.(in Chinese)

7 蔡晉輝, 才輝, 張光新, 等.復(fù)雜環(huán)境下自動(dòng)導(dǎo)引車路徑識別算法[J].農(nóng)業(yè)機(jī)械學(xué)報(bào), 2011, 42(10): 20-24.

CAI Jinhui，CAI Hui，ZHANG Guangxin, et al.Guidance line identification algorithm for AGV in complex environment [J].Transactions of the Chinese Society for Agricultural Machinery, 2011, 42(10): 20-24.(in Chinese)

8 袁挺, 任永新, 李偉, 等.基于光照色彩穩(wěn)定性分析的溫室機(jī)器人導(dǎo)航信息獲取[J/OL].農(nóng)業(yè)機(jī)械學(xué)報(bào), 2012, 43(10):161-166.http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=20121029&flag=1.DOI:10.6041 /j.issn.1000-1298.2012.10.029.

YUAN Ting，REN Yongxin，LI Wei, et al．Navigation information acquisition based on illumination chromaticity stability analysis for greenhouse robot[J/OL].Transactions of the Chinese Society for Agricultural Machinery, 2012, 43(10): 161-166.(in Chinese)

9 安秋, 李志臣, 姬長英, 等.基于光照無關(guān)圖的農(nóng)業(yè)機(jī)器人視覺導(dǎo)航算法[J].農(nóng)業(yè)工程學(xué)報(bào), 2009, 25(11): 208-212.

AN Qiu, LI Zhichen, JI Changying, et al.Agricultural robot vision navigation algorithm based on illumination invariant image[J].Transactions of the CSAE, 2009, 25(11): 208-212.(in Chinese)

10 FINLAYSON G D, HORDLEY S, LU C, et al.On the removal of shadows from images[J].IEEE Trans.on Pattern Analysis and Machine Intelligence, 2006, 28(1): 59-68.

11 王新忠, 韓旭, 毛罕平,等.基于最小二乘法的溫室番茄壟間視覺導(dǎo)航路徑檢測[J/OL].農(nóng)業(yè)機(jī)械學(xué)報(bào), 2012, 43(6): 161-166.http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=20120629&flag=1&journal_id=jcsam.DOI:10.6041/j.issn.1000-1298.2012.06.029.

WANG Xinzhong, HAN Xu, MAO Hanping, et al.Navigation line detection of tomato ridges in greenhouse based on least square method[J/OL].Transactions of the Chinese Society for Agricultural Machinery, 2012, 43(6): 161-166.(in Chinese)

12 ILLINGWORTH J, KITTLER J.A survey of the Hough transform[J].Computer Vision, Graphics and Images Processing, 1988, 44(1): 87-116.

13 KUANG P, ZHU Q X, LIU G C．Real-time road lane recognition using fuzzy reasoning for AGV vision system[C]∥Int.Conf.on Communications Circuits and Systems, IEEE, 2004, 2: 989-993．

14 GONG J W, WANG A S, ZHAI Y．High speed lane recognition under complex road conditions[C]∥2008 IEEE Intelligent Vehicles Symposium, 2008: 566-570.

15 武星, 沈偉良, 樓佩煌, 等.視覺導(dǎo)引AGV魯棒特征識別與精確路徑跟蹤研究[J/OL].農(nóng)業(yè)機(jī)械學(xué)報(bào), 2016, 47(7): 48-56.http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=20160708&flag=1.DOI:10.6041/j.issn.1000-1298.2016.07.008.

WU Xing, SHEN Weiliang, LOU Peihuang, et al.Robust feature recognition and precise path tracking for vision-guided AGV[J/OL].Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(7): 48-56.(in Chinese)

16 喻俊, 樓佩煌, 錢曉明,等.自動(dòng)導(dǎo)引車視覺導(dǎo)引路徑的識別及精確測量[J].華南理工大學(xué)學(xué)報(bào):自然科學(xué)版, 2012, 40(3): 143-149.

YU Jun, LOU Peihuang, QIAN Xiaoming, et al.Recognition and accurate measurement of vision-guided path of automatic guided vehicle[J].Journal of South China University of Technology: Natural Science Edition, 2012, 40(3): 143-149.(in Chinese)

17 CHEN G H, ZHOU W, WANG F J, et al.Lane detection based on improved canny detector and least square fitting[J].Advanced Materials Research, 2013, 765-767: 2383-2387.

18 秦莉, 董麗麗, 許文海, 等.CCD圖像灰度與照度的轉(zhuǎn)換標(biāo)定方法[J].儀器儀表學(xué)報(bào), 2015, 36(3): 639-644.

QIN Li, DONG Lili，XU Wenhai, et al.Method for conversion calibration between CCD image gray value and illumination[J].Chinese Journal of Scientific Instrument, 2015, 36(3): 639-644.(in Chinese)

19 LIN C.Face detection in complicated backgrounds and different illumination conditions by using YCbCr color[J].Pattern Recognition Letters, 2007, 28(16): 2190-2200.

20 孟慶寬, 張漫, 楊耿煌,等.自然光照下基于粒子群算法的農(nóng)業(yè)機(jī)械導(dǎo)航路徑識別[J/OL].農(nóng)業(yè)機(jī)械學(xué)報(bào), 2016, 47(6):11-20.http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=20160602&flag=1.DOI:10.6041/j.issn.1000-1298.2016.06.002.

MENG Qingkuan，ZHANG Man，YANG Genghuang, et al.Guidance line recognition of agricultural machinery based on particle swarm optimization under natural illumination[J/OL].Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(6):11-20.(in Chinese)

PathExtractionMethodofVision-guidedAGVunderComplexIlluminationConditions

WU Xing ZHANG Ying LI Linhui LOU Peihuang HE Zhen

(CollegeofMechanicalandElectricalEngineering,NanjingUniversityofAeronauticsandAstronautics,Nanjing210016,China)

An adaptive image illumination partitioning and threshold segmentation approach based on a model of illumination and color was proposed for path extraction in the field of view for a vision-guided AGV under complex illumination conditions.Firstly, the relation between light illumination and image brightness was analyzed, and the correlation model of illumination and color was built by measuring color distribution with respect to different illuminations in images under complex illumination conditions.Secondly, the image of a guide path was partitioned into different illumination regions according to the model of illumination and color.Then the image of low-illumination region was enhanced in the space of RGB color to retrieve the color information of the guide path, and the image of high-illumination region was processed by differentiating chrominance components ofCbandCrto suppress the common-mode luminance interference.Finally, an adaptive threshold segmentation method was performed for different illumination regions.A large number of experimental results showed that this path extraction approach had high adaptability to complex illumination when recognizing the guide path in the vision field with both high-reflective and dark-shadow regions caused by the environment illumination, and it achieved the recognition accuracy of 98% owing to decreasing the errors of under-segmentation and over-segmentation in high-reflective and dark-shadow regions significantly.

vision guidance; path extraction; image processing; threshold segmentation; illumination color model

10.6041/j.issn.1000-1298.2017.10.002

TP242

A

1000-1298(2017)10-0015-10

2017-02-27

2017-04-01

國家自然科學(xué)基金項(xiàng)目(61105114)、中國博士后科學(xué)基金項(xiàng)目(2015M580421)、江蘇省科技支撐計(jì)劃項(xiàng)目(BE2014137)、江蘇省博士后科研計(jì)劃項(xiàng)目(1501103C)、江蘇省產(chǎn)學(xué)研前瞻性聯(lián)合研究項(xiàng)目(BY2015003-11)和中央高?；究蒲袠I(yè)務(wù)費(fèi)項(xiàng)目(NS2016050)

武星(1982—)，男，副教授，主要從事移動(dòng)機(jī)器人導(dǎo)航控制和計(jì)算機(jī)視覺研究，E-mail: wustar5353@nuaa.edu.cn