王亞東,雷國華,安 波,于燕飛,許憲東
(黑龍江工程學(xué)院 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,黑龍江 哈爾濱150050)
環(huán)境感知是仿人機(jī)器人系統(tǒng)進(jìn)行決策的前提和基礎(chǔ)。不同于傳統(tǒng)的輪式機(jī)器人所具有的超聲傳感器、激光測距儀、視覺傳感器等多種傳感器。在當(dāng)前的仿人機(jī)器人足球比賽中,通常只具有單目或雙目視覺傳感器。目前仿人足球機(jī)器人視覺系統(tǒng)的主要難題集中在以下兩個(gè)方面:一方面是圖像的彩色分割,常用的是閾值法和查找表法。比賽環(huán)境通常是一個(gè)已知的結(jié)構(gòu)化環(huán)境,所有待識(shí)別的目標(biāo)都用規(guī)范化顏色標(biāo)識(shí),因此,研究較多的是基于顏色特征來分割圖像,應(yīng)用比較多的有RGB、YUV和HIS三種顏色模型[1-4]。另一方面要對物體根據(jù)各自的特征進(jìn)行識(shí)別,在足球機(jī)器人比賽環(huán)境中,場地內(nèi)的球門、球、標(biāo)識(shí)柱、場地線以及雙方機(jī)器人是需要識(shí)別的特征。在仿人機(jī)器人競賽中,機(jī)器人一般以固定的時(shí)間間隔拍照,對所獲得圖像序列進(jìn)行處理,獲得周邊的環(huán)境信息,如球、機(jī)器人和門框等,進(jìn)而根據(jù)所獲得的球的顏色或其它信息進(jìn)行運(yùn)動(dòng)決策。但是,由于機(jī)器人攝像頭所觀察的區(qū)域不能覆蓋前方整個(gè)比賽區(qū)域,造成機(jī)器人無法獲得正確決策所需的信息。因此,在機(jī)器人比賽中,如何獲得完整的前方信息是關(guān)鍵。由于在一定點(diǎn)所獲圖像一般只是其前方一部分區(qū)域,但是機(jī)器人在該點(diǎn)可以左右轉(zhuǎn)動(dòng)頭部,獲得兩側(cè)的信息,顯然這些照片通常是有交叉的,本文提出通過圖像拼接技術(shù)獲得完整的前方圖像。
圖像拼接技術(shù)就是將多張有重疊的圖像拼合成一個(gè)大的圖像的技術(shù)[5-7]。其基本思想是找到2幅圖像的重疊部分,通過去除重疊區(qū)域拼接成1幅圖像。圖像拼接??梢苑殖蓤D像配準(zhǔn)和圖像融合。配準(zhǔn)的目的是根據(jù)幾何運(yùn)動(dòng)模型,將圖像注冊到同一個(gè)坐標(biāo)系中。融合則是將配準(zhǔn)后的圖像合成為1張大的拼接圖像。目前應(yīng)用比較多的是基于特征的圖像匹配方法。基于特征的方法實(shí)現(xiàn)過程大致要經(jīng)過特征查找、匹配和運(yùn)動(dòng)關(guān)系求解3個(gè)過程。其主要有基于Harris特征檢測器、尺度不變特征檢測(SIFT)算法等。
本文提出基于圖像拼接技術(shù)的仿人機(jī)器人賽場環(huán)境特征提取方法,其基本流程如圖1所示。
圖1 算法流程
Lowe[8]總結(jié)了現(xiàn)有的基于不變量技術(shù)的特征檢測方法,提出了SIFT算子,SIFT特征匹配算法包括SIFT特征的生成(從多幅待匹配圖像中提取出對尺度縮放、旋轉(zhuǎn)、亮度變化無關(guān)的特征向量)和SIFT特征向量的匹配2個(gè)階段。本文采用SIFT算子進(jìn)行拼接,基本過程如下:提取機(jī)器人A所獲得的圖像A與機(jī)器人B所獲得的圖像B的SIFT特征,生成SIFT特征,描述其特征檢測基本思想:尺度空間極值檢測,以初步確定關(guān)鍵點(diǎn)位置和所在尺度。1幅圖像在不同尺度下的尺度空間定義為圖像I(x,y)與高斯核G(x,y,σ)的卷積:
其中:L為圖像的尺度空間,(x,y)為圖像的像素坐標(biāo),σ為尺度坐標(biāo)。在圖像二維平面空間和DoG尺度空間中同時(shí)檢測局部極值作為特征點(diǎn),從而使特征具備良好的獨(dú)特性和穩(wěn)定性。DoG算子定義為兩個(gè)不同尺度的高斯核的差分,是歸一化LoG(Laplacian-of-Gaussian)算子的近似。DoG 算子表示為
即在圖像尺度空間內(nèi)遍歷所有的點(diǎn),并且判斷其與鄰域內(nèi)點(diǎn)的大小關(guān)系,如果該點(diǎn)的值大于或小于鄰域所有點(diǎn)的值,則該點(diǎn)為候選特征點(diǎn)。通過擬和三維二次函數(shù)以精確確定關(guān)鍵點(diǎn)的位置和尺度,同時(shí)去除低對比度的關(guān)鍵點(diǎn)和不穩(wěn)定的邊緣響應(yīng)點(diǎn)(因?yàn)镈oG算子會(huì)產(chǎn)生較強(qiáng)的邊緣響應(yīng)),以增強(qiáng)匹配穩(wěn)定性、提高抗噪聲能力。
所謂的特征點(diǎn)匹配本質(zhì)上是一個(gè)通過距離函數(shù)(如歐式距離)在高維矢量之間進(jìn)行相似性檢索的問題。最近鄰搜索的基本原理:給定一個(gè)多維空間R,R中的一個(gè)向量為一個(gè)樣本點(diǎn)。R中樣本點(diǎn)所構(gòu)成的有限集合稱為樣本集。對于給定樣本集E以及一個(gè)樣本點(diǎn)d,d′為d的最近鄰點(diǎn)是指對于任何樣本點(diǎn)d′∈E滿足:
式中:di是向量d的第i個(gè)分量。
具體過程如下:對參考圖像A的SIFT特征點(diǎn)建立K-D樹。對待配圖像B的每個(gè)SIFT特征點(diǎn)feather_node,采用最鄰近點(diǎn)搜索算法找到最鄰近點(diǎn)feather_node1和次鄰近點(diǎn)feather_node2。采用近似最近鄰優(yōu)先搜索進(jìn)行搜索匹配,通過計(jì)算feather_node與feather_node1和feather_node2的距離進(jìn)行匹配。
基于K維樹的SIFT特征點(diǎn)的匹配算法:
輸入:圖像1的128維向量SIFT特征點(diǎn)集合
圖像2的128維向量SIFT特征點(diǎn)集合
輸出:匹配的SIFT特征點(diǎn)對的匹配鏈表
1)構(gòu)建K維樹;
2)初始化匹配鏈表為空;
3)對在圖像2特征點(diǎn)中的每一個(gè)SIFT特征點(diǎn)
調(diào)用最近鄰優(yōu)先搜索進(jìn)行查找匹配點(diǎn)
返回最鄰近點(diǎn)feather_node1和次鄰近點(diǎn)feather_node2
Then
將(feather_node1,feather_node)添加到匹配鏈表
由上述方法得到的匹配點(diǎn)有誤差點(diǎn)的存在,可稱之為偽匹配點(diǎn)。
隨機(jī)采樣一致(Random Sample Consensus,RANSAC)算法[9],是一種從樣本中準(zhǔn)確擬合數(shù)學(xué)模型的算法,包括去除噪聲點(diǎn)(外點(diǎn))和留下有效值。該算法假設(shè)符合數(shù)學(xué)模型的數(shù)據(jù)點(diǎn)是內(nèi)點(diǎn),不符合的是外點(diǎn)。采用RANSAC剔除誤點(diǎn)的過程如下:
1)隨機(jī)從3種得到的偽匹配點(diǎn)中選擇4對匹配點(diǎn),計(jì)算變換矩陣H;
2)計(jì)算每對偽匹配點(diǎn)與H的距離d;
3)設(shè)定距離閾值,若內(nèi)點(diǎn)距離小于閾值T,則為內(nèi)點(diǎn),并在內(nèi)點(diǎn)域上重新估計(jì)H;
4)重復(fù)以上隨機(jī)采樣n次,直到獲得最大的內(nèi)點(diǎn)集合;依此集合估計(jì)拼接所需圖像變換矩陣。
確定圖像的拼接位置之后,簡單地疊加處理會(huì)造成在圖像疊加區(qū)域出現(xiàn)與周圍明顯的區(qū)別。因此,這里采用雙線性插值方法對圖像進(jìn)行進(jìn)一步的融合處理。
迄今有許多邊緣檢測算法,如Laplace算法、Sobel算法、Robert算法、LOG算法以及Canny算法等。Canny算子具有很好的邊緣檢測性能,其具有信噪比大和檢測精度高的優(yōu)點(diǎn),被廣泛應(yīng)用,因此,本文選用Canny算法[10]提取邊緣。
采用Canny算子邊緣檢測的基本步驟如下:
1)采用高斯濾波器對圖像進(jìn)行平滑處理。
2)計(jì)算圖像的梯度和方向。
3)采用非極大值抑制,獲得細(xì)化邊緣。
4)通過雙閾值算法檢測和連接邊緣。
實(shí)驗(yàn)中采用小型仿人機(jī)器人MOS2007,其所攜帶的攝像頭功能有限,采用單目攝像頭,能夠觀察的范圍較小,在實(shí)際的比賽中,很難準(zhǔn)確地獲得環(huán)境信息,從而識(shí)別定位目標(biāo)球與守門員。實(shí)驗(yàn)中機(jī)器人決策前在球門前方獲取環(huán)境圖,再將頭部攝像頭旋轉(zhuǎn)30°后獲得另一幅圖。實(shí)驗(yàn)結(jié)果如圖2~6所示,其中圖2和圖3為所獲原始圖像,圖4為提取圖像匹配特征點(diǎn)示意圖,圖5和圖6為拼接后圖像及進(jìn)行Canny特征提取后效果。
圖6 Canny處理后圖像
可以看出,采用基于SIFT的圖像拼接方法可以較好地獲得環(huán)境圖像的特征,而Canny算法能夠較好地獲得賽場環(huán)境(球門,跑道)的直線特征,相對于傳統(tǒng)的單一通過顏色方法進(jìn)行目標(biāo)識(shí)別要更為直觀和準(zhǔn)確。這種方法的缺點(diǎn)是SIFT特征點(diǎn)的提取與處理要花費(fèi)較多的時(shí)間,且如果賽場環(huán)境較單一(如只用顏色標(biāo)定球門等,角點(diǎn)等信息較少),則效率較低。
[1]陳鳳東,洪炳熔,朱瑩.基于HIS顏色空間的多機(jī)器人識(shí)別研究[J].哈爾濱工業(yè)大學(xué)學(xué)報(bào),2004,36(7):928-930.
[2]白力勇,黃鴻,趙增榮.基于RoboCup中型組足球機(jī)器人視覺圖像識(shí)別的一種快速算法[J].自動(dòng)化理論、技術(shù)與應(yīng)用,2006,3(10):347-351.
[3]李動(dòng)恒,張澤峰,陳小平,等.基于圖象分割的機(jī)器人視覺系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].小型微型計(jì)算機(jī)系統(tǒng),2003,24(2).
[4]楊紅穎,吳俊峰,于永健,等.一種基于HSV空間的彩色邊緣圖像檢索方法[J].中國圖象圖形學(xué)報(bào),2008,6(10).
[5]鐘力,胡曉峰.重疊圖像拼接算法[J].中國圖像圖形學(xué)報(bào),1998,3(5):365-369.
[6]王玉珍.邊緣重疊圖像拼接中的特征塊選?。跩].西北師范大學(xué)學(xué)報(bào):自然科學(xué)版,2002,38(1):38-40.
[7]支玲玲,葛慶平,姬照中.邊緣顏色匹配算法在計(jì)算機(jī)拼圖中的應(yīng)用[J].計(jì)算機(jī)工程與設(shè)計(jì),2010(16).
[8]Lowe D G.Distinctive image features from scale-invariant keypoints[J].Internatioal Journal of Computer Vision,2004,60(2):91-110.
[9]周劍軍,歐陽寧,張彤,等.基于RANSAC的圖像拼接方法[J].計(jì)算機(jī)工程與設(shè)計(jì),2009,30(4):5692-5693.
[10]王植,賀賽先.一種基于Canny理論的自適應(yīng)邊緣檢測方法[J].中國圖象圖形學(xué)報(bào),2004,9(8).