楊 雪,李志華,2
(1.江南大學(xué)物聯(lián)網(wǎng)工程學(xué)院輕工過程先進控制教育部重點實驗室,江蘇 無錫 214122;2.物聯(lián)網(wǎng)應(yīng)用技術(shù)教育部工程研究中心,江蘇 無錫 214122)
一種新的渣土車車輪帶泥檢測方法*
楊 雪1,李志華1,2
(1.江南大學(xué)物聯(lián)網(wǎng)工程學(xué)院輕工過程先進控制教育部重點實驗室,江蘇 無錫 214122;2.物聯(lián)網(wǎng)應(yīng)用技術(shù)教育部工程研究中心,江蘇 無錫 214122)
提出了一種新的車輪帶泥圖像檢測方法。通過改進直方圖方法、在相似度計算中考慮了像素的位置信息,從而提出了直方圖交叉相似度計算的新方式;并綜合考慮小波變換法在紋理檢測上的優(yōu)勢,給出了圖像組合相似度的新定義,基于此,提出了基于小波變換提取邊緣特征與改進的直方圖交叉方法相結(jié)合的相似度比較EHSC算法,通過EHSC算法計算組合相似度,并根據(jù)相似度閾值來最終選擇圖像。EHSC算法具有時間開銷小、魯棒性好等特點。通過在真實采樣的現(xiàn)場圖像上實驗,實驗結(jié)果表明,該方法能有效地進行帶泥車輪圖像的檢測,具有較高的檢測效率和比較強的實用性。
車輪帶泥檢測;邊緣檢測;直方圖交叉;EHSC算法;相似度比較
工程渣土車車身帶泥和車輪帶泥是影響城市公共衛(wèi)生的主要因素之一。傳統(tǒng)的監(jiān)察方法是由工作人員在工地出入口用肉眼檢查車輛,這需要耗費大量的人力、物力,并且很容易造成蒙混過關(guān)的情況。近年來,利用圖像處理、計算機視覺、物聯(lián)網(wǎng)等技術(shù)對各種車輛,包括渣土車進行監(jiān)管是IT界的一個熱點研究課題[1~6],其難點在于:(1)要求圖像處理算法必須是能夠滿足實時性要求的、時間復(fù)雜度不高的算法;(2)由于要處理的圖像容易受天氣、光線等自然因素的影響,故清晰度較低,對圖像進行比較并提取會有較大的難度。
圖像處理和機器視覺方法在車輛檢測方面的相關(guān)應(yīng)用研究很多,但適用于工地渣土車帶泥檢測的并不多見。文獻[1]主要是利用射影不變量來提取鋼圈輪廓的方式進行檢測,此方法雖然可以魯棒地提取車輪輪廓,但是僅限于對圖像的提取,并沒有做進一步的圖像處理;文獻[3]通過判斷渣土車經(jīng)過前后路面的情況變化的方法來檢測車輛,該方法能夠用來判斷渣土車出工地時對建筑工地路面的污染情況,但是忽略了車子在出工地時并沒有掉渣土而車輪上卻粘有大量渣土的情況。
本文主要是針對渣土車車輪帶泥檢測的實際需求來研究智能檢測算法。直方圖交叉方法[6]雖然可以辨別清晰圖像的相似度特征,但是對于那些完整但邊緣模糊的圖像卻很難用直方圖交叉法來辨別;而圖像邊緣[7]是圖像的局部特性不連續(xù)性的反映,本文中圖像邊緣的清晰度與車輪本身的磨損等因素都有關(guān)系,并不能直接表明車輪是否帶泥,故需要結(jié)合泥土與車輪本身顏色的差別,即直方圖特征來判斷。因此,為了克服兩種方法在單獨使用時的不足,本文在綜合兩種方法的優(yōu)點基礎(chǔ)上,提出了一種基于小波變換提取邊緣特征與改進的直方圖交叉方法相結(jié)合的相似度比較EHSC(Edge-Histogram Similarity Comparison)算法。仿真實驗結(jié)果表明,EHSC算法可以有效地將帶泥車輪圖像提取出來。
紋理是圖像中普遍存在的一種視覺特征,而紋理特征的提取是進行圖像進一步描述、分類與分割等處理的重要環(huán)節(jié)[8]。Sheikholeslan G在文獻[9]中提出了一種基于小波變換的邊緣提取方法,比較好地解決了圖像中小的邊緣結(jié)構(gòu)(即紋理)與大的輪廓結(jié)合比較的問題。本文采用文獻[9]的特征提取方法,通過計算小波系數(shù)的均值和方差來提取邊緣特征,然后對圖像進行比較。通過計算水平、垂直和對角線方向的邊緣像素點的個數(shù)來得到圖像的定向近似性。另外,為了滿足小波的多尺度性質(zhì),本文的圖像特征都是在不同尺度上進行提取的。圖像中的邊緣像素點在細節(jié)信號(LH,HL和HH)中具有較高的模,這意味著這些像素的小波系數(shù)有較大的正值或負值。
設(shè)Image(i,j)為一幅M×N圖像的一個像素點。WLH(i,j)、WHL(i,j)和WHH(i,j)分別為Image(i,j)在LH、HL 和HH 相應(yīng)的小波系數(shù)。mLH為|WLH(i,j)|的最大值,如式(1)所示:
為了檢測水平邊緣像素點,首先計算mLH。如果滿足|WLH(i,j)|≥γ×mLH,則將Image(i,j)看作一個水平方向的邊緣像素點,其中γ是一個由實驗確定的參數(shù),通常取γ=0.45。
同理,本文?。?/p>
并且,如果滿足:|WHL(i,j)|≥γ×mHL或|WHH(i,j)|≥γ×mHH,則認為Image(i,j)是邊緣像素點。
另外,本文采用圖1所示的兩層Haar小波變換的方法。對于小波變換的最小尺度子帶LL,只考慮小波系數(shù)絕對值的均值和方差作為它的特征〈均值,方差〉。對于其它的子帶,除了均值和方差之外,還統(tǒng)計子帶的邊緣像素點的數(shù)目。因此,這些子帶的特征向量為〈均值,方差,邊緣像素數(shù)目〉。
Figure 1 Seven sub-bands created by two layer wavelet transform圖1 兩層小波變換產(chǎn)生的七個子帶
設(shè)f=(f1,f2,…,f20)為由小波系數(shù)產(chǎn)生的20個特征,定義si(I,I′)為圖像I和圖像I′之間的關(guān)于fi的相似度為:
顯然,S(I,I′)的取值范圍是[0,1],S(I,I′)的值越接近1,表示圖像I與圖像I′越相似;S(I,I′)的值越接近0,表示圖像的差異越大。
直方圖是對圖像顏色特征的直觀性表達,為了比較圖像的相似性,Swain J M和Ballard H D[10]提出了直方圖交叉的方法。假設(shè)I和I′分別是兩幅包含n個像素點的圖像,直方圖交叉可定義為:
一個模板和一幅圖像直方圖交叉的結(jié)果是二者之間的相同顏色的像素數(shù)目。為了獲得一個在[0,1]的比較值,直方圖交叉被標(biāo)準(zhǔn)化為模板直方圖的像素數(shù),它們的直方圖交叉圖像相似度按式(7)計算:
其中,I和I′分別為M×N的圖像,Hi和Hi′分別表示I和I′的第i個灰度的頻率。這種方法雖然容易實現(xiàn),但是不能反映出不同像素對相似度測量的不同影響,特別是像素的空間分布情況。
這種直方圖交叉方法雖然容易實現(xiàn),但是無法反映出圖像像素點的位置信息,忽略了圖像之間雖然直方圖相似、甚至完全相同但是圖像卻具有很大差異的情況。本文改進的直方圖交叉方法考慮了圖像的坐標(biāo),即像素點的位置信息,通過一一比較并統(tǒng)計而計算出圖像的相似度。本文所要處理的圖像的特殊性決定了它的像素值不會太多,并且是較為集中地分布在某一個區(qū)域。為了能夠反映出不同像素值對相似度測量的不同影響,在此,重新定義改進的直方圖交叉相似度IHIS(Improved-Histogram-Intersection Similarity),如式(8)所示。
定義1改進的直方圖交叉相似度IHIS:
在定義1的基礎(chǔ)上,重新計算圖像I和I′的關(guān)于直方圖交叉方法的相似度,如式(9)所示。
其中,S1(I,I′)、S2(I,I′)分別表示原直方圖交叉相似度和改進直方圖交叉相似度。
邊緣與直方圖屬于圖像的兩種不同特征。直方圖可以辨別清晰圖像的相似度,但是對于那些完整、但模糊的圖像卻很難用直方圖特征來區(qū)分。而本文所研究的實際問題決定了邊緣清晰與否并不能直接表明車輪是否帶泥。所以,針對實際需要,綜合考慮小波變換在紋理檢測方面的優(yōu)勢與直方圖交叉方法優(yōu)點的結(jié)合顯然是解決問題的有效辦法之一。
為此,進一步定義圖像I與圖像I′之間的組合相似度 CSI(Combining Similarity of Images)如下:
定義2圖像的組合相似度CSI:
其中,α為權(quán)重值,α∈ [0,1];S(I,I′)為邊緣相似度,即式(5);S′(I,I′)為直方圖交叉方法相似度,即式(9)。CSI∈ [0,1],CSI的值越接近1表示圖像I與圖像I′越相似。顯然,式(10)既考慮了圖像的直方圖特征,又考慮了圖像的紋理特征,通過反復(fù)訓(xùn)練α,可以在二者之間取得一個最佳值,從而得到理想的比較效果。
基于上述研究,在此提出基于小波變換的邊緣特征和直方圖交叉相結(jié)合的圖像相似度比較EHSC算法,算法描述如下。
步驟1初始化權(quán)重α、閾值T等參數(shù)。
步驟2對實時圖像進行兩層小波變換,利用小波系數(shù)信息對圖像進行邊緣特征值計算,定義其與基準(zhǔn)圖的相似度S(I,I′),利用式(7)計算S(I,I′)。
步驟3利用式(7)原始直方圖交叉方法計算相似度S1(I,I′)。
步驟4利用式(8)改進的直方圖交叉方法計算相似度S2(I,I′)。
步驟5結(jié)合步驟3和步驟4,利用式(9)計算由直方圖交叉方法得出的相似度結(jié)果S′(I,I′)。
步驟6結(jié)合步驟2和步驟5利用式(10)計算圖像組合相似度CSI。
步驟7根據(jù)CSI以及相似度閾值T判斷是否相似:CSI>T,相似;反之,不相似。
EHSC算法綜合考慮了圖像的邊緣特征和直方圖特征來計算相似度。
在算法的第二步,即步驟2中,先計算基于小波變換的圖像相似度的時間復(fù)雜度為O(n);在算法的步驟3、步驟4中,直方圖交叉方法求相似度的時間復(fù)雜度為O(n),所以EHSC算法的總時間復(fù)雜度為O(n),而且本身車輪圖像相似性比較只需要幾個簡單的特征,就能滿足實時性要求。另一方面,EHSC算法的空間復(fù)雜度與小波變換方法、直方圖交叉方法相當(dāng)。由于該算法結(jié)合了圖像的兩種特征,使得該方法提取圖像的準(zhǔn)確度提高了,增強了算法的適用性。
為了驗證EHSC算法的有效性,本文采取從現(xiàn)場直接采樣的方法,獲取對比的基準(zhǔn)圖和不同時間段的渣土車車輪實時圖,如圖2所示。圖2a為基準(zhǔn)圖,其余11張為實時圖。
本文中所比較的車輪圖像都是標(biāo)準(zhǔn)的,而且是由固定的攝像機采集得到的,故同一組圖像之間的角度偏差較小,對圖像的成像幾何變換的影響不大。
實驗中首先通過對圖像進行兩層小波變換得到圖像邊緣特征的相似度,然后求得各實時圖像與基準(zhǔn)圖的直方圖交叉相似度。
Figure 2 Original images圖2 原始圖像
Figure 3 Images decomposed by two-level wavelet transform圖3 二級小波分解后圖像
圖3、圖4分別為經(jīng)過二級小波分解后的圖像以及經(jīng)過小波處理后細節(jié)子帶中的邊緣像素圖。
Figure 4 Edge images圖4 邊緣圖像
實驗中,根據(jù)圖像的邊緣特征,可以計算出基準(zhǔn)圖和所有實時圖的小波特征向量集。對于最小尺度子帶LL,本文只考慮其小波系數(shù)絕對值的均值和方差。其它的子帶除了均值和方差外還考慮了其邊緣像素點的數(shù)目,因此在該特征向量集中七個子帶共有20個特征。現(xiàn)列出基準(zhǔn)圖a和實時圖3的特征向量集,分別如表1和表2所示。
Table 1 Feature vector set of reference map 1表1 基準(zhǔn)圖a的特征向量集
Table 2 Feature vector set of real-time image 3表2 實時圖3的特征向量集
根據(jù)式(4)和式(5),可以得到全部實時圖與基準(zhǔn)圖的小波特征相似度,如表3所示。
Table 3 Similarity values based on wavelet transform表3 基于小波變換所得圖像相似度結(jié)果
進一步由式(7)計算相似度S1(I,I′)、由式(8)計算相似度S2(I,I′),由式(9)計算圖像I和I′的關(guān)于直方圖交叉的相似度S′(I,I′)以及當(dāng)α=0.6時,由式(10)計算組合相似度CSI。其結(jié)果如表4所示。其中CSI中的權(quán)重值α是一個經(jīng)驗值,通過反復(fù)實驗獲得,實驗中取α=0.6。表4中的S3(I,I′)是朱磊[11]提出的基于直方圖統(tǒng)計特征的圖像直方圖匹配算法求得的相似度值,S4(I,I′)是采用薛向陽等人[12]提出來的方法計算得到的相似度值。
從表4中我們可以看出,本文改進的直方圖交叉計算得到的相似度值S2(I,I′)要比原始的直方圖交叉得到的值S1(I,I′)要小一些。這是由于原始直方圖交叉是單純利用統(tǒng)計圖像灰度像素點的數(shù)目所求得的的結(jié)果,忽略了圖像像素點的空間分布具有很大差異而直方圖卻非常相似甚至完全相同的情況。因此,將改進直方圖與原始直方圖相結(jié)合考慮后得到的新的相似度值S′(I,I′),從整體和局部兩個角度對圖像像素內(nèi)容信息進行了綜合考慮。從實驗結(jié)果來看,圖像匹配的準(zhǔn)確度略高于其他幾種經(jīng)典的圖像相似度計算方法。
Table 4 Similarity values of kinds of matching algorithm表4 幾種匹配算法的相似度計算結(jié)果
但是,直方圖本身只是僅從顏色層次作為圖像的特征,不能夠完全用于作為本文帶泥車輪的相似度計算,因為從表4中圖2、圖5、圖7的錯誤相似度值就可看出:圖2中由于車輪中有少量的黃色泥水覆蓋在車輪上,在用直方圖交叉計算時得到的相似度值就比較??;圖5、圖7是因為車輪上附著的黑色泥土與車輪顏色相近,在利用直方圖交叉計算時,得到的相似度值較高,誤以為與標(biāo)準(zhǔn)圖是近似圖。因此,我們將引入小波變換,對圖像進行多尺度分解,提取渣土車車輪圖像的邊緣特征。而且小波變化邊緣及形狀特征的提取,在一定程度上彌補了由于光照環(huán)境導(dǎo)致的直方圖差異的缺陷。將原先得到的S′(I,I′)值與小波變化得到的相似度值S(I,I′)結(jié)合,得到新的相似度值CSI。
由表4可以得到如圖5所示的相似度實驗結(jié)果比較圖。在圖5中,小波變換的邊緣特征相似度和直方圖交叉兩種相似度的組合相似度是取α=0.6所計算出的結(jié)果。本實驗中選取圖像之間的相似度閾值T=0.55。從圖5中的CSI曲線我們可以直接判斷出實時圖1、5、6、10、11為車輪帶泥圖像。這充分證明了本文提出的EHSC算法的有效性。
Figure 5 Similarity comparison figure of several ways圖5 幾種不同方法的相似度比較
本文通過研究檢測渣土車車輪是否帶泥的實際需求,綜合分析了基于小波變換的邊緣特征提取和直方圖交叉檢測方法的優(yōu)缺點,通過給出圖像相似度比較的新定義,提出了一種渣土車車輪帶泥的檢測方法。仿真實驗結(jié)果表明,該方法檢測效果較好,可以有效地將帶泥車輪圖像提取出來。但是,在算法中,相似度閾值T的選取是一個難以平衡的問題,若T選取過大,可能會由于系統(tǒng)的誤報警給渣土車車輛的正常工作帶來不便;若T選取過小,則會漏檢部分車輪帶泥車輛。所以,如何優(yōu)化選擇T值,將是下一步研究的重點。
[1] Tan Bo-yi,Zeng Hui,Hu Zhan-yi.An automatic approach for detecting the contours of wheels[J].ACTA Automatica SINICA,2008,34(5):516-522.(in Chinese)
[2] Fu Xin-sha,Zhu Juan.Research on video image based detection of night-time moving vehicles[J].Energy Procedia,2011(13):8397-8403.
[3] Tan Yong-hong.Design of construction building site residue soil visual inspection system based on HMS30C7202[J].Computer Measurement & Control,2009,17(2):264-266.(in Chinese)
[4] Coifman B,Beymer D,McLauchlan P.A real-time computer vision system for vehicle tracking and traffic surveillance[J].Transportation Research Part C:Emerging Technologies,1998,6(4):271-288.
[5] Zhao Yong.Study of tread segmentation method of railway wagon wheel[J].Computer Engineering and Applications,2011,47(5):154-155.(in Chinese)
[6] Zhou Yan,Li De-ren.Similarity based picking images containing whole wheel[J].Journal of Computer Aided Design &Computer Graphics,2003,15(12):1468-1471.(in Chinese)
[7] Wang Yao-nan.Computer image processing and recognition technology[M].Beijing:Higher Education Press,2001.(in Chinese)
[8] Liu Li,Kuang Gang-yao.Overview of image textural feature extraction methods[J].Journal of Image and Graphics,2009,14(4):622-635.(in Chinese)
[9] Sheikholeslan G,Zhang A D,Bian L.A multi-resolution content-based retrieval approach for geographic images[J].GeoInformation,1999,3(2):109-139.
[10] Swain J M,Ballard H D.Color indexing[J].International Journal of Computer Vision,1991,7(1):11-32.
[11] Zhu Lei.The application of digital library technology in the integrated management platform for military information[J].Computing Technology and Automation,2004,23(2):48-51.(in Chinese)
[12] Xue Xiang-yang,Luo Hang-zai,Zhu Xing-quan.A new definition of color similarity and its computational method[J].Chinese Journal of Computers,1999,22(9):918-922.(in Chinese)
附中文參考文獻:
[1] 譚博怡,曾慧,胡占義.一種車輪輪廓的自動提取方法[J].自動化學(xué)報,2008,34(5):516-522.
[3] 譚永宏.基于HMS30C7202的建筑渣土車視覺檢測系統(tǒng)設(shè)計[J].計算機測量與控制,2009,17(2):264-266.
[5] 趙勇.貨車車輪踏面區(qū)域分割方法研究[J].計算機工程與應(yīng)用,2011,47(5):154-155.
[6] 周焰,李德仁.利用相似性比較提取車輪圖像[J].計算機輔助設(shè)計與圖形學(xué)學(xué)報,2003,15(12):1468-1471.
[7] 王耀南.計算機圖像處理與識別技術(shù)[M].北京:高等教育出版社,2001.
[8] 劉麗,匡綱要.圖像紋理特征提取方法綜述[J].中國圖象圖形學(xué)報,2009,14(4):622-635.
[11] 朱磊.一種基于直方圖統(tǒng)計特征的直方圖匹配算法的研究[J].計算技術(shù)與自動化,2004,23(2):48-51.
[12] 薛向陽,羅航哉,朱興全,等.一種新的顏色相似度定義及其計算方法[J].計算機學(xué)報,1999,22(9):918-922.
A new detection method of mud-attaching dregs transportation vehicle wheel
YANG Xue1,LI Zhi-hua1,2
(1.Key Laboratory of Advanced Process Control for Light Industry of Ministry of Education,School of IoT Engineering,Jiangnan University,Wuxi 214122;2.Engineering Research Center of IoT Technology Application of Ministry of Education,Wuxi 214122,China)
A new method for mud-attaching wheel images detection is proposed.By introducing a new definition of combining similarity of images(CSI),Edge Histogram Similarity Comparison(EHSC)algorithm is proposed by combining image edge and histogram features.Firstly,wavelet transformation is used to extract edge feature of images.Thus,wavelet feature similarity between real-time images and reference map is calculated.Then,the similarity between real-time images and reference map is calculated by the improved histogram intersection method.Finally,the images of satisfying threshold condition are selected.The simulation experiment result shows that the method has the advantage of strong robustness,low overhead of time and higher accuracy.It can improve the efficiency of detecting mud-attaching wheel images efficiently.
wheel mud-attaching detection;edge detection;histogram intersection;EHSC algorithm;similarity comparison
TP391.41
A
10.3969/j.issn.1007-130X.2014.04.031
2012-10-23;
2013-01-21
中央高?;究蒲袠I(yè)務(wù)費專項資金資助項目(JUSRP211A41)
通訊地址:214122江蘇省無錫市江南大學(xué)物聯(lián)網(wǎng)工程學(xué)院
Address:School of IoT Engineering,Jiangnan University,Wuxi 214122,Jiangsu,P.R.China
1007-130X(2014)04-0751-07
楊雪(1988-),女,河南延津人,碩士生,研究方向為計算機網(wǎng)絡(luò)和嵌入式系統(tǒng)應(yīng)用技術(shù)。E-mail:yangxue0223@yahoo.com
YANG Xue,born in 1988,MS candidate,her research interests include computer networks,and embedded system application technology.
李志華(1969-),男,湖南保靖人,博士,副教授,研究方向為網(wǎng)絡(luò)技術(shù)、物聯(lián)網(wǎng)技術(shù)和模式識別。E-mail:ezhli@yahoo.com.cn
LI Zhi-hua,born in 1969,PhD,associate professor,his research interests include network technology,IoT technology,and pattern recognition.