劉 迪,曹曉光,薛斌黨,李紅偉
(1.北京航空航天大學(xué) 圖像處理中心,北京 100191;2.中國民航管理干部學(xué)院 航空安保系,北京 100102)
機(jī)場道面異物(Foreign Object Debris,F(xiàn)OD[1])檢測對于跑道運(yùn)行安全具有現(xiàn)實(shí)意義。道面異物可能以3種形式影響航空安全:在氣流的作用下打擊高速運(yùn)動的飛機(jī),造成蒙皮損傷;或者被吸進(jìn)發(fā)動機(jī),造成發(fā)動機(jī)損傷;劃傷或者刺傷高速運(yùn)動的飛機(jī)輪胎,嚴(yán)重時造成爆胎,進(jìn)而可能導(dǎo)致機(jī)毀人亡的事故。目前,國內(nèi)機(jī)場大多采用在飛機(jī)起落間隙利用巡道車進(jìn)行人工目視檢測的方法,該方法效率低、主觀性強(qiáng)。機(jī)場道面異物的自動檢測能夠輔助場務(wù)人員進(jìn)行機(jī)場道面的人工檢查,提升檢查的速度和精度。
目前,國際上有4個成熟的異物檢測系統(tǒng),分別為英國的Tarsier(眼鏡猴)系統(tǒng)、以色列的FODetect系統(tǒng)、新加坡的iFerrer系統(tǒng)、美國的FOD Finder系統(tǒng)。其中只有iFerrer系統(tǒng)采用的是固定式的高分辨率攝像機(jī)來進(jìn)行異物檢測,其他主要采用了毫米波雷達(dá)技術(shù)來進(jìn)行異物檢測[2]。
本研究應(yīng)用于機(jī)場道面異物檢測系統(tǒng),該系統(tǒng)為移動式車載系統(tǒng),通過實(shí)時道面圖像信息的采集,得到道面圖像,采用圖像處理的方法,根據(jù)異物的圖像特征來進(jìn)行異物檢測。
與普通路面相比,水泥混凝土機(jī)場道面有其自身的獨(dú)特性,背景中存在規(guī)則平行的拉毛紋理和各種干擾,比如燈蓋(圖 1(a))、輪胎?。▓D 1(c))、標(biāo)志標(biāo)線(圖 1(b))、接縫和陰影(圖1(d))等,其中陰影是巡道車采集圖像時產(chǎn)生的,其余均為機(jī)場道面的正常干擾。這些都為機(jī)場道面異物檢測增加了很大難度。
機(jī)場道面常見異物有螺釘(圖 2(a))、碎石子(圖 2(b))、金屬條、生活垃圾、鳥類尸體等,根據(jù)民航局對異物危險等級的評估,螺釘、金屬條等金屬質(zhì)地的異物威脅等級最高;其次為碎石子、鳥類尸體等。
本文選取了對機(jī)場飛行安全威脅較高的幾種異物,分別為螺釘、金屬條、碎石子。在機(jī)場道面復(fù)雜背景下,選取有效特征對異物進(jìn)行檢測。
圖1 機(jī)場道面復(fù)雜背景圖Fig.1 Complex background of airport pavement
圖2 機(jī)場道面異物圖Fig.2 FODs of airport pavement
通過前期實(shí)驗(yàn),由于采集到的圖像尺寸為103×138 cm,而異物的尺寸一般處于厘米量級,如果從整幅圖像來分析特征,那么有異物的圖像和正常圖像之間差別很小,很難進(jìn)行區(qū)分。有鑒于此,對實(shí)驗(yàn)圖像進(jìn)行分塊,分塊大小為4.3×4.3 cm,此尺寸對于長度為1厘米異物能夠進(jìn)行有效檢測。
角點(diǎn)是圖像很重要的特征,對圖像圖形的理解和分析有很重要的作用。角點(diǎn)沒有明確的數(shù)學(xué)定義,但人們普遍認(rèn)為角點(diǎn)是二維圖像亮度變化劇烈的點(diǎn)或圖像邊緣曲線上曲率極大值的點(diǎn)。這些點(diǎn)在保留圖像重要特征的同時,可以有效地減少信息的數(shù)據(jù)量。一般情況下,角點(diǎn)檢測廣泛應(yīng)用于三維場景重建、運(yùn)動估計(jì)、目標(biāo)跟蹤、目標(biāo)識別、圖像配準(zhǔn)與匹配等計(jì)算機(jī)視覺領(lǐng)域。
本研究中的機(jī)場道面廣泛存在拉毛平行紋理,標(biāo)志線、輪胎印也均為平行紋理,所以單純就機(jī)場道面復(fù)雜的背景來說,角點(diǎn)存在的數(shù)量很少,而就本研究選定的異物而言,螺釘為規(guī)則的有棱角的異物,而金屬條和碎石子為不規(guī)則的尺寸較小的異物,它們均具有較多角點(diǎn)特征。因此選定角點(diǎn)數(shù)目作為分類器的一個輸入特征值。
Harris角點(diǎn)[3]是一種成熟的角點(diǎn)檢測方法,本研究選擇Harris角點(diǎn)作為角點(diǎn)檢測方法。
由圖3可見,有螺釘?shù)膱D像的Harris角點(diǎn)檢測數(shù)目遠(yuǎn)遠(yuǎn)多于無螺釘?shù)膱D像,由此可見,Harris角點(diǎn)特征對于異物的檢測是有效的。
圖3 Harris角點(diǎn)檢測結(jié)果Fig.3 Test results of Harris corner
灰度共生矩陣[4]是描述圖像紋理特征的一種常用方法。由于紋理是由灰度分布在空間位置上反復(fù)出現(xiàn)而形成的,因而在圖像空間中相隔某距離的兩象素之間會存在一定的灰度關(guān)系,即圖像中灰度的空間相關(guān)特性?;叶裙采仃嚲褪且环N通過研究灰度的空間相關(guān)特性來描述紋理的常用方法。
取圖像(N×N)中任意一點(diǎn)(x,y)及偏離它的另一點(diǎn)(x+a,y+b),設(shè)該點(diǎn)對的灰度值為(g1,g2)。 令點(diǎn)(x,y)在整個畫面上移動,則會得到各種(g1,g2)值,設(shè)灰度值的級數(shù)為 k,則(g1,g2)的組合共有k的平方種。對于整個畫面,統(tǒng)計(jì)出每一種(g1,g2)值出現(xiàn)的次數(shù),然后排列成一個方陣,再用(g1,g2)出現(xiàn)的總次數(shù)將它們歸一化為出現(xiàn)的概率p(g1,g2),這樣的方陣稱為灰度共生矩陣。距離差分值(a,b)取不同的數(shù)值組合,可以得到不同情況下的聯(lián)合概率矩陣。(a,b)取值要根據(jù)紋理周期分布的特性來選擇,對于較細(xì)的紋理,選?。?,0)、(1,1)、(2,0)等小的差分值。
當(dāng)a=1,b=0時,像素對是水平的,即0度掃描;當(dāng)a=0,b=1時,像素對是垂直的,即90度掃描;當(dāng) a=1,b=1時,像素對是右對角線的,即45度掃描;當(dāng)a=-1,b=-1時,像素對是左對角線,即135度掃描。
這樣,2個象素灰度級同時發(fā)生的概率,就將(x,y)的空間坐標(biāo)轉(zhuǎn)化為“灰度對”(g1,g2)的描述,形成了灰度共生矩陣。
基于灰度共生矩陣形成的紋理特征有能量、慣性矩、熵、相關(guān)性等。
慣性矩:
相關(guān)性:
其中:
根據(jù)慣性矩和相關(guān)性特征的定義[5]和前期實(shí)驗(yàn)結(jié)果(如圖4(b)、(c))可以得出:
有異物的圖像一般情況下,明暗變化比較明顯,慣性矩的值會偏高。相關(guān)性體現(xiàn)了圖像紋理的一致性,有異物的情況下,圖像的一致性不好,相關(guān)性的特征值較低。
因此,本研究選取慣性矩和相關(guān)性作為描述圖像的特征。
灰度級分布范圍[6]體現(xiàn)了圖像的灰度直方圖特征,有異物的圖像目標(biāo)和背景的差異較大,灰度級的分布范圍較廣,而單純背景的正常圖像灰度級分布范圍較窄,以此為特征來進(jìn)行檢測,得到了較好效果。
本實(shí)驗(yàn)訓(xùn)練樣本集為分塊后的4.3×4.3 cm異物圖像205張和正常圖像682張。其中,異物圖像包括螺釘162張、金屬條24張、碎石子19張,正常圖像包括各種正常機(jī)場道面情況,有地?zé)?、?biāo)志線、輪胎印、單純拉毛、輪胎印與標(biāo)志線混合等復(fù)雜背景。
對訓(xùn)練樣本分別提取Harris角點(diǎn)、慣性矩、相關(guān)性和灰度級分布范圍特征,得到訓(xùn)練樣本的特征曲線圖,分別見圖4(a)、(b)、(c)、(d)。
圖4 特征曲線Fig.4 Characteristic curves
由特征曲線圖可以看出,這些特征對于區(qū)分異物圖像與正常圖像是有效的。
本實(shí)驗(yàn)選定的測試圖像為103×138厘米的整張圖像共160張,均為挑選后具有代表性的圖像。其中異物圖像80張,正常圖像80張。
進(jìn)行測試時,首先將圖像進(jìn)行切塊,整張圖像切成768張小圖,逐張小圖進(jìn)行檢測,若有一張小圖被檢測為異常,則判定整張圖像為異物圖像。
由特征曲線圖可明顯看出異物圖像和正常圖像之間的區(qū)分性,通過訓(xùn)練樣本集的特征,選定角點(diǎn)、慣性矩、相關(guān)性和灰度級分布范圍特征閾值分別為2、0.6066、2.2358、105。得到的測試結(jié)果如表1所示。
筆者定義,正常圖像被檢測為異物圖像的比率稱為誤檢率,異物圖像被檢測為正常圖像稱為漏檢率??梢钥闯?,閾值法測試結(jié)果較好,誤檢率為1.2%,漏檢率為2.5%,總體正確率達(dá)到了98.1%。正常圖像被誤檢為異物圖像的只有1張,其原因?yàn)椋谡鶊D像均充滿輪胎印背景時,出現(xiàn)一處白色不明污點(diǎn),使得局部對比度增大,故誤判為異物。異物圖像有兩張存在漏檢,原因?yàn)?,在分塊時,異物被切割到邊緣,使得其特征不明顯,故造成漏檢,擬采用的解決方法為,采取重疊分塊的方式,使得異物以很大概率落在分塊后小圖的中央,進(jìn)而減少漏檢情況發(fā)生。
表1 閾值法測試結(jié)果Tab.1 Test results of threshold method
SVM法[7]是建立在統(tǒng)計(jì)學(xué)習(xí)理論的VC維理論和結(jié)構(gòu)風(fēng)險最小原理基礎(chǔ)上的,根據(jù)有限的樣本信息在模型的復(fù)雜性(即對特定訓(xùn)練樣本的學(xué)習(xí)精度)和學(xué)習(xí)能力(即無錯誤地識別任意樣本的能力)之間尋求最佳折衷,以期獲得最好的推廣能力。
SVM法得到的結(jié)果如表2所示。
表2 SVM法測試結(jié)果Tab.2 Test results of SVM
可以看出,與閾值法相比,SVM法的誤檢率較低,為0.0%,但漏檢率達(dá)到了5.0%,偏高。
2種方法綜合起來看,檢測結(jié)果具有一致性,檢測正確率均達(dá)到了98%左右,說明特征選取有效,可以準(zhǔn)確的在機(jī)場道面復(fù)雜背景下檢測出異物。
本研究在解決機(jī)場道面異物自動檢測問題上,給出了初步成果。首先,找出了機(jī)場道面常見異物相對于復(fù)雜背景的有效特征,用于實(shí)際檢測問題。其次,根據(jù)分塊原理,在正確檢測的基礎(chǔ)上,可以實(shí)現(xiàn)異物的初步定位。最后,此研究成果可用于實(shí)際機(jī)場道面異物自動檢測系統(tǒng)的搭建,使機(jī)場道面異物自動檢測系統(tǒng)的實(shí)現(xiàn)成為可能。
[1]樊曼劼.機(jī)場跑道異物(FOD)檢測研究[D].北京:北京交通大學(xué),2011.
[2]李煜,肖剛.機(jī)場跑道異物檢測系統(tǒng)設(shè)計(jì)與研究[J].激光與紅外,2011,41(8):909-915.LI Yu,XIAO Gang.Study and design on FOD detection and surveillance system for airport runway[J].Laser&Infrared,2011,41(8):909-915.
[3]ZHAO Wan-jin,GONG Sheng-rong,LIU Chun-ping,et al.Adaptive harris corner detection algorithm[J].Computer Engineering,2008,34(10):212-214.
[4]Haralick R M,Shanmugam K,Dinstein I H.Textural features for image classification[J].Systems, Man and Cybernetics,IEEE Transactions on,1973,3(6):610-621.
[5]高程程,惠曉威.基于灰度共生矩陣的紋理特征提取[J].計(jì)算機(jī)系統(tǒng)應(yīng)用,2010,19(6):195-198.GAO Cheng-cheng,HUI Xiao-wei.GLCM-Based texture feature extraction[J].Computer Systems&Applications,2010,19(6):195-198.
[6]謝鳳英,趙丹培.Visual C++數(shù)字圖像處理[M].北京:電子工業(yè)出版社,2008.
[7]Chen P H,F(xiàn)an R E,Lin C J.A study on SMO-type decomposition methods for support vector machines[J].Neural Networks, IEEE Transactions on,2006,17(4):893-908.