鄢化彪，黃綠娥，王 鵬

(1.江西理工大學(xué) 理學(xué)院,江西 贛州 341000；2.江西理工大學(xué) 應(yīng)用科學(xué)學(xué)院,江西 贛州 341000；3.中國(guó)鐵道科學(xué)研究院 機(jī)車(chē)車(chē)輛研究所,北京 100044)

中國(guó)鐵路的發(fā)展處于跨域式進(jìn)步階段,高速鐵路、地鐵和輕軌等各種軌道交通正在大規(guī)模建設(shè)。根據(jù)《鐵路“十三五”發(fā)展規(guī)劃》[1],到2020年,全國(guó)鐵路營(yíng)業(yè)里程將達(dá)到15萬(wàn)km,其中高速鐵路3萬(wàn)km。如何確保這么長(zhǎng)的軌道運(yùn)行于安全狀態(tài),目前大多是基于費(fèi)工耗時(shí)的人工檢測(cè),基于機(jī)器視覺(jué)的軌道缺陷檢測(cè)系統(tǒng)將取代人工檢測(cè)成為趨勢(shì)[2-3]。采用機(jī)器視覺(jué)來(lái)檢測(cè)軌道狀態(tài)及其周邊運(yùn)行環(huán)境,或?qū)D像檢測(cè)設(shè)備直接安裝在運(yùn)行機(jī)車(chē)上,監(jiān)測(cè)軌道及周?chē)h(huán)境的安全運(yùn)行狀態(tài)。

但由于各種復(fù)雜因素的影響,如運(yùn)動(dòng)、失焦、噪聲等，將導(dǎo)致采集的軌道圖像質(zhì)量退化,甚至嚴(yán)重模糊而使圖像無(wú)法進(jìn)行下一步的圖像識(shí)別。因此，如何提高圖像質(zhì)量對(duì)進(jìn)一步的模式識(shí)別很重要。由于車(chē)載相機(jī)中焦距固定,本文主要考慮高速運(yùn)動(dòng)相機(jī)導(dǎo)致的模糊,即在曝光時(shí)間內(nèi)的相機(jī)運(yùn)動(dòng)導(dǎo)致采集的圖像產(chǎn)生的模糊。

幾乎所有的去模糊方法都認(rèn)為模糊圖像是由原始清晰圖像與未知模糊核卷積而成[4-6]。去模糊則是反卷積的過(guò)程,這個(gè)反問(wèn)題是病態(tài)的。一般用正則化的方法最小化估計(jì)圖像和清晰圖像的差,從而縮小解空間范圍使其良態(tài)化,但會(huì)出現(xiàn)一些過(guò)度平滑[7]。文獻(xiàn)[8]認(rèn)為自然圖像梯度服從長(zhǎng)尾分布,模糊核亮度直方圖是稀疏的,采用變分的方法來(lái)估計(jì)核函數(shù),然后反卷積去模糊。文獻(xiàn)[9]認(rèn)為自然圖像梯度服從拉普拉斯分布,并建立最大后驗(yàn)概率MAP模型來(lái)估計(jì)核函數(shù),最后用期望最大化EM算法進(jìn)行優(yōu)化。文獻(xiàn)[10]結(jié)合圖像噪聲、圖像梯度和核函數(shù)這些先驗(yàn)知識(shí)來(lái)減少振鈴效應(yīng)。文獻(xiàn)[11]認(rèn)為相機(jī)的抖動(dòng)是非統(tǒng)一化的模糊,并建立廣義運(yùn)動(dòng)模糊的概念。文獻(xiàn)[12]考慮相機(jī)的前向及后向運(yùn)動(dòng),但在估計(jì)模糊核時(shí)需要手動(dòng)選擇。文獻(xiàn)[13]提出快速去運(yùn)動(dòng)模糊算法,通過(guò)引入一個(gè)新的預(yù)測(cè)步驟以及在圖像梯度方面的操作,減少圖像去模糊步驟和提高模糊核估計(jì)的速度。在預(yù)測(cè)步驟,該算法從復(fù)原出的清晰圖像中提取強(qiáng)邊緣,然后僅用這些邊緣估計(jì)模糊核。

如上所述,圖像運(yùn)動(dòng)去模糊的研究針對(duì)不同的應(yīng)用場(chǎng)合及適用范圍在處理時(shí)間和效果上有很多不同的方法,目前這些引用量較高的算法大多數(shù)沒(méi)有考慮圖像反卷積后的復(fù)原質(zhì)量,也就是沒(méi)有進(jìn)一步客觀評(píng)價(jià)圖像復(fù)原后的質(zhì)量,有些算法也只是通過(guò)有參考圖像的評(píng)價(jià)指標(biāo),如峰值信噪比(Peak Signal to Noise Ratio，PSNR), 均方誤差(Mean Square Error，MSE)和結(jié)構(gòu)相似度(Structural Similarity，SSIM)等進(jìn)行去模糊質(zhì)量評(píng)價(jià),而實(shí)際很多圖像的處理是沒(méi)有原始清晰圖像的[14]。本文所提算法改進(jìn)現(xiàn)有的去模糊過(guò)程,引入無(wú)參圖像質(zhì)量評(píng)價(jià),增加反卷積后圖像質(zhì)量評(píng)價(jià)和優(yōu)化過(guò)程,使得單幅模糊圖像在沒(méi)有清晰參考圖像的情況下復(fù)原出最優(yōu)圖像質(zhì)量。

本文方法主要解決高速運(yùn)動(dòng)圖像的去模糊,并實(shí)時(shí)應(yīng)用在軌道缺陷檢測(cè)系統(tǒng)中[15],為此提出一種基于自然場(chǎng)景統(tǒng)計(jì)融合質(zhì)量評(píng)價(jià)的方法，對(duì)圖像反卷積后的圖像進(jìn)行質(zhì)量評(píng)價(jià)并再優(yōu)化。具體算法過(guò)程見(jiàn)圖1。

圖1 運(yùn)動(dòng)去模糊算法設(shè)計(jì)

1 運(yùn)動(dòng)圖像退化模型及空間變換

在獲取數(shù)字圖像過(guò)程中由于各種復(fù)雜原因使得圖像質(zhì)量下降(退化),這些退化包括由光學(xué)系統(tǒng)、大氣湍流效應(yīng)、運(yùn)動(dòng)等造成的圖像模糊、畸變、失真以及源自電路和光學(xué)因素的噪聲。本文主要針對(duì)目前在線監(jiān)測(cè)的視頻及圖像中產(chǎn)生的模糊,如車(chē)載相機(jī)安裝在固定的平臺(tái),模糊主要由相機(jī)運(yùn)動(dòng)與場(chǎng)景的相對(duì)運(yùn)動(dòng)產(chǎn)生。

模糊圖像是由原始清晰圖像與模糊核卷積而成[4-6],在車(chē)載相機(jī)中,圖像通過(guò)安裝在車(chē)輛底部的相機(jī)來(lái)采集獲取。如圖像獲取是通過(guò)安裝在軌道缺陷檢測(cè)系統(tǒng)中的相機(jī),由于機(jī)車(chē)運(yùn)動(dòng)時(shí),相機(jī)在曝光時(shí)間內(nèi)產(chǎn)生位移,因此采集的圖像匯集了采集點(diǎn)鄰域內(nèi)的圖像信息。

( 1 )

式中：g(·)為目標(biāo)場(chǎng)景的像素值；(x,y)為圖像像素空間位置；n(x,y)為(x,y)處的噪聲；D(·)為t時(shí)刻(x,y)位置的某一鄰域；(u,w)為D(·)中的一點(diǎn)。

以運(yùn)動(dòng)方向?yàn)樽鴺?biāo)軸x,當(dāng)主光軸垂直于運(yùn)動(dòng)方向,機(jī)車(chē)以速度v運(yùn)行時(shí),假設(shè)噪聲n(x,y)=0,則相機(jī)所獲得的模糊圖像為

( 2 )

由此，式( 2 )的離散形式為

( 3 )

對(duì)于整幅圖像來(lái)說(shuō),令

則式( 3 )可寫(xiě)成

A·G=B

( 4 )

分析矩陣A可知,該矩陣的秩為n,變量個(gè)數(shù)為n+l-1,方程組有l(wèi)-1個(gè)自由基,有無(wú)窮多個(gè)解,該問(wèn)題是一個(gè)不定解問(wèn)題。

我們討論增加l-1個(gè)方程組,將矩陣A擴(kuò)展為

( 5 )

從式( 5 )可以看出,模糊圖像反卷積不定解的問(wèn)題轉(zhuǎn)變?yōu)橐許為自變量的非奇異線性方程組的求解問(wèn)題,且該方程組只有唯一解。

分析式( 5 ),S取值為G的前項(xiàng)累積和,因此可以通過(guò)線性預(yù)測(cè)和梯度加權(quán)法預(yù)測(cè)其初值,即

( 6 )

式中：β為線性插值和梯度預(yù)測(cè)的權(quán)值。

2 圖像直接反卷積及圖像自然統(tǒng)計(jì)分布規(guī)律

2.1 圖像直接反卷積問(wèn)題

一般認(rèn)為,圖像的模糊過(guò)程為原圖像與未知的模糊核卷積的過(guò)程,而圖像去模糊則為反卷積過(guò)程,但這個(gè)反過(guò)程是病態(tài)的[4-5],復(fù)原圖像會(huì)出現(xiàn)一些雜痕。文獻(xiàn)[10]認(rèn)為這種雜痕是由不準(zhǔn)確的模糊核及噪聲等引起的。本文研究的高速運(yùn)動(dòng)模糊形成過(guò)程中,模糊圖像邊界是由圖像邊緣和超邊緣信息復(fù)合形成,即實(shí)際采集的圖像邊界都是有未知信息的,所以直接進(jìn)行卷積就會(huì)出現(xiàn)大面積條紋狀的雜痕，見(jiàn)圖2。

圖2 模糊圖像直接反卷積結(jié)果

針對(duì)該問(wèn)題，本文通過(guò)式( 6 )預(yù)測(cè)邊界塊初始信息的方法再進(jìn)行反卷積,以補(bǔ)充圖像在模糊卷積過(guò)程中消失的邊界塊。將未知信息單元作為未知變量,根據(jù)圖像自然統(tǒng)計(jì)特性的算法進(jìn)行去模糊處理,得到統(tǒng)計(jì)特性最佳的邊界及其清晰圖片。

2.2 圖像自然統(tǒng)計(jì)特性

在圖像復(fù)原問(wèn)題中,一個(gè)最為廣泛的圖像先驗(yàn)知識(shí)就是自然圖像在梯度空間中具有的規(guī)律分布。自然圖像中梯度的分布在0處相當(dāng)于長(zhǎng)尾分布,這與標(biāo)準(zhǔn)的高斯分布有較大偏差。即對(duì)于一幅自然圖像而言,其梯度值接近于0的像素點(diǎn)相對(duì)于擁有其他梯度值的像素點(diǎn)在圖像中所占據(jù)的比例相對(duì)較大,保證了相鄰圖像灰度的一致性。文獻(xiàn)[16]認(rèn)為自然圖像的梯度分布不完全符合拉普拉斯分布,而是符合一種超拉普拉斯。通過(guò)大量的研究和實(shí)驗(yàn)表明[8-9，16],圖像的自然統(tǒng)計(jì)特性可表示為

( 7 )

其對(duì)數(shù)統(tǒng)計(jì)分布為

( 8 )

ζ值不同表示不同的模型,若ζ為1,表示拉普拉斯模型；若ζ為2,表示高斯模型；若ξ為0.66,則表示超拉普拉斯模型。其統(tǒng)計(jì)規(guī)律見(jiàn)圖3。

圖3 圖像自然統(tǒng)計(jì)分布規(guī)律

本文提出的基于圖像列灰度一致性的方法也源于對(duì)自然圖像統(tǒng)計(jì)的特性,不同于大多數(shù)方法采用梯度作為衡量標(biāo)準(zhǔn),本文通過(guò)圖像列灰度差作為圖像去模糊優(yōu)化評(píng)價(jià)指標(biāo),減少圖像矩陣計(jì)算量。

3 圖像反卷積后優(yōu)化建模及算法設(shè)計(jì)

基于上述的自然圖像特性分析,統(tǒng)計(jì)了上萬(wàn)幅自然圖像的相鄰列差分布,其規(guī)律大致一致,見(jiàn)圖4中圖像相鄰列像素灰度差異統(tǒng)計(jì),自然清晰圖像的相鄰列灰度相差較小,而模糊圖像的相鄰列灰度相差較大。這同文獻(xiàn)[8-9]所述的自然圖像梯度服從長(zhǎng)尾分布具有相似的性質(zhì),而失真變形的圖像則不同于此分布。

圖4 圖像相鄰列灰度差統(tǒng)計(jì)

圖4分別用3個(gè)段來(lái)表示相鄰列差值分布,即列差為0,1～10以及大于10的分布情況。圖4中藍(lán)色點(diǎn)代表自然清晰圖像相鄰列灰度差絕對(duì)值分布情況,其分布集中在較小值范圍內(nèi)。其絕對(duì)差值在0的主要分布區(qū)間為45%～65%,范圍在1～10的主要分布區(qū)間為30%～45%,大于10的主要分布區(qū)間為0%～10%。圖4中紅色的點(diǎn)則表示模糊的圖像分布情況,從圖像中可以看出,圖像相鄰列灰度差出現(xiàn)兩極分化現(xiàn)象,大部分向0靠攏,絕對(duì)差在0的比例超過(guò)90%；同時(shí)會(huì)出現(xiàn)一些列差較大的情況,有90%以上列灰度差超過(guò)10,這就是圖像上得到的條紋分界線。我們主要關(guān)注列差在0～10范圍內(nèi)的點(diǎn),由此構(gòu)建列灰度α置信一致性指標(biāo)cgpc。

( 9 )

式中：Nα為去除最大的α%像素點(diǎn)后剩下的點(diǎn)集；Ci(x)和Ci+1(x)分別為前后兩列的灰度值；α為單邊置信均值；k為誤差允許值。整幅圖像的灰度α置信一致性指標(biāo)為

(10)

從圖5可以看出,當(dāng)反模糊過(guò)程中灰度值由0變化到255時(shí),整幅圖像的CGPC值有兩種狀態(tài):保持不變和單下凸。即當(dāng)該變量值處于排除的α范圍內(nèi)時(shí),CGPC保持不變；當(dāng)處于排除范圍外時(shí),CGPC值在圖像最清晰時(shí)最小。

圖5 任一自變量與CGPC的關(guān)系

現(xiàn)有的許多圖像復(fù)原優(yōu)化算法都沒(méi)有加入圖像質(zhì)量評(píng)價(jià)環(huán)節(jié),而是用PSNR、RMS及SSIM等這些有參的圖像評(píng)價(jià)指標(biāo)驗(yàn)證算法的有效性,但實(shí)際上很多模糊圖像并沒(méi)有原始清晰圖像[19]。本文采用無(wú)參的圖像質(zhì)量評(píng)價(jià)指標(biāo)BRISQUE應(yīng)用在圖像反卷積的優(yōu)化算法中。從圖6可知BRISQUE在像素點(diǎn)灰度變化范圍內(nèi)具有整體最優(yōu)特性,并且該方法對(duì)處理大尺寸圖像具有實(shí)時(shí)的效果。

圖6 任一自變量與BRISQUE的關(guān)系

觀察圖7(圖5和圖6中第一個(gè)統(tǒng)計(jì)圖的局部放大圖)可得,BRISQUE特征在局部細(xì)節(jié)中存在非單調(diào)性,即統(tǒng)計(jì)特征曲線存在波動(dòng),而本文的CGPC統(tǒng)計(jì)特征曲線單峰光滑。

圖7 評(píng)價(jià)指標(biāo)CGPC和BRISQUE局部放大圖

為確保去模糊圖像最優(yōu)化方法的單調(diào)性,將該問(wèn)題分兩步求解:

Stelp1粗優(yōu)化,以BRISQUE的圖像質(zhì)量評(píng)價(jià)指標(biāo)最小為目標(biāo),采用遍歷方法得到最優(yōu)解的大致范圍。

Stelp2精優(yōu)化,根據(jù)CGPC對(duì)估計(jì)范圍進(jìn)一步優(yōu)化,提高遍歷步長(zhǎng),從而求得全局最優(yōu)值。

4 實(shí)驗(yàn)結(jié)果

本文主要解決由于高速運(yùn)動(dòng)的軌道圖像導(dǎo)致的運(yùn)動(dòng)模糊問(wèn)題,為了比較和驗(yàn)證算法的適用性,選用標(biāo)準(zhǔn)圖像和實(shí)際軌道模糊圖像兩種類(lèi)型的圖像進(jìn)行測(cè)試,見(jiàn)圖8。選用應(yīng)用廣泛的Lena圖像,其像素為1 024×1 024作為標(biāo)準(zhǔn)圖像測(cè)試,圖8中第1行的圖像模糊長(zhǎng)度較短，即l=5,通過(guò)與其他算法比較可知,對(duì)于模糊較輕的圖像各種算法都能取得較好的效果。但對(duì)于模糊長(zhǎng)度較嚴(yán)重的情況下，即l=25時(shí)(圖8第2行),其他3種算法都出現(xiàn)不同程度的振鈴效應(yīng),采用主觀的質(zhì)量評(píng)價(jià)方法,基于列統(tǒng)計(jì)并對(duì)圖像復(fù)原后的質(zhì)量再進(jìn)行評(píng)價(jià)和優(yōu)化的方法取得的視覺(jué)效果明顯更優(yōu)。圖8第3行為實(shí)際采集的軌道模糊圖像,通過(guò)本文方法計(jì)算得到模糊長(zhǎng)度為31像素,本文算法處理后能夠得到更清晰的軌道圖像。

針對(duì)解決高速運(yùn)動(dòng)的軌道圖像導(dǎo)致的模糊問(wèn)題,本文在合作方實(shí)驗(yàn)軌道上進(jìn)行系統(tǒng)測(cè)試,對(duì)軌道缺陷檢測(cè)系統(tǒng)采集的圖像先進(jìn)行去模糊處理,并從中選取有缺陷的圖像的去模糊效果圖像,見(jiàn)圖9,圖9(a)這8幅圖分別為在拍攝時(shí)存在的不同程度的模糊圖,圖9(b)為圖9(a)中分別相對(duì)應(yīng)的去模糊圖。采用本文方法對(duì)圖9(b)中8幅圖估計(jì)的模糊長(zhǎng)度分別為12、15、8、16、5、3、20、13像素,去模糊后效果如圖9(b)所示,從主觀上觀測(cè)，圖像明顯清晰化。

圖8 與現(xiàn)有的方法進(jìn)行人工及實(shí)際模糊圖像復(fù)原效果對(duì)比

圖9 采集的軌道缺陷圖像去模糊

通過(guò)比較分析及圖像處理實(shí)時(shí)性的要求,選用基于BRISQUE的方法來(lái)進(jìn)行圖像質(zhì)量評(píng)價(jià)及優(yōu)化,即BRISQUE評(píng)價(jià)指標(biāo)值越低圖像復(fù)原質(zhì)量越高。通過(guò)系統(tǒng)采集的其中50幅軌道模糊圖像進(jìn)行實(shí)驗(yàn),見(jiàn)圖10。其BRISQUE指標(biāo)相對(duì)較高即圖像質(zhì)量不高,通過(guò)與現(xiàn)有實(shí)驗(yàn)效果較好的文獻(xiàn)[8]比較,大多數(shù)情況下本文算法的BRISQUE值比文獻(xiàn)[8]的方法要低,即去模糊效果更好。而有部分圖像的評(píng)價(jià)值兩者相同,說(shuō)明本文方法和文獻(xiàn)[8]方法取得的去模糊效果一致。進(jìn)一步比對(duì)實(shí)際圖像發(fā)現(xiàn),取得效果一致的圖像的模糊程度較輕,而本文方法針對(duì)前向運(yùn)動(dòng)導(dǎo)致的嚴(yán)重模糊效果更好。

圖10 模糊及去模糊圖像的BRISQUE評(píng)價(jià)指標(biāo)比較

5 結(jié)束語(yǔ)

本文通過(guò)建立運(yùn)動(dòng)圖像模糊模型,并進(jìn)行空間變換轉(zhuǎn)換成線性問(wèn)題求解,對(duì)直接反卷積出現(xiàn)的圖像質(zhì)量差的問(wèn)題,提出一種融合自然圖像統(tǒng)計(jì)特征的列灰度一致性優(yōu)化方法,將其應(yīng)用在軌道高速運(yùn)動(dòng)采集圖像去模糊中,以提高軌道缺陷檢測(cè)系統(tǒng)的圖像質(zhì)量。下一步將繼續(xù)研究該方法下的計(jì)算復(fù)雜度、噪聲干擾和復(fù)合模糊等問(wèn)題。