付 強,孫秀霞,劉樹光,洪 洋,彭 軻
攝像機的振動、搖晃或旋轉,導致高動態(tài)環(huán)境下視覺導航過程中所觀測到的場景圖像會發(fā)生不同程度的運動模糊。運動模糊多種多樣,包括勻速直線運動、變速運動、周期運動等,在一定條件下,變速運動,周期運動等非勻速直線運動可以看成許多個勻速直線運動的合成。因而運動模糊考慮成由勻速直線運動造成的,更具有一般性和普遍性。而且當照相機的曝光時間非常短時,就可以把運動模糊近似為勻速直線運動模糊處理[1]。精確鑒別運動模糊圖像的模糊參數(shù)是運動模糊圖像復原和超分辨率重建的前提條件,且方向估計是參數(shù)估計中的基礎。
目前,國內外許多學者對運動模糊圖像的模糊方向估計問題有一定的研究,國外主要由Moghaddam和Jamzad對運動模糊參數(shù)識別進行系統(tǒng)研究,提出Radon變換對運動模糊角度進行鑒別,運用模糊集進行參數(shù)辨識,但其精度依賴于模糊集圖像主瓣寬度的測量,測量誤差導致其算法的不精確[2-3]。比較經典的方法主要有:方向微分乘子鑒別運動方向、模糊圖像倒頻譜分析運動方向、Hough變換估計運動方向及Radon變換估計運動方向等[4-8]。這些算法在圖像存在較大的運動模糊尺度時可以得到比較精確的參數(shù)鑒別結果,而對于小尺度運動模糊圖像的方向估計精度不高,主要因為小尺度模糊圖像的頻譜圖方向特征不明顯。本文在郭紅偉等人[9]和孔勇奇等人[10]研究模糊圖像二次傅里葉頻譜的工作基礎上,針對小尺度運動模糊圖像的頻譜特點進行處理。首先對小尺度運動模糊圖像的頻譜進行細化,在二次傅里葉變換后通過中值濾波對頻譜圖像進行處理,再選用灰度中值作為閾值進行二值化,在傳統(tǒng)算法去除中心十字亮線的基礎上提出去除中心亮斑,然后用投影公式計算出亮條紋方向以得到小尺度模糊圖像的方向估計。為小尺度運動模糊圖像的方向鑒別提供了一種新思路。
根據成像系統(tǒng)的一般特性,在線性位移不變系統(tǒng)中圖像的退化就是成像系統(tǒng)的退化加上額外的系統(tǒng)噪聲而形成的,圖像退化的一般模型可以表示為
式中:y為模糊圖像;x為原始圖像;k為模糊核;w為設定的噪聲。
運動模糊圖像的點擴散函數(shù)k的一般表達式為
式中:L表示曝光時間內相機的鏡頭與目標之間相對移動的尺度大??;θ表示曝光時間內相機的鏡頭與目標之間相對運動的方向。由此可得,模糊核由運動模糊方向參數(shù)θ及運動模糊長度參數(shù)L決定,它們是運動模糊圖像的2個重要參數(shù)。一般情況下,當10<L≤80,大多數(shù)鑒別算法的角度和尺度估計均無誤差,當L≤10時,角度估計會出現(xiàn)誤差。因此,本文將重點分析小尺度運動模糊圖像,即模糊尺度L≤10時,模糊方向估計出現(xiàn)誤差的原因并實現(xiàn)精確鑒別。
在使用同一模糊方向鑒別算法的情況下,小尺度運動模糊圖像存在誤差而大尺度運動模糊圖像不存在誤差,所以可以將大尺度與小尺度運動模糊圖像進行對比找出其差異之處,分析出小尺度運動模糊圖像在鑒別方向時出現(xiàn)誤差的原因。因此,本文首先對具有相同運動模糊方向的不同尺度圖像進行對比,對比結果如圖1所示。
圖1 大小尺度運動模糊圖像對比Fig.1 Comparison of motion-blurred images
從圖1可以看出,大尺度運動模糊圖像的頻譜暗條紋與運動方向相互垂直,因此,大多數(shù)現(xiàn)有算法都是在頻域中對暗條紋進行直線檢測完成運動模糊圖像的模糊方向鑒別。然而在小尺度情況下,頻譜圖像的暗條紋邊緣輪廓變得彎曲,直接利用暗條紋方向與運動模糊方向之間的垂直關系無法精確得到小尺度運動模糊圖像的模糊方向。因此,對小尺度運動模糊圖像的頻譜進行處理,使其頻譜方向特征更加明顯,是實現(xiàn)其模糊方向鑒別的一種可選方案。
本文擬解決運動模糊圖像在小尺度模糊參數(shù)下的方向鑒別問題,算法最主要的任務是對頻譜進行處理,達到可以精確提取出方向特征的要求,包括頻譜細化、頻譜二值化和投影變換3個大部分。本文提出的小尺度運動模糊圖像模糊方向鑒別算法流程如圖2所示。
圖2 小尺度運動模糊圖像方向鑒別流程圖Fig.2 Flow chart of direction detection of smallscale motion blur image
注意到當模糊尺度過小,一次傅里葉變換的頻譜圖像暗條紋輪廓變得彎曲,并且運動模糊圖像的尺度越小,條紋寬度越寬,無法精確提取出條紋方向特征以致傳統(tǒng)模糊方向鑒別方法出現(xiàn)誤差。要想實現(xiàn)對小尺度運動模糊圖像模糊方向的精確鑒別,首先得對頻譜進行細化。文獻[9]提出將模糊圖像進行二次傅里葉變換可以得到更加細化的頻譜圖,文獻[2]指出模糊圖像二次傅里葉變換頻譜圖中亮線方向即為運動模糊方向,因此,本文首先對運動模糊圖像進行二次傅里葉變換,如圖3所示。
圖3 二次傅里葉變換頻譜圖Fig.3 Twice Fourier spectrograms
從圖3可以看出,盡管二次傅里葉變換能夠達到細化頻譜的效果,但是相較于大尺度運動模糊圖像的細長亮線,小尺度運動模糊圖像即使在二次傅里葉變換頻譜圖中的亮線也十分短,頻譜的方向特征無法精確檢測。為了使亮線更加突出,將二次傅里葉頻譜圖中的大量孤立點看成“噪聲”,考慮到中值濾波可以保護邊緣信息,因此,本文采用中值濾波器對其進行“去噪”,進一步提高細化頻譜的效果。通過利用中值濾波進行“去噪”,還可以克服在二值化過程中對閾值選取不恰當?shù)那樾巍?/p>
小尺度運動模糊圖像頻譜的二值化有利于更好的將方向特征在二次頻譜中劃分出來,而灰度閾值選取不恰當會給整個二值圖像造成噪點。文獻[9]提出采用排序為100的像素灰度作為閾值進行二值化,可是對于不同尺度的模糊圖像亮點個數(shù)并不同。因此,本文采用所有灰度的中間值作為閾值進行二值化,二值化結果如圖4(a)所示。
圖4 圖像二值化Fig.4 Image binaryzation
從圖4(a)可以看出,在小尺度運動模糊圖像的“去噪”頻譜中采用灰度中間值作為閾值進行二值化不會造成整個圖像的噪點現(xiàn)象,但是由于中心十字亮線的存在會對方向估計產生影響。對于大小為M×N像素的圖像,M、N為奇數(shù)時,十字亮線出現(xiàn)在(M+1)/2行和(N+1)/2列;M、N 為偶數(shù)時,十字亮線出現(xiàn)在(M/2)+1行和(N/2)+1列,對圖像的中心亮線去除可以直接令亮線所在行和列的數(shù)值為0[4]。進一步分析圖4可以發(fā)現(xiàn),除了中心十字亮線的干擾之外,由于小尺度運動模糊圖像頻譜的亮線短,頻譜中心亮斑的存在極易造成方向鑒別誤差,因此,必須分析中心亮斑的形成原因并考慮去除。對清晰Lena圖像進行二次傅里葉變換,可以得到二次頻譜如圖5所示。
圖5 清晰標準Lena圖像頻譜圖Fig.5 Fourier spectrogram of Lena image
從圖5可以看出,在清晰標準Lena圖像進行二次傅里葉變換后的二次頻譜中同樣存在中心亮斑,因此,中心亮斑不包含方向特征的原始圖像信息,在運動模糊的方向鑒別中會產生干擾作用。本文將得到的運動模糊圖像的二值化圖像減去原始清晰圖像中的亮斑,以進一步使方向特征更加明顯,結果如圖6(a)所示。
對二值頻譜進行進一步分析,我們發(fā)現(xiàn),若按照中心十字亮線的坐標對頻譜進行分塊,對角線所在2個象限的亮點個數(shù)相同,且方向特征所在的2個象限亮點個數(shù)一定大于其他2個象限的亮點數(shù)。因此,計算4個象限所在塊的亮點個數(shù),留下亮點數(shù)多的2個象限,令亮點個數(shù)少的2個象限都為0,可得如圖6(b)所示的頻譜分塊去除后的二值化圖像。
圖6 二值圖像的去干擾結果Fig.6 Results of binary image for eliminating interference
從圖6可以看出,經過去除中心光斑和分塊去除處理后的二值化圖像方向特征明顯得到提高,可以對其進行方向特征提取。
圖像投影即圖像在某一方向上的線性積分,要精確提取出二值圖像中的方向特征,可以將其投影到過中心點的直線上,積分最大的一條直線X′即與所求方向相垂直。因此,根據(3)式所示的垂直關系即可得到小尺度運動模糊圖像的模糊方向估計值:
式中:α表示直線X′的角度;θ表示運動模糊方向參數(shù)。
投影結果如圖7所示(L=3,θ=10°)。
圖7 方向特征提取結果Fig.7 Results of direction extraction
從圖7可以看出,積分最大的直線X′角度為100°,由此可得,運動模糊方向為10°。
為了驗證本文算法的有效性,將Lena測試圖像在不同模糊小尺度和不同模糊角度下進行模糊,并將本文算法與經典算法進行對比分析,對比實驗結果如表1。
從仿真結果可以看出,本文方法進行方向鑒別時具有良好的精度和準確性,相比其他文獻算法,本文算法更能滿足小尺度運動模糊圖像模糊方向鑒別的要求。
表1 Lena圖像不同方法下的實驗結果Table 1 Results of direction estimation by 4 algorithms
為了更直觀地觀察本文算法的優(yōu)點,將本文算法與各經典算法鑒別出的模糊方向值通過維納濾波對圖像進行復原,復原結果如圖8所示。
圖8 Lena圖像維納濾波復原結果(L=3,θ=30°)Fig.8 Results of Lena image restoration(L=3,θ=30°)
從圖8可以看出,根據文獻[11]、[12]鑒別出的參數(shù)復原圖像幾乎無法辨識,文獻[9]的復原結果與本文算法相比仍有一定差距。
為了克服仿真圖像的單一性,進一步說明本文算法的有效性,現(xiàn)選取實拍復雜圖像“海灘”和“城市”進行仿真分析。分別對其進行不同方向的小尺度運動模糊,具體模糊參數(shù)如圖9所示。
圖9 實拍復雜小尺度運動模糊圖像Fig.9 Real complicated small-scale motion blurred image
從圖9可以看出,相較于大尺度的運動模糊圖像,當實拍復雜圖像出現(xiàn)小尺度運動模糊情況時,人們憑肉眼也是很難估計出模糊方向。本文算法針對現(xiàn)有算法產生鑒別誤差的原因,著重解決頻譜產生干擾從而不易于檢測的問題,使得頻譜方向特征更加明顯更利于鑒別,如圖10所示。
圖10 本文算法處理前后頻譜對比圖Fig.10 Comparison of Fourier spectrograms
從圖10可以看出,對于復雜圖像來說,本文算法處理后的頻譜方向特征更加明顯,取得了較好的效果。最后通過方向特征提取證實了本文算法的有效性,如圖11所示。
圖11 實拍復雜圖像模糊方向鑒別結果Fig.11 Results of direction estimation for real complicated image
從圖11的實驗結果可以看出,本文算法對小尺度運動模糊下的實際復雜圖像同樣具有很好的模糊方向鑒別效果。
本文從運動模糊圖像及其方向鑒別產生誤差的成因出發(fā),通過對運動模糊圖像的頻譜進行分析和處理,在小尺度運動模糊情況下實現(xiàn)了模糊方向的精確鑒別。該算法主要有如下特點:1)利用中值濾波器對二次傅里葉頻譜進行“去噪”,在提高方向特征的同時便于圖像進行二值化時閾值的選?。?)在去除中心十字亮線的基礎上創(chuàng)造性地提出了去除中心亮斑,進一步使得頻譜方向特征更加明顯,其有效性通過實驗得到了驗證。雖然文中提出的算法具有一定的局限性,但是為小尺度運動模糊圖像提供了一種模糊方向精確鑒別的新思路。
[1] Zhang Yujin.Image engineering[M].3rd ed.Beijing:Tsinghua University Press,2012.
章毓晉.圖像工程[M].3版.北京:清華大學出版社,2012.
[2] Moghaddam M E,Jamzad M.Motion blur identification in noisy images using mathematical models and statistical measures[J].Pattern Recognition,2007,40(7):1946-1957.
[3] Moghaddam M E,Jamzad M.Linear motion blur identification in noisy images using fuzzy sets[C].US:IEEE,2005:862-866
[4] Liang Min,Zhu Hong.Motion blur parameter estimation based on correlation coefficient analysis with reference image[J].Chinese Journal of Scientific Instruments,2014,35(1):88-96.
梁敏,朱虹.基于參考圖相關系數(shù)分析的運動模糊參數(shù)估計[J].儀器儀表學報,2014,35(1):88-96.
[5] Wu Haibin,Liu Chao,Yu Xiaoyang,et al.Motion blurred direction estimation for video monitor image[J].Chinese Journal of Liquid Crystals and Display,2014,29(4):580-585.
吳海濱,劉超,于曉洋,等.視頻監(jiān)控圖像的運動模糊方向估計[J].液晶與顯示,2014,29(4):580-585.
[6] Guo Hongwei,F(xiàn)u Bo,Tian Yimin,et al.Deterioration parameter estimation and restoration of photo-graphic motion-blurred image[J].Laser &Infrared,2013,43(5):559-564.
郭紅偉,付波,田益民,等.實拍運動模糊圖像的退化參數(shù)估計與復原[J].激光與紅外,2013,43(5):559-564.
[7] Liang Wanyu,Sun Quansen,Xia Deshen.Identification of the motion blur direction using spectral property[J].Journal of Image and Graphics,2011,16(7):1164-4469.
梁宛玉,孫權森,夏德深.利用頻譜特性鑒別運動模糊方向[J].中國圖象圖形學報,2011,16(7):1164-4469.
[8] Lu Xiaodong.Restoration of motion-blurred image by generalized method based on SVD[J].Journal of Applied Optics,2013,34(1):90-94.
魯曉東.基于奇異值分解的運動模糊圖像廣義逆恢復方法[J].應用光學,2013,34(1):90-94.
[9] Guo Hongwei,Tian Yimin,F(xiàn)u Bo.Accurate detection of the motion blurred direction based on twice fourier spectrum[J].Journal of Yunnan University of Nationalities:Natural Sciences Edition,2012,21(4):301-304.
郭紅偉,田益民,付波.基于二次傅里葉頻譜的運動模糊方向精確檢測[J].云南民族大學學報:自然科學版,2012,21(4):301-304.
[10]Kong Yongqi,Lu Min,Pan Zhigeng.Motion blur direction detection based on pre-processing of spectrum image[J].Journal of Image and Graphics,2013,18(6):637-646.
孔勇奇,盧敏,潘志庚.頻譜預處理模糊運動方向鑒別的改進算法[J].中國圖象圖形學報,2013,18(6):637-646.
[11]Deng Zefeng,Xiong Youlun.Identification of motionblur direction based on frequency-domain algorithm[J].Opto-Electronic Engineering,2007,34(10):98-101.
鄧澤峰,熊有倫.基于頻域方法的運動模糊方向識別[J].光電工程,2007,34(10):98-101.
[12]Xie Wei,Qin Qianqing.Estimating blur parameters of point spread function of motion-blurred image based on cepstrum[J].Geomatics and Information Science of Wuhan University,2008,33(2):128-131.
謝偉,秦前清.基于倒頻譜的運動模糊圖像PSF參數(shù)估計[J].武漢大學學報:信息科學版,2008,33(2):128-131.