武擁軍,武 鵬,方俊彬,陳 哲
(1.太原衛(wèi)星發(fā)射中心,山西 太原 030027;2.四川大學 高分子科學與工程學院,四川 成都 610065;3.暨南大學 光電工程系,廣東 廣州 510632;4.廣東旭龍物聯(lián)科技股份有限公司,廣東 廣州 510700)
大口徑光學設備主要用于外場遠距離目標的監(jiān)視和測量,其口徑大、焦深短、調焦量程大,精準對焦相對較難。在使用中,常常會遇到目標與光學設備之間的距離未知、傳感器靶面偏離理想像面位置較大、圖像因離焦而模糊不清問題。針對大口徑光學設備的離焦問題,傳統(tǒng)的手動對焦方法依靠人眼確定對焦限度,精度低,很難達到圖像質量最佳;目前通用的計算機視覺調焦方法[1-2]需要在整個量程內來回調整調焦機構尋找最佳點,對于調焦量程大的大口徑光學設備,調焦速度慢,調整過程中出現(xiàn)模糊圖像,難以做到實時動態(tài)運行。隨著一些圖像復原方法的出現(xiàn),建立光學設備的退化模型,利用傳統(tǒng)圖像復原方法[3-4]對圖像進行逆卷積處理,可以將模糊圖像還原為清晰圖像。目前,國內外還沒有成像設備自我實時測量離焦量大小和方向的方法[3]。外場大口徑光學設備使用中,無法實時測量離焦量的大小和方向,因此,直接建立準確的離焦退化模型非常困難。
本文從光學鏡頭的成像原理出發(fā),按照焦點附近光場變化規(guī)律和焦深變化范圍,以一定的周期間隔選擇某些假想的離焦量值,推算相應的離焦點擴散函數(shù)、相干光傳遞函數(shù)和非相干光傳遞函數(shù),提出圖像離焦程度判斷方法,運用爬山法[2]、逆濾波[3-7]和離焦程度判斷法,尋找大口徑光學設備拍攝目標時刻的最佳離焦量值和方向,對模糊圖像給予復原。依據(jù)計算得到的離焦量大小和方向,不需要在整個量程內來回調整調焦機構尋找最佳點,能很快將調焦機構調整到最佳位置點,調整過程中設備一直顯示清晰圖像,可以實現(xiàn)大口徑光學設備的實時精準對焦。
無窮遠距離目標的光源以發(fā)散光束經(jīng)過光學設備鏡頭之后,入射到光學設備前,形成匯聚光波[2],在焦面上形成了點像。光波傳播與成像過程見圖1 所示,從物到像經(jīng)過了4 個過程,物面 Σ1產(chǎn)生的物光波,經(jīng)自由空間傳播到達光學系統(tǒng)前主面 Σ2,光學系統(tǒng)的光瞳對光束限制,再經(jīng)透鏡傳播之后到達后主面 Σ3,再經(jīng)自由傳播到達實際像面Σ 5,形成像面。
圖1 物平面光波經(jīng)透鏡到像的傳播過程方框圖Fig.1 Block diagram of light propagation from object to itsimage through the the lens
光學鏡頭的離焦成像的光路圖見圖2 所示,圖中: Σ1 為物平面; Σ2 為透鏡前主面; Σ3 為透鏡后主面; Σ4 為理想高斯像平面; Σ5 為實際像面;u為物距;v為理想像距(即高斯像距);di為實際像距; δ為平面 Σ4與平面 Σ5之間的距離,δ定義為離焦量,一般δ?v;f為鏡頭組等效焦距;D為光學系統(tǒng)的入射光 瞳口徑。
圖2 光傳播與成像示意圖Fig.2 Schematic diagram of light propagation and imaging
根據(jù)離焦量定義,有:
于是,由(1)式得:
物面 Σ1 的物體點分布光波用函數(shù)uo(ξ,η)表示,ξ為橫坐標,η為縱坐標;光學系統(tǒng)的光瞳可通光瞳函數(shù)p(ξ′,η′)表示,ξ′為橫坐標,η′為縱坐標;實際像平面 Σ5 上形成的像點分布函數(shù)為Ψi(x,y),x為橫坐標,y為縱坐標。
光學設備的離焦退化模型就是光學成像鏡頭的點擴散函數(shù)和傳遞函數(shù),成像波段為可見光,光學系統(tǒng)等效為透鏡。
設物體的平均光波波長為λ,光波的坡印廷矢量像平面空間坐標為(x,y)。結合圖2 的成像過程,依據(jù)透鏡的位相變換和夫瑯禾費衍射理論公式[8]可得:
式中j 為虛宗量。
根據(jù)高斯成像公式,理想像的垂直放大倍率為
像平面(x,y)處的場只與物平面上對應點近旁一個小區(qū)域有關,這時exp 因子的宗量變化不大于幾分之一弧度,因而可采用(5)式近似:
將(1)、(2)、(4)、(5)式代入(3)式,變量置換Mη、M ξ→η0、ξ0,整理后得:
其中:積分區(qū)域 Σ3為直徑為D的圓面; Σ1表示目標區(qū)域; Σ4表示理想像區(qū)域(高斯像面)。令
作變量代換之后,(7)式可變形為
式中h(ξ0-x,η0-y)為光學設備的離焦退化模型的點擴散函數(shù)h(x,y)的卷積表示,是實際像函數(shù)ψi(x,y)與理想像函數(shù)ui(x,y)之間關系,表示從高斯像面理想像函數(shù)到實際物平面像函數(shù)的點擴散函數(shù)。令E0為光波的幅度,E0取為
則有:
引入新坐標,令
(10)式為推導得出的光學成像鏡頭離焦退化圖像的點擴散函數(shù)形式,式中:D為光學設備入射孔徑;v為理想像距;δ為離焦量;λ為光的平均波長。對于物體上的點光源,在實際像面的光幅度分布函數(shù)為可以看出,其點像擴散函數(shù)具有圓對稱性。(10)式中:
J0(x)為0 階貝塞爾函數(shù)[9],x為自變量。令光軸向變量ω1為
(15)式中,當-3.2 ≤ω1≤3.2時,光強I/I0下降20%,于是焦深ε[2]有:
離焦量不超過焦深(即 δ≤ε)時,不影響像面清晰度;超出焦深(即δ ≥ε)時就會影響像面的清晰度。由于點擴散函數(shù)具有圓對稱性,因此我們取某一方向進行計算。設某一方向空間量化尺寸(即像元尺寸)為b,當前位置點的像元數(shù)為N。
令圖像徑向變量ω0為
則(12)式、(13)式變?yōu)?/p>
當離焦量δ=0 時,焦面上的點像衍射圖像為
式中J1(x)為1 階貝塞爾函數(shù)[2]。物體上的點光源,在像面的點像幅度擴散函數(shù)為
物體上的點光源,在像面的點像強度擴散函數(shù)為
2.2.1 相干光照明傳遞函數(shù)
取像面空間坐標x、y相對應的空間頻譜為Fx、Fy,根據(jù)傳遞函數(shù)定義[10],傳遞函數(shù)為點擴散函數(shù)的傅里葉變換:
式中:
下標re 表示實部,下標im 表示虛部。
2.2.2 非相干光照明下傳遞函數(shù)
存在波像差的非相干光照明下傳遞函數(shù)[10]為
式中Δω(x,y)為光學成像系統(tǒng)的波像差,根據(jù)像差光學系統(tǒng)的頻譜分析[5],離焦的波像差近似計算為[5]
式中α(Fx,Fy)是兩個錯開(λdiρ)的光學系統(tǒng)入射光瞳重合部分,圖3 中的陰影部分為積分區(qū)間。取tgi=-Fy/Fx后,將x、y坐標系順時針旋轉i角度到坐標系ζ、η。
圖3 積分區(qū)間 Σ示意圖Fig.3 Sketch map of integral interval Σ
由(29)式得:
將(30)式代入(29)式,推導得:
推導(31)式,經(jīng)過積分計算得光學系統(tǒng)的離焦退化模型的傳遞函數(shù):
當γ為0 時,H(0,ω1)=1;當離焦量δ為0 時,ω1=0,(32)式為
光學系統(tǒng)成像要求H(γ)≥0,H(γ)=0 空間頻率成份的光將被截止。(32)式方程H(γ)=0 存在多個γ解,第一個解(即最小值解)用γmax表示,截止時γmax相對應的空間頻率ρmax為截止頻率,用ρmax表示。H(γ)<0 為傳函反相,圖像上表現(xiàn)為“黑白顛倒”。
可以證明:ω1=0 時,γmax=1;ω1越大,γmax越小;在γ<γmax情況下,(32)式中正弦函數(shù)中ω1·γ·(γ-x)<4。故(32)式中的正弦函數(shù)泰勒近似展開,積分得:
其中:
計算圖像清晰度,以此作為評判圖像的依據(jù),找到圖像清晰度的極大值點,把模糊圖像復原。對于給定焦距和入射孔徑的攝影物鏡,采用迭代逼近法尋找離焦衍射模糊圖像的離焦量。
光學設備成像過程中,因為存在離焦導致圖像退化,圖像退化過程[11-16]可用下式表示:
(35)式中,g(x,y,δ)為模糊圖象,f(x,y)為理想圖像,h(x,y,δ)為點擴散函數(shù),n(x,y)為噪聲圖像。對(35)式兩邊取傅里葉變化得:
(36)式中,H(Fx,Fy,δ)為傳遞函數(shù),G(Fx,Fy)為模糊圖像的傅里葉頻譜,N(Fx,Fy)為噪聲的傅里葉頻譜,U(Fx,Fy)為理想圖像的傅里葉頻譜,F(xiàn)x和Fy為空間頻率。將(36)式轉換為矩陣形式為
(37)式中[N]、[G]、[F]、[H]為N(Fx,Fy)、G(Fx,Fy)、U(Fx,Fy)、H(Fx,Fy)的矩陣形式。利用最小二乘法[5],求得[U]的最小二乘估計[14-17][]為
取傅里葉逆變換得復原后的理想圖像矩陣為
已知光學設備成像時刻的離焦量,建立離焦傳遞函數(shù),由(39)式,可以得到復原后的原始理想圖像。然而,光學設備拍攝時刻的離焦量無法實時測得,我們假想一系列離焦量值,用這些值估計真實離焦量,進行圖像復原,會取得一系列復原圖像,計算這些復原圖像的清晰度值,清晰度值反映了假想離焦量與真實離焦量的逼近程度,也就是離焦程度。將一系列復原圖像中,清晰度值最大的圖相對應的估計離焦量值,我們稱之為“最佳離焦量值”。
1)清晰度定義
點像的強度分布曲線越陡,光學系統(tǒng)對于一般的目標物體所成的像邊緣越清晰,依據(jù)光學系統(tǒng)銳度的定義[14-16],具有離焦量δ 的實際像面點像的清晰度表示為
式中:a為傳感器靶面的最大尺寸;r為空間水平或垂直方向的坐標變量;ρ為水平或垂直方向的空間頻率;ρmax為截止頻率。
2)離焦量的估計值與真實值之差越小,復原圖像清晰度越大
根據(jù)(36)式和(40)式估計復原圖像的清晰度:
ρmax對應x和y方向的最大截止空間頻率為Fx0和Fy0,代入(41)式,離散化為
空間頻率高的部分反映圖像的細節(jié),選擇高頻Fx_high、Fy_high成份分析清晰度??紤]x方向,取實部
同理,考慮y方向,取實部
式中:ux、uy為常數(shù);K2(Fy_high)為Fy_high的多項式;K2(Fx_high)為Fx_high的 多項式;U2(Fx_high)和U2(Fy_high)為理想圖像的高頻強度值,計算可得:當δ-δ′=0時,(44)式中Ac(Fx_high,δ′)取最大值,表示復原圖像的清晰度為最大值。
外場光學設備用于觀測遙遠的物體,在滿足焦深條件下,當物體物距u從無窮遠u∞到一定距離u+內變化時,焦面的焦深范圍內就為不離焦像面,不需要調整。u∞?u+視為無窮遠成像景深距離,此時,像距v=焦距f。
如圖4 所示,當目標離開無窮遠,在近距離u+與u變化時,即u+?u之間,像面離開傳感器靶面位置,超出焦深,需要調整傳感器像面位置,使此接近理想相面位置v,像面位置變化為:f+ε ?ε為焦深,f為焦距,Δz為調焦量程。
圖4 外場光學設備調焦范圍示意圖Fig.4 Diagram of optical equipment focusing field range
于是,像面調整量程 Δz為
大口徑光學設備外場使用時,物距遠大于焦距,即u>>f,取u=N·f,N為一個大整數(shù),對于大口徑光學設備N>>600。于是有:
從式(46)可以看出:大口徑設備的焦距長而焦深短,調焦步進電機的調整量程大。
一幅圖像是否存在離焦,需要通過圖像處理判斷,應用爬山法[2-5]判斷圖像離焦程度。
4.2.1 概略離焦量值尋找
以2 倍的焦深為步長,尋找最大可能離焦量值,也就是清晰度值最大時對應的假設離焦量,即概略離焦量值,過程如下:
1)取一些假想離焦量值ω1[i]={0,2π,4π,6π,···,2iπ,···,20π},找到這幅圖像的像元尺寸a。結合給定的設備的光學D、焦距f參數(shù),對照這幅圖像的像元尺寸a,代入相干傳遞函數(shù)計算式(25),分別得出11 個不同離焦量的相干傳遞函數(shù)Hc(ρ),ρ為空間頻率,并保存于計算機系統(tǒng)內存中。
2)取實時圖像u(i,j),作傅立葉變換變換,得到傅立葉譜U(Fx,Fy)。
3)將Hc(ρ)和U(ρ)代入式(42)、(43)、(44),計算得出11 個A(ω1(i))。找出11 個A(ω1(i))值中的最大值Amax(ω1(i)),對應的2iπ定義為2i0π,由2i0π 計算出離焦量δ0。如圖5 所示。
圖5 圖像離焦程度的自動判斷方框圖Fig.5 Block diagram of automatic judgement for image defocus degree
4.2.2 精細離焦量值尋找
以小于1 倍的焦深為步長,尋找最大可能離焦量值。此時,找到的清晰度值最大時對應的假想離焦量,即精細離焦量值。
1)計算鄰域離焦量清晰度值
以2i0π±π 分別為假想離焦量值,代入(43)和(44)式,分別計算A(2i0π+π)和A(2i0π-π)兩個清晰度值。
2)比較鄰域離焦量清晰度值
比較A(2i0π+π)和A(2i0π-π)的大小。若A(2i0π+π)>A(2i0π-π),則在2i0π~2i0π+π 之間選擇7 個點,計算A(2i0π+π/8)、A(2i0π+π/4)、A(2i0π+3π/8)、A(2i0π+π/2)、A(2i0π+5π/8)、A(2i0π+3π/4)、A(2i0π+7π/8)中的最大值,找到對應的離焦量值;若A(2i0π+π)<A(2i0π-π),則在2i0π~2i0π-π 之間選擇7個點,計算A(2i0π-π/8)、A(2i0π-π/4)、A(2i0π-3π/8)、A(2i0ππ/2)、A(2i0π-π/8)、A(2i0π-3π/4)、A(2i0π-7π/8)中的最大值,找出對應的離焦量值。
3)若清晰度最大值對應的離焦量δ0≤Δz(焦深),則圖像不存在離焦問題。
從光軸上光場分布(12)式可以得出,隨著離焦量ω1的變化,存在多個極大值點,ω1=0 處為0 級極大點,ω1=±6π 處為1 級極大點,級數(shù)越大,峰值越小。因此,在當前的像面位置的鄰域尋找到的極大值點,不一定是最清晰位置。
為了兼顧實時性、調焦精度,我們利用圖像復原信息判斷圖像離焦的方向,如圖6 所示,針對具有一定尺度的目標離焦模糊圖像,依據(jù)圖像復原處理前后的散斑面積大小變化來分析,復原后,目標區(qū)域面積變大,說明為負離焦,向遠離鏡頭的方向運動;復原后,目標區(qū)域面積變小,說明為正離焦,向靠近鏡頭的方向運動。
圖6 離焦方向的判斷示意圖Fig.6 Diagram of judgement for defocus direction
以某光學成像設備的外場實驗圖片復原為例進行實驗,說明復原過程成像效果。
選擇光學攝像機的鏡頭口徑D=27.5 mm,焦距為f=143 mm,感光波段為可見光(平均波長為λ=0.55 μm),單像元尺度b=10 μm,像距v≈f=143 mm。將已知參數(shù)代入(18)式,得ω0=3.5π;代入(16)式,得焦深ε=±55λ=±30.29 μm;代入(27)式,得衍射極限頻率ρ0=349 lp/mm。
光學攝像機在離焦狀態(tài)下拍攝的圖片,如圖7(a)所示,取像元數(shù)為400×400,作傅里葉變換,得到傅里葉頻譜圖見圖7(b)所示。
圖7 原圖與傅里葉頻譜圖Fig.7 Original image and its Fourier spectrum image
選擇不同的假想離焦量,代入(10)式,計算光學系統(tǒng)不同離焦量的點擴散函數(shù)曲線。如圖8 所示:(a)為離焦量δ=0 時的焦面上的點像衍射圖像的徑向分布曲線;(b)為離焦量δ=ε(1 倍焦深),ω1=π 時的焦面上的點像衍射圖像的徑向分布曲線;(c)為離焦量δ=2ε(2 倍焦深),當ω1=2π 時的焦面上的點像衍射圖像的徑向分布曲線;(d)為離焦量δ=4ε(4 倍焦深),ω1=4π 時的焦面上的點像衍射圖像的徑向分布曲線??梢钥闯觯x焦量越大,點像彌散越大。離焦量接近4 倍焦深時,圖像中心點光強接近0,圖像反相分布。
圖8 不同離焦量的點擴散函數(shù)曲線Fig.8 Point-spread function curves of varied defocus distance
以相對孔徑為D/f=0.2 選擇不同離焦量δ,代入(33)式,計算傳遞函數(shù)函數(shù)曲線,圖9 為不同離焦量的傳遞函數(shù)圖:(a)為離焦量為0 時的傳遞函數(shù)圖;(b)為離焦量為400 個波長時的傳遞函數(shù);(c)為離焦量為1 600 個波長時的傳遞函數(shù);(d)為離焦量為4 000 個波長時的傳遞函數(shù)。可以看出,離焦量越大,曲線越抖,截止頻率越低。
依據(jù)4.2 節(jié)的爬山法,選擇在1.8π~2.2π 之間每隔0.02π 變化假想離焦量值,得出相干傳遞函數(shù)的實部與虛部,代入(43)式,對圖像相干復原處理得到的x方向清晰度Ac值見圖10(a)曲線,發(fā)現(xiàn)在1.86π~1.94π 之間Ac值比較大。
為了進一步得到精確離焦量值,在1.86π~1.94π 之間每隔0.02π 變化假想離焦量值,得出相干傳遞函數(shù)的實部與虛部,代入(43)式,對圖像復原處理得到的x方向清晰度Ac值見圖10(b)曲線,可以看出,離焦量在1.87π~1.88π 之間,清晰度取得最大值。
取假想離焦量ω1=1.875π,代入(33)式建立離焦傳遞函數(shù),依據(jù)(38)式、(39)式,對離焦模糊圖像圖11(a)進行復原,得到復原圖見圖11(b)所示。
分別計算復原前后的圖11(a)和圖11(b)的清晰度值、最大灰度等級、最小灰度等級,并進行比較。將圖11(a)和圖11(b)的傅里葉變化圖代入(40)式中計算,圖像的清晰度值結果見表1 所示。
從表1 中可以看出,以離焦量ω1=1.875π 建立點擴散函數(shù)和傳遞函數(shù),對模糊圖像進行復原,復原前后圖像統(tǒng)計結果為:復原前圖像的清晰度計算結果為221,復原后圖像的清晰度計算結果為598;復原前圖像的最大灰度等級結果為111,復原后圖像的最大灰度等級結果為181;復原前圖像的最小灰度等級結果為13,復原后圖像的最小灰度等級結果為5;由此可得出以下結論:
1)離焦圖像復原之后,清晰度得到提升;
2)離焦圖像復原之后,調制對比度得到提升。
圖9 不同離焦量的傳遞函數(shù)曲線Fig.9 Optical transfer function curves of varied defocus distance
圖10 不同離焦量的清晰度值曲線Fig.10 Definition value curves of varied defocus distance
將ω1=1.875π 代入(14)式得到離焦量δ=55.7 μm。從圖11 可以得出,圖像復原后,目標區(qū)域面積減小了,說明原圖像為正離焦。故系統(tǒng)對焦時,傳感器靶面應該向靠近鏡頭的方向運動55.7 μm。
大口徑光學設備的調焦全量程(≥12 mm)步進碼不低于40 000 個。若采用手動全量程調整對焦,每手動改變幾個碼,需要留出時間以便人眼觀察比較幾幅圖像,手動單向調整至少需要240 s,來回調整至少需要480 s。若采用計算機視覺調焦方法全量程調整對焦,步進電機每調整幾個碼,需要留出時間給計算機來比較幾幅圖像清晰度值,全量程單向調整至少需要60 s,來回調整至少需要120 s。
圖11 原圖與復原圖Fig.11 Original image and its restore image
表1 圖像復原前后的清晰度值Table 1 Definition values of original image and its restore image
本文的基于離焦圖像復原的光學設備實時視頻對焦方法,在主頻2.8 GHz 的調焦系統(tǒng)工控機上試驗,40 多個不同假設離焦量的點擴散函數(shù)線陣、相干光傳遞函數(shù)線陣、相干光傳遞函數(shù)線陣事前預先計算并存處于計算機內存中,計算實時調用用時不到100 μs;取圖像目標區(qū)域的線陣(1×100)進行離散傅立葉變換,不到300 μs 時間;采用爬山法計算全量程的40 多個不同假設離焦量對目標區(qū)域的線陣的復原清晰度值,不到900 μs 時間;找出清晰度最大值對應的離焦量值需要200 μs;采用維納逆濾波對原圖像復原處理,提取原圖像和復原圖像的目標,分別計算目標面積并比較,得到離焦方向,需要4 ms;利用計算得到的離焦量大小和符號,驅動調焦機構直接到位,最多需要9 ms,如表2 所示。從表2 可以看出,實驗總計耗時不超過15 ms。
表2 基于離焦圖像復原的光學設備實時視頻對焦方法的上機試驗時間Table 2 Time-consuming of real-time video focusing method based on defocus image restoration
成像系統(tǒng)實時采集圖像和輸出圖像頻率為25 fps,留給計算機圖像處理和實時調焦時間為20 ms。比較手動對焦法、計算機視覺調焦法、基于離焦圖像復原的光學設備實時視頻對焦法3 種方法的實時性結果,如表3 所示??梢钥闯?大口徑光學設備若采用手動對焦法、計算機視覺調焦法,調焦過程中,圖像會出現(xiàn)模糊現(xiàn)象,不能滿足實時性要求。采用基于離焦圖像復原的光學設備實時視頻對焦法,調焦機構一步到位,調焦過程中圖像一直保持清晰,能夠滿足實時性精準對焦要求。
表3 不同調焦方法的實時性結果比較Table 3 Comparison of real-time results of different focusing methods
從光學鏡頭的成像原理出發(fā),按照焦點附近光場變化規(guī)律和焦深變化范圍,以一定的周期間隔選擇某些離焦量值,推算離焦點擴散函數(shù)、相干光傳遞函數(shù)和非相干光傳遞函數(shù),利用爬山法、逆濾波和離焦程度判斷法,給出了尋找大口徑光學設備拍攝目標時刻的最佳離焦量值和方向的方法,并對模糊圖像給予了復原,圖像的清晰度和調制對比度得到了提升。依據(jù)離焦量大小和方向,通過機械結構調整光學鏡頭焦面位置,實現(xiàn)大口徑光學設備的實時精準對焦。最后,運用離焦模糊圖像復原實驗結果驗證了方法的可行性,為解決大口徑光學設備的外場使用中遇到的離焦模糊圖像問題提供技術方法。在光學成像、計算機視覺及航天光學圖像精密測量技術領域中具有重要的推廣應用價值。