常宸 孫帥 杜隆坤 聶鎮(zhèn)武 何林貴 張翼 陳鵬 鮑可 劉偉濤?

1) (國防科技大學(xué)理學(xué)院,量子信息研究所,長沙 410073)

2) (國防科技大學(xué),量子信息學(xué)科交叉中心,長沙 410073)

3) (國防科技大學(xué),湖南省量子信息機(jī)理與技術(shù)重點(diǎn)實(shí)驗(yàn)室,長沙 410073)

光學(xué)成像是人類不可或缺的信息獲取方式之一,其在預(yù)警偵察、精確制導(dǎo)、交通運(yùn)輸和工業(yè)生產(chǎn)等軍用和民用領(lǐng)域發(fā)揮著不可替代的作用.在室外環(huán)境中,由于背景光、雜散光和大氣介質(zhì)的影響,光學(xué)成像的分辨率、信噪比和作用距離等受到限制.近年來,在光學(xué)、物理、信息論及計算機(jī)等多學(xué)科的交叉融合發(fā)展的支撐下,新型光學(xué)成像技術(shù)不斷涌現(xiàn),為發(fā)展遠(yuǎn)距離、大視場、高信息通量的室外光學(xué)成像帶來新的契機(jī).關(guān)聯(lián)成像作為新型主動成像技術(shù)之一,具有高靈敏、抗干擾、信息并行獲取等特點(diǎn),能夠較好地應(yīng)對室外光學(xué)成像中所面臨的如遠(yuǎn)距離導(dǎo)致光功率急劇衰減、環(huán)境噪聲干擾引起的低信噪比等問題,并能在一定程度上減少散射、湍流等導(dǎo)致的圖像模糊等問題,是當(dāng)前室外環(huán)境中光學(xué)成像的熱門研究領(lǐng)域之一.本文從光學(xué)成像原理出發(fā),分析室外環(huán)境中光學(xué)成像分辨率、信噪比、空間帶寬積和成像距離的影響因素,重點(diǎn)介紹和梳理室外關(guān)聯(lián)成像在成像系統(tǒng)、信噪甄別技術(shù)和成像算法等方面的研究進(jìn)展,并淺析光學(xué)成像向更遠(yuǎn)距離、更廣視場拓展的過程中需要研究的基礎(chǔ)問題和待攻克的關(guān)鍵技術(shù).

1 引言

成像是指將客觀景物轉(zhuǎn)變?yōu)閳D像的過程,是人類認(rèn)識、改造世界的過程中不可或缺的工具.從冷凍電鏡細(xì)分蛋白分子結(jié)構(gòu)到韋伯望遠(yuǎn)鏡巡查宇宙瑰麗場景,從飛秒脈沖測量超快過程到延遲攝影記錄白云蒼狗,再從激光雷達(dá)助力自動駕駛到超聲波圖像洞察體內(nèi)組織,成像技術(shù)的進(jìn)步在不斷拓展人類的認(rèn)知邊界,服務(wù)人類的生產(chǎn)生活,并在醫(yī)學(xué)診斷、智能制造、資源普查、環(huán)境保護(hù)和國防安全等領(lǐng)域發(fā)揮著關(guān)鍵性的支撐作用.

在成像過程中,待成像物景反射、透射或輻射電磁波、聲波或物質(zhì)波等信息載體,信息載體在介質(zhì)中傳播后被探測并解譯,進(jìn)而在物景以外的時空點(diǎn)記錄、恢復(fù)或再現(xiàn)物景圖像.根據(jù)信息載體的時空二元性,成像可以分為時間域成像和空間域成像.在空間域成像中,根據(jù)信息載體所編碼自由度的不同,成像可以分為相位成像、強(qiáng)度成像、復(fù)振幅成像和偏振成像等.根據(jù)信息載體的不同,成像又分為聲波成像、物質(zhì)波成像(電子成像[1]、質(zhì)子成像[2-4]等)、電磁波譜段成像(微波成像[5-7]、THz成像[8-10]、紅外成像[11]、可見光成像、紫外成像[12]等),以及近年來出現(xiàn)的光聲成像[13,14]、微波光子成像[15,16]等.根據(jù)探測手段和圖像信息域的不同,成像還可以分為空間域成像、傅里葉域成像等.其中光學(xué)成像是指以光波為載體,利用成像系統(tǒng)和光電探測再現(xiàn)、恢復(fù)或重構(gòu)物景圖像.由于圖像提供的信息豐富且直觀,光學(xué)成像在天基遙感、地球測繪、預(yù)警偵察、自動駕駛等關(guān)系國計民生的重要領(lǐng)域中發(fā)揮著不可替代的作用.

在室外環(huán)境中,弱回波、強(qiáng)噪聲,大氣擾動等不利因素是各類光學(xué)成像手段所面臨的共同挑戰(zhàn).待成像場景通常較為復(fù)雜,場景中物體以反射式物體為主,其材料、結(jié)構(gòu)、形狀多變,反射回波往往較弱.此外,由于成像距離較遠(yuǎn),大氣介質(zhì)對光的吸收與擴(kuò)散進(jìn)一步擴(kuò)大了弱回波的難題.較弱的回波通常攜載了豐富物景的信息,這好比“小馬(弱回波)拉大車(大信息量)”,圖像恢復(fù)難度較大,并且這個問題將隨著成像距離的提升變得愈發(fā)困難.同時,在室外環(huán)境中,來自其他目標(biāo)或輻射體的雜散光不可避免,常常降低目標(biāo)回波信噪比.此外,光在大氣介質(zhì)中傳播時的波前畸變也會導(dǎo)致目標(biāo)空間信息混疊,圖像對比度和分辨率的退化嚴(yán)重.總而言之,要在遠(yuǎn)距離、廣視域、強(qiáng)干擾、低信噪比和復(fù)雜場景條件下實(shí)時地獲取大視場、高分辨、細(xì)節(jié)豐富的場景圖像,這對成像系統(tǒng)的靈敏度、抗噪性能、空間帶寬積、魯棒性都有極高的要求.

關(guān)聯(lián)成像,是一種起源于量子糾纏的主動成像技術(shù),利用光場二階相干性對物體的圖像進(jìn)行重構(gòu).和傳統(tǒng)的光學(xué)成像不同,關(guān)聯(lián)成像技術(shù)具有高靈敏、抗干擾、無透鏡成像、多維信息并行獲取等潛在優(yōu)勢,因此具備弱回波探測、低信噪比成像、突破分辨率極限等潛能,從而實(shí)現(xiàn)遠(yuǎn)距離成像.本文以室外環(huán)境中的光學(xué)成像為引,從成像理論、光源、算法等角度對室外關(guān)聯(lián)成像的研究進(jìn)展介紹,并對這一成像技術(shù)進(jìn)行進(jìn)一步的探討與展望.

2 室外環(huán)境中的光學(xué)成像

2.1 光學(xué)成像的物理基礎(chǔ)

光學(xué)成像的過程可以簡化為: 基于包括光源、光學(xué)系統(tǒng)與探測裝置等的成像系統(tǒng),對目標(biāo)輻射或反(透)射光子進(jìn)行探測與記錄,建立物像之間的“點(diǎn)對點(diǎn)”映射,以此重現(xiàn)或恢復(fù)目標(biāo)信息.以高斯成像系統(tǒng)為例,目標(biāo)各點(diǎn)自發(fā)輻射或反(透)射的光子經(jīng)由透鏡后被光電探測器記錄.在這一過程中,根據(jù)單光子干涉的理論,任意光子僅與自己發(fā)生干涉.物體各點(diǎn)處光子在達(dá)到像面后,經(jīng)過相同的光程而在像點(diǎn)處發(fā)生相長干涉,在其他點(diǎn)發(fā)生相消干涉.大量光子在干涉面積內(nèi)非相干疊加,經(jīng)系綜平均形成規(guī)則艾里斑.物體上光強(qiáng)越強(qiáng)的點(diǎn),單位時間內(nèi)反(透)的光子數(shù)越多,形成的艾里斑也越亮,由此完成物面與像面點(diǎn)對點(diǎn)映射關(guān)系的建立.此外,這一映射關(guān)系也可通過算法恢復(fù)重構(gòu).例如,在共聚焦成像中,點(diǎn)對點(diǎn)(斑)映射直接通過光場通過光學(xué)系統(tǒng)后的一階干涉實(shí)現(xiàn).再如,散射成像中,點(diǎn)擴(kuò)展函數(shù)是隨機(jī)散斑,點(diǎn)對點(diǎn)映射可以通過算法恢復(fù).

光學(xué)成像的構(gòu)型如圖1 所示.目標(biāo)物體反射(自身輻射的光場)通過光學(xué)系統(tǒng)到達(dá)探測器,光場信息經(jīng)過光電轉(zhuǎn)換最終由計算機(jī)記錄或恢復(fù)圖像信息.同時,計算機(jī)控制光學(xué)系統(tǒng)和探測模塊參數(shù),使獲得的圖像質(zhì)量更優(yōu).在主動光學(xué)成像中,光場調(diào)控和光子態(tài)的制備通常也需要計算機(jī)的控制和優(yōu)化.因此,成像實(shí)驗(yàn)所需的技術(shù)包括光源模塊技術(shù),光路設(shè)計和搭建,光場信號探測以及圖像信息解譯等.

圖1 光學(xué)成像構(gòu)型示意圖Fig.1.Schematic of optical imaging configuration.

在光學(xué)系統(tǒng)中,光源的強(qiáng)度、波長、類型等決定了成像過程中能夠用于傳遞物體信息的光子數(shù)及其所傳遞信息的類型,間接影響著光學(xué)系統(tǒng)、探測器以及成像算法的選取與應(yīng)用.光學(xué)系統(tǒng)在光傳播過程中往往起著調(diào)整、約束光子的作用,使物像間滿足成像關(guān)系的同時能有效提高光子的利用效率,進(jìn)而提高信號的信噪比.此外,光學(xué)系統(tǒng)與工作波長共同決定了成像結(jié)果的光學(xué)分辨率.探測器負(fù)責(zé)記錄光子的分布,其靈敏度、探測效率、探測噪聲等影響著成像信噪比、成像視場與圖像分辨率,在需進(jìn)行多次測量的成像過程中,探測器的響應(yīng)速率也決定了成像速率.對于部分光學(xué)成像過程,算法主要起到圖像優(yōu)化的作用,通過對成像環(huán)境、重構(gòu)圖像等的分析選取合適的優(yōu)化算法,能夠進(jìn)一步提升成像質(zhì)量.而對于散射成像或關(guān)聯(lián)成像等,利用算法進(jìn)行圖像重構(gòu)則是從探測器返回數(shù)據(jù)中反解物體信息必不可少的步驟,算法的性能直接決定著圖像重構(gòu)的速率、重構(gòu)圖像的質(zhì)量.

2.2 光學(xué)成像的像質(zhì)要素

在對成像系統(tǒng)的性能進(jìn)行定量評價時,可靠的像質(zhì)評價指標(biāo)不可或缺.在此我們對成像相關(guān)研究中所常見的像質(zhì)評價指標(biāo),包括分辨率、信噪比、對比度等進(jìn)行簡單的介紹.

成像分辨率成像分辨率是對圖像細(xì)節(jié)分辨能力的衡量.成像系統(tǒng)的分辨率主要包括光學(xué)分辨率(衍射極限)與圖像分辨率(像素尺寸).二者共同成為光學(xué)成像系統(tǒng)空間分辨率的制約因素.

光學(xué)分辨率是指通常指在衍射的影響下,物體上兩點(diǎn)間能被區(qū)分開的最小距離.限制成像過程中光學(xué)分辨率的因素主要包括兩個方面,其一為光學(xué)系統(tǒng)的孔徑尺寸;其二為觀察樣本所用光源的波長.在表征光學(xué)分辨率時,通常需要考慮3 個物理概念: “艾里斑”、“瑞利判據(jù)”、“阿貝衍射極限”.“艾里斑”是指通過一定尺寸的光學(xué)系統(tǒng)時,由于衍射現(xiàn)象導(dǎo)致的多個亮暗相間的同心環(huán),其中心為點(diǎn)狀光斑.“艾里斑”之間能否互相區(qū)分,決定著圖像中物體各點(diǎn)能否互相區(qū)分,即Rayleigh[17]于1896 年提出的“瑞利判據(jù)”理論:

其中,DAiry為艾里斑的直徑,λ為光的波長,f為焦距,D為通光孔徑,NA=D/(2f),即為數(shù)值孔徑,數(shù)值孔徑NA為量綱為一的量,通常用于表示鏡頭收光能力的強(qiáng)弱,進(jìn)而決定了系統(tǒng)的光學(xué)分辨率.值得說明的是,瑞利判據(jù)嚴(yán)格意義上并不是一個基本的物理定律,而是一個有些主觀定義的值.

1873 年,Abbe[18]提出了著名的阿貝成像原理,其顯式地將成像過程分為兩步,即分頻與合成.成像系統(tǒng)對分辨率的限制作用就體現(xiàn)在頻譜面的低通濾波效應(yīng),其所對應(yīng)的最小可分辨間距為

這就是頻域角度出發(fā),得到的“阿貝衍射極限”.

如圖2 所示,“艾里斑、瑞利判據(jù)”與“阿貝衍射極限”分別從不同的角度衡量了成像系統(tǒng)的分辨能力.

圖2 艾里斑、瑞利衍射以及阿貝衍射極限[19]Fig.2.Limit of Airy disk,Rayleigh diffraction and Abbe diffraction[19].

在關(guān)聯(lián)成像中,成像分辨率還可對應(yīng)于光場自相關(guān)所得單峰函數(shù)的半高全寬.與傳統(tǒng)成像所不同,關(guān)聯(lián)成像是基于光場間的高階關(guān)聯(lián)獲取重構(gòu)圖像,其重構(gòu)圖像中物體上兩點(diǎn)能否分辨不再僅取決于光學(xué)系統(tǒng),更多地是由照明光場其自身的性質(zhì)所決定.照明光場中,相鄰像素間的相關(guān)性決定了區(qū)分重構(gòu)圖像中相鄰各點(diǎn)間的難以程度.顯然,當(dāng)光場中相鄰像素間的相關(guān)性越高,重構(gòu)圖像中相鄰點(diǎn)也越難以區(qū)分,此時光場自相關(guān)函數(shù)的半高全寬越寬.

圖像分辨率,又稱像素分辨率,表述了圖像中對于物體細(xì)節(jié)的呈現(xiàn)能力,由單位圖像(或探測器陣列)內(nèi)像素點(diǎn)數(shù)決定.隨著光電數(shù)字化的發(fā)展,圖像需要通過圖像傳感器件進(jìn)行數(shù)字化離散采樣和記錄.因此,光電探測器件的圖像分辨率成為了光學(xué)分辨率外制約系統(tǒng)空間分辨率的另一大因素.在對光學(xué)圖像進(jìn)行離散化采樣的過程中,在每個采樣點(diǎn)上,局部區(qū)域內(nèi)的輻照度被積分并被圖像傳感器所記錄.由香農(nóng)-奈奎斯特采樣定理可得,采樣間距必須大于信號中最高頻率分量的兩倍.對于光學(xué)圖像來說,當(dāng)探測器像素尺寸間距過大,或采樣過于稀疏時,像素中的信息發(fā)生混疊,造成圖像分辨率的下降.

信噪比(signal-to-noise ratio,SNR)在光學(xué)成像中,由于成像過程可分為數(shù)據(jù)采集與圖像重構(gòu),相應(yīng)地將信噪比分為信號的信噪比與圖像的信噪比.前者是指所采集數(shù)據(jù)中信號光與噪聲光的能量或功率之比,可用于定性評估系統(tǒng)的成像能力,后者是指系統(tǒng)所得重構(gòu)圖像中目標(biāo)與背景噪聲能量/功率之比,可用于定量評價系統(tǒng)的成像質(zhì)量.光子是光學(xué)成像系統(tǒng)中的信息載體.被探測的信號光子數(shù)越少,光學(xué)系統(tǒng)可解耦的信息量越少.在光子通量有限的情況下,噪聲會嚴(yán)重影響信息的解耦,具體表現(xiàn)為圖像的信噪比極低、信息缺失、甚至無法成像.

在信號信噪比中,噪聲光包括環(huán)境中非目標(biāo)反(透)射的雜散光、探測器測量及信號傳輸過程中產(chǎn)生的散粒噪聲與測量噪聲等.由此可得信號的信噪比為

其中Np為光子數(shù); QE 為探測器的量子效率;Ns,Ne和Nd分別為散粒噪聲、環(huán)境噪聲和探測器噪聲.所以如何提高探測器的靈敏度,降低探測器的測量噪聲成為了光學(xué)成像中的一個重要課題.

對于圖像信噪比,我們將其中感興趣區(qū)域(region of interest,ROI)像素的理想值視為圖像中的信號真值,其與實(shí)際重構(gòu)圖像的差異視為噪聲,此時可以定義圖像信噪比為

其中〈S〉為信號均值,〈N〉為噪聲均值,SDimg為圖像的標(biāo)準(zhǔn)差.一般來說,信號的信噪比越高,得到的圖像信噪比就越高.如何準(zhǔn)確甄別信號與噪聲、最大程度上抑制噪聲也是一項(xiàng)極具挑戰(zhàn)性的研究工作.相對其他像質(zhì)評價指標(biāo),信噪比是相關(guān)研究中最為常用的評價指標(biāo).

圖像對比度(contrast)對比度指的是一幅圖像中明暗區(qū)域最亮的白和最暗的黑之間不同亮度層級的差異.差異范圍越大代表對比越強(qiáng)烈,差異范圍越小代表對比越小.常用的韋伯對比度表達(dá)式為

其中,S1為物體的亮度,S2為背景的整體亮度.韋伯對比度表示在同種刺激下,人感受到的刺激的動態(tài)范圍正比于標(biāo)準(zhǔn)刺激的強(qiáng)度.另有Michelson 對比度:

其和韋伯對比度有異曲同工之處.

對比度也是圖像質(zhì)量的一種衡量方式.即使具有相同的信噪比,但依然可能具有不同的對比度,并呈現(xiàn)出較大的視覺差異.

圖像襯噪比(contrast-to-noise ratio,CNR)與圖像信噪比相似,CNR 是一類用于評價圖像中信號與背景噪聲差異的評價指標(biāo).關(guān)聯(lián)成像特別是贗熱光關(guān)聯(lián)成像中,由于其原理決定即使無噪聲情況下圖像中非信號區(qū)域也會得到非零取值,因此通常將相應(yīng)的背景項(xiàng)扣除后再對信號與噪聲進(jìn)行比較.即定義圖像襯噪比CNR 為

其中To指重構(gòu)圖像中的目標(biāo)區(qū)域,Tb指重構(gòu)圖像中的背景區(qū)域.

結(jié)構(gòu)相似性(structural similarity index measure,SSIM)從圖像的亮度、對比度及結(jié)構(gòu)等角度評估了重構(gòu)圖像與實(shí)際物體間的相似性.其公式較為復(fù)雜,在此不再列出.由于SSIM 計算結(jié)果取值范圍固定為0–1 (分別代表兩張圖像完全不同與完全相同),因此該指標(biāo)能夠直觀地表現(xiàn)重構(gòu)圖像質(zhì)量.但在SSIM 中,并未區(qū)分重構(gòu)圖像中的“信號”與“背景”,故而在成像目標(biāo)占視場尺寸較小時,其評價結(jié)果更多地集中于對“背景區(qū)域”的評價,無法很好地反映圖像中目標(biāo)物體的重構(gòu)情況.

圖3 中以一張關(guān)聯(lián)成像實(shí)驗(yàn)中所得的重構(gòu)圖像為基礎(chǔ),計算了其圖像信噪比、對比度、襯噪比與結(jié)構(gòu)相似性.圖3(a)為參考圖像,圖3(b)和圖3(c)分別為以漲落關(guān)聯(lián)、差分關(guān)聯(lián)算法所得的重構(gòu)圖像.所得的評價結(jié)果為: 對于圖3(b),SNR 為4.02,CNR 為2.79,對比度為0.15,SSIM 為0.09;對于圖3(c),SNR 為2.39,CNR 為1.51,對比度為0.11,SSIM 為0.05;

圖3 (a)理想圖像;(b)漲落關(guān)聯(lián)重構(gòu)圖像;(c)差分關(guān)聯(lián)重構(gòu)圖像Fig.3.(a) Ideal image;(b) reconstructed image by fluctuation correlation;(c) reconstructed image by differential ghost imaging.

2.3 室外環(huán)境對光學(xué)成像的影響

與室內(nèi)環(huán)境相比,室外環(huán)境對光學(xué)成像的影響主要體現(xiàn)在弱回波、強(qiáng)噪聲、環(huán)境影響等方面.

弱回波在傳輸過程中,受大氣中組分的影響,不同波段的光波均會產(chǎn)生一定程度的衰減.對于可見光波段,由氮分子與氧分子所引起的瑞利散射不容忽視,大氣中某些原子的共振吸收也將進(jìn)一步導(dǎo)致可見光波段的衰減.對于紅外波段,分子的帶吸收是其衰減的重要原因.此外,由氣溶膠顆粒所導(dǎo)致的米氏散射也將導(dǎo)致光波能量的急劇衰減.同時,光波在傳輸過程中將不可避免地發(fā)生擴(kuò)散.根據(jù)激光雷達(dá)公式可知,探測器所接收光的功率與距離四次方成反比.

此外,在室外環(huán)境中成像目標(biāo)多為反射式目標(biāo).與反射式目標(biāo)相比,透射式目標(biāo)的回波信號并未經(jīng)過吸收或反射,其擴(kuò)散角度與單位面積內(nèi)光強(qiáng)可近似視為未受物體影響.而當(dāng)目標(biāo)為反射式目標(biāo)時,回波信號是由目標(biāo)表面對光波的反射形成,這一過程中物體表面將會發(fā)生對光波的吸收與反射,能量損失無可避免.與此同時,目標(biāo)的粗糙表面或反射角度將會加劇光波的擴(kuò)散現(xiàn)象,進(jìn)一步加劇回波能量的衰減.綜合而言,對于反射式目標(biāo),其材料性質(zhì)、反射類型、反射角度等因素決定了可收集的回波遠(yuǎn)遠(yuǎn)小于照射信號,進(jìn)一步惡化了室外環(huán)境中光學(xué)成像所面臨的弱回波問題.

強(qiáng)噪聲在光學(xué)成像中,背景光、散射光等會帶來很強(qiáng)的噪聲.面對噪聲的干擾,常見的濾波降噪手段包括頻率濾波、時域?yàn)V波或空間濾波等.在室外環(huán)境中,日光覆蓋了絕大多數(shù)光學(xué)成像所用的波段,目標(biāo)周邊環(huán)境的反射光與目標(biāo)回波具有相似的特征.而在主動成像體系中,散射介質(zhì)引起的后向散射噪聲與目標(biāo)回波僅在時域上有著一定的區(qū)分.對于此類環(huán)境光噪聲,難以借助單一的濾波手段進(jìn)行有效地降噪,同時也會進(jìn)一步降低回波信號能量.

此外,探測器自身在完成光電轉(zhuǎn)換、信號傳輸?shù)倪^程中會產(chǎn)生一定的量化誤差與探測噪聲.當(dāng)回波能量較高時此類噪聲的影響往往可忽略不計,但在室外環(huán)境下,目標(biāo)回波通常較弱,此時此類噪聲的影響將不容忽視.

大氣環(huán)境影響大氣環(huán)境對成像的影響不僅體現(xiàn)在吸收與散射引起的光能量衰減,還包括散射、氣流或者湍流引起的像與物之間點(diǎn)對點(diǎn)關(guān)系的扭曲.大氣湍流是大氣中一種典型的不規(guī)則的隨機(jī)過程,在遠(yuǎn)距離傳播過程中,其引起的折射率隨機(jī)起伏對成像的影響不容忽視.一種用于描述大氣湍流的參數(shù)是大氣結(jié)構(gòu)常數(shù),該參數(shù)表示大氣折射率的起伏大小,在環(huán)境溫度、風(fēng)速等影響下將會產(chǎn)生上下波動.基于該參數(shù),研究人員提出了多種模型,如SLC-Day 模型[20],H-V 模型(Hufnagel-Valley model)[21]、Greenwood 模型等[22].雨霧等不良天氣條件下,大氣散射顯著增強(qiáng),光的直線傳播被破壞,從而物像之間的點(diǎn)對點(diǎn)對應(yīng)快速退化,同樣導(dǎo)致成像質(zhì)量下降.針對散射或湍流的影響,研究人員提出了如利用彈道光成像的光學(xué)相位共軛、反饋控制的波前整形、基于光學(xué)記憶效應(yīng)的散射成像技術(shù)及深度學(xué)習(xí)等方法.然而由于其影響的隨機(jī)性和復(fù)雜性,散射及湍流影響仍是室外光學(xué)成像中亟待解決的難題.

3 室外環(huán)境中的關(guān)聯(lián)成像

3.1 關(guān)聯(lián)成像原理

關(guān)聯(lián)成像,又稱鬼成像,是一種基于光場高階關(guān)聯(lián)的主動成像技術(shù).該技術(shù)通過對光源進(jìn)行調(diào)制,并基于所采集數(shù)據(jù)進(jìn)行重構(gòu)運(yùn)算得到目標(biāo)圖像.其起源可追溯至Hanbury-Brwon 和Twiss (HBT)實(shí)驗(yàn)[23],該實(shí)驗(yàn)原理如圖4 所示.通過計算探測器C1和 C2所接受的星光的干涉條紋,計算其周期即可得到星體角.

圖4 HBT 實(shí)驗(yàn)基礎(chǔ)原理圖[23]Fig.4.Schematic diagram of HBT[23].

在HBT 實(shí)驗(yàn)中,以I1與I2分別表示 C1和C2的探測結(jié)果,計算其內(nèi)積可得

由于在關(guān)聯(lián)成像中,光場各空間位置處強(qiáng)度相互獨(dú)立且隨機(jī),因此光場的二階相關(guān)度可寫作:

其中g(shù)為由光場自身所決定的常數(shù),δ(x,y) 為沖激響應(yīng),x和y分別代表空間坐標(biāo).此時相干長度與圖像像素尺寸相匹配,若成像系統(tǒng)無需考慮散射等傳播影響,物像間形成嚴(yán)格的“點(diǎn)對點(diǎn)”一一對應(yīng).

以Ir(x,y) 表示某一時刻參考臂照明光場,IB(x,y) 表示同一時刻探測臂照明光場,O(x,y) 表示目標(biāo)物體的透過函數(shù),則桶探測器所采數(shù)據(jù)可表示為

此時雙臂數(shù)據(jù)的歸一化二階關(guān)聯(lián)結(jié)果可寫作:

第1 個具體的關(guān)聯(lián)成像理論方案由Klyshko[24]于1988 提出,并由Shih[25]于1995 年以參量下轉(zhuǎn)換糾纏光實(shí)現(xiàn)首例關(guān)聯(lián)成像原理驗(yàn)證實(shí)驗(yàn).隨后經(jīng)過近30 年的發(fā)展,在光源類型上逐漸出現(xiàn)了熱光、贗熱光甚至微波[26]、物質(zhì)波[27]等關(guān)聯(lián)成像實(shí)驗(yàn);在成像架構(gòu)上則在雙臂關(guān)聯(lián)成像之外衍生出了單臂(計算)關(guān)聯(lián)成像[28];在重構(gòu)算法上,在傳統(tǒng)的強(qiáng)度/漲落關(guān)聯(lián)算法外誕生了差分關(guān)聯(lián)成像算法[29]、歸一化關(guān)聯(lián)成像算法[30],以及壓縮感知算法[31-33]與深度學(xué)習(xí)算法[34-36].在相關(guān)研究所應(yīng)用的各類光源中,自發(fā)參量下轉(zhuǎn)換所得的糾纏光子數(shù)目過少,自然存在的熱光光強(qiáng)的相干時間或漲落時間太短,相較之下,以其他光源模擬熱光所得的贗熱光光源易于制備,便于探測,因此成為研究所用的主流光源之一.其中以激光經(jīng)過旋轉(zhuǎn)毛玻璃所形成的贗熱光最為常見,其實(shí)驗(yàn)架構(gòu)如圖5 所示.

圖5 贗熱光關(guān)聯(lián)成像系統(tǒng)示意圖Fig.5.Schematic diagram of ghost imaging based on pseudo-thermal light.

如圖5 所示,激光經(jīng)過毛玻璃后形成散斑場,隨后被分束鏡分為參考臂與探測臂兩束光路,在參考臂光路中,散斑場經(jīng)由面陣探測器直接記錄其空間分布,在探測臂光路中,散斑場經(jīng)由目標(biāo)反射后由桶探測器記錄其光強(qiáng).面陣探測器沒有對物體進(jìn)行探測,探測臂上僅進(jìn)行單像素的能量探測,不具有空間分辨能力,因此這兩個探測器單獨(dú)均不能對物體進(jìn)行成像.但是借助光場的二階關(guān)聯(lián)特性,在完成多次采樣后借助重構(gòu)算法,對雙臂所采集的數(shù)據(jù)進(jìn)行關(guān)聯(lián)運(yùn)算則可得到目標(biāo)的重構(gòu)圖像.在計算關(guān)聯(lián)成像中,則是通過計算機(jī)生成光場的調(diào)制圖樣,并借助數(shù)字微鏡(digital micromirror devices,DMD)或空間光調(diào)制器(spatial light modulator,SLM)等調(diào)制器件生成相應(yīng)的照明散斑場,借此省略了對參考臂散斑場的記錄需求,從而取消了參考臂光路.

對于關(guān)聯(lián)成像而言,光場的二階相干度相當(dāng)于系統(tǒng)的點(diǎn)擴(kuò)散函數(shù).成像結(jié)果中物體分布可以寫作物體反射率函數(shù)和光場的二階相干度的卷積,所用光場二階相干度的單峰特性保證了物和像的點(diǎn)對點(diǎn)的成像關(guān)系.因此光源產(chǎn)生光場的二階相干度分布是影響成像質(zhì)量的重要因素.以贗熱光關(guān)聯(lián)成像為例,激光經(jīng)旋轉(zhuǎn)毛玻璃后的光場打在物體上形成散斑場,散斑大小由激光照射在毛玻璃上的尺寸、激光波長和傳播距離共同決定,二階相干度函數(shù)的峰值寬度就對應(yīng)于散斑大小且決定了成像的分辨率.根據(jù)關(guān)聯(lián)成像的卷積關(guān)系可知,成像的對比度由二階相干度的對比度決定,光場二階相干度峰值越接近2,圖像的對比度越高.當(dāng)然,在任何成像系統(tǒng)中都不可避免受到外界噪聲干擾,關(guān)聯(lián)成像中探測器及信號傳輸將會產(chǎn)生探測噪聲、電噪聲及量化噪聲等,光的傳輸也會引入相位噪聲.對于成像系統(tǒng)中傳輸路徑上的噪聲研究,人們主要考慮大氣湍流和散射介質(zhì)的影響.

3.2 室外關(guān)聯(lián)成像特點(diǎn)

與其他光學(xué)成像方式相比,關(guān)聯(lián)成像具有高靈敏探測、抗噪聲干擾及多維信息獲取等特點(diǎn),能夠在一定程度上應(yīng)對室外環(huán)境對成像的干擾,同時可實(shí)現(xiàn)成型應(yīng)用場景的擴(kuò)展.

高靈敏探測傳統(tǒng)成像中是以陣列探測器收集待探測物體的空間分布信息,回波光子被分散到多個像元中完成探測,存在光子數(shù)難以達(dá)到像元探測閾值的可能性,加之環(huán)境中其他噪聲和散射介質(zhì)的存在,限制了成像靈敏度.而在關(guān)聯(lián)成像中對物體回波的探測則是以桶探測器為主.桶探測器雖不具備空間分辨能力,但將探測范圍內(nèi)全部光子進(jìn)行記錄,因而使得關(guān)聯(lián)成像系統(tǒng)具有更靈敏的探測能力,在相同光源功率的條件下具備更遠(yuǎn)成像距離的潛力,從而更好地應(yīng)對室外成像場景下弱回波問題.

抗噪聲干擾室外成像環(huán)境中,環(huán)境光噪聲、目標(biāo)周邊的背景噪聲等是影響成像質(zhì)量的典型因素.關(guān)聯(lián)成像基于光場的高階關(guān)聯(lián)獲取目標(biāo)圖像,對照明光源的主動調(diào)控可視作是對物體進(jìn)行編碼,對回波進(jìn)行關(guān)聯(lián)運(yùn)算則是解碼過程,因此能夠抑制與光源統(tǒng)計性質(zhì)無關(guān)的光噪聲.利用關(guān)聯(lián)成像主動照明這一特點(diǎn),結(jié)合時域、空域編碼等技術(shù)可一定程度上去除背景噪聲干擾,實(shí)現(xiàn)低信噪比條件下的成像.另外,在數(shù)據(jù)采集過程中還可以根據(jù)已有數(shù)據(jù)反解物體信息,并對后續(xù)照明光場的分布、類型等做出實(shí)時調(diào)整,進(jìn)一步提升抗噪聲能力.面對室外環(huán)境中的散射、湍流等干擾,關(guān)聯(lián)成像可借助對成像架構(gòu)、算法等的優(yōu)化設(shè)計,或是與自適應(yīng)光學(xué)相結(jié)合,提高對大氣干擾的抵抗能力.

多維信息獲取在實(shí)際應(yīng)用中,信息需求往往不僅僅局限于圖像,目標(biāo)的距離、三維結(jié)構(gòu)、運(yùn)動狀態(tài)也是重要信息.作為一種主動成像方式,關(guān)聯(lián)成像能夠?qū)φ彰鞴鈭鍪┮远嗑S度并行編碼從而同時獲取多種信息.可基于時域關(guān)聯(lián)獲得飛行時間從而完成進(jìn)行測距,或是仿照激光雷達(dá)/單光子成像的模式實(shí)現(xiàn)目標(biāo)三維結(jié)構(gòu)信息的獲取,空間時間綜合編碼還可以實(shí)現(xiàn)測速甚至同時完成對運(yùn)動目標(biāo)的追蹤與成像[37-41].

4 室外關(guān)聯(lián)成像研究進(jìn)展

室外關(guān)聯(lián)成像系統(tǒng)依據(jù)其工作過程可分為光源調(diào)制、大氣傳輸、回波探測與圖像重構(gòu).為提高成像質(zhì)量,擴(kuò)展應(yīng)用范圍,相應(yīng)的研究也主要圍繞這四部分展開.

4.1 贗熱光源獲取

如前文所述,光源的強(qiáng)度、波長、類型決定了成像過程中能夠用于傳遞物體信息的光子數(shù)及其所傳遞信息的類型,間接影響著光學(xué)系統(tǒng)、探測器以至于成像算法的選取與應(yīng)用.因此,研制高刷新、高能量的贗熱光源對室外關(guān)聯(lián)成像至關(guān)重要.關(guān)聯(lián)成像系統(tǒng)常用的光源包括以旋轉(zhuǎn)毛玻璃、空間光調(diào)制器或數(shù)字微鏡器件等作為光場調(diào)制器件的贗熱光源,以高速光開關(guān)為核心技術(shù)的發(fā)光二極管(light emitting diode,LED)陣列,以及近年來嶄露頭角的片上集成贗熱光源等.

基于激光穿過旋轉(zhuǎn)毛玻璃所得的贗熱光源,2016 年,中國科學(xué)院上海光學(xué)精密機(jī)械研究所Gong等[42]采用脈寬10 ns 的激光,實(shí)現(xiàn)了三維激光關(guān)聯(lián)成像雷達(dá).在2016 和2017 年,Deng 等[43,44]將近紅外3D 成像雷達(dá)技術(shù)與關(guān)聯(lián)成像、壓縮感知理論相結(jié)合,實(shí)現(xiàn)了基于近紅外波段的3D 激光關(guān)聯(lián)成像雷達(dá).

上述光源調(diào)制方式下的成像采用的是雙光路形式,參考臂接收端采用的是采樣效率較低的面陣探測器.采用其他光學(xué)調(diào)制裝置,如DMD 或SLM代替旋轉(zhuǎn)毛玻璃可以省略參考臂以減少采樣時間、提高成像效率,此即2008 年Shapiro[28]提出的計算關(guān)聯(lián)成像.在該類成像系統(tǒng)中,照明光場的散斑模式可預(yù)制后加載于DMD 或SLM 中,因此研究人員得以對散斑模式進(jìn)行主動設(shè)計與實(shí)時優(yōu)化.2016 年英國格拉斯哥大學(xué)以DMD 調(diào)制過的激光做了三維關(guān)聯(lián)成像實(shí)驗(yàn)[45].后來Rai 等[46]提出了推掃式GISC LiDAR(light detection and ranging)系統(tǒng),也是用DMD 對脈沖激光進(jìn)行調(diào)制,發(fā)射經(jīng)預(yù)置和校準(zhǔn)好的矩形散斑圖案.

上述兩種主流的光源調(diào)制模式均是以激光結(jié)合調(diào)制器件形成照明光場.調(diào)制器件自身的刷新速率限制著光源的調(diào)制速率.因此,研究人員開始追求對光源直接進(jìn)行調(diào)制,而非經(jīng)過調(diào)制器件調(diào)制.2016 年,Shin 等[47]研制的高幀速率LED 陣列照明光源其刷新頻率可達(dá)500 kHz,能夠捕獲動態(tài)場景的圖像.2017 年中國科學(xué)院西安光學(xué)精密機(jī)械研究所研制了一種片上集成多倍速率的脈沖激光器[48],利用了片上集成激光模式選擇機(jī)制,使其脈沖源的重頻可達(dá)GHz 量級,也可用于室外遠(yuǎn)距離關(guān)聯(lián)成像.2019 年,日本神戶大學(xué)在此基礎(chǔ)上提出了基于VCSEL 光源的快速計算關(guān)聯(lián)成像[49].同年,日本東京大學(xué)制備了硅基贗熱光源[50].此外,本課題組自主研制了一種新型贗熱光源,顯著提升了光場刷新率與能量利用率,成功將成像速率提高一個數(shù)量級,工作距離提升30%.

4.2 大氣影響下的關(guān)聯(lián)成像

在室外成像場景下,大氣傳輸過程中所無法規(guī)避的能量衰減與湍流、氣流等引起的折射率隨機(jī)波動困擾著絕大多數(shù)光學(xué)成像手段.為解決此類問題,在關(guān)聯(lián)成像的相關(guān)研究中出現(xiàn)了基于理論、硬件、架構(gòu)、算法等多種方式方法,驗(yàn)證并不斷提高著這一成像技術(shù)的抗干擾成像能力.

2009 年,Cheng[51]理論上推導(dǎo)了關(guān)聯(lián)成像在大氣湍流影響下的解析解,并指出光源尺寸越小、湍流強(qiáng)度越大、傳播距離越遠(yuǎn)都會使得圖像質(zhì)量的下降.隨后Li 等[52]推導(dǎo)了部分相干光源條件下通過大氣湍流的關(guān)聯(lián)成像公式,得出與Cheng[51]一致的結(jié)論并指出物體與桶探測之間的湍流不會影響成像質(zhì)量.2010 年,Zhang 等[53]利用隨機(jī)相位屏模型通過數(shù)值仿真驗(yàn)證了在湍流條件下關(guān)聯(lián)成像能夠獲得比直接成像更好的分辨率,其實(shí)驗(yàn)結(jié)果如圖6 所示,并于2013 年在真實(shí)大氣環(huán)境下進(jìn)行了關(guān)聯(lián)成像實(shí)驗(yàn)[54],其實(shí)驗(yàn)結(jié)果如圖7 所示,實(shí)驗(yàn)上驗(yàn)證了關(guān)聯(lián)成像相對直接成像具有更強(qiáng)的抵抗大氣擾動的能力.2011 年Meyers 等[55]提出了一種無湍流熱光關(guān)聯(lián)成像,并進(jìn)行了理論論證以及實(shí)驗(yàn)驗(yàn)證.這一發(fā)現(xiàn)立即引發(fā)了廣泛的關(guān)注.2012 年Sun 等[30]指出Meyers 等[55]給出的無湍流關(guān)聯(lián)成像理論推導(dǎo)以及實(shí)驗(yàn)驗(yàn)證只有在光源尺寸小于源平面湍流相干尺寸時才成立.2011 年,Gong 和Han[56]研究了散射介質(zhì)在物臂不同位置對二階關(guān)聯(lián)成像的影響.當(dāng)散射介質(zhì)處于光源與物體之間時,直接成像可以免受散射介質(zhì)的干擾.當(dāng)散射介質(zhì)處于物體與探測器之間時(此時為桶探測器),關(guān)聯(lián)成像可以免受散射介質(zhì)的干擾.同年Hardy 和Shapiro[57]提出了更具有實(shí)用價值的反射式關(guān)聯(lián)成像,并研究了其在湍流條件下的分辨率、對比度、信噪比,給出了和透射式關(guān)聯(lián)成像一致的結(jié)論.

圖6 湍流干擾條件下直接成像與關(guān)聯(lián)成像圖像質(zhì)量對比[53] (a)直接成像圖像;(b)關(guān)聯(lián)成像圖像Fig.6.Comparison of image quality between two imaging method[53]: (a) Traditional non-correlated imaging;(b) ghost imaging.

圖7 不同天氣條件下直接成像與關(guān)聯(lián)成像圖像對比,其中(a)–(e)分別代表晴朗、多云、小雨、中霧、夜晚天氣對應(yīng);(1)–(4)分別對應(yīng)實(shí)地場景、傳統(tǒng)成像、關(guān)聯(lián)成像、基于總變分約束的關(guān)聯(lián)成像[54]Fig.7.Comparison of images between two imaging method in different weather: (a) Clear;(b) cloudy;(c) light rain;(d) moderately foggy;(e) night.Where (1) scenes of field experimental,(2) traditional imaging,(3) ghost imaging,(4) ghost imaging by TV (total variation)[54].

2015 年,Xu 等[58]在不同散射強(qiáng)度下對比了傳統(tǒng)成像與關(guān)聯(lián)成像的抗散射能力,其實(shí)驗(yàn)結(jié)果如圖8 所示.隨著散射強(qiáng)度的增加,關(guān)聯(lián)成像不僅可以保持成像分辨率不變,而且相對傳統(tǒng)成像可以有效抑制圖像中的散射光的影響.研究表明,關(guān)聯(lián)成像相對傳統(tǒng)成像在抗擾動方面具有一定的優(yōu)勢,對物體與桶探測器之間的擾動免疫.

圖8 雙縫直接成像與關(guān)聯(lián)成像結(jié)果,從(a)到(f)對應(yīng)散射強(qiáng)度逐漸增加,β=100%,33.26%,12.14%,6.44%,3.16%,1.28%,β 表示散射介質(zhì)的透過率,每一對圖像的左圖為關(guān)聯(lián)成像結(jié)果,右圖為傳統(tǒng)直接成像結(jié)果[58]Fig.8.Imaging results of a double slit achieved with both methods.From set (a) to (f),the strength of scattering is increasing,β=100%,33.26%,12.14%,6.44%,3.16%,1.28%,where β shows the transmission ratio of the scattering media as a measure of strength of scattering.For each set,the left one is the result of ghost imaging and the right one is that of traditional non-correlated imaging[58].

為降低大氣環(huán)境對關(guān)聯(lián)成像的影響,研究人員分別在光源、系統(tǒng)、算法等不同角度對關(guān)聯(lián)成像系統(tǒng)進(jìn)行了相應(yīng)的優(yōu)化[59,60].此外,研究者們還積極將各種抗散射技術(shù)引入到關(guān)聯(lián)成像中.2012 年Shi 等[61]將自適應(yīng)光學(xué)技術(shù)引入關(guān)聯(lián)成像中以解決大氣湍流的問題,其實(shí)驗(yàn)結(jié)果如圖9 所示,圖像質(zhì)量相對傳統(tǒng)關(guān)聯(lián)成像有明顯提升.2021 年,Li等[62]將偏振成像技術(shù)引入到關(guān)聯(lián)成像中,提出了基于直方圖預(yù)處理的水下偏振差分關(guān)聯(lián)成像方法.該方法結(jié)合了偏振成像技術(shù)以及差分關(guān)聯(lián)成像,有效地提取出了在散射介質(zhì)后面的物體圖像并通過直方圖預(yù)處理進(jìn)一步加強(qiáng)圖像對比度.2022 年,Yuan 和Chen[63]引入相位恢復(fù)算法來恢復(fù)受到嚴(yán)重散射影響的關(guān)聯(lián)成像圖像,實(shí)現(xiàn)了對被散射介質(zhì)包圍物體圖像的恢復(fù).

圖9 字母“A”在不同強(qiáng)度大氣湍流下的圖像 (a)–(c)湍流系數(shù)分別為2.0,3.2,6.8 時常規(guī)關(guān)聯(lián)成像圖像;(d)–(f)湍流系數(shù)為2.0,3.2,6.8 時自適應(yīng)關(guān)聯(lián)成像圖像[61]Fig.9.Obtained images of letter “A” under different strength atmospheric turbulence: (a)-(c) Images of convention ghost imaging at turbulence coefficient of 2.0,3.2 and 6.8,respectively;(d)-(f) images of adaptive optical ghost imaging at turbulence coefficient 2.0,3.2 and 6.8,respectively[61].

近幾年還有一些新穎關(guān)聯(lián)成像抗擾動方案被相繼提出.2022 年Lin 等[64]研究發(fā)現(xiàn)當(dāng)物臂存在散射介質(zhì)擾動時,通過在參考臂加入與物臂散射介質(zhì)特征相似的散射介質(zhì)就可以補(bǔ)償散射光場的擾動相位,實(shí)現(xiàn)利用散射光的透過散射介質(zhì)的關(guān)聯(lián)成像.2022 年,孫帥等[65]提出了一種計算波前整形的孔徑合成關(guān)聯(lián)成像方案.該方案基于計算關(guān)聯(lián)成像,以物體本身為導(dǎo)星利用特定的優(yōu)化函數(shù)結(jié)合遺傳算法在計算參考臂光場的同時加入相位補(bǔ)償,有效解決了光源的相位噪聲帶來的關(guān)聯(lián)圖像退化.2020 年,Gao 等[66]使用高斯模糊核來模擬散射介質(zhì)在關(guān)聯(lián)成像光路不同位置時的散射場景,并通過計算仿真的方式產(chǎn)生DNN 網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù),并實(shí)驗(yàn)驗(yàn)證了該DNN 神經(jīng)網(wǎng)絡(luò)在面對不同位置的散射介質(zhì)時依然能夠恢復(fù)出目標(biāo)圖像.由此可見,關(guān)聯(lián)成像具有高度的開放性與靈活性,能夠很好地與計算領(lǐng)域的新技術(shù)相結(jié)合,取得更好的成像效果,同時有效擴(kuò)展了應(yīng)用場景.

4.3 回波探測與信噪甄別

針對回波探測,相關(guān)研究的側(cè)重點(diǎn)在于提高回波信噪比,實(shí)現(xiàn)高效、可靠的信噪甄別.信噪甄別,即從回波信號中盡可能識別、提取真實(shí)信號,降低背景噪聲干擾.發(fā)展高探測效率、大探測面積、高動態(tài)范圍的探測器有助于提高所接收的物體回波信號,是提高信噪比的手段之一.但此種手段僅能提高探測能力,缺乏信噪甄別能力.若噪聲與物體回波信號具有一定的關(guān)聯(lián),如散射介質(zhì)引起的后向散射、環(huán)境中與物體回波同頻率的噪聲光,僅提升探測能力并不能有效提高信噪比.而在室外關(guān)聯(lián)成像中,此類噪聲往往是干擾回波信號的主要噪聲.為獲取高質(zhì)量重構(gòu)圖像,對信噪甄別技術(shù)的研究必不可少.由于關(guān)聯(lián)成像所具有的如光源可主動調(diào)控、成像與優(yōu)化過程可一體化等特點(diǎn),基于成像架構(gòu)或重構(gòu)算法的信噪甄別研究也成為了研究的重要方面.

在時域?qū)φ彰鞴鈭鎏砑訒r域調(diào)制以實(shí)現(xiàn)信噪甄別是關(guān)聯(lián)成像中行之有效的甄別技術(shù)之一.2016 年,Deng 等[43]率先提出將脈沖壓縮技術(shù)、相干探測技術(shù)與關(guān)聯(lián)成像結(jié)合的方案.通過將贗熱光脈沖做啁啾幅度調(diào)制并分為兩路,一路光作為本地振蕩,另一路作為關(guān)聯(lián)成像系統(tǒng)的照明光源,最后用物體的回波和本振光進(jìn)行相干探測,實(shí)現(xiàn)了低信噪比下的關(guān)聯(lián)成像.此外,也可以通過在光場調(diào)制的過程中加載周期脈沖信號作為標(biāo)定,以此在回波中濾除時序上與照明調(diào)制匹配的噪聲[66].而在已知目標(biāo)空間距離的條件下,基于時間門控技術(shù)[67]則可以降低非物體反射的噪聲光子,從而提高成像質(zhì)量.

在頻域?qū)D像進(jìn)行處理以提高成像質(zhì)量的方式也是光學(xué)成像中常見的信噪甄別技術(shù)之一,這一方法同樣適用于室外關(guān)聯(lián)成像.在重構(gòu)圖像中,物體的形狀是由空間頻率域中的低頻率決定的,而高頻率則多表示物體細(xì)節(jié),噪聲在空間域具有典型的均勻分布,但在頻率域中往往集中在高頻區(qū)域.在部分室外成像場景下,信息獲取能力有限的情況下,通常選擇放棄細(xì)節(jié),此時可通過對照明光場或重構(gòu)圖像進(jìn)行頻域變換及濾波,選擇性保留部分低頻信息,實(shí)現(xiàn)信噪甄別,提高圖像信噪比.

4.4 圖像重構(gòu)算法、架構(gòu)優(yōu)化

在關(guān)聯(lián)成像中,基于算法進(jìn)行重構(gòu)是獲取目標(biāo)圖像最后也是最關(guān)鍵的一步,算法是決定重構(gòu)圖像質(zhì)量的主導(dǎo)因素之一,也是這一成像技術(shù)能否順利應(yīng)用化的關(guān)鍵因素之一.成像過程中所面臨的弱回波、低信噪比、環(huán)境干擾等問題,均可通過算法得到一定程度的解決.因此,對成像算法的優(yōu)化一直是國內(nèi)外各團(tuán)隊的研究重點(diǎn).在室外成像場景下,關(guān)聯(lián)成像算法研究目標(biāo)主要集中于: 1)回波信號信噪甄別;2)成像質(zhì)量的提升;3)成像應(yīng)用的擴(kuò)展.其中回波信號信噪甄別研究已在4.3 節(jié)中單獨(dú)列出,在此不多贅述.要介紹在提升成像質(zhì)量、擴(kuò)展成像應(yīng)用等方面的重構(gòu)算法研究.

1) 成像質(zhì)量的提升

在關(guān)聯(lián)成像中,成像質(zhì)量與采樣數(shù)呈現(xiàn)正相關(guān)關(guān)系,因此提高成像質(zhì)量與降低采樣數(shù)互為表里.以最基礎(chǔ)的強(qiáng)度關(guān)聯(lián)為基礎(chǔ),為實(shí)現(xiàn)成像質(zhì)量的提高,先后出現(xiàn)了差分關(guān)聯(lián)成像、歸一化關(guān)聯(lián)成像、偽逆關(guān)聯(lián)成像、奇異值分解關(guān)聯(lián)成像、壓縮感知算法及基于神經(jīng)網(wǎng)絡(luò)的重構(gòu)算法等.其中對于強(qiáng)度關(guān)聯(lián)算法、差分關(guān)聯(lián)算法與歸一化關(guān)聯(lián)算法,可在重構(gòu)過程中隨時增加采樣數(shù)據(jù)而中斷重構(gòu)成像過程;對于偽逆關(guān)聯(lián)成像、奇異值分解關(guān)聯(lián)成像與壓縮感知算法,在重構(gòu)時需先將參考臂數(shù)據(jù)整理為測量矩陣,而后續(xù)若要追加采樣數(shù)據(jù),則需重啟重構(gòu)過程;而基于神經(jīng)網(wǎng)絡(luò)的重構(gòu)算法由于其特殊性,無法以上述標(biāo)準(zhǔn)進(jìn)行分類.

強(qiáng)度關(guān)聯(lián)算法如前文所述,關(guān)聯(lián)成像是一種基于雙臂光場的高階關(guān)聯(lián),借助關(guān)聯(lián)運(yùn)算以重構(gòu)目標(biāo)圖像的成像技術(shù),其基礎(chǔ)的重構(gòu)公式為

即直接強(qiáng)度關(guān)聯(lián),其中IR(x,y;i) 為第i次采樣中參考臂面陣探測器所得數(shù)據(jù),IB(i) 則為第i次采樣中探測臂桶探測器所得數(shù)據(jù).強(qiáng)度關(guān)聯(lián)無需數(shù)據(jù)的預(yù)處理或額外的實(shí)驗(yàn)架構(gòu),代碼簡潔、重構(gòu)迅速,然而其對光源穩(wěn)定性、光場的均勻性及探測信噪比水平有著較高的要求.因此,以直接強(qiáng)度關(guān)聯(lián)為基礎(chǔ),衍生出了多種重構(gòu)算法,以提升圖像重構(gòu)性能.

根據(jù)光場相干度的定義將其改寫為

即可得歸一化的強(qiáng)度關(guān)聯(lián).將公式由“除法”形式改寫為“減法”形式,所得即為漲落關(guān)聯(lián)算法的重構(gòu)公式:

歸一化強(qiáng)度關(guān)聯(lián)及漲落關(guān)聯(lián)重構(gòu)公式中的分母/減數(shù)項(xiàng)可視為受照明光場平均強(qiáng)度影響的背景項(xiàng),因而除法/減法運(yùn)算使得歸一化強(qiáng)度關(guān)聯(lián)與漲落關(guān)聯(lián)能夠在一定程度上排除照明光場不均勻所帶來的影響,提高圖像對比度,從而實(shí)現(xiàn)成像質(zhì)量的提升.

差分關(guān)聯(lián)成像算法與歸一化關(guān)聯(lián)成像算法在關(guān)聯(lián)成像中,當(dāng)目標(biāo)為高透過率或反射率的目標(biāo)物體時,在有限次采樣條件下,原本依賴光強(qiáng)漲落所體現(xiàn)的物體信息淹沒于較強(qiáng)的光場平均強(qiáng)度,成像質(zhì)量難免受到其影響.為解決這一問題,Ferri 等[29]于2010 年提出了差分關(guān)聯(lián)成像(differential ghost imaging,DGI).在差分關(guān)聯(lián)算法中,需將參考臂端將面陣探測器所采集數(shù)據(jù)求和以模擬桶探測器,并將模擬結(jié)果引入到重構(gòu)運(yùn)算中,其重構(gòu)公式如下:

在差分關(guān)聯(lián)成像的基礎(chǔ)之上,Sun 等[30]于2012 年提出了歸一化關(guān)聯(lián)成像(normalized ghost imaging,NGI),其重構(gòu)公式可概括為

其中ONGI(x,y) 為DGI 所得重構(gòu)圖像.

對比歸一化強(qiáng)度關(guān)聯(lián)與強(qiáng)度關(guān)聯(lián)算法,可見NGI 同樣是引入了光場強(qiáng)度均值作為分母項(xiàng)以排除光場平均強(qiáng)度非均勻所帶來的干擾,從而在光場平均強(qiáng)度出現(xiàn)明顯的漲落時,在DGI 的基礎(chǔ)之上進(jìn)一步提高成像質(zhì)量.圖10 為文獻(xiàn)[68]中的結(jié)果圖,以在同一條件下展示不同重構(gòu)算法所得重構(gòu)圖像間的差異.

圖10 不同算法所得重構(gòu)圖像對比[68]Fig.10.Images reconstructed by different algorithms[68].

偽逆關(guān)聯(lián)成像與奇異值分解關(guān)聯(lián)成像如前文所示,具有正交性的光場能夠較好地壓制背景噪聲及環(huán)境噪聲.當(dāng)照明光場自身不具備正交性時,則可通過算法對其進(jìn)行處理,通過正交變化,為其“賦予”正交性.

在偽逆關(guān)聯(lián)成像(pseudo-inverse ghost imaging,PGI)中,通過將采樣過程中所得的全部照明光場整理為測量矩陣,求解測量矩陣的偽逆矩陣,將其與探測臂數(shù)據(jù)所整理而成的向量進(jìn)行重構(gòu)運(yùn)算,實(shí)現(xiàn)圖像重構(gòu)的同時有效提高成像的信噪比[69,70].圖11 為文獻(xiàn)[69,70]的實(shí)驗(yàn)結(jié)果圖,直觀地展現(xiàn)了偽逆鬼成像對成像質(zhì)量的提升效果.

圖11 強(qiáng)度關(guān)聯(lián)算法與偽逆鬼成像重構(gòu)結(jié)果圖[69,70]Fig.11.Images reconstructed by GI and PGI[69,70].

與PGI 相似,由Zhang 等[71]于2018 年提出的奇異值分解關(guān)聯(lián)成像(singular value decomposition ghost imaging,SVDGI)同樣實(shí)現(xiàn)了照明光場的“正交化”.與PGI 所不同的是,SVDGI 選擇了奇異值正交分解這一方法來實(shí)現(xiàn)測量矩陣的“正交化”.

壓縮感知算法壓縮感知(compressive sensing,CS)技術(shù)最初是為了突破香農(nóng)采樣定理,以更低的采樣頻率實(shí)現(xiàn)原始信號的重構(gòu).其理論基礎(chǔ)為當(dāng)具有稀疏性時,通過非均勻采樣可以遠(yuǎn)低于奈奎斯特采樣率的采樣數(shù)準(zhǔn)確還原原始信號.壓縮感知算法最初由Katz 等[71]于2009 年引入關(guān)聯(lián)成像,隨后白旭等[72,73]對不同類型的壓縮感知算法進(jìn)行了詳盡的分析或優(yōu)化.

壓縮感知的流程可大致分為: 信號的稀疏表示、非相干測量與信號重建.信號的稀疏表示是指借助正交完備字典或過完備字典將原始測量信號以更為簡潔的形式進(jìn)行表達(dá).非相干測量是指測量矩陣與字典間的不相干.信號的重建則是指利用凸優(yōu)化算法、貪婪算法以及貝葉斯壓縮感知重構(gòu)算法等從稀疏信號中恢復(fù)出原始信號的過程,根據(jù)所用的過完備字典或凸優(yōu)化算法等不同,基于壓縮感知技術(shù)衍生出了多種不同的算法,如基于稀疏約束壓縮感知算法、正交追蹤匹配算法、多選正交最小二乘算法等.

雖然不同類型的壓縮感知算法其成像效果各不相同,但總體而言,相較于其他重構(gòu)算法壓縮感知算法在成像質(zhì)量方面具有顯著優(yōu)勢,此外,在重構(gòu)的過程中壓縮感知雖未改變每次采樣中所獲取的信息量,但其理論基礎(chǔ)則帶來了“物體具有稀疏性”這一額外信息,可視作降低了重構(gòu)目標(biāo)所需的總信息量,因而能夠降低成像所需的采樣數(shù).此外,這一約束也抑制了重構(gòu)時光場像素間的相關(guān)性,進(jìn)而提高了成像分辨率.遺憾的是相較于前述各類算法,壓縮感知算法在進(jìn)行圖像重構(gòu)時所需的運(yùn)算時間與空間遠(yuǎn)超其他算法,且對探測噪聲較為敏感,限制了其在關(guān)聯(lián)成像中的應(yīng)用.

基于神經(jīng)網(wǎng)絡(luò)的關(guān)聯(lián)成像重構(gòu)算法作為機(jī)器學(xué)習(xí)算法中最受歡迎的算法,神經(jīng)網(wǎng)絡(luò)算法細(xì)分出了卷積神經(jīng)網(wǎng)絡(luò)、對抗神經(jīng)網(wǎng)絡(luò)、極限學(xué)習(xí)機(jī)等不同類型的算法,其應(yīng)用領(lǐng)域廣泛涉及到信息科學(xué)、計算機(jī)科學(xué)、生物醫(yī)學(xué)、數(shù)理科學(xué)等學(xué)科領(lǐng)域中.算法的核心思路在于模擬神經(jīng)系統(tǒng),搭建輸入層、隱藏層、輸出層三層結(jié)構(gòu)的網(wǎng)絡(luò)體系,以大量數(shù)據(jù)進(jìn)行訓(xùn)練,從而建立輸入特征與所求結(jié)果間的對應(yīng)關(guān)系.這一類算法最初由中國科學(xué)院上海光學(xué)精密機(jī)械研究所司徒國海小組[34]于2017 年引入關(guān)聯(lián)成像領(lǐng)域中,隨后Shimobaba 等[74]、Higham等[75]研究人員投入到了相關(guān)研究中.

與其他重構(gòu)算法相比,基于神經(jīng)網(wǎng)絡(luò)的重構(gòu)算法其重構(gòu)原理、效果都更為依賴所使用的網(wǎng)絡(luò)其本身的性能,而非關(guān)聯(lián)成像這一技術(shù)其背后的物理原理,故在此不進(jìn)行詳細(xì)討論.

2) 成像應(yīng)用的擴(kuò)展

由于在關(guān)聯(lián)成像中獲取單張圖像需要進(jìn)行多次的采樣,在這一過程中難以確保目標(biāo)與照明光場保持相對靜止,因此在室外成像條件下,困擾關(guān)聯(lián)成像應(yīng)用的主要場景之一為對運(yùn)動目標(biāo)進(jìn)行成像.本節(jié)介紹兩類對運(yùn)動目標(biāo)進(jìn)行追蹤與成像的關(guān)聯(lián)成像方法.

基于圖像的動目標(biāo)成像算法Sun 等[37]提出了一種基于圖像互相關(guān)的動目標(biāo)成像算法(corsscorrelation-based ghost imaging,CBGI).在該算法中,研究人員將成像過程劃分為多個階段,在每個階段中基于采集數(shù)據(jù)進(jìn)行一次圖像重構(gòu),其后計算相鄰兩階段重構(gòu)圖像互相關(guān).互相關(guān)函數(shù)的峰值坐標(biāo)中隱含了目標(biāo)的位移與旋轉(zhuǎn)角度信息,據(jù)此可獲取目標(biāo)的空間狀態(tài),從而后續(xù)成像過程中調(diào)整照明光場,使照明光場與運(yùn)動目標(biāo)保持相對靜止,在實(shí)現(xiàn)對運(yùn)動目標(biāo)追蹤的同時實(shí)現(xiàn)了對動目標(biāo)的高質(zhì)量成像,解決了動目標(biāo)場景下高成像速率需求與關(guān)聯(lián)成像大采樣數(shù)需求間的矛盾.其實(shí)驗(yàn)結(jié)果如圖12 所示.圖中K表示采樣分段后,當(dāng)前成像所用的數(shù)據(jù)為從初始時刻到完成第K段采樣的數(shù)據(jù).

圖12 基于互相關(guān)的運(yùn)動目標(biāo)成像結(jié)果[37]Fig.12.Results of CBGI with moving object[37].

與之相類似,Zha 等[39]提出了一種基于圖像多階矩的動目標(biāo)成像算法.與CBGI 不同的是,在該算法中,通過對比每個階段所得重構(gòu)圖像的低階矩,從而獲取了在采樣過程中目標(biāo)物體的運(yùn)動信息并據(jù)此調(diào)整后續(xù)光場,實(shí)現(xiàn)對運(yùn)動目標(biāo)的成像與追蹤.其中目標(biāo)空間位置信息由圖像一階矩計算可得,目標(biāo)的旋轉(zhuǎn)角度由圖像二階矩計算可得.在該方案中,為精確計算目標(biāo)的空間坐標(biāo)及旋轉(zhuǎn)角度,研究人員采用了壓縮感知算法進(jìn)行圖像重構(gòu)以抑制背景噪聲.其實(shí)驗(yàn)結(jié)果如圖13 所示.圖中K表示采樣分段后,當(dāng)前成像所用的數(shù)據(jù)為從初始時刻到完成第K段采樣的數(shù)據(jù).

圖13 基于低階矩的運(yùn)動目標(biāo)成像結(jié)果[39]Fig.13.Results of GI based on low-order moments with moving object[39].

基于桶探測信號的動目標(biāo)成像算法關(guān)聯(lián)成像系統(tǒng)利用桶探測回波與參考光場的關(guān)聯(lián)獲取目標(biāo)圖像信息.因此,利用關(guān)聯(lián)成像系統(tǒng)自身的回波信號變化也可以實(shí)現(xiàn)對運(yùn)動目標(biāo)的跟瞄追蹤.Du等[41]提出了一種運(yùn)動目標(biāo)追蹤與成像方法,基于四象限探測器,通過對關(guān)聯(lián)成像系統(tǒng)自身的回波信號特征及變化的測試分析確定其運(yùn)動方向,并實(shí)時反饋以調(diào)整照明范圍,實(shí)現(xiàn)對目標(biāo)的實(shí)時跟蹤與準(zhǔn)靜止成像.由于無需進(jìn)行采樣分段及圖像重構(gòu),因此該方法極大地提升了追蹤速度與精度.其實(shí)驗(yàn)結(jié)果如圖14 所示.

圖14 四象限跟蹤成像方法實(shí)驗(yàn)結(jié)果[41] (a) 成像結(jié)果;(b)目標(biāo)追蹤結(jié)果;(c)成像質(zhì)量隨時間變化曲線Fig.14.Experimental results of GI based on four-quadrant detector[41]: (a) Results of imaging;(b) trajectory of the moving object;(c) quality of reconstructed images over time.

Zha 等[40]提出了一種單像素成像方法的實(shí)時跟蹤方法.在該方法中,照明光場被分為多組,每組中對同一張光場分別以勻強(qiáng)、水平遞增、垂直遞增的方式進(jìn)行灰度調(diào)制,因此對于探測器所收集的回波進(jìn)行相應(yīng)強(qiáng)度計算,即可得成像區(qū)域圖像的零階矩與一階矩,進(jìn)而實(shí)時重建和跟蹤快速移動物體的質(zhì)心.其實(shí)驗(yàn)結(jié)果如圖15 所示.該方法僅實(shí)現(xiàn)對目標(biāo)的跟蹤,無法進(jìn)行成像.

圖15 實(shí)時追蹤方法實(shí)驗(yàn)結(jié)果[40] (a)實(shí)驗(yàn)架構(gòu)示意圖;(b)相機(jī)追蹤軌跡(紅)與算法計算所得軌跡(藍(lán))Fig.15.Experimental results of the real-time online tracking of a moving object[40]: (a) Experimental framework diagram;(b) camera tracking track (red) and algorithm calculated track (blue).

5 室外關(guān)聯(lián)成像技術(shù)研究展望

室外關(guān)聯(lián)成像技術(shù)朝著更高分辨率、更大工作距離、更大視場、更高分辨率及全天時甚至全天候發(fā)展.面向?qū)嶋H應(yīng)用,我們提出以下4 個方面的發(fā)展建議.

1)主被動成像方式相結(jié)合與傳統(tǒng)的被動成像方式相比,關(guān)聯(lián)成像成像速率不佳且探測視場有限,其主要原因在于多次采樣的需要及調(diào)制光源的刷新速率受限、照明范圍受限.優(yōu)點(diǎn)則在于信息維度豐富、不受天時限制.相較之下,被動成像利用物體自身輻射或反射的環(huán)境光,具有更廣的探測視場且成像速率僅受信號積累需求限制.因此將主被動成像方式相結(jié)合,相互彌補(bǔ)對方的不足,可以成為室外關(guān)聯(lián)成像技術(shù)向應(yīng)用發(fā)展的一個方向.

2)研制高靈敏、高帶寬探測器在室外關(guān)聯(lián)成像中,遠(yuǎn)距離、大視場、高信噪比成像是其發(fā)展的必然需求.依據(jù)雷達(dá)公式,激光能量隨著成像距離的增加而急劇下降,因此高靈敏的探測器愈加重要.另外,為盡可能實(shí)現(xiàn)實(shí)時成像,需要探測器在短時間內(nèi)獲得物體或場景的信息.低光通量、短時間探測使得探測器捕獲的光子數(shù)極為有限,探測信號的信噪比極低.因此研制高靈敏、高信息帶寬的探測器尤為重要.

3)研究高效信噪甄別技術(shù)與重構(gòu)算法高靈敏探測使得關(guān)聯(lián)成像能夠探測更微弱的回波信號,賦予其比傳統(tǒng)成像具有更遠(yuǎn)成像距離的潛力,但這也意味著探測器對噪聲同樣更加敏感,因而需要更精準(zhǔn)的信噪甄別技術(shù).除了前文所述的匹配濾波、頻域?yàn)V波、光場設(shè)計等方式外,優(yōu)秀降噪算法的開發(fā)也是重要的研究方向之一.

4)發(fā)展抗大氣干擾成像技術(shù)室外成像中無法規(guī)避的另一個問題是大氣環(huán)境對成像的影響.大氣湍流具有隨機(jī)、易變、難預(yù)測的特點(diǎn),其對光場的擾動在一定程度上破壞了關(guān)聯(lián)成像光場間的相關(guān)性,降低成像分辨率的同時影響了圖像質(zhì)量.如前文所述,研究人員已于光源、算法、實(shí)驗(yàn)方案等方面展開了相關(guān)研究,而為推進(jìn)室外關(guān)聯(lián)成像的研究與應(yīng)用,進(jìn)一步發(fā)展相應(yīng)的抗大氣干擾成像技術(shù)有著重要意義.

6 結(jié)語

在當(dāng)前研究中,關(guān)聯(lián)成像的應(yīng)用領(lǐng)域已擴(kuò)展到圖像加密、生物醫(yī)學(xué)、遙感探測、雷達(dá)探測等多個領(lǐng)域.關(guān)聯(lián)成像特殊的硬件架構(gòu)使得這一成像技術(shù)相較于其他光學(xué)成像方式,在解決室外成像所面臨的困境時具有一定的優(yōu)勢.其所具有的主動照明、可控光場調(diào)控等特點(diǎn)有助于應(yīng)對室外成像環(huán)境中弱回波、強(qiáng)噪聲及大氣干擾等問題.而其所必須的算法重構(gòu)過程使得在成像過程中可以對成像系統(tǒng)進(jìn)行實(shí)時且具有針對性的調(diào)整,以助其取得更好的成像效果.但關(guān)聯(lián)成像的成像速率、視場及重構(gòu)圖像質(zhì)量均有所限制,制約了這一成像技術(shù)的應(yīng)用化.因此,開展室外關(guān)聯(lián)成像的相關(guān)研究,進(jìn)一步提升成像質(zhì)量、擴(kuò)展成像視場、壓縮成像耗時,促進(jìn)其在室外探測與成像領(lǐng)域的應(yīng)用有著重要意義.