趙全超，楊禎明，陳旭，王春芳，張大偉

（1.上海理工大學 理學院，上海 200093；2.上海理工大學 光電信息與計算機工程學院，上海 200093）

引言

傳統(tǒng)光學成像是基于光場一階性質(zhì)的被動直接成像技術，利用陣列探測器直接記錄物體表面的光強分布。關聯(lián)成像是一種基于光場二階或高階關聯(lián)的主動間接成像技術。關聯(lián)成像使用的是桶探測器（單像素探測器），可以在微弱的回波條件下進行成像[1-3]，同時，關聯(lián)成像可實現(xiàn)無透鏡成像，能夠在X光[4-5]，紅外[6-7]，太赫茲（THz）[8-9]等一些難以成像的波段進行成像。因此，關聯(lián)成像一經(jīng)提出，便引起了眾多學者的興趣。1988 年，Pittman等[10]基于自發(fā)參量下轉換過程中產(chǎn)生的信號光子對和空閑光子對的量子性質(zhì)，提出了關聯(lián)成像實驗方案。2002 年，Bennink等[11]利用經(jīng)典光源證明了量子糾纏源不是實現(xiàn)關聯(lián)成像的必要條件。此后，關聯(lián)成像作為一種新型的成像技術，在軍事領域得到了廣泛的研究和應用。此外，與傳統(tǒng)光學成像相比，關聯(lián)成像的成像質(zhì)量可以通過多次測量來抑制與使用光源無關的其他噪聲的方法得到提高[12-13]。但由于傳統(tǒng)的二階關聯(lián)成像算法受限于奈奎斯特采樣定理的極限，為突破奈奎斯特采樣定理的極限，使得關聯(lián)成像在低采樣率下依舊能重構出高質(zhì)量圖像，研究者將傳統(tǒng)二階關聯(lián)成像算法與新的理論方法相結合，提出一些新的關聯(lián)成像算法。本文總結了近年來關于低采樣關聯(lián)成像的研究進展，將這些研究成果分為兩部分：第一部分通過優(yōu)化光源的調(diào)制方式來降低采樣率；第二部分通過優(yōu)化關聯(lián)成像算法來降低采樣率。

1 關聯(lián)成像原理

關聯(lián)成像，又叫鬼成像，是一種使用光源照射物體的主動成像技術。從光場強度漲落理論來探討關聯(lián)成像原理[14-15]。在實際應用中，可使用旋轉的毛玻璃產(chǎn)生相干光源。由于探測器在測量過程中記錄的是一定時間內(nèi)對光強的積分結果，只有當積分時間小于光場相干時間，探測器才能記錄光場的強度漲落，而自然光源的相干時間非常短，現(xiàn)存的探測器響應時間太長，只能記錄幾個光場強度漲落的平均。旋轉的毛玻璃產(chǎn)生的相干光相干時間長，通過這種方式產(chǎn)生的光源被稱為贗熱光。贗熱光的制備比較簡單，因此贗熱光關聯(lián)成像在相當長的時間內(nèi)得到了廣泛應用。

如圖1 所示，關聯(lián)成像系統(tǒng)具有兩條光路：一條為參考光路，即光經(jīng)過空間自由傳播被具有空間分辨能力的探測器記錄為I1(r,t) ；另一條為測試光路，經(jīng)過待測物體的光強被桶探測器收集為I2(t) 。物體的圖像可以經(jīng)過兩個探測器采集的數(shù)據(jù)進行強度關聯(lián)得到，即

圖1 贗熱光關聯(lián)成像示意圖Fig.1 Schematic diagram of pseudothermal light associated imaging

式中：〈〉為時域上的系綜平均；I1(r,t)為t時刻陣列探測器記錄的光場強度分布；I2(t)為t時刻桶探測器記錄的通過物體的總光強值。

關聯(lián)成像質(zhì)量與系統(tǒng)的采樣數(shù)有關，采樣數(shù)越多重構出的圖像信噪比越高。但在很多的應用場景中，無法進行多次測量，如運動物體成像、遙感成像、顯微成像等。如何在低采樣率的情況下重構出高質(zhì)量的圖像成為亟待解決的問題。

2 低采樣關聯(lián)成像的發(fā)展

采樣次數(shù)決定著關聯(lián)成像的效率與質(zhì)量。在實際應用中，數(shù)據(jù)的采集量與成像質(zhì)量形成矛盾。如運動物體的成像問題，目標的快速運動決定了無法保證充足的采樣數(shù)量及時間。根據(jù)近幾年的研究結果，該問題的解決主要有以下兩個方面。

2.1 光源的調(diào)制

在關聯(lián)成像中，同等采樣情況下，可以通過改變散斑的調(diào)制方式有效地獲取物體信息，以此來降低成像所需的采樣數(shù)。2013 年，中國科學院上海光學精密機械研究所韓申生研究員基于物體不同復雜程度提出了一種利用多尺度相關構造高效測量矩陣的方法[16]。測量矩陣的橫向相關尺度通常是恒定的，橫向相關尺度大于物體細節(jié)尺寸則無法成像，橫向相關尺度小于物體細節(jié)尺寸則增加成像所需采樣數(shù)。多尺度相關即利用大小混合散斑去照明物體，相同圖像信噪比的情況下，使用大小混合散斑比使用普通散斑采樣次數(shù)要更少。2017 年，Glasgow 大學的Miles 小組受動物凹形視覺啟發(fā)，利用高分辨率的中心凹區(qū)域跟蹤場景中的運動物體，犧牲視場邊緣區(qū)域的圖像分辨率，提高了中心視場的圖像分辨率[17]，該方法消除了許多動態(tài)場景的時空冗余。2017年，北京航空航天大學的孫鳴捷等基于傳統(tǒng)的壓縮感知技術，提出了另一種壓縮感知方法[18]，用俄羅斯娃娃排序的方法對Hadamard 基重新排序，在離散增量下，獲得了不同空間分辨率的完整采樣。如圖2 所示，這種壓縮方法與其他壓縮感知技術一樣，可將采樣率降至6%。

圖2 壓縮單像素成像的Hadamard 基的俄羅斯娃娃排序[18]Fig.2 Compressed single pixel imaging of Hadamard-based Russian doll sorting[18]

2019 年，北京理工大學的余文凱研究小組基于散斑與圖像重建之間的內(nèi)在聯(lián)系，提出了一種確定性折紙圖案構造的光源調(diào)制方法[19]。如圖3 所示，該方法可以獲得更精確的散斑排序序列，將采樣率大幅降低。2019 年，該研究小組采取蛋糕切割策略提出另一種光源調(diào)制方法[20]，把測量矩陣看作一個蛋糕，每個連通域視為蛋糕的一塊，按照升序的方式對測量矩陣的連通域數(shù)量進行排序。該方法能夠在超亞奈奎斯特采樣下重構出高質(zhì)量的圖像，顯著縮短采集時間。2020年,葡萄牙科英布拉大學的Vaz 等研究了Hadamard基的自然排序、Walsh 排序、蛋糕切割排序、高頻排序及隨機排序對圖像重建質(zhì)量的影響[21]。結果表明，Walsh 和蛋糕切割排序在采樣率為30%的情況下可實現(xiàn)圖像的高質(zhì)量重建；當采樣率降為10%時，這兩種排序方式所得到的結果略有不同。2020 年，重慶大學的楊帆研究小組在降低采樣率和提高圖像重構質(zhì)量方面，也提出了不同排序的Hadamard 基模式[22]，取得采樣率為5%時的重構結果。2021 年，深圳大學的焦述銘研究小組提出自適應動態(tài)確定照明模式順序的方法[23]。自然圖像在其頻譜中的低頻分量由其空間域的平滑區(qū)域決定，高頻分量由細節(jié)區(qū)域決定。為平衡低頻分量與高頻分量的優(yōu)先級，在迭代中將記錄的桶光強與訓練圖像的平均光譜進行對比并對下一次迭代的照明模式進行最佳排序。該方法使重構圖像所需采樣數(shù)進一步降低。

圖3 折紙圖案構造的方法 [19]Fig.3 The method of origami pattern construction[19]

2.2 成像算法

作為一種新型的主動間接成像技術，重構算法對關聯(lián)成像系統(tǒng)的性能同樣有著重要的作用。先進的算法可以讓關聯(lián)成像重構圖像所依賴的采樣數(shù)大幅減少。關聯(lián)成像的成像算法可分為3 種。

1）基于強度關聯(lián)的成像算法。研究人員在強度關聯(lián)的基礎上對成像算法進行不斷優(yōu)化，以降低成像所需的采樣次數(shù)。2010 年，諾布里亞大學的Ferri 等提出了差分鬼成像（DGI）[24]，將物體的傳輸函數(shù)修改為平均傳輸函數(shù)，提高關聯(lián)成像對強度波動的敏感度，有效降低了采樣率。在同等條件下，和傳統(tǒng)鬼成像（GI）相比可以用更少的采樣數(shù)重構圖像。2012 年，孫寶清提出了歸一化迭代鬼成像[25]，通過對測量信號進行歸一化，可以對待測目標的集合平均施加更合適的加權因子，從而有效降低采樣次數(shù)。2014 年，中國科學院大學的翟光杰研究小組提出了迭代去噪鬼成像（IDGI）[26]，將傳統(tǒng)的強度相關去噪方法與迭代方法相結合，對影響圖像質(zhì)量的實際噪聲進行了精確的估計，從而有效降低采樣率。如圖4 所示，在相同條件下，實驗結果顯示IDGI 重建圖像的質(zhì)量明顯優(yōu)于DGI、GI 的重建圖像。2019 年，國防科技大學的劉偉濤研究小組針對有限的采樣數(shù)量和光照不完全引起的關聯(lián)成像系統(tǒng)中點擴散函數(shù)誤差的問題，提出了一種利用照明場的二階相干性進行歸一化的算法[27]，該算法可以減小誤差，從而降低采樣率。2020 年，清華大學的李俊林研究小組提出了一種即時鬼成像算法[28]，將桶光強與測量矩陣的關聯(lián)修改為兩次連續(xù)測量之間的桶光強差與測量矩陣差的關聯(lián)，并進行積累。最后一次測試時，積累項就是物體的圖像。該處理方法等效于關聯(lián)成像去背景噪聲算法，從而有效降低采樣率，并且檢測信號差的處理幾乎不需要時間，因此用該處理方法為關聯(lián)成像的實用化提供了一種可能思路。

圖4 迭代去噪鬼成像結果[26]Fig.4 Iterative denoising ghost imaging results[26]

2）基于壓縮感知的成像算法。有實驗表明，將壓縮感知理論引入關聯(lián)成像算法中可以有效地減少成像所需的采樣次數(shù)。2009 年，以色列魏茨曼科學研究所的Katz 等提出了一種先進的關聯(lián)成像算法[29]，自然界中的自然信號和圖像結構中存在冗余。利用這一特點在關聯(lián)成像算法中引入壓縮感知理論，該算法將采樣率降到30%。2014 年，吉林大學的郜峰利研究小組通過計算各散斑場的行向量構成的偽逆矩陣提出一種基于偽逆的關聯(lián)成像算法[30]，該算法與傳統(tǒng)關聯(lián)成像算法和壓縮感知算法相比，重構相同質(zhì)量的圖像所需采樣數(shù)更少。2015 年，中國科學院西安光學精密機械研究所的張同意研究小組研究了不同的信號重建技術對壓縮鬼成像（CGI）重構圖像質(zhì)量的影響[31]。利用關聯(lián)成像實驗系統(tǒng)證明了貪婪近似算法（OMP）、基追蹤去噪算法（BPDN）、交替方向算法（TVAL3）3 種不同方法的可行性，實驗結果如圖5 所示。2018 年，長春大學的宋立軍研究小組基于投影Landweber 正則化和引導濾波提出一種高質(zhì)量壓縮鬼成像算法[32]，該算法通過正則化和去噪的分解來重建目標圖像，有效降低系統(tǒng)采樣率，提高重構圖像的質(zhì)量。

圖5 基于不同信號重建方法的壓縮關聯(lián)成像的結果[31]Results of compressed correlation imaging based on different signal reconstruction methods[31]

3）基于機器學習的關聯(lián)成像算法。近年來，隨著深度學習迅速發(fā)展，尤其是計算機視覺的發(fā)展，將深度學習與關聯(lián)成像相結合,不僅可以降低成像所需的采樣次數(shù)，而且對成像效率的提高起著關鍵作用。2018 年，日本千葉大學的Shimobaba 等將深度學習與計算關聯(lián)成像相結合[33]，利用神經(jīng)網(wǎng)絡自主學習的特點，使用深度神經(jīng)網(wǎng)絡（DNN）自動學習CGI 重建的噪聲圖像的特征。訓練后，該網(wǎng)絡可以從未包含在訓練集中的新的有噪聲CGI 圖像中預測低噪聲圖像，可極大減少采樣需求。2019 年，中國科學院上海光學精密機械研究所的司徒國海研究小組基于深度神經(jīng)網(wǎng)絡提出了一種端到端的方法[34]，用數(shù)值模擬數(shù)據(jù)訓練網(wǎng)絡模型，將實驗采集到的一維桶信號直接載入訓練好的網(wǎng)絡模型，重構出目標的二維圖像，實驗結果表明這種方法可以將采樣率降至2%，網(wǎng)絡結構如圖6 所示。2020 年，廣東工業(yè)大學的王瑞洲研究小組提出了一種深度神經(jīng)網(wǎng)絡模型（DAttNet）[35]，用于恢復目標圖像。利用仿真數(shù)據(jù)訓練DAttNet，可將沒有分辨本領的實驗桶光強數(shù)據(jù)實現(xiàn)目標圖像的重構。實驗結果表明，該方案能夠在亞奈奎斯特采樣條件下（如2%）重構高質(zhì)量的圖像，其性能優(yōu)于常規(guī)和壓縮感知關聯(lián)成像算法。2021年，該研究小組提出一種自適應混合神經(jīng)網(wǎng)絡用于關聯(lián)成像[36]，來恢復不同亞奈奎斯特采樣比（SNSRs）下物體的高質(zhì)量圖像，網(wǎng)絡中添加了干擾添加層（HA）來去除訓練過程中的退化和噪聲，用模擬數(shù)據(jù)對該網(wǎng)絡進行訓練，可以從不同采樣率下的實驗數(shù)據(jù)中恢復出高質(zhì)量的圖像。2021年，南昌大學的燕秋容研究小組基于生成對抗網(wǎng)絡（GAN）提出了一種壓縮重構網(wǎng)絡（OGTM）[37]，將實現(xiàn)采樣的采樣子網(wǎng)絡與生成網(wǎng)絡進行聯(lián)合優(yōu)化，從而更好地進行圖像重構，該方法將關聯(lián)成像系統(tǒng)的采樣率將至1%。2022 年,中國科學院上海光學精密機械研究所的司徒國海研究小組又提出了一種基于深度學習的超分辨率遠場GI算法[38]，將GI 圖像形成的物理模型整合到深度神經(jīng)網(wǎng)絡中，并施加相應的約束條件，利用這種方法的遠場圖像重建，除采樣率要求不高之外，其分辨率可超過衍射極限。

圖6 深度神經(jīng)網(wǎng)絡模型結構示意圖[34]Fig.6 Structure diagram of deep neural network model[34]

3 結論

關聯(lián)成像作為一種主動間接成像技術，有著優(yōu)于傳統(tǒng)光學成像技術的優(yōu)勢。這些優(yōu)勢使關聯(lián)成像在生物醫(yī)療、遙感、國防、非局域成像等領域備受關注。但是關聯(lián)成像想要走向實際應用，不僅要在更低的采樣率下獲得高質(zhì)量的重構圖像，而且還要考慮圖像重建的速度?？紤]這兩種因素，簡要分析以上幾種方法的優(yōu)缺點。這些方法可分為基于壓縮感知理論和深度學習理論的兩大類優(yōu)化方法。壓縮感知理論引入關聯(lián)成像，利用自然界大多數(shù)自然信號和圖像結構的稀疏性，雖然有效降低了系統(tǒng)的采樣率，但是圖像的重構效率被降低，限制了關聯(lián)成像在實際應用中的發(fā)展。深度學習理論引入關聯(lián)成像，利用神經(jīng)網(wǎng)絡自主學習的特點，讓神經(jīng)網(wǎng)絡模型自主學習桶光強與目標圖像之間的映射關系，雖然有效降低系統(tǒng)的采樣率及提高圖像重構效率，但是前期需要花費大量的時間去準備網(wǎng)絡訓練所需訓練集及訓練網(wǎng)絡。這也限制了關聯(lián)成像的發(fā)展。隨著科學技術的發(fā)展，相信在可預見的未來，可以攻克這些難題，使關聯(lián)成像的產(chǎn)業(yè)化進程得到全面推進，應用于更廣泛的領域。