摘 要：在隨機光學重建顯微（stochastic optical reconstruction microscopy， STORM）的原始圖像采集過程中，噪聲是不可避免的。塊匹配三維濾波是一種優(yōu)秀的去噪算法。由于衍射現(xiàn)象，每個熒光分子都會在原始圖像中形成彌散斑。不同的熒光分子間距會形成彌散斑重疊程度不一樣的原始圖像。針對塊匹配三維濾波對原始圖像去噪能力與熒光分子間距的關(guān)系問題，提出以不同分子間距的原始圖像為研究對象的方法。將不同分子間距的原始圖像分為彌散斑中心區(qū)域發(fā)生重疊和不重疊兩類。研究發(fā)現(xiàn)，塊匹配三維濾波可以有效地去除原始圖像的噪聲；去噪能力不但與噪聲類型和水平有關(guān)，而且隨熒光分子間距變化。當彌散斑中心區(qū)域發(fā)生重疊時，去噪前原始圖像的信噪比（signal-noise ratio， SNR）與熒光分子數(shù)無關(guān)；去噪后低噪和中噪原始圖像的SNR與熒光分子數(shù)有關(guān)。

關(guān)鍵詞：超分辨率顯微；原始圖像；熒光分子間距；去噪；彌散斑

中圖分類號：TN911.73 DOI：10.16375/j.cnki.cn45-1395/t.2024.04.013

0 引言

超衍射極限的超分辨率顯微成像是研究石墨烯、碳納米管[1-3]和細胞等內(nèi)部結(jié)構(gòu)的重要工具[4-5]。隨機光學重構(gòu)顯微（stochastic optical reconstruction microscopy， STORM）和（熒光）光激活定位顯微 （（fluorescence）photoactivated localization microscopy， （F）PALM）等基于單分子定位（single-molecule locali-zation， SML）的超分辨率顯微方法[6-7]都是通過顯微鏡采集原始圖像[4-11]。

在采集過程中，原始圖像不可避免地會受到噪聲的污染，從而使圖像質(zhì)量下降和特征模糊，并且嚴重干擾超分辨顯微的后續(xù)流程。通過電子倍增電荷耦合器件（electron-multiplying charge-coupled device， EMCCD）采集的原始圖像主要包括3類噪聲：散粒噪聲、讀出噪聲和背景噪聲。其中，散粒噪聲服從泊松分布，讀出噪聲服從高斯分布，背景噪聲則是由周圍環(huán)境產(chǎn)生的雜訊[12-17]。如果原始圖像的噪聲過高，就會工作失敗，從而無法實現(xiàn)超分辨顯微。因此，去噪是提高原始圖像質(zhì)量和實現(xiàn)超分辨顯微的重要預(yù)處理環(huán)節(jié)。

圖像可以在某些變換域中稀疏表示。通過僅保留少量的高幅變換系數(shù)，可以有效去噪，并高質(zhì)量地恢復(fù)出真實圖像。三維塊匹配濾波（block-matching and 3D filtering， BM3D）是目前最有效的去噪算法之一。BM3D基于增強的變換域稀疏表示，將相似的二維圖像塊分組到三維數(shù)據(jù)組，同時依賴于圖像的局部和非局部特征。像素的結(jié)果值是通過使用加權(quán)對塊求和來計算的。BM3D包括基本估計和最終估計2個步驟。它們都涉及分組、協(xié)同過濾和聚合。分組找到相互相似的映像塊，并將它們堆疊在專用數(shù)組中。協(xié)同過濾通過聯(lián)合過濾，產(chǎn)生對所有分組塊的單獨估計。聚合過程在估計的真實塊上執(zhí)行[18-19]。

過去的超分辨率顯微很少對原始圖像去噪[4，13]。含有較高噪聲的原始圖像幾乎沒有任何使用價值。為了獲得高質(zhì)量的原始圖像不得不在顯微鏡硬件設(shè)計中投入大量資金及精力。通過BM3D可以有效地去除原始圖像中的噪聲[18]，從而降低顯微鏡制造成本和實驗操作難度[13，20]。

原始圖像中熒光分子間距直接關(guān)系超分辨顯微的時空分辨率[4，6，13]。但是熒光分子間距對BM3D去噪能力的影響幅度和作用規(guī)律尚不清楚。BM3D在去噪過程中需要把原始圖像分割成相似的二維圖像塊，熒光分子數(shù)量直接關(guān)系相似圖塊的多少[17]。因此，本文研究了原始圖像中熒光分子間距和數(shù)量與BM3D去噪效果的內(nèi)在規(guī)律。

1 不同熒光分子間距和數(shù)量的原始圖像生成方法

點擴散函數(shù)（point spread function， PSF）是無限小點光源的光通過顯微鏡在像平面上的光強分布函數(shù)。超分辨顯微中的熒光分子可視為點光源。由于光的衍射現(xiàn)象，點光源的像不再是點，而是擴散成面狀的彌散斑。點擴散函數(shù)多采用二維高斯函數(shù)描述[4]。在熒光顯微中，位于（[xi，yi]）處的第i個熒光分子生成的原始圖像在數(shù)學上可用如式（1）所示的二維高斯函數(shù)描述。[I（x，y）]表示位于[（x，y）]處的原始圖像像素的光子數(shù)。

[I（x，y）=i=1np2π（0.21λ/RNA）2exp（（x-xi）2+（y-yi）22（0.21λ/RNA）2），] （1）

式中：p為熒光分子發(fā)射的光子數(shù)；[λ]為熒光波長；RNA為物鏡的數(shù)值孔徑。

當熒光分子數(shù)多于1個時，顯微鏡采集到的STORM原始圖像任意像素的值都會受到所有彌散斑的影響，是所有熒光分子彌散斑的疊加[21-22]。熒光分子間距越近，影響越大；間距越遠，影響越小。

真實原始圖像中的熒光分子的位置和數(shù)量都是隨機分布的，相鄰熒光分子的間距各不相同。為了簡化研究對象，便于分析總結(jié)，本文基于式（1）和文獻[4]的代碼，模擬生成相鄰熒光分子在水平和豎直方向上等間距的原始圖像。不同原始圖像中熒光分子數(shù)量各不相同。分子間距有100、40、20和8等4種像素。原始圖像中熒光分子的數(shù)量有4、9、16、25、36、49、64、81、100、121、144、169、196和225，合計14種。模擬實驗的參數(shù)如下：顯微鏡的數(shù)值孔徑1.40、熒光峰值波長670 nm、熒光分子發(fā)射光子數(shù)3 000、原始圖像均勻背景的光子數(shù)64[4，13]、原始圖像像素大小45.714 nm?；诟咚购瘮?shù)的PSF標準差與像素之比為2.22，半峰全寬（full width at half maxima， FWHM）為239.286 nm[6，9，13-14]。

圖1是模擬生成的25個熒光分子位置已知和分子間距為20像素的原始圖像。十字表示熒光分子在原始圖像中的位置。彌散斑都是以熒光分子位置為中心，根據(jù)高斯函數(shù)模擬生成。圖1中的原始圖像沒有任何噪聲。為了模擬含噪原始圖像，分別在無噪原始圖像中添加泊松噪聲和方差分別為0.01和0.04的高斯噪聲。所有計算都在聯(lián)想Idea Centre B550計算機上運行，該計算機配有英特爾i5-4440、3.1 GHz CPU和8 GB RAM，計算軟件采用MATLAB 2018b。

2 彌散斑中心區(qū)域和非中心區(qū)域的劃分和重疊

理論上的彌散斑是無限大的，但是彌散斑中央的艾里斑集中了通過透鏡總光能的84%左右，艾里斑之外的彌散斑區(qū)域光強很弱。在超分辨顯微中，通常將比艾里斑略大的13×13像素區(qū)域作為原始圖像處理的基本單元[6]。因此，本文將圖1中所有黃色方框所示的13×13像素區(qū)域視為彌散斑中艾里斑的有效作用范圍[4，6，13]，并稱之為彌散斑中心區(qū)域。所有黃框之間的區(qū)域稱之為非中心區(qū)域。

在超分辨顯微中，中心區(qū)域圖像的質(zhì)量直接關(guān)系超分辨顯微的結(jié)果；非中心區(qū)域，無論質(zhì)量好壞，往往無足輕重。由于非中心區(qū)域光強很弱，在做超分辨顯微處理前就被篩分排除，無法進入后續(xù)環(huán)節(jié)[4，13]。但是過去的原始圖像去噪研究，多是將原始圖像作為一個整體，沒有將彌散斑中心區(qū)域作為一個獨立的單元開展研究。

由于非中心區(qū)域光強很弱，即使多個非中心區(qū)域發(fā)生重疊也難以產(chǎn)生較明顯的光強。因此，分子間距100、40和20像素的原始圖像可視為彌散斑中心區(qū)域未發(fā)生重疊。分子間距為8像素的原始圖像可視為彌散斑中心區(qū)域發(fā)生重疊。

3 熒光分子數(shù)量和間距與去噪的關(guān)系

為分析不同噪聲水平下原始圖像的熒光分子間距和數(shù)量與BM3D去噪效果的關(guān)系，以及彌散斑中心區(qū)域去噪前后的相關(guān)規(guī)律，對不同的含噪原始圖像重復(fù)試驗100次，分別計算原始圖像整圖和彌散斑中心區(qū)域的信噪比（signal-noise ratio， SNR）均值。圖2中原始圖像僅含有泊松噪聲；圖3中原始圖像含有泊松噪聲和方差為0.01的高斯噪聲；圖4中原始圖像含有泊松噪聲和方差為0.04的高斯噪聲。圖2—圖4中原始圖像的噪聲水平，分別稱之為低噪、中噪和高噪。

圖2（a）表示原始圖像整圖的SNR；圖2（b）表示原始圖像彌散斑中心區(qū)域的SNR。彌散斑中心區(qū)域SNR的計算方法（以圖1為例）如下：首先，分別提取添加噪聲前后的圖1中所有黃色方框區(qū)域的圖塊，合計25個圖塊，每個圖塊大小13×13像素；然后，將各圖塊按順序無縫拼接成大圖，大圖大小為325×325像素；再將大圖的像素逐列首尾相接分別構(gòu)成添加噪聲前的向量和添加噪聲后的向量；最后，基于噪聲前的向量和添加噪聲后的向量就可計算出彌散斑中心區(qū)域的SNR。

圖2（a）中，曲線N100、N40、N20和N8從下到上依次分布，SNR逐步增強。原始圖像的SNR與熒光分子間距有關(guān)，分子間距越小，原始圖像的SNR越高。位于曲線N100和N40上方的N20近乎水平線，SNR約15.63 dB。而圖2（b）中，曲線N100、N40和N20完全重合在一起，近乎水平線，SNR約16.77 dB。彌散斑中心區(qū)域的SNR幾乎與分子間距無關(guān)。因此，原始圖像中非彌散斑中心區(qū)域的SNR與分子間距有關(guān)，分子間距越大，SNR越低。當分子間距等于8像素時，提取彌散斑中心區(qū)域后得到的仍是N8原始圖像的整圖。因此，圖2（a）和（b）中曲線N8是一樣的。因此，圖2（a）和（b）中N8位于N100、N40和N20的上方，SNR最高。

圖2（a）和（b）中，曲線R100、R40、R20和R8分別是去噪后的N100、N40、N20和N8。圖2（c）和（d）是圖2（a）和（b）中原始圖像去噪前后SNR的差值曲線。圖2（c）中，D100、D40和D20從上到下依次分布，去噪能力隨分子間距的縮短而依次降低。圖2（d）中，D100、D40和D20從下到上依次分布，去噪能力隨分子間距的縮短而依次增強。因此，彌散斑中心區(qū)域的去噪與分子間距有關(guān)，分子間距越大，去噪能力越差。原始圖像中非彌散斑中心區(qū)域的去噪能力與分子間距有關(guān)，分子間距越大，去噪能力越強。

圖2（a）和（b）中曲線R8是一樣的，圖2（c）和（d）中曲線D8也是一樣的。由于分子間距僅8像素，所以相鄰彌散斑中心區(qū)域會發(fā)生嚴重重疊，導(dǎo)致每個像素的光子數(shù)急劇增多。原始圖像邊緣區(qū)域的彌散斑較之中心區(qū)域受到較少相鄰彌散斑的影響。熒光分子數(shù)多的原始圖像，邊緣區(qū)域與原始圖像總面積之比較??；而熒光分子數(shù)少的原始圖像，邊緣區(qū)域與原始圖像總面積之比很大。這就會導(dǎo)致在熒光分子數(shù)較少的原始圖像中出現(xiàn)邊緣效應(yīng)。而BM3D對邊緣效應(yīng)敏感，使圖2中的曲線R8和D8都不再近似水平線，而是在熒光分子數(shù)小于100的區(qū)間表現(xiàn)為弧度較大的曲線；在大于100的區(qū)間，接近水平線。去噪前原始圖像的SNR與熒光分子數(shù)無關(guān)；去噪后原始圖像的SNR與熒光分子數(shù)有關(guān)。盡管N20、N40和N100邊緣區(qū)域的彌散斑也會受到相鄰彌散斑的影響，但由于距離較遠，其影響幾乎可忽略不計。

圖3和圖4分別是中噪聲和高噪聲水平下的實驗結(jié)果，各種現(xiàn)象與圖2類似。但是，圖3（c）的曲線D8完全位于曲線D40的下方，圖4（c）的曲線D8位于曲線D20的下方，而圖2（c）的曲線D8幾乎完全位于曲線D40的上方。因此，分子間距為8像素時，BM3D的去噪能力與噪聲水平高度相關(guān)。圖3（b）中曲線R100和R40幾乎重合；圖3（d）中曲線D100和D40幾乎重合。彌散斑中心區(qū)域的去噪在分子間距為100和40時，與分子間距無關(guān)。圖3（c）中曲線D8在熒光分子數(shù)小于50的區(qū)間表現(xiàn)為弧度很大的曲線，去噪后原始圖像的SNR與熒光分子數(shù)有關(guān)；在大于50的區(qū)間，接近水平線，去噪后原始圖像的SNR與熒光分子數(shù)無關(guān)。由圖3（c）可見，在熒光分子間距為100像素時，幾乎可實現(xiàn)SNR增強20 dB的去噪效果。

圖4中所有的曲線幾乎均是水平線。圖4（d）中曲線D100、D40和D20接近重合。因此，高噪水平下，BM3D的去噪與分子間距無關(guān)。圖5是添加泊松噪聲和方差為0.01的高斯噪聲、分子間距20像素、含25個熒光分子的原始圖像去噪前后的對比圖。去噪前，原始圖像的SNR是6.97 dB；去噪后是19.44 dB，SNR提高12.47 dB，去噪效果明顯。

4 不同噪聲水平下含100個熒光分子的原始圖像的去噪分析

當原始圖像中熒光分子數(shù)達到100時，在圖2—圖3中，分子間距為8像素的各曲線都較平緩。因此，熒光分子數(shù)為100時的實驗數(shù)據(jù)可以較好地反映不同分子間距的原始圖像在不同噪聲水平下的去噪效果，如圖6所示。

由圖6（c）和（d）可見，當彌散斑中心區(qū)域未發(fā)生重疊時，中噪水平的去噪效果最好。當彌散斑中心區(qū)域發(fā)生重疊（即分子間距等于8像素）時，低噪水平的去噪效果最好。在高噪水平下，所有曲線顯示去噪能力急劇降低。

5 結(jié)論

BM3D可以有效地去除原始圖像的噪聲。去噪能力不但與噪聲類型和水平有關(guān)，而且在一定條件下隨熒光分子間距變化。在高噪水平下去噪能力最差，原始圖像彌散斑中心區(qū)域的SNR最多，僅增強不到4 dB。

當彌散斑中心區(qū)域未發(fā)生重疊時，彌散斑中心區(qū)域去噪前的SNR幾乎與分子間距無關(guān)；非彌散斑中心區(qū)域去噪前的SNR與分子間距有關(guān)，分子間距越大，SNR越低。彌散斑中心區(qū)域的去噪與分子間距有關(guān)，分子間距越大，去噪能力越差。原始圖像中非彌散斑中心區(qū)域的去噪與分子間距有關(guān)，分子間距越大，去噪能力越強。去噪前后原始圖像的SNR都與熒光分子數(shù)幾乎無關(guān)。

當彌散斑中心區(qū)域發(fā)生重疊時，去噪前原始圖像的SNR與熒光分子數(shù)無關(guān)；去噪后低噪和中噪原始圖像的SNR與熒光分子數(shù)有關(guān)。在低噪聲水平，可實現(xiàn)約10 dB以上的去噪；在中噪聲水平，可實現(xiàn)約12 dB以上的去噪；在高噪聲水平，僅能實現(xiàn)約2 dB以上的去噪。

參考文獻

[1] BONDIA P，JURADO R，CASADO S，et al.Hybrid nanoscopy of hybrid nanomaterials[J].Small，2017，13（17）：1603784.

[2] NANDI S，CAICEDO K，COGNET L.When super-resolution localization microscopy meets carbon nanotubes[J].Nanomaterials，2022，12（9）：1433.

[3] JIANG X X，KONG L，YING Y，et al.Super-resolution imaging with graphene[J].Biosensors，2021，11（9）：307.

[4] ZHU L，ZHANG W，ELNATAN D，et al.Faster STORM using compressed sensing[J].Nature Methods，2012，9：721-723.

[5] 吳小龍，程濤，楊明.單像素相機內(nèi)部元素對重構(gòu)矩陣性能的影響[J].廣西科技大學學報，2021，32（1）：71-77.

[6] CHENG T，CHEN D N，YU B，et al.Reconstruction of super-resolution STORM images using compressed sensing based on low-resolution raw images and interpolationgzbdxO2rbqAMn4ojBy9JGDIvHK0dFrn/xwFxAk15riE=[J].Biomedical Optics Express，2017，8（5）：2445-2457.

[7] KHATER I M，NABI I R，HAMARNEH G.A review of super-resolution single-molecule localization microscopy cluster analysis and quantification methods[J].Patterns，2020，1（3）：100038.

[8] RUST M J，BATES M，ZHUANG X W.Sub-diffraction-limit imaging by stochastic optical reconstruction microscopy （STORM）[J].Nature Methods，2006，3：793-796.

[9] CALISESI G，GHEZZI A，ANCORA D，et al.Compressed sensing in fluorescence microscopy[J].Progress in Biophysics and Molecular Biology，2022，168：66-80.

[10] 程濤，陳丹妮.基于壓縮感知STORM超分辨成像與像素的關(guān)系[J].電子顯微學報，2017，36（3）：264-272.

[11] THOMPSON R E，LARSON D R，WEBB W W.Precise nanometer localization analysis for individual fluorescent probes[J].Biophysical Journal，2002，82（5）：2775-2783.

[12] NIZAMUDEEN Z，MARKUS R，LODGE R，et al.Rapid and accurate analysis of stem cell-derived extracellular vesicles with super resolution microscopy and live imaging[J].Biochimica et Biophysica Acta.Molecular Cell Research，2018，1865（12）：1891-1900.

[13] CHENG T，CHEN D N，LI H.Wide spectrum denoising（WSD）for super-resolution microscopy imaging using compressed sensing and a high-resolution camera[J].Journal of Physics：Conference Series，2020，1651（1）：012177.

[14] 勞興松，李思敏，唐智靈.大規(guī)模MIMO系統(tǒng)的貝葉斯匹配追蹤信道估計算法[J].廣西科技大學學報，2017，28（2）：8-16.

[15] 李春貴，陶佳偉，周愛霞.基于鄰域能量的壓縮感知醫(yī)學圖像融合研究[J].廣西科技大學學報，2016，27（4）：15-20.

[16] BEIER H T，IBEY B L.Experimental comparison of the high-speed imaging performance of an EM-CCD and sCMOS camera in a dynamic live-cell imaging test case[J].PLoS One，2014，9（1）：e84614.

[17] SAGE D，KIRSHNER H，PENGO T，et al.Quantitative evaluation of software packages for single-molecule localization microscopy[J].Nature Methods，2015，12：717-724.

[18] PICART P，MONTRESOR S.Contrast transfer function of de-noising algorithms[J].Optics Express，2019，27（16）：23336-23356.

[19] LEE G，OH J W，HER N G，et al.DeepHCS++：bright-field to fluorescence microscopy image conversion using multi-task learning with adversarial losses for label-free high-content screening[J].Medical Image Analysis，2021，70：101995.

[20] 程濤，金虎，賈東東.超分辨熒光顯微圖像去噪算法性能影響因素[J].探測與控制學報，2023，45（3）：121-125.

[21] ACHIMOVICH A M，AI H W，GAHLMANN A.Enabling technologies in super-resolution fluorescence microscopy：reporters，labeling，and methods of measurement[J].Current Opinion in Structural Biology，2019，58：224-232.

[22] HOLDEN S J，UPHOFF S，KAPANIDIS A N.DAOSTORM：an algorithm for high-density super-resolution microscopy[J].Nature Methods，2011，8：279-280.

Raw image denoising with different fluorescence molecular spacing and number

XU Cong， CHENG Tao*

（School of Mechanical and Automotive Engineering， Guangxi University of Science and Technology，

Liuzhou 545616， China）

Abstract： Noise is unavoidable during the stochastic optical reconstruction microscopy（STORM）raw image acquisition. Block-matching and 3D filtering（BM3D）is an excellent denoising algorithm. Due to diffraction， each fluorescent molecule forms a diffuse spot in the raw image. Different fluorescence molecular densities will lead to the raw image with different overlapping degrees of the diffuse spots. Aiming at the relationship between BM3D，s ability to denoise the raw image and fluorescence molecular spacing， a new method was proposed to study the raw image with different molecular spacing. The raw images with different molecular spacing were divided into two types：overlapping and non-overlapping in the central region of the diffuse spots. The study found that BM3D can effectively remove noise from the raw image. The ability to remove noise is not only related to the type and level of noises， but also varies with the spacing of fluorescence molecules. When the central region of the diffuse spot overlaps， the SNR of the raw image before denoising is independent of the number of fluorescent molecules. The SNR of the raw image with low noise and medium noise is related to the number of fluorescent molecules.

Keywords： super-resolution microscopy; raw image; fluorescence molecular spacing; denoising; diffuse spot

（責任編輯：于艷霞）

收稿日期：2023-08-07；修回日期：2023-09-19

基金項目：廣西自然科學基金項目（2022GXNSFAA035593）；國家自然科學基金項目（41461082，81660296）資助

第一作者：許聰，在讀碩士研究生

*通信作者：程濤，博士，研究員，研究方向：壓縮感知和遙感，E-mail：ctnp@163.com