海涌杰 易定容 黃彩虹 袁濤 梅小華

摘要： 針對(duì)傳統(tǒng)自動(dòng)聚焦方法效率低，難以適應(yīng)工業(yè)產(chǎn)品微觀形貌檢測(cè)高精度、高效率需求的問題，提出一種基于物方差動(dòng)共焦軸向測(cè)量引導(dǎo)的顯微鏡自動(dòng)對(duì)焦方法（DCAFM）。在獲取測(cè)量系統(tǒng)中離焦量和軸向光強(qiáng)差之間的標(biāo)定曲線后，控制運(yùn)動(dòng)機(jī)構(gòu)使物鏡與樣本的軸向距離以等步距的方式采集圖像。通過焦前與焦后位置光強(qiáng)差快速確定當(dāng)前軸向離焦量，控制軸向運(yùn)動(dòng)機(jī)構(gòu)，實(shí)現(xiàn)快速自動(dòng)對(duì)焦。搭建顯微鏡自動(dòng)對(duì)焦實(shí)驗(yàn)平臺(tái)，對(duì)樣品進(jìn)行測(cè)試。實(shí)驗(yàn)結(jié)果表明：文中方法的圖像對(duì)焦速度和靈敏度優(yōu)于DFT，EOG等自動(dòng)對(duì)焦方法，系統(tǒng)的軸向分辨率優(yōu)于0.4 μm，有效地提高了顯微鏡的對(duì)焦速度和精度。

關(guān)鍵詞： 自動(dòng)對(duì)焦方法； 軸向測(cè)量； 軸向差動(dòng)共焦； 物方差動(dòng)； 微觀形貌檢測(cè)

中圖分類號(hào)： TP 391.7文獻(xiàn)標(biāo)志碼： A?? 文章編號(hào)： 1000-5013（2024）01-0016-06

Microscope Automatic Focusing Method Based on Height-Guidance of Object-Side Differential Confocal Axial Measurement

HAI Yongjie1， YI Dingrong1， HUANG Caihong2， YUAN Tao1， MEI Xiaohua2

（1. College of Mechanical Engineering and Automation， Huaqiao University， Xiamen 361021， China；

2. College of Information Science and Engineering， Huaqiao University， Xiamen 361021， China）

Abstract： Aiming at the problem of low efficiency of traditional automatic focusing methods and difficulty in adapting to the high precision and high efficiency of microscopic morphology detection in industrial products， a microscope automatic focusing method based on the height-guidance of object-side differential confocal axial measurement is proposed. After obtaining the calibration curve between the defocus amount and the axial light intensity difference in the measurement system， the motion mechanism is controlled so that the axial distance between the objective lens and the sample is used to collect images at equal steps. The current axial defocus amount is determined quickly through the difference in light intensity between the front and back focus positions， and control the axial movement mechanism to achieve fast autofocus. A microscope autofocus experimental platform is built to test samples. Experimental results show that the image focusing speed and sensitivity of the proposed method are better than that of DFT， EOG and other automatic focusing methods， and the axial solution of the system is better than 0.4 μm， which effectively improves the focusing speed and accuracy of the microscope.

Keywords： autofocus method； axial measurement； axial differential confocal； object-side differential； micromorphology detection

顯微鏡自動(dòng)對(duì)焦技術(shù)在工業(yè)產(chǎn)品檢測(cè)如PCB板檢測(cè)［1］、生物樣品高通量檢測(cè)及數(shù)字病理診斷［2］中廣泛應(yīng)用。隨著工業(yè)生產(chǎn)與科學(xué)研究的發(fā)展，傳統(tǒng)自動(dòng)對(duì)焦方法難以同時(shí)滿足應(yīng)用場(chǎng)景對(duì)精度和效率的要求，因此，提高自動(dòng)對(duì)焦的精度與效率已經(jīng)成為工業(yè)生產(chǎn)與生物科學(xué)研究領(lǐng)域亟待解決的問題。

目前，基于圖像的自動(dòng)對(duì)焦方法主要有離焦深度法［3］與聚焦深度法［4］。離焦深度法通過分析一系列離焦模糊圖像的重要特征估計(jì)光學(xué)系統(tǒng)的點(diǎn)擴(kuò)散函數(shù)，從而對(duì)光學(xué)系統(tǒng)參數(shù)進(jìn)行建模，反推出離焦量。離焦深度法的缺點(diǎn)是估計(jì)出的點(diǎn)擴(kuò)散函數(shù)無法應(yīng)用于其他光學(xué)系統(tǒng)，具有一定的局限性。聚焦深度法通過采集不同軸向位置的序列圖像，使用某種聚焦評(píng)價(jià)函數(shù)或圖像清晰度評(píng)價(jià)函數(shù)，該函數(shù)反映圖像離焦程度量化值與離焦量之間的關(guān)系。聚焦深度法的核心之一是根據(jù)應(yīng)用場(chǎng)景選擇或設(shè)計(jì)合適的聚焦評(píng)價(jià)函數(shù)，該方法具有不需要額外添加光學(xué)器件、方法泛化能力強(qiáng)等優(yōu)點(diǎn)，已有學(xué)者針對(duì)聚焦評(píng)價(jià)函數(shù)展開研究，以提高自動(dòng)對(duì)焦的效率與精度。熊銳等［5］對(duì)Brenner函數(shù)和Roberts函數(shù)進(jìn)行改進(jìn)，提出一種適合于多邊緣方向的大尺度微納器件的快速自動(dòng)聚焦的聚焦評(píng)價(jià)函數(shù)，但該方法需要存儲(chǔ)大量圖像進(jìn)行分析。為了減少自動(dòng)對(duì)焦過程中需要分析的圖像數(shù)量以提高對(duì)焦效率，李強(qiáng)等［6］設(shè)計(jì)一種基于深度學(xué)習(xí)的數(shù)字病理掃描系統(tǒng)單次曝光自動(dòng)對(duì)焦方法，該算法輸入離焦模糊圖像，通過算法處理后直接獲得對(duì)應(yīng)的準(zhǔn)焦圖像，從原理上替代了傳統(tǒng)方法對(duì)逐個(gè)子圖像進(jìn)行機(jī)械掃描調(diào)焦。周鵬等［7］提出一種基于三軸視覺測(cè)量系統(tǒng)的自動(dòng)對(duì)焦技術(shù)，該方法共采集7張圖像通過高斯擬合確定最終正焦位置，將光學(xué)離焦模型分解為2個(gè)曲線方程，提高了對(duì)焦效率。

基于聚焦深度法的自動(dòng)對(duì)焦方法一定程度上依賴于聚焦評(píng)價(jià)函數(shù)的選擇是否適用于測(cè)量場(chǎng)景［8］，容易產(chǎn)生對(duì)焦精度不足、對(duì)焦速度過慢等問題，需要根據(jù)不同的應(yīng)用場(chǎng)景對(duì)不同的聚焦評(píng)價(jià)函數(shù)進(jìn)行改進(jìn)；而基于深度學(xué)習(xí)開發(fā)的自動(dòng)對(duì)焦方法依賴訓(xùn)練集，并且應(yīng)用場(chǎng)景較有針對(duì)性，該方法缺少普適性且需要處理大量數(shù)據(jù)［5，9］。由于共聚焦顯微技術(shù)使用點(diǎn)探測(cè)，能夠更加穩(wěn)定地獲得光強(qiáng)軸向響應(yīng)曲線，樣品參數(shù)不易對(duì)該曲線造成影響，因此可基于共焦成像的軸向?qū)游鎏匦裕芯窟m用于共焦顯微成像系統(tǒng)的自動(dòng)對(duì)焦方法。

基于此，針對(duì)傳統(tǒng)自動(dòng)對(duì)焦方法中聚焦評(píng)價(jià)函數(shù)普適性低、靈敏度低和對(duì)焦速度慢的問題，本文提出一種基于物方差動(dòng)共焦軸向測(cè)量引導(dǎo)的顯微鏡自動(dòng)對(duì)焦方法（DCAFM）。

1 原理及方法

1.1 自動(dòng)對(duì)焦原理

差動(dòng)共焦顯微鏡的原理示意圖，如圖1所示，其中，探測(cè)器端、點(diǎn)光源前的針孔是互相共軛的，非物鏡焦平面上的絕大部分光線都會(huì)被針孔擋住，因此共焦顯微鏡探測(cè)器段具有較大的信噪比，所得成像的對(duì)比度和清晰度較高［10］。

DCAFM主要基于差動(dòng)共焦顯微原理（圖1），光源中發(fā)出的白光通過準(zhǔn)直透鏡、全反射鏡，經(jīng)過數(shù)字微鏡器件（DMD）將白光調(diào)制為周期點(diǎn)陣光，光線照射到樣本表面上后反射至探測(cè)端成像。PI電機(jī)帶動(dòng)物鏡相對(duì)于當(dāng)前軸向位置分別向上和向下移動(dòng)軸向偏移量uF，并在移動(dòng)完成后獲取圖像，從而獲得兩張圖像以實(shí)現(xiàn)基于物方差動(dòng)共焦軸向測(cè)量引導(dǎo)的自動(dòng)對(duì)焦。

根據(jù)差動(dòng)共焦軸向距離測(cè)量的原理獲取灰度差與軸向離焦量的關(guān)系，基于該軸向光強(qiáng)差動(dòng)曲線獲取軸向離焦量，從而達(dá)到自動(dòng)對(duì)焦的目的。根據(jù)劉志群［11］的相關(guān)研究，在差動(dòng)共焦顯微測(cè)量系統(tǒng)中，探測(cè)端光強(qiáng)與樣品表面離焦量之間的關(guān)系，即軸向光強(qiáng)響應(yīng)曲線的表達(dá)式為

式（1）中：u為樣品表面軸向離焦量；I（u）為探測(cè)端接收到的光照強(qiáng)度；坐標(biāo)原點(diǎn)為焦面位置。

為了進(jìn)行系統(tǒng)標(biāo)定，獲取當(dāng)前測(cè)量系統(tǒng)探測(cè)端光強(qiáng)差與離焦量的近似線性關(guān)系，設(shè)uPre和uPost分別為焦前曲線和焦后曲線的軸向偏移量，并且此處uF=uPre=uPost。

采用焦前軸向光強(qiáng)響應(yīng)曲線I（u-uPre）與焦后軸向光強(qiáng)曲線I（u+uPost）作差，表達(dá)式為

IDiffer=IPre-IPost。（2）

式（2）中：IDiffer為差動(dòng)光強(qiáng)信號(hào)；IPre為焦前光強(qiáng)信號(hào)，IPre=I（u-uPre）；IPost為焦后光強(qiáng)信號(hào)，IPost=I（u+uPost）。獲得物方軸向測(cè)量差動(dòng)曲線，如圖2所示。

相比于傳統(tǒng)共聚焦顯微鏡，差動(dòng)共焦顯微鏡能夠通過分析相對(duì)于焦面前、后對(duì)稱的兩個(gè)探測(cè)器位置的光強(qiáng)信息，快速獲取物鏡當(dāng)前與焦面的距離。由于差動(dòng)共焦原理下的軸向差動(dòng)光強(qiáng)響應(yīng)曲線的線性區(qū)具有較大的斜率，因此，能夠有效提高對(duì)焦過程中的靈敏度。

根據(jù)Tan等［12］確定的Sinc2模型對(duì)共焦軸向響應(yīng)曲線進(jìn)行擬合，通過設(shè)定一定的軸向偏移量uF，獲得焦前與焦后的軸向特性曲線，并使用焦前曲線與焦后曲線作差（圖2），獲得物方差動(dòng)共焦軸向測(cè)量曲線仿真圖，如圖3所示。圖3中：藍(lán)色區(qū)域?yàn)榫€性區(qū)，具有軸向定位能力。根據(jù)光強(qiáng)的差值IDiffer（u）能夠?qū)?yīng)當(dāng)前樣本表面的離焦量Δu=I-1Differ（Δu），實(shí)現(xiàn)軸向測(cè)量引導(dǎo)的自動(dòng)對(duì)焦方法。

由于差動(dòng)后的曲線的非線性區(qū)域不具有軸向定位能力，可能具有不唯一解導(dǎo)致無法對(duì)應(yīng)正確軸向離焦量，因此，提出一種基于信息論的超量程判斷方法（IT-ORDM）［10］對(duì)被測(cè)表面高度所屬的曲線區(qū)域進(jìn)行判斷，以解決存在非唯一解的情況?；谛畔⒄摰某砍膛袛喾椒?，如圖4所示。圖4中：z為軸向距離；+zd，-zd分別為焦前、焦后軸向光強(qiáng)響應(yīng)曲線峰值對(duì)應(yīng)的軸向距離。

假設(shè)對(duì)某點(diǎn)P1（對(duì)應(yīng)軸向距離z1）的軸向離焦量進(jìn)行判斷，該點(diǎn)位于紫色區(qū)域內(nèi)的線性區(qū)（對(duì)應(yīng)軸向距離范圍為［zmin，zmax］），因此，在量程內(nèi)可以得出正確的離焦量。但在圖4（a）的綠色區(qū)域內(nèi)，也存在一點(diǎn)P2（對(duì)應(yīng)軸向距離z2），該點(diǎn)相應(yīng)地在焦前軸向光強(qiáng)響應(yīng)曲線（Pre-focus ARC）和焦后軸向光強(qiáng)響應(yīng)曲線（Post-focus ARC）上有2個(gè)點(diǎn)P′2和P″2，是超出測(cè)量量程的，與P2具有同一軸向距離z2。因此，在焦前和焦后圖像中都可能存在超出量程的點(diǎn)和在量程內(nèi)的點(diǎn)。IT-ORDM通過系統(tǒng)刻度曲線分別獲得焦前與焦后圖像中的真實(shí)測(cè)量區(qū)域，進(jìn)而對(duì)焦前和焦后圖像進(jìn)行求交集運(yùn)算，即可獲得差動(dòng)圖像的有效測(cè)量區(qū)域（圖4（b））。

1.2 共焦光學(xué)系統(tǒng)標(biāo)定

差動(dòng)共焦顯微測(cè)量系統(tǒng)的實(shí)驗(yàn)平臺(tái)，如圖5（a）所示。圖像探測(cè)器采用濱松sCMOS相機(jī)、PlanFluor物鏡（10倍，數(shù)值孔徑值為0.3）和Motic BA600Mot顯微鏡架。通過測(cè)量系統(tǒng)刻度方法對(duì)所用測(cè)量系統(tǒng)進(jìn)行刻度，刻度流程如圖5（b）所示。

分別將物鏡移動(dòng)至焦前10 μm與焦后10 μm處，以0.2 μm的步距獲取200張層掃圖像，對(duì)線性區(qū)曲線進(jìn)行線性擬合，測(cè)量系統(tǒng)中的軸向響應(yīng)曲線及差動(dòng)曲線，如圖6（a），（b）所示。重復(fù)5組刻度試驗(yàn)，結(jié)果如圖6（c）所示，誤差棒的中心為5組數(shù)據(jù)均值，棒長(zhǎng)為標(biāo)準(zhǔn)差的兩倍。

為驗(yàn)證文中方法的軸向分辨率，采用步距0.2 μm，層掃200張圖片進(jìn)行多組重復(fù)性試驗(yàn)，作出文中方法的軸向分辨力圖，最大標(biāo)準(zhǔn)差為0.556，軸向分辨率高于0.4 μm。經(jīng)過對(duì)線性區(qū)域的線性擬合（圖6（b）），得到擬合式為

IDiffer（u）=-0.026 08u-0.021 42。（3）

1.3 自動(dòng)對(duì)焦流程

DCAFM流程圖，如圖7所示。DCAFM具體有以下3個(gè)步驟。

1） 在獲取的第i張樣本圖像的前、后軸向距離uF位置獲取2張樣本圖像灰度（即光強(qiáng)值）并作差，得到IDiffer。2） 判斷被測(cè)樣品的軸向高度是否超過對(duì)焦范圍，獲取圖像中的有效離焦距離。3） 根據(jù)步驟2）中所獲取的有效離焦距離進(jìn)行對(duì)焦。

2 實(shí)驗(yàn)結(jié)果與分析

傳統(tǒng)自動(dòng)對(duì)焦方法的核心是對(duì)焦評(píng)價(jià)函數(shù)，其性能好壞直接影響最終的對(duì)焦效果。目前的圖像清晰度評(píng)價(jià)函數(shù)主要有基于圖像梯度的評(píng)價(jià)函數(shù)、頻域評(píng)價(jià)函數(shù)、信息熵評(píng)價(jià)函數(shù)和統(tǒng)計(jì)學(xué)評(píng)價(jià)函數(shù)。因此，為驗(yàn)證DCAFM的自動(dòng)對(duì)焦性能，采用4種具有代表性的清晰度評(píng)價(jià)函數(shù)進(jìn)行自動(dòng)對(duì)焦過程模擬，將實(shí)驗(yàn)結(jié)果與文中方法進(jìn)行對(duì)比。分別選取文獻(xiàn)［12］中的能量梯度函數(shù)（EOG）、二維離散傅里葉變換（DFT）法、信息熵清晰度評(píng)價(jià)函數(shù)及Variance函數(shù)進(jìn)行自動(dòng)對(duì)焦性能對(duì)比實(shí)驗(yàn)。

分別采用DCAFM、EOG、DFT、信息熵清晰度評(píng)價(jià)函數(shù)、Variance函數(shù)等方法，以0.2 μm為步距對(duì)金手指樣品進(jìn)行層掃，從而獲取不同離焦程度樣本圖像，并對(duì)所得樣本圖像進(jìn)行清晰度評(píng)價(jià)。DCAFM測(cè)試用樣本焦面圖像，如圖8所示。使用常用清晰度評(píng)價(jià)函數(shù)進(jìn)行對(duì)比，如圖9所示。由圖9可知：相比于其他方法，DFT方法尋找焦面的誤差較大，不符合單峰性，存在一定的軸向距離偏移。

采用自動(dòng)對(duì)焦評(píng)價(jià)函數(shù)的靈敏度、陡峭度、對(duì)焦效率等參數(shù)對(duì)不同方法的對(duì)焦性能進(jìn)行比較。在軸向相等步距的情況下，靈敏度Sen的計(jì)算式［15］為

式（4）中：Score為某圖像的清晰度得分； j為層掃圖像序列的索引； Scoremax（j）為某清晰度評(píng)價(jià)函數(shù)下的最高清晰度得分。對(duì)焦效率使用Matlab中的代碼運(yùn)行時(shí)間為標(biāo)準(zhǔn)。由于DCAFM對(duì)焦所用曲線為一條直線，因此，使用灰度差值為0的點(diǎn)作為Scoremax所在的點(diǎn)。

不同自動(dòng)對(duì)焦方法的性能對(duì)比，如表1所示。表1中：t為對(duì)焦時(shí)間。由表1可知：相比傳統(tǒng)自動(dòng)對(duì)焦方法，DCAFM在靈敏度及對(duì)不同離焦距離圖像的分辨能力上有顯著提升；在自動(dòng)對(duì)焦效率方面，相比于文獻(xiàn)［4］中提出的需要獲取7張圖片的自動(dòng)對(duì)焦方法，DCAFM僅需提取2張圖片的信息即可完成對(duì)焦；相比于傳統(tǒng)的基于圖像處理的自動(dòng)對(duì)焦方法，DCAFM對(duì)焦所用的時(shí)間縮短了80%以上。

3 結(jié)束語(yǔ)

通過對(duì)共聚焦顯微鏡的原理進(jìn)行討論，提出基于物方差動(dòng)共焦軸向測(cè)量引導(dǎo)的顯微鏡自動(dòng)對(duì)焦方法。該自動(dòng)對(duì)焦方法基于物方差動(dòng)共焦軸向距離測(cè)量原理，在檢測(cè)過程中只需采集2幅圖像即可完成對(duì)焦；同時(shí)，用于對(duì)焦的曲線靈敏度較大，軸向分辨率高于0.4 μm，因此，能夠?qū)崿F(xiàn)較高的對(duì)焦效率、精度和較好的普適性。經(jīng)過實(shí)驗(yàn)驗(yàn)證，相比傳統(tǒng)基于圖像算子的自動(dòng)對(duì)焦方法，DCAFM可以提高工業(yè)產(chǎn)品自動(dòng)光學(xué)檢測(cè)過程中獲取圖像的質(zhì)量，提高基于自動(dòng)光學(xué)檢查（AOI）方法的工業(yè)產(chǎn)品缺陷自動(dòng)檢測(cè)效率和精度。

參考文獻(xiàn)：

［1］ DAVE N，TAMBADE V，PANDHARE B，et al.PCB defect detection using image processing and embedded system［J］.International Research Journal of Engineering and Technology，2016，3（5）：1897-1901.

［2］ LIAO Jun，JIANG Shaowei，ZHANG Zibang，et al.Terapixel hyperspectral whole-slide imaging via slit-array detection and projection［J］.Journal of Biomedical Optics，2018，23（6）：066503.DOI：10.1117/1.JBO.23.6.066503.

［3］ SUBBARAO M，SURYA G.Depth from defocus： A spatial domain approach［J］.International Journal of Computer Vision，1994，13（3）：271-294.DOI：10.1007/BF02028349.

［4］ XIONG Yalin，SHAFER S A.Depth from focusing and defocusing［C］∥Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.New York：IEEE Press，1993：68-73.DOI：10.1109/CVPR.1993.340977.

［5］ 熊銳，顧乃庭，徐洪艷.一種適應(yīng)多方向灰度梯度變化的自動(dòng)對(duì)焦評(píng)價(jià)函數(shù)［J］.激光與光電子學(xué)進(jìn)展，2022，59（4）：373-380.DOI：10.3788/LOP202259.0418001.

［6］ 李強(qiáng)，劉賢明，韓凱歌，等.基于深度學(xué)習(xí)的數(shù)字病理掃描系統(tǒng)單次曝光自動(dòng)對(duì)焦方法［J］.中國(guó)科學(xué)：信息科學(xué)，2021，51（10）：1675-1689.DOI：10.1360/SSI-2020-0349.

［7］ 周鵬，胡成海，畢超，等.三軸視覺測(cè)量系統(tǒng)自動(dòng)對(duì)焦技術(shù)［J］.紅外與激光工程，2021，50（12）：443-450.DOI：10.3788/IRLA20210141.

［8］ QU Yufu，ZHU Shenyu，ZHANG Ping.A self-adaptive and nonmechanical motion autofocusing system for optical microscopes［J］.Microscopy Research and Technique，2016，79（11）：1112-1122.DOI：10.1002/jemt.22765.

［9］ BIAN Zichao，GUO Chengfei，JIANG Shaowei，et al.Autofocusing technologies for whole slide imaging and automated microscopy［J］.Journal of Biophotonics，2020，13（12）：e202000227.DOI：10.1002/jbio.202000227.

［10］ 高興宇，伍世榮，蕭澤新.一種現(xiàn)代先進(jìn)成像技術(shù)： 共焦顯微術(shù)［C］∥2004全國(guó)光學(xué)與光電子學(xué)學(xué)術(shù)研討會(huì)、2005全國(guó)光學(xué)與光電子學(xué)學(xué)術(shù)研討會(huì)、廣西光學(xué)學(xué)會(huì)成立20周年年會(huì)論文集.桂林：廣西光學(xué)學(xué)會(huì)，2005：250-252.

［11］ 劉志群.差動(dòng)并行共聚焦高精度快速三維表面形貌測(cè)量方法研究［D］.廈門：華僑大學(xué)，2020.

［12］ TAN Jiubin，LIU Chenguang，LIU Jian，et al.Sinc2 fitting for height extraction in confocal scanning［J］.Measurement Science and Technology，IOP Publishing，2015，27（2）：025006.DOI：10.1088/0957-0233/27/2/025006.

［13］ YUAN Tao，YI Dingrong，YE Yiqing，et al.Differential confocal over range determination method based on information theory［J］.Applied Optics，2023，62（8）：2073-2077.DOI：10.1364/AO.484018.

［14］ 熊銳.基于數(shù)字圖像處理的顯微自動(dòng)對(duì)焦技術(shù)研究［D］.成都：中國(guó)科學(xué)院大學(xué)（中國(guó)科學(xué)院光電技術(shù)研究所），2021.

［15］ 王燁茹.基于數(shù)字圖像處理的自動(dòng)對(duì)焦方法研究［D］.杭州：浙江大學(xué)，2018.