趙冉，李軒，劉波，焦朋，黃永剛，賈金升，4

（1 中國建筑材料科學研究總院有限公司 綠色建筑材料國家重點實驗室，北京 100024）

（2 太陽能與建筑節(jié)能玻璃材料加工技術(shù)北京市重點實驗室，北京 100024）

（3 中國建材檢驗認證集團股份有限公司，北京 100024）

（4 中建材光芯科技有限公司，山東 棗莊 277100）

0 引言

玻璃光纖、石英光纖等光學產(chǎn)品在工業(yè)生產(chǎn)中會因為承受多種理化作用而產(chǎn)生各種各樣的形變［1］。雖然該形變僅為微納米尺度，卻足以對材料以及相關(guān)產(chǎn)品的性能產(chǎn)生嚴重的影響。以玻璃光纖耦合器件為例，當光纖的輸出端面與耦合面之間的距離增加0.1 mm 時，光的傳輸效率會降低10%以上［2］。因此，在工業(yè)上每年需要投入大量時間與經(jīng)費對材料的形變進行檢測與監(jiān)控，而顯微觀測則是檢測的重要手段。

目前用于顯微系統(tǒng)的三維形變測量方法主要有白光顯微干涉法［3-4］、顯微條紋投影法［5-6］、數(shù)字全息顯微法［7-8］、三維數(shù)字圖像相關(guān)法（3D Digital image correlation，3D-DIC）［9-10］等等。雖然白光顯微干涉法的測試裝置比較簡單，但是該方法需要采集多幅圖像才能完成測試，耗時較長無法實現(xiàn)快速工業(yè)檢測；顯微條紋投影法和數(shù)字全息顯微法的測量裝置通常較為復雜，對設備要求較高，同時以上方法均需要相位解包操作，這無疑增加了計算難度和測量誤差；常規(guī)的數(shù)字圖像相關(guān)法（Digital Image Correlation，DIC）是一種高精度、穩(wěn)定性強的面內(nèi)位移測量技術(shù)［11］，隨著研究的不斷深入，近年來研究人員提出了多種三維數(shù)字圖像相關(guān)方法并在實時動態(tài)測量等領(lǐng)域得到了廣泛應用。然而，三維數(shù)字圖像相關(guān)技術(shù)通常需要兩部工業(yè)相機或一部3CCD 相機（3CCD Camera）才能完成測試［10］，在工業(yè)生產(chǎn)中不可避免的振蕩和擾動會增加此類雙目或分束光路技術(shù)的檢測誤差。另一方面，由于單目顯微成像系統(tǒng)（即一部普通工業(yè)相機與一部光學顯微鏡組成的單光路測量系統(tǒng)）是玻璃光纖元器件的工業(yè)生產(chǎn)中最常見的顯微裝置，從檢測實用性和成本方面考慮，企業(yè)和生產(chǎn)線上的研究人員更期待基于單相機顯微的三維形變測量方法。

圖像球面化算法是趙冉等于2019年提出的一種機器視覺技術(shù)［12］，該課題組曾利用該算法成功解釋了微通道板像旋轉(zhuǎn)現(xiàn)象。由于能夠模擬形變物體的反射圖像，該算法為顯微三維形變的測量提供了新的思路。本文提出了一種基于圖像球面化算法的單目顯微成像系統(tǒng)三維形變測量方法。首先由顯微成像系統(tǒng)拍攝物體變形前后的兩幅圖像并計算圖像之間的面內(nèi)位移場，然后根據(jù)圖像球面化模型從該面內(nèi)位移場中提取離面位移，最終實現(xiàn)三維形變的測量。由于DIC 法［11］與光流（Optical Flow，OF）法［13］都是較為成熟的面內(nèi)位移測量技術(shù)，為保障面內(nèi)位移與離面位移的測量精度，在計算機模擬實驗和應用實驗中分別采用這兩種方法提取面內(nèi)位移。所有實驗的離面位移測量結(jié)果的絕對誤差均小于0.2 μm，證明了本文提出方法的有效性。該方法只需要一部工業(yè)相機拍攝顯微鏡下的兩幅圖像即可完成測量，充分利用了面內(nèi)位移場攜帶的離面位移信息，提取離面位移時無需轉(zhuǎn)換到頻域和相位解包操作，適合于玻璃光纖、石英光纖等光學產(chǎn)品的工業(yè)檢測。

1 測量原理

1.1 圖像球面化算法與微分原理

圖像球面化算法可以被定義為圖像中某指定區(qū)域每個像素點沿該點與區(qū)域中心連線方向做擴張或收縮移動［12］。例如，當一幅圖像被置于一塊透明的球形玻璃下方時，經(jīng)玻璃透射的圖像可以被視為球面化圖像，如圖1。在圖像球面化后，圖1（a）中的A點會移動到圖1（b）中的A'點。雖然直接看到的是A點在平面內(nèi)的二維運動，但是它卻包含了三維運動的信息。

圖1 圖像的球面化Fig.1 Image spherizing

由微分理論可以得知，任何曲線都可以被看作無窮多微小線段的累積，如圖2。從這一思路出發(fā)不難想到任何球形或者半球形的形變都可以被看作是無窮多微小斜面的積分?；诖?，可以將光學顯微鏡下看到的任何形變均當作斜面形變。

圖2 微分理論Fig.2 Differential theory

1.2 最簡單的斜面模型

首先考慮最簡單的斜面形變情況，如圖3（a）所示，斜面的臨邊（Adjacent of slope）是斜面的斜邊（Hypotenuse of slope）在x-y平面上的投影并且平行于x軸。為方便分析，圖3（b）展示了將坐標軸平移后（O點坐標變?yōu)椋?，0））該模型在x-z平面的截面圖。將樣品在x軸方向上抬起一個小角度θ，A點被抬起到A1點，A'為A1點在x軸上的投影，O為支點，R=OA=OA1為圖像寬度。由圖像球面化原理可知，在實際看到的二維形變圖像中A點會移動到A'點的位置，其中面內(nèi)位移為d=AA'，離面位移為w。在得到變形前后的兩幅圖像后，根據(jù)DIC 法或者光流算法均可以得到面內(nèi)位移d，圖像寬度R為已知量，由于

圖3 最簡單的斜面形變模型Fig.3 The simplest slope model

因此可以得到斜面傾角

最后根據(jù)式（3）得到離面位移

1.3 常規(guī)的斜面模型

在圖3（a）中斜面的臨邊與x軸是平行的，即圖3（b）中的A點、A'點與支點O都處于x軸上，但在實際測量時OA與x軸應當存在一定夾角。設斜面在x-y平面上旋轉(zhuǎn)的角度為δ，O'在δ角度方向的延長線與圖像交于O點，如圖4所示，此時拍攝區(qū)域內(nèi)的每一點對應的寬度R需要重新計算。首先需要說明的是，旋轉(zhuǎn)角度可以由DIC 法或者光流法得到，其中u（xi，yi）和v（xi，yi）為圖像中某點A'（xi，yi）在水平方向與豎直方向上的面內(nèi)位移。將坐標軸平移，設O（0，0）為拍攝圖像坐標軸的原點，在x-y平面內(nèi)做OO'的垂線BC，若直線OO'的斜率k=tanδ，則直線OO'的公式為y=kx且直線BC的斜率為過A'點做BC的平行直線并與OO'的延長線交于O1點，則點A'在斜面模型中對應的圖像寬度R應等于OO1的長度。由于直線A'O1的斜率為且過A'（xi，yi），直線A'O1的方程可以被表述為設點O1的坐標為（x0，y0），聯(lián)立方程組

圖4 常規(guī)斜面模型Fig.4 General slope model

最終根據(jù)式（2）與式（3）即可求得離面位移w。

綜上所述，常規(guī)斜面模型的三維位移測量過程可以分為以下三步：

1）在獲得變形前后的圖像后，根據(jù)DIC 法或光流法測量得到兩幅圖像間每一點的面內(nèi)位移u（xi，yi）和v（xi，yi）；

3）根據(jù)式（2）與式（3）求得每一點的離面位移w（xi，yi），完成三維位移測量。

2 模擬實驗

在模擬實驗與應用實驗中選用光纖倒像器作為實驗測試樣品。由于光纖單絲產(chǎn)生的光強分布的數(shù)學模型可以被認為是高斯函數(shù)［2，14］，因此可以使用由Matlab 軟件生成的二維高斯函數(shù)陣列來表示光纖倒像器在顯微鏡下拍攝的二維圖像，如圖5（a）、圖5（b）所示。其中圖5（b）是由圖像球面化算法對圖5（a）進行形變加載得到的，加載的斜面角θ=0.2 rad≈11.46°，加載的旋轉(zhuǎn)角度δ=45°，即圖3（a）中斜面的臨邊與圖像的對角線平行，圖像在形變后會沿對角線方向平移，對角線的兩個端點（即圖5（a）中的頂點Vertex 和底點Nadir）應為圖中平移量最大與最小的位置。兩幅模擬圖像的寬度均為400 pixels ×400 pixels，以光強衰減至二維高斯函數(shù)強度的1/e 位置為芯皮分界線，芯皮直徑比被設置為1∶5。圖5（c）展示了圖5（a）、圖5（b）沿對角線方向的圖像灰度分布。從圖5（c）中可以看出，形變前后的圖像灰度是沿對角線方向整體平移的，離面位移較大的位置面內(nèi)位移也會增加，這與斜面模型是相符的。

圖5 模擬顯微鏡下光纖圖Fig.5 Simulated optical-fiber image under microscope

采用基于梯度的DIC 法［11］和Brox 光流法［13］對變形前后的模擬圖像提取面內(nèi)位移，然后根據(jù)式（1）～（5）提取離面位移。由于DIC法和光流法本身的邊緣效應，測量數(shù)據(jù)的有效區(qū)域為圖像中央的340 pixels×340 pixels，共計115 600 個數(shù)據(jù)點，有效區(qū)域的對角線寬度為480.8 pixels。圖6（a）～（d）展示了DIC 法和光流法測量得到的水平與豎直方向面內(nèi)位移場u與v。由于旋轉(zhuǎn)角度δ=45°，u場與v場的頂點與底點的理論值均為7.355 pixel，0.598 pixel，圖6（a）～（d）中的測量值分別為7.375 pixels，0.586 pixel，7.461 pixel，0.588 pixel，7.335 pixels，0.599 pixel，7.336 pixels，0.598 pixel。對每一個數(shù)據(jù)點的面內(nèi)位移計算x-y平面內(nèi)旋轉(zhuǎn)角度δ，均值為45.01°。

圖6 模擬實驗面內(nèi)位移測量結(jié)果Fig.6 In-plane displacement results of simulation experiment

DIC 法與光流法的測量的離面位移結(jié)果以及理論值如圖7（a）～（c）所示。為進一步驗證測量精度，圖7（d）展示了圖7（a）～（c）在圖像對角線方向上的數(shù)據(jù)對比，表1展示了圖7（d）中頂點與底點數(shù)據(jù)。如果定義絕對誤差（eA）和相對誤差（eR）為

圖7（d）中DIC 法與光流法所有數(shù)據(jù)的相對誤差均值分別為2.1%和1.3%，絕對誤差都小于1 pixel。從表1中也可以看出，兩種方法算出的頂點和底點的絕對誤差都小于1 pixel，對應的斜面傾角θ的相對誤差僅為0.5%和0.7%，證明了離面位移與面內(nèi)位移的測量精度（由于離面位移是根據(jù)面內(nèi)位移的數(shù)據(jù)計算得到的，離面位移的測量結(jié)果足以證明面內(nèi)位移測量的準確性）。另一方面，由于光流法引入了光滑因子［15］，在小位移測量方面具有更好的穩(wěn)定性（通常小于3 pixels），而DIC 法在大位移（大于3 pixels）的測量方面更具有優(yōu)勢。從表1中也可以看出光流法在頂點和DIC 法在底點的測量誤差略有增加，這與文獻［15］中的分析是相符的。

圖7 模擬實驗離面位移測量結(jié)果Fig.7 Out-of-plane displacement results of simulation experiment

表1 圖7（d）中頂點與底點數(shù)據(jù)Table 1 Data of vertex and nadir in Fig.7（d）

3 應用實驗

在應用實驗中的測試樣品為直徑20 mm 的光纖倒像器成品，實驗裝置原理如圖8（a）。光纖倒像器被固定在支架上，旋轉(zhuǎn)支架上的手輪可以使材料傾斜。手輪上標有角度刻度，螺絲的螺距為200 μm，即手輪每旋轉(zhuǎn)一圈倒像器的一端要上升或下降200 μm 的距離，因此可以根據(jù)光纖倒像器和支架的尺寸計算出傾斜的角度，如圖8（b）。設螺絲的伸長量為s，選取的光纖倒像器直徑S1=20 mm，螺絲與光纖倒像器之間的支架長度S2=5 mm，可以得到加載的傾角選用的光學放大顯鏡放大率為50 倍（NA=0.55，Mitutoyo，物鏡：PLAN APO L，WD/20.5 mm），支架底座有可在z軸方向移動的平移臺用于顯微鏡的對焦。選用的相機為Andor 公司生產(chǎn)的ZYLA 4.2 Plus（CMOS 芯片，芯片尺寸13.3 mm ×13.3 mm，像元尺寸6.5 μm×6.5 μm，靶面對角線寬度18.8 mm，最大分辨率4 632 pixels×3 488 pixels，全分辨率采集幀率可達100 幀/s，C 接口），實驗裝置如圖8（c）、圖8（d）。為了盡可能減少測量時的環(huán)境振蕩引起的誤差，所有的實驗裝置都被放置在氣懸浮減震臺上，減震臺的振幅≤1 μm。

圖8 實驗裝置與原理圖Fig.8 Experimental setup and schematic diagram

實驗前首先對光路進行嚴格校準以保障垂直拍攝。旋轉(zhuǎn)手輪加載傾角θ=8°的斜面形變。為與模擬實驗保持一致，通過載物臺上的量角器調(diào)整x-y平面內(nèi)的旋轉(zhuǎn)角度δ，在拍攝完圖像后利用Matlab 自帶的Imrotate 程序?qū)Ζ倪M行微調(diào)，最終使δ=45°（注：本文提出的模型在定標后對于任意旋轉(zhuǎn)角度δ∈（0°，90°）均適用），拍攝的變形前后的圖像尺寸也設定為400 pixels×400 pixels，1 pixel=80 nm，采用同態(tài)濾波法和維納濾波算法對拍攝圖像做預處理以最大限度保障圖像質(zhì)量，處理后的實驗圖像如圖9（a）、圖9（b）、圖9（c）展示了圖9（a）、圖9（b）在對角線方向的灰度值分布情況。從圖9（c）中可以看出，形變前后的圖像灰度是沿對角線方向整體平移的，離面位移較大的位置面內(nèi)位移也會增加，這與模擬實驗的結(jié)果是一致的。

圖9 光學顯微鏡拍攝的實驗圖Fig.9 Experimental images captured by microscope

DIC 法與光流法得到的面內(nèi)位移結(jié)果如圖10（a）～（d）。同樣地，由于算法的邊緣效應，測量數(shù)據(jù)的有效區(qū)域為圖像中央的340 pixels×340 pixels，有效區(qū)域的對角線寬度為480.8 pixels=38.464 μm。圖10（a）～（d）中頂點和底點的理論值為0.287 2 μm，0.023 3 μm，測量值分別為0.282 0 μm，0.049 1 μm，0.281 8 μm，0.044 5 μm，0.278 6 μm，0.029 4 μm，0.277 7 μm，0.028 8 μm。

圖10 應用實驗面內(nèi)位移測量結(jié)果Fig.10 In-plane displacement results of application experiment

離面位移測量結(jié)果以及理論值如圖11（a）～（c）所示，兩種方法的測量時間分別為24.36 s 和19.55 s（運行環(huán)境為Matlab 軟件，Intel i5-7400 CPU @3.0 GHz）。為方便進一步分析，圖11（d）展示了圖11（a）～（c）在圖像對角線方向上的數(shù)據(jù)對比，表2展示了圖11（d）中頂點與底點數(shù)據(jù)。圖11（d）中DIC 法與光流法所有數(shù)據(jù)的相對誤差均值為4.3%和2.9%。值得一提的是，從表2中可以看出，雖然DIC 法在底點的絕對誤差小于0.1 μm，但是由于總的位移值較小，相對誤差達到了11.35%，而光流法在底點的測量結(jié)果則明顯優(yōu)于DIC法；由于頂點的位移值較大，光流法在頂點的絕對誤差超過了0.1 μm，但是DIC 法在頂點的絕對誤差卻在0.05 μm 以內(nèi)?？傮w來看，DIC 法和光流法分別在測量小位移與大位移時準確度會降低，這也是導致所有數(shù)據(jù)的平均誤差增加的最重要的原因。根據(jù)文獻［15］的分析，本文提出了修正方案：采用DIC 法與光流法結(jié)合計算面內(nèi)位移與離面位移值，面內(nèi)位移水平與豎直分量小于或等于3 pixels（在50X 顯微鏡下約為0.25 μm）時測試結(jié)果主要以光流法為準，當面內(nèi)位移水平與豎直分量大于3 pixels 時測試結(jié)果主要以DIC 法為準。但是也要注意到，由于1 pixel=80 nm，在應用實驗中不管是DIC 法還是光流法測量的絕對誤差均小于0.2 μm，兩種方法都能夠滿足玻璃光纖、石英光纖等光學產(chǎn)品的工業(yè)測試需求［16］，證實了本文方法的有效性，因此該方法已用于該類光學產(chǎn)品工業(yè)生產(chǎn)的形變檢測與監(jiān)控過程之中。除此之外，當光纖傳像材料的均勻度較差時，在同種理化作用下不同位置產(chǎn)生的形變量會有微納米量級的差異?；诒疚奶岢龅臏y試方案，可以采用對比材料不同位置形變量的方式來評價產(chǎn)品均勻度的優(yōu)劣，目前該方法也已被用于玻璃光纖、石英光纖等光學產(chǎn)品的均勻度評價與監(jiān)控過程之中。

表2 圖11（d）中頂點與底點數(shù)據(jù)Table 2 Data of vertex and nadir in Fig.11（d）

圖11 應用實驗離面位移測量結(jié)果Fig.11 Out-of-plane displacement results of application experiment

4 結(jié)論

基于圖像球面化算法建立了常規(guī)斜面形變模型，并提出了一種單目顯微成像系統(tǒng)三維形變測量方法。首先由單目顯微系統(tǒng)中的工業(yè)相機拍攝物體變形前后的圖像，采用DIC 法或光流法測量得到兩幅圖像間每一點的面內(nèi)位移，最后根據(jù)常規(guī)斜面模型從面內(nèi)位移中提取離面位移，完成三維形變的測量。模擬實驗與應用實驗的測量絕對誤差均小于0.2 μm，證實了算法的有效性。該方法充分利用了面內(nèi)位移場攜帶的離面位移信息，提取離面位移時無需轉(zhuǎn)換到頻域和相位解包操作，具有檢測成本低、光路簡單、普適性強、穩(wěn)定性高等優(yōu)勢。該方法已被用于玻璃光纖、石英光纖等光學產(chǎn)品的工業(yè)生產(chǎn)檢測與監(jiān)控中，同時為固體材料的微納米尺度形變動態(tài)測量提供了新的思路。