徐寶騰，楊西斌，劉家林，周 偉，田浩然，熊大曦

(中國科學(xué)院 蘇州生物醫(yī)學(xué)工程技術(shù)研究所 光與健康研究中心，江蘇 蘇州 215163)

1 引 言

激光共聚焦顯微內(nèi)窺鏡是一種把激光共聚焦顯微技術(shù)和傳統(tǒng)內(nèi)窺鏡技術(shù)結(jié)合起來的新型內(nèi)窺鏡，它可以對活體組織進(jìn)行高分辨率組織學(xué)診斷，并能實(shí)現(xiàn)一定深度的斷層掃描，對于早期腫瘤和癌前病變的篩查具有重要的作用[1]。研究表明影響共聚焦顯微內(nèi)窺鏡圖像質(zhì)量的首要原因是抖動(dòng)引起的圖像模糊[2]。提高激光共聚焦顯微內(nèi)窺鏡的成像幀率有助于減少圖像模糊問題。

目前，基于點(diǎn)掃描的激光共聚焦顯微內(nèi)窺鏡系統(tǒng)通常使用X/Y軸振鏡實(shí)現(xiàn)掃描成像，為了提高成像速度，高速共振振鏡已經(jīng)取得了廣泛應(yīng)用，其掃描方式可分為單程式隔行掃描和往復(fù)式逐行掃描兩種[3-4]。相比于單程式隔行掃描，往復(fù)式逐行掃描充分利用了掃描振鏡返程時(shí)采集的數(shù)據(jù)，成像速度快，圖像數(shù)據(jù)利用率高，是提高激光共聚焦顯微內(nèi)窺鏡系統(tǒng)成像幀速和成像分辨率的理想掃描方式[5]。但由于共振振鏡反饋的同步信號(hào)和振鏡實(shí)際位置不匹配，重構(gòu)圖像中相鄰兩行的圖像會(huì)存在一定的錯(cuò)位。同時(shí)，掃描過程中共振振鏡的速度呈非線性變化，等時(shí)間間隔下采集到的圖像會(huì)產(chǎn)生嚴(yán)重的橫向畸變問題[6]。受畸變的影響，圖像不同橫向位置的錯(cuò)位程度也不一致。

通過去除邊緣畸變嚴(yán)重的區(qū)域可以緩解橫向畸變現(xiàn)象，但是不能完全消除畸變[7]。另一種校正橫向畸變的方法是通過軟件處理調(diào)整每個(gè)像素所占的空間，但是軟件校正方法比較耗時(shí)，并且數(shù)據(jù)利用率較低[8-9]。上述方法均未解決圖像錯(cuò)位的問題，秦小云等[10]通過軟件移動(dòng)像素減少圖像錯(cuò)位程度，但是圖像不同位置的錯(cuò)位程度存在差異，該方法不能完全消除圖像錯(cuò)位現(xiàn)象。

本文通過分析共振振鏡的運(yùn)動(dòng)規(guī)律，基于采樣時(shí)間和掃描光斑位置的函數(shù)關(guān)系，獲得了非等時(shí)采樣下的采樣時(shí)間函數(shù)，從而利用非等時(shí)采樣的方式校正了振鏡速度變化所帶來的圖像畸變問題。然后利用互相關(guān)法評價(jià)圖像錯(cuò)位程度，基于遺傳算法獲得最佳的采樣開始時(shí)刻，使采樣和振鏡運(yùn)動(dòng)同步開始，從而校正了圖像錯(cuò)位問題。本文搭建了共聚焦內(nèi)窺顯微成像系統(tǒng)，采用往復(fù)式逐行掃描方式成像，驗(yàn)證了圖像校正的效果。

2 畸變和錯(cuò)位原因分析

2.1 系統(tǒng)原理

激光共聚焦顯微內(nèi)窺鏡系統(tǒng)結(jié)構(gòu)如圖1所示，它主要由光學(xué)探測系統(tǒng)、控制系統(tǒng)和數(shù)據(jù)采集系統(tǒng)構(gòu)成。激光器產(chǎn)生的激光通過準(zhǔn)直器、二色鏡、X/Y軸掃描振鏡、透鏡組、光纖束照射到組織表面，組織表面激發(fā)出的熒光按原路徑返回并穿過二色鏡、發(fā)射片、針孔透鏡、針孔后照射到光電倍增管(Photo Multiplier Tube, PMT)上。PMT前的針孔可以減少來自焦平面前后樣品處的雜散光，從而極大提高了信噪比和軸向分辨率[11]。通過針孔的熒光信號(hào)經(jīng)PMT和放大器轉(zhuǎn)換成電壓信號(hào)后由采集卡轉(zhuǎn)成數(shù)據(jù)包傳輸至計(jì)算機(jī)[12]。

激光共聚焦顯微內(nèi)窺鏡依靠X/Y軸掃描振鏡的z偏轉(zhuǎn)激光束對整個(gè)掃描平面逐點(diǎn)成像，X/Y軸振鏡的掃描方式如圖2所示。兩個(gè)掃描振鏡正交放置，X軸振鏡掃描一行后Y軸振鏡移動(dòng)一個(gè)步長，X軸振鏡一個(gè)往返周期完成兩行圖像的掃描。以掃描一幅512×512像素的圖像為例，掃描整幅圖像需要X軸振鏡轉(zhuǎn)動(dòng)256個(gè)周期，Y軸只需轉(zhuǎn)動(dòng)1個(gè)周期，所以X軸一般使用轉(zhuǎn)速較高的共振振鏡，Y軸一般使用轉(zhuǎn)速較低的檢流計(jì)振鏡[13]。

圖1 激光共聚焦內(nèi)窺成像系統(tǒng)示意圖

圖2 振鏡掃描方式示意圖

2.2 圖像畸變和錯(cuò)位原因分析

圖像橫向畸變的主要原因是共振振鏡速度呈正弦變化。共振振鏡的鏡面連接一個(gè)扭力桿，在驅(qū)動(dòng)電路的激勵(lì)下以固定頻率做簡諧運(yùn)動(dòng)，振幅只取決于控制電壓[13]。共振振鏡速度呈正弦變化，如圖3所示，在兩端的速度為0，在中間時(shí)的速度最高。如果采集卡以等時(shí)間間隔采集數(shù)據(jù)，直接利用采樣數(shù)據(jù)拼成的圖像兩端呈拉伸形變，中間呈壓縮形變，整幅圖像會(huì)出現(xiàn)較大程度的橫向畸變[8]。

圖3 共振振鏡速度變化示意圖

圖像錯(cuò)位問題的主要原因是共振振鏡反饋的同步信號(hào)與振鏡的實(shí)際位置不匹配。共振振鏡提供的行同步信號(hào)是用來確定振鏡位置的唯一信號(hào)，同步信號(hào)高電平表示振鏡正向運(yùn)動(dòng)，低電平表示振鏡反向運(yùn)動(dòng)，信號(hào)的下降沿和上升沿表示振鏡運(yùn)動(dòng)方向發(fā)生了反轉(zhuǎn)。由于硬件原因，同步信號(hào)的邊緣和振鏡反轉(zhuǎn)的時(shí)間存在時(shí)間間隔，共振振鏡位置、速度和同步信號(hào)之間的關(guān)系如圖3所示，其中Δt為同步信號(hào)和振鏡轉(zhuǎn)向時(shí)刻的間隔時(shí)間。數(shù)據(jù)采集卡將同步信號(hào)的邊沿作為采集一行數(shù)據(jù)的起點(diǎn)，同步信號(hào)和振鏡的實(shí)際位置不匹配會(huì)造成同步信號(hào)邊沿觸發(fā)采集開始指令后，在振鏡掃描過程中采集到的數(shù)據(jù)點(diǎn)與空間中的實(shí)際位置不能準(zhǔn)確匹配。正向運(yùn)動(dòng)和反向運(yùn)動(dòng)采集到的數(shù)據(jù)點(diǎn)會(huì)向相反方向偏移，拼接成的圖像會(huì)有鋸齒狀錯(cuò)位，導(dǎo)致圖形特征的邊緣模糊不清，影響圖像質(zhì)量。

圖4 圖像畸變和錯(cuò)位模擬圖

模擬實(shí)驗(yàn)結(jié)果如圖4所示，圖4(a)是均勻分布的條紋圖像，圖4(b)是模擬采樣時(shí)間錯(cuò)位并且振鏡速度呈正弦變化的情況下掃描到的圖像，圖像中的條紋呈鋸齒狀，圖像邊緣模糊不清，并且兩側(cè)的條紋被橫向拉伸，中心的條紋被壓縮。重構(gòu)圖像在橫向畸變的基礎(chǔ)上疊加了圖像錯(cuò)位，使圖像在不同橫向位置的錯(cuò)位程度存在一定差異，如圖4(b)所示。相比于后期校正失真算法，調(diào)整采集卡的采樣時(shí)間間隔和采樣觸發(fā)時(shí)間的方式能更加直接高效地校正圖像畸變。

3 圖像校正

3.1 畸變校正

為了解決圖像的橫向畸變問題，通過分析振鏡速度的變化規(guī)律，根據(jù)振鏡擺動(dòng)角度與時(shí)間的關(guān)系調(diào)整采樣點(diǎn)的時(shí)間間隔，使采樣點(diǎn)在掃描平面內(nèi)均勻分布以實(shí)現(xiàn)均勻空間采樣。

共振振鏡角速度呈正弦變化，掃描光斑在X方向的運(yùn)動(dòng)可以近似為簡諧運(yùn)動(dòng)。根據(jù)系統(tǒng)光學(xué)特性和掃描光斑的運(yùn)動(dòng)規(guī)律可以推導(dǎo)出采樣點(diǎn)橫坐標(biāo)X(t)與采樣時(shí)刻t之間的關(guān)系如下：

(1)

其中T為共振振鏡的轉(zhuǎn)動(dòng)周期，t0為掃描當(dāng)前行的開始時(shí)刻，L為掃描平面的寬度。L可以用以下公式表示：

L=ftan(CAmax),

(2)

其中f為激光共聚焦內(nèi)窺鏡耦合物鏡的焦距，Amax為振鏡轉(zhuǎn)動(dòng)的最大角度，C為與光學(xué)系統(tǒng)有關(guān)的常數(shù)。

如果要采樣點(diǎn)在掃描平面內(nèi)的距離相等，那么同一行中第i個(gè)采樣點(diǎn)在掃描平面上的橫坐標(biāo)X(i)可以表示為：

(3)

其中N為一行圖像的采樣點(diǎn)數(shù)。根據(jù)公式(1)和公式(3)可以得到均勻空間采樣情況下當(dāng)前行第i個(gè)像素的采集時(shí)刻t(i):

(4)

那么相鄰兩個(gè)采樣點(diǎn)的時(shí)間間隔可以表示為：

Δti=

(5)

采集卡根據(jù)公式(5)確定采樣時(shí)間間隔，等行同步信號(hào)觸發(fā)后按照非等時(shí)采樣的方式采集圖像。如果觸發(fā)采集的時(shí)刻能與振鏡轉(zhuǎn)向時(shí)刻對齊，那么圖像的橫向畸變就能通過非等時(shí)采樣的方式得到校正，而且不會(huì)有圖像錯(cuò)位的問題。但是由于行同步信號(hào)和振鏡轉(zhuǎn)向存在時(shí)間間隔Δt，采樣時(shí)刻和采樣點(diǎn)的空間位置不能準(zhǔn)確匹配，圖像仍然存在一定程度的失真，需要進(jìn)一步調(diào)整一行采樣的開始時(shí)刻才能消除圖像失真。

使用非等時(shí)采樣的方式提取圖像時(shí)，采樣點(diǎn)的錯(cuò)位距離Δl與Δt之間的關(guān)系可以根據(jù)式(1)、式(3)和式(4)求得:

(6)

當(dāng)Δt不變時(shí)，圖像采樣點(diǎn)i取不同值時(shí)得到的錯(cuò)位距離不同，圖像的錯(cuò)位距離隨著采樣點(diǎn)的位置變化。

3.2 錯(cuò)位校正

根據(jù)公式(6)可知：當(dāng)Δt=0時(shí)每個(gè)采樣點(diǎn)的錯(cuò)位距離Δl=0，拼接后的圖像就不會(huì)有錯(cuò)位和畸變問題。設(shè)采樣開始時(shí)刻與行同步信號(hào)的間隔為Δt′，可以通過尋找Δt′的最優(yōu)取值使Δl的值趨近于0，以校正圖像的失真。

本文采用遺傳算法尋找Δt′的最優(yōu)取值，遺傳算法具有尋優(yōu)能力強(qiáng)、過程簡單、易與其他算法相結(jié)合的優(yōu)點(diǎn)[14]。遺傳算法根據(jù)校正圖像錯(cuò)位的能力決定個(gè)體存活下去的概率，因此評價(jià)圖像錯(cuò)位程度的方法尤為重要。本文采用互相關(guān)法評價(jià)不同Δt′取值得到的圖像錯(cuò)位程度，具體過程如下：將圖像奇數(shù)行和偶數(shù)行分別提取拼成兩幅圖像，然后對兩幅圖像進(jìn)行互相關(guān)運(yùn)算，得到圖像的錯(cuò)位評價(jià)系數(shù)?；ハ嚓P(guān)函數(shù)的公式為：

R(x,y)=f1(x,y)?f2(-x,-y).

(7)

傅里葉變換后:

(8)

式中：f1為奇數(shù)行圖像；f2為偶數(shù)行圖像；Rccf(u,v)為峰值點(diǎn)與原點(diǎn)的橫向距離，即兩幅圖像的橫向錯(cuò)位量ΔRx。ΔRx取值越大，表示原始圖像中奇數(shù)行和偶數(shù)行的錯(cuò)位程度越嚴(yán)重[15]。

在運(yùn)行遺傳校正算法之前要先確定個(gè)體的取值范圍和基因編碼方式。個(gè)體的取值Δt′可以用采集卡的時(shí)鐘周期表示，Δt′的取值范圍過大會(huì)影響搜索效率，取值范圍太小可能會(huì)搜索不到最佳個(gè)體。經(jīng)多次實(shí)驗(yàn)發(fā)現(xiàn)，使用120 MHz的采集卡時(shí)，錯(cuò)位時(shí)間Nt的取值在±1 000個(gè)時(shí)鐘周期以內(nèi)。考慮一些極端情況，本文選擇Nt∈(-1 500,1 500)作為種群個(gè)體的取值范圍。為了方便編碼，將個(gè)體取值加1 500以映射到自然數(shù)域，用4個(gè)基因編碼，每個(gè)基因代表十進(jìn)制個(gè)體取值中的一位。圖像錯(cuò)位校正算法的流程如圖5所示。

圖5 圖像錯(cuò)位校正算法流程

第二步，種群個(gè)體選擇。為了使函數(shù)快速收斂，又不陷入初始收斂不能自拔，采用精英主義與輪盤賭相結(jié)合的算法。精英主義方法在每產(chǎn)生一代新個(gè)體時(shí)，將上一代最優(yōu)解的基因直接復(fù)制到新一代中。精英主義操作可以保證整體最優(yōu)解不被變異和交叉操作淘汰，加快算法的收斂速度[16]。然后采用輪盤賭的方式對新一代的個(gè)體進(jìn)行選擇，即把個(gè)體的適應(yīng)度和全體適應(yīng)度的比值作為個(gè)體被選擇的概率。

第三步，交叉、變異生成下一代種群。交叉操作將被選中的兩個(gè)個(gè)體基因中一個(gè)或幾個(gè)基因相互交換位置，從而生成兩個(gè)新的個(gè)體。采用順序交叉的方法完成交叉操作。然后按照一定的變異概率，將選中個(gè)體基因進(jìn)行變異操作。

第四步,對生成的新一代個(gè)體進(jìn)行適應(yīng)度評估。遺傳算法停止的條件設(shè)置為連續(xù)5代的適應(yīng)度不再變化，或者迭代次數(shù)達(dá)到100代。

共振振鏡的錯(cuò)位程度受環(huán)境影響會(huì)發(fā)生緩慢的變化。計(jì)算機(jī)軟件可以記錄上一次校正算法的計(jì)算結(jié)果，每次開機(jī)后將記錄結(jié)果發(fā)送到采集卡，并自動(dòng)評估采集到的圖像，發(fā)現(xiàn)圖像錯(cuò)位后提醒用戶運(yùn)行自動(dòng)校正程序。

4 系統(tǒng)測試

基于上述系統(tǒng)搭建的實(shí)驗(yàn)裝置如圖6所示。從激光器(Cobolt 06-MLD)發(fā)出的中心波長為488 nm的激光經(jīng)過物鏡聚焦耦合到單模光纖中，再經(jīng)準(zhǔn)直透鏡(F240FC-532，Thorlabs)準(zhǔn)直后輸出。準(zhǔn)直激光到達(dá)二向色鏡(ZT488rdc，Chroma)后被反射至X/Y軸掃描振鏡(6SC08KA040, 6215HSM, Cambridge)。經(jīng)振鏡反射的激光經(jīng)過中繼透鏡組(AC254-050-A，AC254-100-A，Thorlabs)擴(kuò)束并中繼到耦合物鏡(10×/0.3，Olympus)后瞳。耦合物鏡將激光束耦合至光纖中。激光束在光纖的另一端出射，并通過微型物鏡聚焦到樣品上。樣品上激發(fā)出的熒光原路返回，到達(dá)二向色鏡時(shí)與激光分離，再經(jīng)過發(fā)射濾光片(ET525/50m，Chroma)消除光路中殘留的激發(fā)光和其他雜散光。最后經(jīng)針孔透鏡(AC254-050-A，Thorlabs)聚焦后經(jīng)針孔(P50H，Thorlabs)進(jìn)入PMT(H10770，Thorlabs)。PMT將熒光信號(hào)轉(zhuǎn)成電信號(hào)，電信號(hào)經(jīng)放大器(C999，Hamamatsu)放大后被采集卡采集，并傳輸?shù)接?jì)算機(jī)軟件中處理。

圖6 共聚焦內(nèi)窺成像系統(tǒng)

圖7 成像軟件界面

計(jì)算機(jī)軟件采用C#和C++語言混合編程，實(shí)現(xiàn)數(shù)據(jù)接收、圖像重建、圖像校正和顯示功能，軟件界面如圖7所示。數(shù)據(jù)采集卡(NI7931R, NI)可以通過編程實(shí)現(xiàn)圖像信號(hào)的非等時(shí)采樣，并通過以太網(wǎng)將圖像信號(hào)傳輸至計(jì)算機(jī)。振鏡控制卡采用ARM+DA芯片的架構(gòu)，主控芯片(STM32F407, ST)通過SPI接口向雙通道DA芯片(AD5689,ADI)發(fā)指令，輸出控制X/Y軸掃描振鏡的模擬信號(hào)。

控制系統(tǒng)通過兩路模擬信號(hào)控制共振振鏡的振幅和檢流計(jì)振鏡的位置，同時(shí)將行同步信號(hào)和幀同步信號(hào)反饋給數(shù)據(jù)采集卡，采集系統(tǒng)根據(jù)行同步信號(hào)和幀同步信號(hào)確定圖像信號(hào)的采樣時(shí)機(jī)。振鏡的控制信號(hào)和同步信號(hào)的時(shí)序關(guān)系如圖8所示，其中X軸控制信號(hào)決定共振振鏡的振幅，Y軸控制信號(hào)決定檢流計(jì)振鏡的位置。行同步信號(hào)作為采集卡采集數(shù)據(jù)的觸發(fā)信號(hào)，每512個(gè)行同步信號(hào)發(fā)送一個(gè)幀同步信號(hào)表示一幀的開始。

圖8 控制信號(hào)和同步信號(hào)的時(shí)序圖

為了驗(yàn)證圖像校正效果，本文進(jìn)行了對比實(shí)驗(yàn)。實(shí)驗(yàn)選取浸泡過熒光素鈉溶液的紗布纖維進(jìn)行成像，采用文獻(xiàn)[10]方法作為對比實(shí)驗(yàn)方法，并選擇圖像不同區(qū)域的灰度數(shù)據(jù)對比實(shí)驗(yàn)效果。

圖9 畸變校正效果

首先將光纖端面浸泡在熒光素鈉溶液中，光纖束會(huì)被熒光均勻照亮，在圖像上形成一個(gè)明亮的圓形區(qū)域。圖9(a)和圖9(b)分別為等時(shí)采樣模式和非等時(shí)采樣模式下采集到的圖像。從圖9(a)可以看出，在等時(shí)采樣模式下采集到的光纖端面圖像呈橢圓形，圖像具有明顯畸變；從圖9(b)可以看出，在非等時(shí)采樣模式下，圖像畸變得到了很好的校正，但是光纖端面存在很明顯的鋸齒狀邊緣。非等時(shí)采樣獲得的圖像需要通過錯(cuò)位校正才能得到無橫向畸變和錯(cuò)位的圖像。

然后運(yùn)行錯(cuò)位校正算法，經(jīng)43次迭代后獲得適應(yīng)度為100的最優(yōu)解，最優(yōu)解對應(yīng)的采樣時(shí)刻校正值為81個(gè)采樣周期。將校正數(shù)據(jù)下發(fā)給采集卡實(shí)現(xiàn)圖像錯(cuò)位的校正。浸泡了熒光素鈉溶液的紗布纖維進(jìn)行成像的結(jié)果如圖10所示。圖10(a)，10(b)和10(c)分別是錯(cuò)位校正前的圖像、用文獻(xiàn)[10]方法校正錯(cuò)位后的圖像和本文方法校正錯(cuò)位后的圖像。圖10中曲線圖是由紅線標(biāo)出區(qū)域(1)，區(qū)域(2)中相鄰兩行的灰度數(shù)據(jù)繪制的(彩圖見期刊電子版)。

圖10 錯(cuò)位校正對比

由圖10可以看出，畸變校正后圖像在不同位置的錯(cuò)位程度不一致，本文和文獻(xiàn)[10]中的方法均可以很好地校正圖中區(qū)域(1)的圖像，紗布纖維的寬度由錯(cuò)位校正前的29 pixel校正為9 pixel。但是文獻(xiàn)[10]的方法對圖像區(qū)域(2)的校正效果并不理想，圖像存在一定的錯(cuò)位，纖維寬度由25 pixel校正為10 pixel，而本文方法仍然可以使圖像較好的重合，將纖維寬度校正為6 pixel，局部橫向分辨率比文獻(xiàn)[10]的方法提高了約33%。本文通過調(diào)節(jié)采樣時(shí)間的方法校正了圖像畸變，與文獻(xiàn)[10]中通過后期計(jì)算校正畸變的方法相比，節(jié)約了時(shí)間。

5 結(jié) 論

通過非等時(shí)采樣可以校正振鏡速度非線性變化造成的橫向畸變。本文利用互相關(guān)法評價(jià)圖像錯(cuò)位程度，采用遺傳算法獲得最優(yōu)的采樣開始時(shí)刻，可以有效地校正因振鏡同步信號(hào)和振鏡實(shí)際位置不匹配引起的圖像錯(cuò)位問題。與后期處理校正圖像失真的方式不同，本文通過調(diào)節(jié)采集卡的采樣時(shí)間間隔和采樣觸發(fā)時(shí)刻校正圖像失真，在數(shù)據(jù)采集環(huán)節(jié)解決了圖像失真問題，從而使畸變和錯(cuò)位校正更加徹底。實(shí)驗(yàn)結(jié)果表明，該方法可以較正圖像畸變和錯(cuò)位，有效提高了圖像的橫向分辨率。