王玉亮　劉　飛　沈建新　劉賢喜

1.山東農(nóng)業(yè)大學(xué)，泰安，271018　　2.南京航空航天大學(xué)，南京，210016

?

基于單目視覺的視網(wǎng)膜三維重建技術(shù)研究

王玉亮1,2劉飛1沈建新2劉賢喜1

1.山東農(nóng)業(yè)大學(xué)，泰安，2710182.南京航空航天大學(xué)，南京，210016

為了在視網(wǎng)膜疾病診斷中獲得精度高、可視化好的視網(wǎng)膜，提出一種基于單目視覺的視網(wǎng)膜三維重建算法。該算法通過對(duì)兩幅預(yù)處理圖像的特征點(diǎn)提取確定匹配點(diǎn)對(duì)之間的對(duì)應(yīng)關(guān)系，采用RANSAC算法去除誤匹配點(diǎn)對(duì)，準(zhǔn)確率高，用鏈匹配的方法使得多幅圖像間的特征點(diǎn)匹配從而得到整體最優(yōu)化結(jié)果。根據(jù)不同圖像間特征點(diǎn)的對(duì)應(yīng)關(guān)系，使用4通光束平差法確定空間中攝像機(jī)相對(duì)位置關(guān)系，使用PMVS算法實(shí)現(xiàn)視網(wǎng)膜的三維重建。實(shí)驗(yàn)結(jié)果表明，該算法具有很好的魯棒性和穩(wěn)定性，能較好地實(shí)現(xiàn)視網(wǎng)膜的三維重建。

視網(wǎng)膜圖像；尺度不變特征變換；鏈匹配；4通光束平差法；三維重建

0　引言

通過視網(wǎng)膜可以非創(chuàng)傷性地直接觀察到較深層次的微血管，常見一些疾病如高血壓、糖尿病等疾病可以在視網(wǎng)膜上被觀察到[1]，因此視網(wǎng)膜的研究對(duì)一些疾病的早期發(fā)現(xiàn)、診斷和治療有著重要作用。視網(wǎng)膜三維重建可以獲得精度和可視化效果好的視網(wǎng)膜，使得三維信息的完整性得以保證，從而幫助醫(yī)生對(duì)視網(wǎng)膜疾病作出準(zhǔn)確判斷，改變以往單純依靠經(jīng)驗(yàn)的方式。

Choe等[2]提出了基于熒光素圖像序列進(jìn)行視網(wǎng)膜三維重建和圖像配準(zhǔn)的方法，該方法需要注射熒光素進(jìn)行檢測(cè)，對(duì)眼睛有損害。Lin等[3]提出一種基于多模態(tài)視網(wǎng)膜圖像進(jìn)行二維和三維配準(zhǔn)的方法，該方法也是基于熒光素圖像進(jìn)行圖像的配準(zhǔn)，該方法同樣對(duì)眼睛有損害。Lusk等[4]提出一種通過相機(jī)標(biāo)定和圖像矯正進(jìn)行自動(dòng)三維重建立體視網(wǎng)膜圖像的方法，在方法中，變形算法已被一個(gè)更直接的相機(jī)幾何估計(jì)算法取代，轉(zhuǎn)化成理想的立體相機(jī)的幾何形狀，從而大大簡(jiǎn)化了視差圖生成和現(xiàn)有算法的自動(dòng)分析階段，但導(dǎo)致了重建精度的下降。

針對(duì)目前視網(wǎng)膜三維重建方法的不足，本文提出基于單目視覺的視網(wǎng)膜三維重建技術(shù)，主要包括圖像獲取、圖像預(yù)處理、圖像特征提取與匹配、稠密重建，其中匹配和稠密重建是視網(wǎng)膜三維重建的關(guān)鍵技術(shù)。

1　多模態(tài)視網(wǎng)膜圖像匹配

本文匹配方法包括三個(gè)主要步驟：對(duì)圖像的預(yù)處理，增強(qiáng)視網(wǎng)膜圖像的邊緣信息對(duì)比度；然后本文對(duì)預(yù)處理的圖像進(jìn)行SIFT特征提取，采用迭代最近鄰域匹配算法進(jìn)行圖像對(duì)間的匹配，采用隨機(jī)抽樣一致性(random sample consensus, RANSAC)算法提純；最后采用鏈匹配的方法進(jìn)一步提高匹配結(jié)果[5]。

1.1視網(wǎng)膜圖像的預(yù)處理

為了獲取大量的SIFT特征點(diǎn)，本文采用增強(qiáng)圖像的對(duì)比度進(jìn)行圖像的預(yù)處理。采用限制對(duì)比度自適應(yīng)均衡化(CLAHE)的方法[6]來增強(qiáng)圖像邊緣信息對(duì)比度，如圖1所示。

(a)原彩圖1　　　　(b)圖1a的CLAHE結(jié)果

(c)原彩圖2　　　　(d)圖1c的CLAHE結(jié)果圖1　視網(wǎng)膜圖像CLAHE增強(qiáng)前后對(duì)比

1.2視網(wǎng)膜圖像間的特征提取及匹配

采用SIFT特征提取點(diǎn)的方法進(jìn)行特征點(diǎn)的提取[7]。預(yù)處理后的視網(wǎng)膜圖像獲得更多的匹配點(diǎn)對(duì)，誤匹配點(diǎn)對(duì)多，無法獲得圖像間精確的單應(yīng)性關(guān)系。本文采用迭代最近鄰域匹配的算法來解決這個(gè)問題[8]。首先對(duì)圖像Ii和Ij的單應(yīng)性關(guān)系進(jìn)行估計(jì)，得到單應(yīng)性矩陣Hi,j，對(duì)于在圖像Ii上的特征點(diǎn)x，可以在以Hi,j(x)為中心的一個(gè)小的鄰域內(nèi)采用迭代最近鄰匹配，能得到好的匹配結(jié)果。隨著特征匹配對(duì)數(shù)量的增加，可以得到精確的單應(yīng)性關(guān)系。

本文的方法表述如下：首先，選擇一個(gè)較大的搜索區(qū)域r=rmax并進(jìn)行單應(yīng)性矩陣Hi,j初始估計(jì)。每進(jìn)行一次迭代，屬于圖像Ii的每個(gè)特征點(diǎn)x與以Hi,j(x)為搜索中心、r為半徑的區(qū)域內(nèi)的圖像Ij特征點(diǎn)進(jìn)行最近鄰域匹配。然后，采用RANSAC算法進(jìn)行精確的單應(yīng)性估計(jì)用于下一次迭代。最后，在搜索區(qū)域的最小半徑到達(dá)設(shè)定值時(shí)停止迭代[9]。通過這種方法可以獲得更多可信賴的匹配。

1.3鏈匹配

采用鏈匹配的方法使圖像間的匹配得到整體最優(yōu)化。如I2不能直接和I3匹配，但I(xiàn)3和I1可以直接匹配，I1和I2可以直接匹配，可以以I1為媒介進(jìn)行I2和I3的最近鄰匹配，初始化H2,3=H1,3H2,1、r=rmin，在匹配點(diǎn)為中心的粗略小區(qū)域內(nèi)直接執(zhí)行最近鄰匹配。這樣可以得到足夠的匹配點(diǎn)對(duì)，從而獲得精確的單應(yīng)性矩陣。在進(jìn)行鏈匹配時(shí)，用到了價(jià)值函數(shù)。選擇好的圖像進(jìn)行鏈匹配，用最短路徑算法進(jìn)行計(jì)算，使Ii到Ij達(dá)到最短路徑的圖像用來進(jìn)行鏈匹配[10]。價(jià)值函數(shù)被定義為內(nèi)點(diǎn)數(shù)倒數(shù)，如下式所示：

Ci,j=1/inlier(Hi,j)

(1)

其中，函數(shù)inlier(·)用來計(jì)算內(nèi)點(diǎn)數(shù)量，價(jià)值函數(shù)Ci,j的數(shù)值越大說明匹配過程得到的單應(yīng)性內(nèi)點(diǎn)越少，可以通過如上例所描述初始化H2,3=H1,3H2,1、r=rmin進(jìn)行I2和I3的最短路徑匹配，相應(yīng)的內(nèi)點(diǎn)數(shù)也會(huì)增加，以此類推，當(dāng)內(nèi)點(diǎn)不再增加便停止匹配。所有圖像通過最短路徑再次匹配，單應(yīng)性關(guān)系和內(nèi)點(diǎn)得到優(yōu)化。采用沿著最短路徑的連鎖單應(yīng)性作為最佳的單應(yīng)性估計(jì)。最后，選取相對(duì)其他所有圖像匹配最小代價(jià)的圖像作為參考圖像Iref，表達(dá)式如下所示：

(2)

2　視網(wǎng)膜的三維重建

由于視網(wǎng)膜的表面是近似平面的，這種特殊的結(jié)構(gòu)使得視網(wǎng)膜的三維重建工作和其他物體的三維重建方式有所區(qū)別[10]。

2.1對(duì)極幾何估計(jì)

在三維重建過程中，首先要估計(jì)對(duì)極幾何，經(jīng)典的7點(diǎn)、8點(diǎn)算法不能很好地對(duì)近平面結(jié)構(gòu)進(jìn)行基礎(chǔ)矩陣估計(jì)。由于取樣視場(chǎng)的限制，對(duì)應(yīng)的采樣點(diǎn)通常不能夠提供有效的約束計(jì)算正確的基礎(chǔ)矩陣，因此，在進(jìn)行基礎(chǔ)矩陣估計(jì)前驗(yàn)證這些對(duì)應(yīng)采樣點(diǎn)的有效性就顯得很有必要。

本文提出一種平面+視差的方法進(jìn)行基礎(chǔ)矩陣F的估計(jì)，基礎(chǔ)矩陣通過下式求出：

F=[e′]×H

(3)

(a)平面+視差法估計(jì)基礎(chǔ)矩陣

其中，e′是極點(diǎn)，[e′]為極點(diǎn)e′坐標(biāo)的矩陣形式，H為單應(yīng)性矩陣，在本方法中引入一個(gè)平面π，如圖2a所示。由于本文已對(duì)圖像對(duì)間的單應(yīng)性矩陣進(jìn)行了估計(jì)，選擇兩個(gè)不在同一平面內(nèi)的對(duì)應(yīng)點(diǎn)操作，如圖2b所示，確定極點(diǎn)e′，最后可以得到精確的基礎(chǔ)矩陣F。通過這種方法，可以計(jì)算出每幅圖像Ii和參考圖像Iref之間的基礎(chǔ)矩陣Fi。

(b)定位核點(diǎn)圖2　平面+視差法估計(jì)基礎(chǔ)矩陣和定位核點(diǎn)示意圖

根據(jù)下式求出本質(zhì)矩陣：

E=KTFK

(4)

其中，K為相機(jī)內(nèi)參，由相機(jī)標(biāo)定得出。然后對(duì)E進(jìn)行奇異值分解得到外參矩陣R和t。最后通過下式獲得投影矩陣P[11]：

P=K[R|t]

(5)

通過式(5)可以確定投影矩陣，獲得的基礎(chǔ)矩陣和相應(yīng)的內(nèi)點(diǎn)將被下一步的4通光束平差法用來進(jìn)行相機(jī)位置的估計(jì)。

2.24通光束平差法估計(jì)相機(jī)位置

二維匹配以后，根據(jù)所有匹配對(duì)中最短路徑選擇參考框架Iref。用平面+視差法估計(jì)圖像序列Ii相對(duì)于參考圖像Iref的基礎(chǔ)矩陣Fi，對(duì)應(yīng)的基礎(chǔ)矩陣內(nèi)點(diǎn)表示為τi，然后代入到4通光束平差法精確地估計(jì)相機(jī)的位置[3]。

在光束平差的第一步，首先假定視網(wǎng)膜結(jié)構(gòu)Xi在平面上并平行于參考相機(jī)，采用最小重投影誤差的方法估計(jì)相機(jī)的位置：

(6)

(7)

如圖3c所示。Pi和Xi已經(jīng)在前兩步求出。最后選擇相對(duì)于參考圖像Iref最寬基線的圖像為Ibest估計(jì)視網(wǎng)膜稀疏結(jié)構(gòu)，具體步驟如圖3d所示。

(a)估計(jì)相機(jī)位置 　　　　(b)估計(jì)三維結(jié)構(gòu)

(c)精確相機(jī)位置和三維結(jié)構(gòu)(d)確定稀疏結(jié)構(gòu)圖3　4通光束平差法示意圖

通過光束平差調(diào)整后，稀疏結(jié)構(gòu)和相機(jī)位置得到整體的優(yōu)化。獲得所有攝像機(jī)位置以后，需要建立稠密對(duì)應(yīng)，獲得視網(wǎng)膜的稠密點(diǎn)云[12]。

2.3視網(wǎng)膜稠密點(diǎn)云獲取及三維重建

通過建立稠密對(duì)應(yīng)獲得視網(wǎng)膜稠密對(duì)應(yīng)結(jié)構(gòu)，采用基于面片的多視圖立體重構(gòu)PMVS算法，將獲得的稀疏點(diǎn)云生成視網(wǎng)膜稠密點(diǎn)云。在上一步的光束平差法已經(jīng)進(jìn)行攝像機(jī)矩陣和稀疏結(jié)構(gòu)的計(jì)算，然后采用PMVS算法獲得稠密點(diǎn)云。在此算法中，擴(kuò)散和濾波是迭代進(jìn)行的，本文進(jìn)行3次循環(huán)[13]，獲得視網(wǎng)膜圖像的空間點(diǎn)云數(shù)據(jù)后，采用泊松表面重建的方法進(jìn)行重建，最后進(jìn)行紋理映射得到三維重建后的視網(wǎng)膜。

3　實(shí)驗(yàn)結(jié)果及分析

系統(tǒng)平臺(tái)實(shí)現(xiàn)：本文是在硬件平臺(tái)為Intel(R) Core(TM) i3 CPU 3.20 GHz、內(nèi)存為4G，軟件為MATLAB R2012b(64位)條件下實(shí)現(xiàn)的。每組采用9幅圖像，像素為1600×1200，迭代最小搜索半徑設(shè)為25個(gè)像素，匹配耗時(shí)125.23 s，獲得匹配點(diǎn)對(duì)為7921對(duì)，視網(wǎng)膜重建總耗時(shí)約42 min。

SIFT算法的閾值選擇對(duì)提取特征點(diǎn)的數(shù)量、匹配及視網(wǎng)膜三維重建的精度、耗時(shí)有直接影響。圖4a所示為匹配點(diǎn)對(duì)隨閾值的變化情況，閾值越大匹配點(diǎn)對(duì)越多，誤匹配點(diǎn)對(duì)越多，選取0.7為閾值，圖4b為不同方法的匹配率對(duì)比，本文使用迭代最近鄰提純和鏈匹配方法匹配正確率較高，能獲得好的匹配精度，圖4c為選取的視網(wǎng)膜圖像，圖4d為兩幅視網(wǎng)膜圖像匹配結(jié)果，初匹配為284對(duì)，提純后為273對(duì)，匹配正確率為96.12%。

(a)匹配點(diǎn)對(duì)隨閾值的變化

(b)不同方法的匹配率對(duì)比

(c)9幅視網(wǎng)膜圖像

(d)兩幅視網(wǎng)膜圖像匹配結(jié)果圖4　特征提取與匹配對(duì)比

(a)文獻(xiàn)[10]方法重建的病變視網(wǎng)膜圖像

(b)本文方法重建的病變視網(wǎng)膜圖像

(c)文獻(xiàn)[10]方法重建低質(zhì)量視網(wǎng)膜圖像

(d)本文方法重建的低質(zhì)量視網(wǎng)膜圖像

(e)文獻(xiàn)[10]方法重建的一般視網(wǎng)膜圖像

(f)本文方法重建的一般視網(wǎng)膜圖像

(g)文獻(xiàn)[10]方法重建的高質(zhì)量視網(wǎng)膜圖像

(h)本文方法重建的高質(zhì)量視網(wǎng)膜圖像圖5　視網(wǎng)膜三維重建結(jié)果對(duì)比

圖6　平均局部深度方差對(duì)比

本文采用50組不同的視網(wǎng)膜圖像進(jìn)行重建，其中1～10組是病變圖像、11～20組是低質(zhì)量圖像、21～30組是一般圖像、31～50組是高質(zhì)量圖像。圖5所示分別為病變圖像、低質(zhì)量圖像、一般圖像和高質(zhì)量圖像4組圖像，采用文獻(xiàn)[10]重建方法與本文重建方法進(jìn)行三維重建結(jié)果對(duì)比，可以得出本文重建方法可以對(duì)不同條件下的視網(wǎng)膜得到較好的重建效果。本文對(duì)50組圖像通過對(duì)每個(gè)點(diǎn)云附近100像素范圍內(nèi)求局部深度方差，最后得到平均局部深度方差如圖6所示，可以看出本文所用方法重建出的視網(wǎng)膜結(jié)構(gòu)更加平滑符合視網(wǎng)膜近平面的結(jié)構(gòu)特性；圖7所示為點(diǎn)云數(shù)據(jù)與重建表面距離平均偏差對(duì)比，偏差越小表示重建誤差越小，由圖7可知，本文重建精度較高。本文重建方法操作簡(jiǎn)單，對(duì)眼睛沒有損害，較好地實(shí)現(xiàn)了視網(wǎng)膜的三維重建。

圖7　距離平均偏差對(duì)比

4　結(jié)語

針對(duì)視網(wǎng)膜的特點(diǎn)，對(duì)目前三維重建方法進(jìn)行了改進(jìn)，提出采用限制對(duì)比度自適應(yīng)均衡化的方法進(jìn)行視網(wǎng)膜圖像的預(yù)處理，提出迭代最近鄰匹配方法進(jìn)行特征匹配，采用4通光束平差法進(jìn)行攝像機(jī)位置和視網(wǎng)膜稀疏結(jié)構(gòu)估計(jì)，最后通過基于面片的多視圖立體重構(gòu)PMVS算法的方法進(jìn)行視網(wǎng)膜的三維重建。結(jié)果表明，本文算法具有很好的重建效果。

[1]鄧可欣. 基于超邊圖匹配的視網(wǎng)膜眼底圖像配準(zhǔn)算法[J]. 清華大學(xué)學(xué)報(bào)(自然科學(xué)版), 2014，54(5):568-574.

DengKexin.RetinalImageRegistrationBasedonHyper-edgeGraphMatching[J].TsinghuaUniv.(Sci. &Technol.), 2014，54(5):568-574.

[2]ChoeTE,MedioniG,CohenI,etal. 2-DRegistrationand3-DShapeInferenceoftheRetinalFundusfromFluoresceinImages[J].MedicalImageAnalysis， 2008, 12(2):174-190.

[3]LinY,MedioniG.RetinalImageRegistrationfrom2Dto3D[C]//IEEEConferenceonComputerVisionandPatternRecognition.Anchorage,AK, 2008:1-8.

[4]LuskJA,NutterB.Automated3-DReconstructionofStereoFundusImagesviaCameraCalibrationandImageRectification[C]//22ndIEEEInternationalSymposiumonComputer-basedMedicalSystems(CBMS).NewYork:IEEE, 2009:1-7.

[5]王玉亮，沈建新，廖文和，等. 基于CUDA的眼底圖像快速自動(dòng)配準(zhǔn)與拼接[J]. 中國(guó)機(jī)械工程, 2013(13):1749-1754.

WangYuliang,ShenJianxin,LiaoWenhe,etal.FastAutomaticFundusImagesRegistrationandMosaicBasedonCUDA[J].ChinaMechanicalEngineering, 2013(13):1749-1754.

[6]陳萌夢(mèng)，熊興良，張琰，等. 一種視網(wǎng)膜眼底圖像增強(qiáng)的新方法[J]. 重慶醫(yī)科大學(xué)學(xué)報(bào), 2014, 39(8):1087-1090.

ChenMengmeng，XiongXingliang，ZhangYan,etal.ANewMethodforRetinalFundusImageEnhancement[J].JournalofChongqingMedicalUniversity, 2014, 39(8):1087-1090.

[7]LoweDG.DistinctiveImageFeaturesfromScale-invariantKey-points[J].InternatinalJournalofComputerVision, 2004, 60(2):91-110.

[8]朱利成，姚明海. 基于SIFT算法的目標(biāo)匹配和識(shí)別[J]. 機(jī)電工程, 2009, 26(12):74-81.

ZhuLicheng,YaoMinghai.ObjectMatchingandRecognitionBasedonSIFTAlgorithm[J].Mechanical&ElectricalEngineeringMagazine, 2009, 26(12):74-81.

[9]趙燁，蔣建國(guó)，洪日昌. 基于RANSAC的SIFT匹配優(yōu)化[J]. 光電工程, 2014(8):58-65.

ZhaoYe,JiangJianguo,HongRichang.AnOptimizedSIFTMatchingBasedonRANSAC[J].Opto-electronicEngineering, 2014(8):58-65.

[10]TaeEC,MedioniG. 3-DMetricReconstructionandRegistrationofImagesofNear-planarSurfaces[C]//11thIEEEInternationalConferenceonComputerVision.NewYork:IEEE, 2007:1895-1902.

[11]楊敏，沈春林. 基于對(duì)極幾何約束的景象匹配研究[J]. 南京航空航天大學(xué)學(xué)報(bào), 2004, 36(2):235-239.

YangMin,ShenChunlin.StudyonSceneMatchingBasedonEpipolarGeometricConstraint[J].JournalofNanjingUniversityofAeronautics&Astronautics, 2004, 36(2):235-239.

[12]JinH,SoattoS,YezziA.Multi-viewStereoReconstructionofDenseShapeandComplexAppearance[J].InternationalJournalofComputerVision, 2005, 63(3):175-189.

[13]史利民，郭復(fù)勝，胡占義. 利用空間幾何信息的改進(jìn)PMVS算法[J]. 自動(dòng)化學(xué)報(bào),2011,37(5):560-568.

ShiLimin,GuoFusheng,HuZhanyi.AnImprovedPMVSthroughSceneGeometricInformation[J].ActaAutomaticaSinica, 2011,37(5):560-568.

(編輯王艷麗)

Research on 3D Reconstruction of Retina Based on Monocular Vision

Wang Yuliang1,2Liu Fei1Shen Jianxin2Liu Xianxi1

1.Shandong Agricultural University,Taian,Shandong,271018 2.Nanjing University of Aeronautics and Astronautics,Nanjing,210016

In order to obtain high accuracy and good visualization in the diagnosis of retinal diseases, a new algorithm for 3D reconstruction was proposed based on monocular vision. Through two pieces of preprocessing image feature points extraction the algorithm was used to determine the matching relationship between pairs of points and RANSAC algorithm was adopted to remove the false matching points to obtain the feature point to improve the accuracy, the feature points matching of multiple images were obtained by using the method of chain registration. According to the corresponding relationship among the feature points in different images, the relative position of the camera in space was determined by using the method of 4 pass bundle adjustment, PMVS algorithm was used to achieve three-dimensional reconstruction of the retina. Experimental results show that the algorithm has good robustness and stability, may better realize the three-dimensional reconstruction of the retina.

retinal image; scale-invariant feature transform(SIFT); chain registration; 4 pass bundle adjustment; three-dimensional reconstruction

2015-10-08

江蘇省科技支撐計(jì)劃資助項(xiàng)目(BE2010652)

TP391.41

10.3969/j.issn.1004-132X.2016.18.011

王玉亮，男，1979年生。山東農(nóng)業(yè)大學(xué)機(jī)械與電子工程學(xué)院講師、博士。主要研究方向?yàn)闄C(jī)器視覺、醫(yī)學(xué)圖像處理。發(fā)表論文10余篇。劉飛，男，1988年生。山東農(nóng)業(yè)大學(xué)機(jī)械與電子工程學(xué)院碩士研究生。沈建新，男，1969年生。南京航空航天大學(xué)機(jī)電學(xué)院教授、博士研究生導(dǎo)師。劉賢喜，男，1963年生。山東農(nóng)業(yè)大學(xué)機(jī)械與電子工程學(xué)院教授、博士研究生導(dǎo)師。