張建法 張峰峰 孫立寧 匡紹龍
摘要:針對基于C形臂的手術(shù)導(dǎo)航系統(tǒng)中相機標(biāo)定這一關(guān)鍵技術(shù)中存在的過渡環(huán)節(jié)過多、參數(shù)求解過程復(fù)雜等問題,提出一種完全忽略相機模型的解決方法。該方法完全忽略相機模型,在映射參數(shù)求解過程中簡化了過渡環(huán)節(jié),使得算法實現(xiàn)變得高效;同時,提出了帶有雙層金屬球的校準(zhǔn)靶,通過識別小球的投影數(shù)據(jù)來實現(xiàn)相機標(biāo)定。在校準(zhǔn)點驗證實驗中,可以驗證經(jīng)變換后的坐標(biāo)的殘余誤差均不超過0.002像素;在導(dǎo)航驗證實驗中,借助初步搭建的導(dǎo)航平臺成功實現(xiàn)了探針取點及穿孔。實驗結(jié)果表明,該相機標(biāo)定方法的精度能夠滿足手術(shù)導(dǎo)航系統(tǒng)的精度要求。
關(guān)鍵詞:C形臂;校準(zhǔn)靶;實驗平臺;相機標(biāo)定;手術(shù)導(dǎo)航系統(tǒng)
中圖分類號:TP391.7
文獻(xiàn)標(biāo)志碼:A
0引言
圖像引導(dǎo)手術(shù)系統(tǒng)(Image-guided Surgery, IGS)以X線、CT(Computed Tomography)、MRI(Magnetic Resonance Imaging)等醫(yī)學(xué)圖像為載體,采用高精度定位系統(tǒng)跟蹤手術(shù)工具與患者的相對位姿關(guān)系,并加以實時虛擬顯示,以輔助醫(yī)生提高手術(shù)質(zhì)量[1],其拓展了醫(yī)生的視野,對于提高手術(shù)定位精度、減少手術(shù)創(chuàng)傷、縮短手術(shù)時間等具有非常重要的意義。目前,基于C形臂的手術(shù)導(dǎo)航系統(tǒng)因無需進(jìn)行術(shù)前術(shù)中配準(zhǔn),可在術(shù)中隨時現(xiàn)場獲取患者解剖圖像及可利用當(dāng)前大多數(shù)醫(yī)院已有的C形臂設(shè)備等優(yōu)點而受到廣泛研究,其中相機標(biāo)定是該系統(tǒng)的關(guān)鍵技術(shù)之一。
到目前為止,眾多研究者們針對相機校準(zhǔn)分別提出了不同的標(biāo)定方法,其中以文獻(xiàn)[2-4]中提出的校準(zhǔn)方法較為經(jīng)典。上述方法均能達(dá)到理想的標(biāo)定效果,其中文獻(xiàn)[4]提出的相機標(biāo)定方法(以下簡稱Faugeras校準(zhǔn))因在參數(shù)求解和過渡環(huán)節(jié)等問題的處理上與文獻(xiàn)[2-3]中提出的標(biāo)定方法相比均存在顯著優(yōu)勢而備受推崇,其待求參數(shù)求解環(huán)節(jié)少,計算公式簡單,適用于圖像變形校正與 C 形臂成像系統(tǒng)標(biāo)定嚴(yán)格分離的手術(shù)導(dǎo)航系統(tǒng)[5-6]。閆士舉[7]針對Faugeras校準(zhǔn)過程中仍要經(jīng)歷中間環(huán)節(jié)的問題提出了改進(jìn)的Faugeras校準(zhǔn)方法,其直接求取校準(zhǔn)參數(shù),沒有中間過渡環(huán)節(jié),算法結(jié)構(gòu)大大簡化;但是該改進(jìn)方法在參數(shù)求解過程中的約束條件使得求解過程還存在一定的繁瑣之處。
由于基于C型臂的手術(shù)導(dǎo)航系統(tǒng)中的相機標(biāo)定的最終目的是為了實現(xiàn)3D空間數(shù)據(jù)轉(zhuǎn)換成2D圖像數(shù)據(jù),本文借鑒閆士舉[7]針對Faugeras校準(zhǔn)方法改進(jìn)時所用到的忽略相機模型的想法,提出一種新的解決方案。該方案完全忽略相機模型,進(jìn)一步簡化過渡環(huán)節(jié),使得求解過程變得簡單,同時精度也能夠得以保證。本研究還改進(jìn)了校準(zhǔn)靶,借助校準(zhǔn)靶實現(xiàn)圖像變形矯正,并提取矯正后的校準(zhǔn)靶圖像數(shù)據(jù)用于相機標(biāo)定;在實現(xiàn)3D空間坐標(biāo)向2D圖像坐標(biāo)的映射后搭建了導(dǎo)航實驗平臺,進(jìn)行了相關(guān)實驗,進(jìn)一步驗證了本文所提出的解決方法。
1校準(zhǔn)靶的設(shè)計
校準(zhǔn)靶是基于C形臂手術(shù)導(dǎo)航系統(tǒng)中的一個關(guān)鍵部件。根據(jù)功能要求,其上應(yīng)帶有按一定規(guī)則布置的金屬網(wǎng)格或金屬小球。手術(shù)前,先將校準(zhǔn)靶固定在C型臂的影像增強器(X-ray Image Intensifier, XRII)端,獲取若干幅圖像,然后對小球在圖像中投影進(jìn)行識別并提取其幾何數(shù)據(jù)。XRII圖像變形校正及后續(xù)的C型臂成像系統(tǒng)標(biāo)定都必須借助這些幾何數(shù)據(jù)才能實現(xiàn)。本文研究中,自行設(shè)計制造了校準(zhǔn)靶。
如圖1所示:圖(a)為自行設(shè)計的校準(zhǔn)靶,側(cè)面裝有3個供定位跟蹤儀定位使用的跟蹤器(Tracker),上下兩層有機玻璃上裝有按一定規(guī)則排列的金屬球,下層鋼珠直徑比上層金屬球大,所拍攝的校準(zhǔn)靶X線圖像如圖(b)所示。
2相機標(biāo)定
相機標(biāo)定是基于C形臂的手術(shù)導(dǎo)航系統(tǒng)實現(xiàn)所必須解決的關(guān)鍵技術(shù)之一,其本質(zhì)為構(gòu)建一個從空間3D立體患部到2D圖像的投射模型,并求解3D空間坐標(biāo)到2D圖像坐標(biāo)系的轉(zhuǎn)換映射參數(shù)[8-9],是手術(shù)實體可視化的必經(jīng)環(huán)節(jié)。
3實驗與分析
相機標(biāo)定需要借助于校準(zhǔn)靶在圖像中的投影數(shù)據(jù),故需先對校準(zhǔn)靶在圖像中的參數(shù)進(jìn)行提取。由于所拍攝的校準(zhǔn)靶圖像存在一定的變形,所提取的數(shù)據(jù)不能直接用于相機標(biāo)定,需要對圖像先進(jìn)行矯正。
3.1標(biāo)志物投影數(shù)據(jù)提取
由于所拍攝的校準(zhǔn)靶圖像中目標(biāo)與背景差別較大,所以本文研究采用自動取閾的方法從背景中分離標(biāo)志物投影,并采用連通量分析(Connected Components,CC)的方法計算出小球投影的質(zhì)心和面積。
如圖2所示:圖(a)為經(jīng)最大化類間分割法[10-11]分割后的XRII圖像,白色圓形即為小球投影區(qū)域;圖(b)為經(jīng)連通量分析后獲得的小球坐標(biāo)數(shù)據(jù)。
3.2圖像矯正
由于成像機制、外部環(huán)境及設(shè)備制造裝配誤差等方面的原因[12-13],通過C型臂影像增強器獲得的圖像總是存在著變形失真,若直接提取標(biāo)志物坐標(biāo)面積數(shù)據(jù)用作圖像矯正和相機標(biāo)定則將影響最終的手術(shù)導(dǎo)航精度,故需對圖像先進(jìn)行矯正[14-17]。
本文研究采用全局多項式擬合失真變形[18-21],向后插值獲得矯正圖像。圖3為拍攝的直尺圖片:圖(a)中可以明顯看到變形的存在,圖(b)為矯正后的圖像。圖4可以看到誤差明顯降低,表1則顯示畸變控制點相對于理想控制點的誤差為8.0142像素,矯正后的殘余誤差為0.5168像素。
3.3相機標(biāo)定
在校準(zhǔn)靶上建立如圖5所示坐標(biāo)系,并根據(jù)校準(zhǔn)靶設(shè)計參數(shù)得到鋼珠三維坐標(biāo)數(shù)據(jù),如圖6(a)所示。對矯正后的校準(zhǔn)靶圖像重新提取的鋼珠的中心坐標(biāo),如圖6(b)所示,選取上層板48個點和下層板14個點,將這些點的圖像坐標(biāo)和三維坐標(biāo)數(shù)據(jù)按式(2)作擬合,并用最小二乘法求解得到3D到2D的映射參數(shù)。將剩余的26個點用作驗證,如表2所示:
(X,Y,Z)表示校準(zhǔn)靶坐標(biāo)系下鋼珠中心坐標(biāo);(u,v)表示理想圖像中鋼珠中心坐標(biāo);(u′,v′)表示(X,Y,Z)經(jīng)式(2)變換后在圖像中所映射的點的坐標(biāo),坐標(biāo)殘余誤差均在0.002像素以下,精度較高。由于式(2)中的變換矩陣的求解只需要一步,并不存在Faugeras校準(zhǔn)和閆士舉[7]的改進(jìn)方法中的限制條件,無需對求解過程中矩陣進(jìn)行拆解,所以效率上有所提高。
3.4導(dǎo)航驗證
為進(jìn)一步驗證本文方案的可行性,在實現(xiàn)上述關(guān)鍵技術(shù)的基礎(chǔ)上搭建了如圖7所示的基于C型臂的手術(shù)導(dǎo)航系統(tǒng)實驗平臺。利用搭建的平臺拍攝校準(zhǔn)靶圖像,同時用Northern Digital Inc公司的Polaris光學(xué)定位跟蹤系統(tǒng)記錄校準(zhǔn)靶位姿,將探針末端頂在校準(zhǔn)靶上層模板安裝的鋼珠上(鋼珠直徑2mm),則在校準(zhǔn)靶圖像上顯示白色點,如圖8所示。
采集如圖9(a)所示的測試裝置(圓柱體上打有半徑不同的圓孔)的正側(cè)位X光圖像,同時記錄測試裝置與校準(zhǔn)靶位姿,并在自行開發(fā)的導(dǎo)航軟件中計算位姿轉(zhuǎn)換關(guān)系。將采集的圖像矯正后調(diào)入導(dǎo)航界面(如圖9(b))。
根據(jù)導(dǎo)航界面上提供的投影信息,調(diào)整探針對準(zhǔn)(如圖10(a)所示,左邊是導(dǎo)航界面,粗線代表探針實體,細(xì)線代表探針軸線),沿著調(diào)整好的軸線方向成功將探針穿入(如圖10(b)所示),同時能穿過其他孔。
4結(jié)語
針對基于C型臂的手術(shù)導(dǎo)航系統(tǒng)中相機標(biāo)定過程中過渡環(huán)節(jié)過多、參數(shù)求解過程復(fù)雜等問題,本文提出了一種新的解決方案。該方案忽略了相機模型,在相機標(biāo)定參數(shù)驗證中體現(xiàn)出其高精度;并使用搭建的實驗平臺進(jìn)行了探針取點及穿孔實驗,驗證了該方案的可行性。本文方案雖然解決了3D空間到2D圖像的映射問題,但是因為完全忽略了相機模型,無法獲取相機內(nèi)外部參數(shù),故其無法解決2D圖像到3D空間的映射問題。若導(dǎo)航系統(tǒng)擴展到機器人輔助導(dǎo)航系統(tǒng),上述問題則需結(jié)合反投射模型進(jìn)行解決。下一步研究重點為借助反投射模型解決2D圖像空間到3D空間的映射問題。
參考文獻(xiàn):
[1]郭乃銘,周躍.計算機輔助手術(shù)導(dǎo)航系統(tǒng)在脊柱外科手術(shù)中的應(yīng)用進(jìn)展[J].中國矯形外科雜志, 2013, 21(8): 787-789. (GUO N M, ZHOU Y. The application progress of computer assisted surgery navigation system in spinal surgery [J]. Orthopedic Journal of China, 2013, 21(8): 787-789.)
[2]GREMBAN K D, THORPE C E, KANADE T. Geometric camera calibration using systems of linear equations [C]// Proceedings of the 1988 IEEE International Conference on Robotics and Automation. Piscataway, NJ: IEEE, 1988: 562-567.
[3]TSAI R Y. A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses [J]. IEEE Journal of Robotics and Automation, 1987, 3(4): 323-344.
[4]FAUGERAS O. Three-dimensional computer vision: a geometric viewpoint [M]. Cambridge, MA: MIT Press, 1993:247-289.
[5]BERTELSEN A, GARIN-MUGA A, ECHEVERRíA M, et al. Distortion correction and calibration of intra-operative spine X-ray images using a constrained DLT algorithm [J]. Computerized Medical Imaging and Graphics, 2014, 38(7): 558-568.
[6]ZHU H, XU J, HE D, et al. Design and implementation of the moving workpiece sorting system based on LabVIEW [C]// CCDC 2014: Proceedings of the 26th Chinese Control and Decision Conference. Piscataway, NJ: IEEE, 2014: 5034-5038.
[7]閆士舉. 基于C形臂手術(shù)導(dǎo)航關(guān)鍵技術(shù)研究及系統(tǒng)實現(xiàn)[D]. 上海交通大學(xué), 2008: 95-99. (YAN S. Research on key technology of C-ARM based surgical navigation and development of application system [D]. Shanghai: Shanghai Jiao Tong University, 2008: 95-99.)
[8]MENG C. New method for geometric calibration and distortion correction of conventional C-arm [J]. Computers in Biology and Medicine, 2014: 52:49-56.
[9]周曉君. C形臂圖像校正與手術(shù)定位技術(shù)研究[D].北京:北京郵電大學(xué),2010:7-9. (ZHOU X. Study on image correction & location technique of C-ARM [D]. Beijing: Beijing University of Posts and Telecommunications, 2010: 7-9.)
[10]范朝冬,歐陽紅林,肖樂意,等.基于空間截面投影的 Otsu 圖像分割算法[J].通信學(xué)報, 2014, 35(5): 70-78. (FAN C D, OUYANG H L, XIAO L Y, et al. Otsu thresholding method based on projection of cross section for image segmentation [J]. Journal on Communications, 2014, 35(5): 70-78.)
[11]NG H F. Automatic thresholding for defect detection [J]. Pattern Recognition Letters, 2006, 27(14): 1644-1649.
[12]GRONENSCHILD E. Correction for geometric image distortion in the x-ray imaging chain: local technique versus global technique [J]. Medical Physics, 1999, 26: 2602-2616.
[13]FANTOZZI S, CAPPELLO A, LEARDINI A. A global method based on thin-plate splines for correction of geometric distortion: an application to fluoroscopic images [J]. Med Phys. 2003, 30(2): 124-131.
[14]李元金,舒華忠,羅立民,等.Delaunay三角網(wǎng)插值在 XRII圖像扭曲校正中的應(yīng)用[J].東南大學(xué)學(xué)報(英文版),2014(3):306-310.
LI J Y, SHU H Z, LUO L M, et al. Application of the Delaunay triangulation interpolation in distortion XRII image [J]. Journal of Southeast University (English Edition), 2014(3): 306-310.
[15]邱文杰,陳坤斌,劉瓊,等.基于移動最小二乘法的圖像變形及GPU 實現(xiàn)[EB/OL].北京:中國科技論文在線 [2013-12-02]. http://www.paper.edu.cn/releasepaper/content/201312-1. (QIU W J, CHEN K B, LIU Q, et al. Image deformation using MLS and implementation with GPU [EB/OL]. Beijing: Sciencepaper Online [2013-12-02]. http://www.paper.edu.cn/releasepaper/content/201312-1.)
[16]LIAO G, HU Y, LI Z, et al. Human-computer interaction system based on binocular stereo vision [C]// CCC 2012: Proceedings of the 31st Chinese Control Conference. Piscataway, NJ: IEEE, 2012: 3640-3644.
[17]孫靜坤,曾勇明,郁仁強,等.C型臂錐形束CT成像偏離正中心點對圖像噪聲及變形程度的影響[J].中國醫(yī)學(xué)影像技術(shù), 2014, 30(7):1095-1099. (SUN J K, ZENG Y M, YU R Q, et al. Impact of offsetting center point on image noise and deformations in C-arm cone beam CT [J]. Chinese Journal of Medical Imaging Technology, 2014, 30(7): 1095-1099.)
[18]王田苗,劉文勇,胡磊,等.基于多項式擬合的C臂投影全局校正法[J].高技術(shù)通訊,2007,17(9):919-923. (WANG T M, LIU W Y, HU L, et al. Polynomial fitting-based global correction method for C-arm projection images [J]. Chinese High Technology Letters, 2007, 17(9): 919-923.
[19]張軍,孟偲.基于成像模型的C臂圖像校正方法[EB/OL].北京:中國科技論文在線 [2012-11-14]. http://www.paper.edu.cn/releasepaper/content/201211-232. (ZHANG J, MENG S. Distortion correction based on visual model for C-arm images [EB/OL]. Beijing: Sciencepaper Online [2012-11-14]. http://www.paper.edu.cn/releasepaper/content/201211-232.)
[20]陳槐,鐘強,李丹勛,等.多級網(wǎng)格迭代的圖像變形算法在PIV中的應(yīng)用[J].流體力學(xué),2013,1(2):34-39. (CHEN H, ZHONG Q, LI D X, et al. Iterative multigrid image deformation method for PIV[J]. International Journal of Fluid Dynamics, 2013, 1(2): 34-39.)
[21]HERRMANN C. Method and apparatus for image correction of X-ray image information: U.S. Patent 20,150,316,663 [P]. 2015-11-05.