劉思奇,張來峰,范立成,盛小明
(蘇州大學 機電工程學院,江蘇 蘇州 215021)
基于醫(yī)學圖像序列面繪制的骨組織快速成型方法
劉思奇,張來峰,范立成*,盛小明
(蘇州大學 機電工程學院,江蘇 蘇州 215021)
(*通信作者電子郵箱flcthy@126.com)
針對人工骨組織快速成型中輪廓線軌跡生成復雜、分層效率低的問題,提出了一種簡化三角片模型分層過程的方法。應用移動立方塊(MC)算法對醫(yī)學圖像序列進行面繪制重建,根據(jù)重建過程的順序對三角片集合分組,然后采用對邊追蹤的方法計算切平面與其對應三角片數(shù)組的交點輪廓線數(shù)據(jù)。簡化后的分層效率相對于三角網(wǎng)格文件(STL)模型分層平均提高了4.65%。實驗結果表明,所提方法可以直接從人體骨組織醫(yī)學圖像序列生成可供3D打印的輪廓線數(shù)據(jù),從而實現(xiàn)骨組織的快速成型。
醫(yī)學圖像;骨組織;三維重建;三角片模型;快速成型;分層輪廓
快速成型技術也稱為3D打印技術,是20世紀80年代末興起的一門新技術,近年來發(fā)展十分迅猛,已被視為一項顛覆傳統(tǒng)生產(chǎn)方式的革命性技術。隨著3D打印技術和醫(yī)療技術的深度結合與發(fā)展,3D打印作為一種快速原型技術,其最大優(yōu)勢在于對復雜結構的一體化制造[1-2],并且可以實現(xiàn)針對特定患者、特定需求的各種器官的個性化生產(chǎn)。由于骨組織結構相對比較簡單,近年來,3D打印在骨組織修復方面的應用較多,綜述性文章也較多。王鎵垠等[3]對人體組織3D打印的最新進展作了綜述,主要介紹了3D打印在骨組織、血管和人工肝臟的最新研究成果。Fedorovich等[4]以及Bose等[5-6]論述了在3D打印骨組織工程支架的最新進展以及當前的挑戰(zhàn)和未來的方向。Jariwala等[7]也作了類似的綜述。這些綜述重點討論了人工骨材料的材料應用以及人工骨3D打印工程的前景和挑戰(zhàn),并沒有涉及到3D打印骨組織的實現(xiàn)過程。早在2000年,顏永年等[8]就提到了人工骨的快速成型制造技術的流程:由數(shù)字成像技術獲得的層片數(shù)字圖像,經(jīng)處理后獲得層片輪廓信息,建立三維幾何模型,再進行快速成型。江靜等[9]闡述了逆向工程及快速成型技術在面容多發(fā)性骨折缺損骨和下頜骨缺損三維模型重建等醫(yī)學上的應用。吳紀楠等[10]通過快速成型技術實現(xiàn)了個體化下頜人工骨的臨床應用,達到有效的臨床效果。Kouhi等[11]采用熔融層積成型技術打印患者下頜骨模型,也取得了不錯的臨床反饋。
文獻[9-11]雖然都提到了結合醫(yī)學圖像三維重建與快速成型技術結合實現(xiàn)醫(yī)療快速成型的方法,并且臨床實驗的反饋表明人工骨可以有效改善手術規(guī)劃提高準確性,但是并沒有給出直接從二維醫(yī)學圖像序列生成模型輪廓的具體細節(jié),而是主要依賴于相關的專業(yè)軟件來實現(xiàn)人工骨組織的3D打印。為了探索從醫(yī)學圖像序列打印人體原型的過程中的關鍵技術的細節(jié),本文提出了一種可以直接從醫(yī)學圖像序列生成骨組織模型輪廓線的簡化三角片模型分層過程的方法。首先,通過分析醫(yī)學圖像面繪制模型與三角網(wǎng)格文件(STereoLithography, STL)模型的本質關系,根據(jù)醫(yī)學圖像重建移動立方塊(Marching Cube, MC)算法[12]中三角片建立的順序對三角片集合分組,分組后減少了切平面對模型遍歷檢索的三角片數(shù)量,可以提高切片分層速度; 然后,采用對邊追蹤的方法計算每一個切平面與其對應的三角片數(shù)組的交點輪廓數(shù)據(jù)。本文采用該方法對三組骨組織圖像序列進行分層處理,并分別與其對應的醫(yī)學圖像數(shù)據(jù)生成的STL文件的分層[13]時間進行比較,進行了相關實驗; 最后,通過對這些輪廓數(shù)據(jù)進行填充后在3D打印機上分別打印出相應的骨骼模型。
面繪制是基于圖形學的繪制方式,對形體的表示、操作和顯示都是基于圖形學的基本元素:點、線、面以及法向量來完成的。 移動立方塊(MC)算法是一種經(jīng)典的面繪制重建算法,已經(jīng)得到了廣泛的應用。MC方法本質上是從三維數(shù)據(jù)場中提取一個等值面[14],該算法的核心就是根據(jù)設定的閾值,從給定的斷層圖像序列中提取出等值面的三角片網(wǎng)格模型。
二維斷層圖像順序讀入后,每相鄰兩幅切片圖像對應的四個點構成一個立方體,如圖1所示。其中左圖表示二維圖像序列組成的三維離散數(shù)據(jù)場,右圖表示離散數(shù)據(jù)場中8個相鄰的數(shù)據(jù)點構成的最小立方體,對每個立方體的8個頂點和12條邊分別進行編號。
圖1 離散數(shù)據(jù)場及最小單元的8個頂點和12條邊分布Fig. 1 Discrete data field and the numbered 8 vertices and 12 edges of the smallest cube
通過對每個立方體的8個頂點的灰度值與設定的等值面閾值進行比較,可以判斷出等值面是否和該立方體相交,即如果立方體一條邊的兩個頂點的灰度值分別大于、小于給定的等值面閾值,則在這條邊上有且僅有一點與等值面相交,該點為等值點。假設一個頂點的灰度值大于閾值,則將它標記;如果小于閾值,則不標記。因此,一個立方體的8個頂點分別有標記和不標記兩種狀態(tài),從而建立一個8位二進制索引值,如圖2所示。
圖2 建立三角片索引值示意圖Fig. 2 Schemtic diagram of establishment triangular mesh index
確定立方體內(nèi)三角片的組成方式后,計算三角片的頂點和法向量。設p1和p2是立方體上與等值面相交邊的兩頂點的坐標值,其灰度值分別為I1和I2,法向量分別為n1和n2,等值面閾值為T??梢圆捎镁€性插值法計算交點p及其法向量n,其計算公式分別為式(1)和式(2):
p=p1+(T-I1)(p2-p1)/(I2-I1)
(1)
n=n1+(T-I1)(n2-n1)/(I2-I1)
(2)
其中,在整個斷層圖像序列構成的矩陣I中,立方體某頂點q(i,j,k)處的單位法向量nq可由該點梯度g=(gi,gj,gk)計算得到。頂點q處的梯度可以通過該點處灰度差分計算得到,如式(3):
(3)
通過上述MC算法算理可以將二維圖像序列中構成等值面的三角片模型的頂點坐標及其法向量求解出來,以用來求解重建后模型的分層軌跡。
醫(yī)學圖像重建模型分層算法的基本思想是根據(jù)圖像序列數(shù)據(jù)中最小立方體的順序建立三角片的分組矩陣,從而有效地減少切平面對模型遍歷檢索的三角片數(shù)量,提高切片分層速度。最后通過對邊追蹤[15-16]的方法對分組后的三角片矩陣按照順序求解切平面對邊相交的輪廓線。
2.1 三角片分組及三角片表建立
在醫(yī)學圖像序列面繪制重建過程中,由于是對圖像數(shù)據(jù)順序處理生成的三角片模型,每一層的圖像數(shù)據(jù)對應一個平面高度,假設切平面從下往上對模型分層,則與三角片模型相交的切片平面出現(xiàn)的次序也不同, 位置低的三角片先被切到, 位置高的后被切到。因此可以直接對三角片生成的順序分組,并不占用額外的排序時間,即每一層圖像數(shù)據(jù)生成的三角片集合對應一個數(shù)組。三角片數(shù)據(jù)整體分組的過程如圖3所示。
圖3 分組三角片表的建立Fig. 3 Establishment of triangular group table
在圖3左側中,從下往上是按照圖像數(shù)據(jù)順序生成的面繪制模型,依次在Z方向上增加三角面片,每一層圖像數(shù)據(jù)對應一個分組序號t,每一個序號對應的三角片集合為{tnm1,tnm2,…,tnmn},如圖3右側所示。整體分組后,假設每組三角片集合在Z方向的最小值為zmin,最大值為zmax,當某切平面的高度zi滿足zmin 2.2 切平面與對應三角片數(shù)組求交 建立好三角片分組數(shù)組之后,開始計算每一個切平面與其對應的三角片相交的輪廓線。采用對邊追蹤的方法無需預先建立STL模型所有三角片的拓撲面關系。求解過程中, 對于一個切片平面zi, 首先找到第1個與該切片平面相交的三角片tij,判斷出該三角片三個頂點中在Z方向上的值最小的頂點和值最大的頂點,如果該三角片Z方向上最大值和最小值相同并且等于切平面zi的高度zValue,為避免過多冗余點產(chǎn)生,則忽略該三角片,繼續(xù)其他三角片的計算;如果不相等,則可以通過式(4)計算切平面與三角片的第一個交點坐標p1(xp,yp,zp): (4)其中:xmin、ymin、zmin和xmax、ymax、zmax分別代表最小頂點pMin的坐標和z值最大頂點pMax的坐標;起始時,pMin代表起始三角片z值最小的頂點,pMax代表起始三角片z值最大的頂點;隨后最小頂點pMin和最大頂點pMax則根據(jù)對邊追蹤的結果不斷改變,以便計算切平面與相鄰三角片的交點坐標,追蹤過程如下: 1)檢索分組三角片矩陣中的三角片頂點坐標。 2)該三角片三個頂點中是否有兩個頂點與最小頂點pMin和最大頂點pMax重合:如果重合,則該三角片與上一三角片相鄰,轉向步驟3),否則轉向步驟1)。 3)判斷該三角片的第三個頂點(不是最小和最大頂點)的z值與zValue的大小,如果大于zValue,則將該頂點設為最大頂點pMax,原先的最小頂點pMin不變;否則,將其設為最小頂點pMin,原先的最大頂點pMax不變;更新數(shù)據(jù)。 4)通過式(4)計算切平面與該三角片的下一個交點,記入交點鏈表。 5)標記該三角片并剔除,避免重復循環(huán)檢索,以提高生成輪廓線數(shù)據(jù)的速度。 6)轉向步驟1),繼續(xù)檢索,直到回到第一個相交點p1,得到一條有向封閉的輪廓線。 圖4 對邊追蹤算法的原理示意圖Fig. 4 Principle of edge tracking 針對以上的基本思路,建立如圖5所示的實驗系統(tǒng),首先從計算機層析成像(Computed Tomography, CT)或者核磁共振成像(Magnetic Resonance Imaging, MRI)獲取人體組織圖像數(shù)據(jù);然后通過醫(yī)學圖像三維重建面繪制算法生成三角片模型,該模型本質上和STL模型是一致的,都是由點、線、面以及法向量組成;最后對生成的三維模型進行切平面分層算法計算分層輪廓線,以實現(xiàn)快速成型加工。 本文共采用三組CT斷層圖像數(shù)據(jù):分別是145幅胸椎,像素分辨率為125×105;133幅脊柱,像素分辨率為100×100;149幅頭骨,像素分辨率為256×256。應用Intel Xeon CPU E5-2643 3.30 GHz處理器,32 GB內(nèi)存,通過VS2010和OpenGL混合編程。不同組織對應的醫(yī)學圖像序列的重建模型如圖6所示。 圖5 實驗系統(tǒng)原理圖Fig. 5 Schematic diagram of the experimental system 圖6 MC算法面繪制后的三角片模型Fig. 6 Triangular mesh model after mesh rendering by MC algorithm 表1顯示了每個骨組織對應的實驗參數(shù),其中三角片數(shù)目是指重建后模型的三角片總數(shù),分層時間對應的分層厚度設置為0.1 mm,STL模型分別是由各組織圖像數(shù)據(jù)對應生成的。從表1可以看出,分組后的分層時間相對于STL模型分層時間有所減少提高,平均效率提高了4.65%。 表1 各個骨組織的實驗參數(shù)Tab. 1 Experimental parameters of each bone tissue 圖7依次顯示了計算后的胸椎、頭骨和脊柱分層輪廓。 圖7 分層后的輪廓線軌跡Fig. 7 Contour trajectory of the triangular mesh model 計算得到三角片模型輪廓線后,通過文獻[17]提到的填充算法將其填充,從而得到3D打印的運行軌跡。隨機抽取兩層頭骨輪廓的填充軌跡在Matlab中仿真如圖8所示。 圖8 分層后的輪廓線填充軌跡Fig. 8 Contour filling trajectory after sclicing 采用極光爾沃Z-603S和聚乳酸(Polylactice Acid, PLA)材料分別對上述三種骨組織進行打印,最終的快速成型結果如圖9所示。從左往右依次是胸椎、頭骨和脊柱的3D打印原型。 圖9 快速成型實例Fig. 9 Rapid prototyping implementation models 醫(yī)療快速成型是一個多學科交叉的領域,在醫(yī)療診斷、治療、手術、醫(yī)學教育、器官植入和制作手術工具等方面扮演著重要角色。針對醫(yī)療3D在骨組織的應用關鍵技術研究,本文提出了一種從醫(yī)學圖像序列生成骨組織模型輪廓線的簡化過程方法。該方法結合醫(yī)學圖像三維重建技術和快速成型技術,將醫(yī)學圖像重建后的三角片模型按照建立順序分組后與切平面求交點輪廓,減少了切平面遍歷三角片數(shù)量,與醫(yī)學圖像數(shù)據(jù)生成的STL模型相比,在分層效率上平均提高了4.65%。通過填充輪廓線可以直接生成3D打印軌跡,并通過3D打印機制作圖9所示的實例,證實了該方法的可行性。但是這種方法也有一定的不足之處,與專業(yè)的軟件相比,每次制作面繪制模型時都要對程序中所要設定的等值面閾值以及針對不同的圖像格式作一些調整。下一步研究重點為克服手動調試,實現(xiàn)自動根據(jù)圖像信息生成三維模型輪廓以及進一步完善實驗系統(tǒng)。 References) [1] MELCHELS F P W,DOMINGOS M A N,KLEIN T J, et al. Additive manufacturing of tissues and organs [J].Progress in Polymer Science,2012,37:1079-1104. [2] 賀健康,劉亞雄,連芩,等.面向重要實質器官的生物制造技術[J].中國生物工程雜志,2012,32(9):76-81.(HE J K,LIU Y X,LIAN Q, et al. Biofabrication of vital parenchymal organs[J]. Journal of Chinese Biotechnology, 2012, 32(9):76-81.) [3] 王鎵垠, 柴磊, 劉利彪,等. 人體器官3D打印的最新進展[J]. 機械工程學報, 2014, 50(23):119-127.(WANG J Y, CHAI L, LIU L B, et al. Process in three-dimensional (3D) printing of artificial organs[J]. Journal of Mechanical Engineering, 2014, 50(23):119-127.) [4] FEDOROVICH N E, ALBLAS J, HENNINK W E, et al. Organ printing: the future of bone regeneration?[J]. Trends in Biotechnology, 2011, 29(12):601-606. [5] BOSE S, VAHABZADEH S, BANDYOPADHYAY A. Bone tissue engineering using 3D printing[J]. Materials Today, 2013, 16(12):496-504. [6] BOSE S, ROY M, BANDYOPADHYAY A. Recent advances in bone tissue engineering scaffolds[J]. Trends in Biotechnology, 2012, 30(10): 546-554. [7] JARIWALA S H, LEWIS G S, BUSHMAN Z J, et al. 3D printing of personalized artificial bone scaffolds[J]. 3D Printing and Additive Manufacturing, 2015, 2(2):56-64. [8] 顏永年,崔福齋,張人佶,等. 人工骨的快速成形制造[J]. 材料導報,2000,14(2):11-13.(YAN Y N, CUI F Z, ZHANG R J, et al. Rapid prototyping manufacturing for artificial human bone [J].Materials Review, 2000, 14(2):11-13.) [9] 江靜,祁文軍,阿地力·莫明.快速成型技術在醫(yī)學上的應用[J]. 機械設計與制造,2011,243(5):254-256.(JIANG J, QI W J, MOMING A. Application of rapid prototype technology in medicine [J]. Machinery Design & Manufacture, 2011, 243(5):254-256.) [10] 吳紀楠,龔振宇,陳覺堯,等.基于快速成型技術制作個體化下頜人工骨的臨床應用[J].中華口腔醫(yī)學研究雜志,2011,5(2):161-168.(WU J N, GONG Z Y, CHEN J Y, et al. Clinical application of individualized artificial mandible based on rapid prototyping technology[J]. Chinese Journal of Stomatological Research, 2011, 5(2):161-168.) [11] KOUHI E, MASOOD S, MORSI Y. Design and fabrication of reconstructive mandibular models using fused deposition modeling[J]. Assembly Automation, 2008, 28(3):246-254. [12] LORENSEN W E. Marching cubes: a high resolution 3D surface construction algorithm [J]. ACM SIGGRAPH Computer Graphics, 1987, 21(4):163-169. [13] 王素, 劉恒, 朱心雄. STL模型的分層鄰接排序快速切片算法[J]. 計算機輔助設計與圖形學學報, 2011, 23(4): 600-606. (WANG S, LIU H, ZHU X X. An algorithm for rapid slicing of STL model based on sorting by triangle adjacency in layers[J]. Journal of Computer-Aided Design & Computer Graphics, 2011, 23(4): 600-606.) [14] 張俊華. 醫(yī)學圖像三維重建和可視化[M].北京:科學出版社, 2014:53-58. (ZHANG J H. Three Dimensional Reconstruction and Visualization of Medical Images [M]. Beijing: Science Press, 2014:53-58.) [15] 潘海鵬, 周天瑞, 朱根松,等. STL模型切片輪廓數(shù)據(jù)的生成算法研究[J]. 中國機械工程, 2007, 18(17): 2076 -2079.(PAN H P, ZHOU T R, ZHU G S, et al. Research on the algorithm for generating the slicing profile of STL model[J]. China Mechanical Engineering, 2007, 18(17):2076-2079.) [16] 溫佩芝, 黃文明, 吳成柯. 一種改進的STL文件快速分層算法[J]. 計算機應用, 2008, 28(7):1766-1768. (WEN P Z, HUANG W M, WU C K. Modified fast algorithm for STL file slicing[J]. Journal of Computer Applications, 2008, 28(7):1766-1768.) [17] 謝存禧, 李仲陽, 邵明.基于機器人快速成型的截面填充與軌跡規(guī)劃[J]. 機械設計與研究, 2000(3): 30-32.(XIE C X, LI Z Y, SHAO M. The section-filling and path plan on the Robot Rapid Prototype (RRP)[J]. Machine Design & Research, 2000(3): 30-32.) This work is partially supported by the National Natural Science Foundation of China (61475108), the Natural Science Foundation of Jiangsu Province of China (BK2011299). LIU Siqi, born in 1991, M. S. candidate. His research interests include medical robot, medical image processing. ZHANG Laifeng, born in 1989, M. S. candidate. His research interests include medical robot, CAD/CAM. FAN Licheng, born in 1970, Ph. D., professor. His research interests include robot technology, CAD/CAM, system integration. SHENG Xiaoming, born in 1960, M. S., associate professor. Her research interests include hydraulic pressure transmission and control, automation equipment design. Rapid prototyping method for bone tissue based on medical image surface rendering reconstruction LIU Siqi, ZHANG Laifeng, FAN Licheng*, SHENG Xiaoming (SchoolofMechanicalandElectricEngineering,SoochowUniversity,SuzhouJiangsu205121,China) Concerning the problems that coutour complex path trajectory generation and low slicing efficiency in rapid prototyping of artificial bone tissue, a method to simplify the slicing process of triangle mesh was proposed in this paper. The medical image sequences were reconstructed by the Marching Cubes (MC) algorithm, the triangle meshes were grouped into triangle arrays according to the order of the reconstruction process. And then, the intersection points between the slice plane and the triangle array were calculated by edge tracking. It was found that the slicing efficiency of simplified process was increased by 4.65% on average compared with the triangular mesh STereoLithography (STL) model. The experimental results indicate that the proposed method can generate contour data used for 3D printing directly from medical image sequences of human bone tissu, so as to realize the rapid prototyping of bone tissue. medical image; bone tissue; 3D reconstruction; triangular mesh model; rapid prototyping; slicing profile 2016-10-26; 2016-12-08。 國家自然科學基金資助項目(61475108);江蘇省自然科學基金資助項目(BK2011299)。 劉思奇(1991—),男,河南信陽人,碩士研究生,主要研究方向:醫(yī)療機器人、醫(yī)學圖像處理; 張來峰(1989—),男,河南商丘人,碩士研究生,主要研究方向:醫(yī)療機器人、CAD/CAM; 范立成(1970—),男,黑龍江五大連池人,副教授,博士,主要研究方向:機器人技術、CAD/CAM、系統(tǒng)集成; 盛小明(1960—),女,江蘇蘇州人,副教授,碩士,主要研究方向:液壓氣壓傳動與控制、自動化設備設計。 1001-9081(2017)05-1456-04 10.11772/j.issn.1001-9081.2017.05.1456 TP391.41 A3 實驗系統(tǒng)設計及結果
4 結語