李延軍 張魁星 魏本征
摘要 目的:探索并實踐中醫(yī)藥信息化科學(xué)的實施路徑。方法:采用多種三維建模技術(shù)方法和Unity3D引擎設(shè)計中藥材虛擬展廳,結(jié)合Java Script和C#語言在Unity3D中實現(xiàn)交互,綜合運(yùn)用聲音字幕協(xié)同技術(shù)、場景轉(zhuǎn)換技術(shù)等構(gòu)建基于Unity平臺的中藥材VR智能展示系統(tǒng)。結(jié)果:實現(xiàn)了碰撞檢測、信息交互、展廳材質(zhì)紋理映射,光照等功能。結(jié)論:中藥材三維精細(xì)建模和VR系統(tǒng)結(jié)合是中醫(yī)藥信息化科學(xué)實施路徑之一,在中藥性狀鑒定與教學(xué)研究方面具有良好的應(yīng)用前景,是互聯(lián)網(wǎng)+中醫(yī)藥的有益嘗試。
關(guān)鍵詞 中藥材;3D建模;VR系統(tǒng);中藥材展廳
Abstract Objective:To explore and practice the implementation path of Chinese medicine information science.Methods:Various 3D modeling methods and Unity 3D engine were used to design the virtual exhibition hall of Chinese medicinal materials.The interaction between Java Script and C # language was realized in Unity 3D.The VR intelligent display system of Chinese medicinal materials based on unity platform was constructed by using sound subtitle collaboration technology and scene conversion technology.Results:The functions of collision detection,information interaction,texture and mapping of exhibition hall,illumination and so on were realized.Conclusion:The combination of 3D fine modeling and VR system is one of the scientific approaches to the implementation of TCM informatization.It has good application prospects in the identification and teaching of Chinese medicine.It is a beneficial attempt of Internet plus Chinese medicine.
Key Words Chinese herbal medicine; 3D modeling; VR system; Chinese herbal medicine exhibition hall
中圖分類號:R288文獻(xiàn)標(biāo)識碼:Adoi:10.3969/j.issn.1673-7202.2019.06.057
中醫(yī)中藥是中華民族瑰寶,是延續(xù)千年行之有效的傳統(tǒng)醫(yī)療手段和方法,技術(shù)的進(jìn)步為中醫(yī)藥信息化提供了新路徑。虛擬現(xiàn)實技術(shù)(Virtual Reality,VR)是一種可以創(chuàng)建和體驗虛擬世界的計算機(jī)仿真系統(tǒng),國內(nèi)對中醫(yī)藥和互聯(lián)網(wǎng)的結(jié)合的VR虛擬展示系統(tǒng)研究已經(jīng)出現(xiàn),主要集中在文獻(xiàn)信息數(shù)字化、古籍整理數(shù)字化、中藥產(chǎn)業(yè)信息化、中醫(yī)標(biāo)準(zhǔn)化等幾方面,對于中藥材三維展示系統(tǒng)論述較少。文獻(xiàn)1利用三維建模軟件3ds max進(jìn)行三維實體及場景建模,采用虛擬交互平臺Quest3D為場景驅(qū)動。重點介紹了系統(tǒng)架構(gòu)和實現(xiàn)的技術(shù)流程,并對實現(xiàn)過程中的場景建模技術(shù)、交互設(shè)計中的圖形化設(shè)計方法以及增強(qiáng)場景真實感方法做了深入的闡述。但文中采用圖像與圖形相結(jié)合的建模方法雖然保證了渲染速度但視覺效果僅為可接受,其真實感、沉浸感大打折扣。文獻(xiàn)2主要敘述了360度全景拍攝三維展示制作系統(tǒng)進(jìn)行了中藥原植物的數(shù)字化三維展示探索,為中草藥虛擬展廳的實現(xiàn)提供了寶貴的探究思路,但對藥材大小,拍攝環(huán)境和拍攝技巧都有嚴(yán)格要求,故成功的概率很低。文獻(xiàn)3以廣西中醫(yī)學(xué)院醫(yī)藥會展中心中藥標(biāo)本館為載體,通過三維虛擬動畫的形式,并配合多媒體觸摸屏技術(shù)和交互性展示系統(tǒng)平臺,展示部分廣西常用中藥材的生長過程及其環(huán)境,建立具有現(xiàn)代科技服務(wù)特色的中藥材原生態(tài)、成藥形態(tài)鑒別及中藥材展示廳三維虛擬系統(tǒng)。文獻(xiàn)4針對中藥遠(yuǎn)程教學(xué)中虛擬中藥材的構(gòu)建問題,利用虛擬現(xiàn)實技術(shù)中構(gòu)建三維模型的方法得到中藥材的幾何造型,并結(jié)合圖像處理技術(shù),獲取藥材表面紋理圖像,將紋理圖像映射于幾何造型,從而實現(xiàn)虛擬中藥材的構(gòu)建。文獻(xiàn)5利用Unity3D在虛擬人體上標(biāo)注穴位、經(jīng)絡(luò)等信息,并通過操作實現(xiàn)虛擬針刺訓(xùn)練。為中醫(yī)藥信息化提供了新的技術(shù)可能。在互聯(lián)網(wǎng)技術(shù)生態(tài)下針對以上應(yīng)用和不足,借助VR技術(shù)設(shè)計實現(xiàn)基于Unity3D平臺的中藥材VR智能展示系統(tǒng),實現(xiàn)場景轉(zhuǎn)換、碰撞檢測、信息查詢、展廳光照及材質(zhì)紋理映射等功能,是互聯(lián)網(wǎng)+中醫(yī)藥的有益嘗試。
1 三維(3D)精細(xì)建模
三維精細(xì)建模是虛擬現(xiàn)實(VR)系統(tǒng)的基礎(chǔ),是材質(zhì)、貼圖與腳本的載體[6]。中藥材虛擬智能展示系統(tǒng)首先需要建立中藥材的三維精細(xì)立體模型。目前主流的建模方法主要有3種:1)方法是使用三維建模軟件建模,如3D Max、Rihinoceros和maya等;2)通過3D掃描設(shè)備測量建模,如3D掃描儀;3)利用圖像或者視頻來建模,如Autodesk Recap軟件可以將實體通過一系列照片轉(zhuǎn)換成3D模型。根據(jù)中藥材的大小,形狀規(guī)則程度等數(shù)據(jù)綜合運(yùn)用多種建模工具構(gòu)建代表藥材的三維精細(xì)模型。其精細(xì)建模流程見圖1。
利用3D建模和VR系統(tǒng)的結(jié)合來完整地展示中藥材的特征,在中草藥性狀鑒定與教學(xué)研究方面具有良好的應(yīng)用前景。以瓜萎,北沙參,金銀花等山東道地藥材為建模對象,探索3D信息化方法。以金銀花為例,首先,在Rhinoceros軟件中完成三維模型建模,通過紋理映射、模型優(yōu)化、billboard等技術(shù)來降低模型的復(fù)雜程度,在提高系統(tǒng)運(yùn)行速度的同時確保模型必要的精確度和逼真度,最后導(dǎo)出.fbx格式的文件。然后,將三維模型導(dǎo)入unity 3D創(chuàng)建的虛擬場景中,進(jìn)行著色或紋理映射和場景渲染,如圖2所示,其他中藥材可用Recap軟件創(chuàng)建。
2 中藥材VR智能展示系統(tǒng)關(guān)鍵技術(shù)
在3D精細(xì)建模的基礎(chǔ)上,采用Java Script或C#語言,綜合運(yùn)用NGUI界面交互技術(shù)、聲音字幕協(xié)同技術(shù)、場景交互技術(shù)等設(shè)計開發(fā)基于Unity平臺的中藥材VR智能展示系統(tǒng),實現(xiàn)碰撞檢測、場景調(diào)度,人機(jī)交互、展廳光照及材質(zhì)紋理映射等功能,系統(tǒng)技術(shù)路線見圖3。
中藥材VR智能展示系統(tǒng)的設(shè)計目標(biāo):1)游覽者可以跟隨角色的移動對展廳里面的中藥進(jìn)行觀察學(xué)習(xí),通過鍵盤改變角色的移動,實現(xiàn)中藥展廳系統(tǒng)虛擬漫游;2)展廳中各個中藥材模型都在展盤中陳列,且有詳細(xì)的說明,游覽者可以自行選擇喜歡和感興趣的進(jìn)行更仔細(xì)的觀察;3)采用增強(qiáng)現(xiàn)實技術(shù)模擬一些像推門等在真實世界中的動態(tài)行為;4)符合一定的真實力學(xué)性質(zhì),比如碰撞檢測功能,杜絕“穿墻而過”等有違常理的情況出現(xiàn)[7];5)訪問者可以跟隨替身在展廳中對中藥進(jìn)行點擊實現(xiàn)人機(jī)交互,進(jìn)一步了解和學(xué)習(xí)。
2.1 場景調(diào)度 場景調(diào)度涉及到場景或物體的預(yù)讀及下場景卸載。場景要盡量小,以保證場景在網(wǎng)絡(luò)上傳輸時間不至于太長。場景大小考慮因素有2種:如果是web3d格式,考慮網(wǎng)絡(luò)傳輸速度;如果是pc,mac則要考慮顯存或內(nèi)存確保場景數(shù)據(jù)處理起來感覺不到時延。首先新建2個場景welcome和exhibition,在welcome中的Hierarchy面板中右鍵->UI->Button新建一個按鈕對象,然后選中Button按鈕,用移動工具放到合適的位置,在Inspector面板對顏色等屬性進(jìn)行調(diào)整,如標(biāo)題、字體的顏色和大小等,welcome場景如圖4a所示。為Button添加On Click單擊事件并將主攝像機(jī)拖拽到單擊事件里面,實現(xiàn)場景的切換;虛擬展廳進(jìn)入界面效果圖如圖4b所示。
2.2 碰撞檢測及交互
2.2.1 碰撞檢測 在Unity里面,物體的碰撞我們可以通過剛體組件(Rigidbody)和碰撞器組件(Collider)來進(jìn)行檢測。碰撞體是物理組件的一類,它要與剛體一起添加到對象上才能觸發(fā)碰撞,在物理模擬中,沒有碰撞體的剛體會彼此相互穿過。物體發(fā)生碰撞的必要條件是2個物體都必須帶有碰撞器,其中一個物體還必須帶有剛體組件。在unity3d中,能檢測碰撞發(fā)生的方式有2種,一種是利用碰撞器,另一種則是利用觸發(fā)器。給門添加觸發(fā)器(Trigger)實現(xiàn)門的觸發(fā),所謂“碰撞區(qū)域觸發(fā)”是指以門對象為中心,建立一個立方體碰撞區(qū)域,在門轉(zhuǎn)軸部分添加了一個空對象,并將門的模型包含于其中,對該空對象的角度控制,即可實現(xiàn)門的開關(guān)控制。當(dāng)人進(jìn)出門時,門會自動開合,如圖5所示,關(guān)鍵代碼如清單1所示。
2.2.2 藥材信息查詢 編寫yaocai_xs腳本運(yùn)用OnGUI()方法實現(xiàn)藥材的信息查詢功能,用戶鼠標(biāo)點擊中藥材模型后顯示相應(yīng)中藥材的信息介紹,鼠標(biāo)移開后信息界面消除,效果如圖6所示,代碼清單2所示:其他藥材做法與之一致。
GUILayout.Label("金銀花,又名忍冬(學(xué)名:Lonicera japonica)?!敖疸y花”一名出自《本草綱目》,由于忍冬花初開為白色,后轉(zhuǎn)為黃色,因此得名金銀花。又因為一蒂二花,兩條花蕊探在外,成雙成對,形影不離,狀如雄雌相伴,又似鴛鴦對舞,故有鴛鴦藤之稱。金銀花自古被譽(yù)為清熱解毒的良藥。它性甘寒氣芳香,甘寒清熱而不傷胃,芳香透達(dá)又可祛邪。金銀花既能宣散風(fēng)熱,還善清解血毒,用于各種熱性病,如身熱、發(fā)疹、發(fā)斑、熱毒瘡癰、咽喉腫痛等癥,均效果顯著."); }
2.3 光源設(shè)計
光源在場景的使用是很重要的,它決定了場景的氛圍和顏色基調(diào),在不同的場景和效果上使用不同的光源,而不同的光源又具有自己不同的特點和屬性,這樣的一些光源可以讓設(shè)計者在場景的設(shè)計上變得分明和多彩。Unity 3D中自帶4種光源:點光源、方向光源、區(qū)域光源、聚光燈光源[8]。
2.3.1 點光源 點光源從它的位置各個方向發(fā)出光線,影響其范圍內(nèi)的所有對象,作用類似燈泡;不會作用于整個地面;點光源照射表面光滑的模型會發(fā)生鏡面反射,照射表面粗糙的模型會發(fā)生漫反射;同一光照強(qiáng)度下,光滑的模型要比粗糙模型顯示更加明亮,因此,要提高中藥材的顯示效果,要提高點光源的range值,增強(qiáng)其光照強(qiáng)度,如圖7a所示。
2.3.2 平行光 平行光主要用于模擬在室外場景的陽光與月光,方向光影響場景中的對象的所有表面;方向光可以改變角度;在光滑表面的模型和粗糙表面的中藥材作用效果類似;方向光照射不均勻,總有一側(cè)出現(xiàn)陰影;如圖7b所示。
2.3.3 聚光 聚光燈在一個圓錐體范圍發(fā)射光線,它照亮的是圓錐體范圍內(nèi)的所有表面,作用類似于一個手電筒;同方向光類似,照射同樣不均勻;如圖7c所示。
2.3.4 區(qū)域光 區(qū)域光可以當(dāng)作是攝影用的柔光燈,在Unity里面他們被定義為單面往Z軸發(fā)射光線的矩形。區(qū)域光會均勻的照亮作用區(qū)域,區(qū)域光沒有范圍屬性可以調(diào)整,但是光的強(qiáng)度也是會隨著距離光源越遠(yuǎn)而遞減,如圖7d所示。
3 結(jié)語
基于Unity3D的VR智能展示系統(tǒng)紋理及光照模型設(shè)計,論述了系統(tǒng)的功能設(shè)計思路及關(guān)鍵技術(shù)。中藥材VR展示系統(tǒng)可以實現(xiàn)對中藥材的3D建模,人物虛擬漫游功能,碰撞檢測功能,實時光照功能,人機(jī)交互功能,方便人們學(xué)習(xí)中草藥、中醫(yī)藥文化,該系統(tǒng)后期還可以考慮添加相應(yīng)的聲音或者背景音樂功能,考慮進(jìn)行更精確的場景建模優(yōu)化,使模型更加完善。
參考文獻(xiàn)
[1]黃友良,劉仁權(quán),馬星光,等.基于Quest3D的虛擬中藥藥材展示系統(tǒng)研究與實現(xiàn)[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用,2015,15(1):53-54.
[2]張書河,郭愛銀.中藥原植物數(shù)字化展示的探索與實踐[J].中醫(yī)藥導(dǎo)報,2013,19(4):123-124.
[3]謝麗莎.廣西部份常用中藥材三維虛擬展示系統(tǒng)研究[D].南寧:廣西中醫(yī)藥大學(xué),2009.
[4]陶歐,喬延江.虛擬中藥材構(gòu)建技術(shù)的研究[J],北京中醫(yī)藥大學(xué)學(xué)報,2009,32(2):94-97.
[5]張偉,張淑苗.基于Unity3D的三維模擬針刺訓(xùn)練系統(tǒng)的設(shè)計與開發(fā)[J].衛(wèi)生職業(yè)教育,2016,34(13):28-29.
[6]曹課興.基于靜態(tài)圖像的360度全景校園展示的實現(xiàn)[J].中國商界,2011,17(6),153.
[7]丁鋒.top 3d造型技術(shù)[M].北京:兵器工業(yè)出版社,2006:10.
[8]Unity Technologies.Unity 5.x從入門到精通[M].北京:中國鐵道出版社,2016:4.
(2018-09-28收稿 責(zé)任編輯:王明)