馬雙

摘? 要 圍繞近幾年混合現(xiàn)實(shí)技術(shù)（MR）在國內(nèi)外醫(yī)學(xué)領(lǐng)域的發(fā)展動(dòng)態(tài)，分別從院校教育、畢業(yè)后教育、繼續(xù)教育三個(gè)階段，闡述其在醫(yī)學(xué)教育中的應(yīng)用現(xiàn)狀和發(fā)展前景。

關(guān)鍵詞 混合現(xiàn)實(shí)技術(shù);醫(yī)學(xué)教育;數(shù)字全息影像技術(shù);混合現(xiàn)實(shí)設(shè)備;可視化遠(yuǎn)程教學(xué)模式;教育信息化

中圖分類號(hào)：G642? ? 文獻(xiàn)標(biāo)識(shí)碼：B

文章編號(hào)：1671-489X（2020）09-0101-03

1 引言

混合現(xiàn)實(shí)（Mixed Reality，以下簡稱MR）技術(shù)是基于虛擬現(xiàn)實(shí)（Virtual Reality，VR）技術(shù)和增強(qiáng)現(xiàn)實(shí)（Augmented Reality，AR）技術(shù)進(jìn)一步發(fā)展而來的一種全新數(shù)字全息影像技術(shù)，是目前最前沿的跨界技術(shù)之一，與人工智能、量子計(jì)算、機(jī)器人科學(xué)一起，被稱為改變?nèi)祟愇磥淼目萍?。MR通過對現(xiàn)實(shí)世界進(jìn)行3D建模，將虛擬的物體或信息疊加其中，從而在真實(shí)的物理空間中創(chuàng)造出具有空間屬性的全息影像，并可使這個(gè)影像錨定在固定位置，實(shí)現(xiàn)虛擬世界與現(xiàn)實(shí)世界的融合[1]。

MR在國內(nèi)外工業(yè)制造、軍事和文化傳播領(lǐng)域已經(jīng)得到廣泛應(yīng)用，但在醫(yī)學(xué)上的應(yīng)用才剛起步，因?yàn)獒t(yī)學(xué)是一門要求嚴(yán)謹(jǐn)、精準(zhǔn)的學(xué)科，應(yīng)用門檻較高，這在一定程度上限制了MR在醫(yī)學(xué)領(lǐng)域的發(fā)展。近年來，隨著科學(xué)技術(shù)的不斷發(fā)展，MR在臨床醫(yī)療、醫(yī)患溝通等領(lǐng)域嶄露頭角，尤其在臨床治療中的應(yīng)用，給可視化醫(yī)療帶來突破性革新的可能?；贛R在醫(yī)療領(lǐng)域的應(yīng)用，結(jié)合其自身的優(yōu)勢和特點(diǎn)，將MR應(yīng)用于醫(yī)學(xué)教育，可以改善傳統(tǒng)醫(yī)學(xué)教育中存在的缺陷，為醫(yī)學(xué)教育開辟新的路徑。

2混合現(xiàn)實(shí)技術(shù)在醫(yī)療領(lǐng)域的應(yīng)用

醫(yī)學(xué)混合現(xiàn)實(shí)（Medical Mixed Reality，MMR）是MR在醫(yī)學(xué)領(lǐng)域的拓展和延伸，其應(yīng)用首先依賴于醫(yī)學(xué)三維模型的建立。目前，醫(yī)學(xué)模型的原始數(shù)據(jù)多來自CT和核磁共振的Dicom格式數(shù)據(jù)，依據(jù)原始數(shù)據(jù)通過三維可視化精準(zhǔn)渲染技術(shù)構(gòu)建三維模型，再將三維模型載入混合現(xiàn)實(shí)設(shè)備，最終形成源于MR的醫(yī)學(xué)模型;然后借助混合現(xiàn)實(shí)設(shè)備，如微軟的HoloLens全息眼鏡，將全息數(shù)字化立體影像真實(shí)、立體地呈現(xiàn)出來，并通過手勢、語音、外設(shè)等方式與全息影像進(jìn)行交互。

醫(yī)療手術(shù)中的應(yīng)用? 隨著虛擬仿真技術(shù)的蓬勃發(fā)展，醫(yī)學(xué)手術(shù)可視化系統(tǒng)從二維過渡到三維，實(shí)現(xiàn)了從數(shù)字化到智能化的跨越。目前，基于MR的可視化系統(tǒng)已經(jīng)應(yīng)用到醫(yī)療手術(shù)的各個(gè)階段，如病例討論、手術(shù)計(jì)劃制訂、術(shù)中輔助與引導(dǎo)、術(shù)后評(píng)估、術(shù)后康復(fù)等，促進(jìn)了醫(yī)療手術(shù)向高智能、高精度發(fā)展，從而進(jìn)一步優(yōu)化治療效果，提高醫(yī)療服務(wù)質(zhì)量[2]。近年來，我國相繼在骨科、泌尿外科、腫瘤外科、口腔科、耳鼻喉、眼視光等醫(yī)療領(lǐng)域利用MR輔助完成手術(shù)治療，創(chuàng)造了多個(gè)世界首例MR引導(dǎo)下的手術(shù)，通過全息可視化設(shè)備和強(qiáng)大手勢跟蹤功能，實(shí)現(xiàn)在術(shù)中無菌環(huán)境下與臨床數(shù)據(jù)的無接觸交互，從而促進(jìn)了醫(yī)生快速作出決策，有效增強(qiáng)了手術(shù)效果。

遠(yuǎn)程會(huì)診方面的應(yīng)用? 基于MR的可視化系統(tǒng)，醫(yī)學(xué)專家可以在混合現(xiàn)實(shí)環(huán)境下提供遠(yuǎn)程指導(dǎo)，完成疾病的輔助診斷和治療。在手術(shù)過程中，指導(dǎo)專家可以利用遠(yuǎn)程設(shè)備，通過手勢、鉛筆繪制草圖等方式，在目標(biāo)區(qū)域?qū)崟r(shí)注釋指導(dǎo)信息，快捷地將自己的建議傳遞給手術(shù)現(xiàn)場人員，有利于手術(shù)的快速高效完成。2018年，在中國首套基于HoloLens

的MR手術(shù)導(dǎo)航系統(tǒng)支持下，武漢協(xié)和醫(yī)院葉哲偉、吳星火教授團(tuán)隊(duì)成功完成全球首例基于MR的遠(yuǎn)程三地會(huì)診手術(shù)[3]。

醫(yī)患溝通方面的應(yīng)用? 依據(jù)患者的真實(shí)數(shù)據(jù)，利用三維可視化精準(zhǔn)渲染技術(shù)進(jìn)行三維立體成像，然后通過混合現(xiàn)實(shí)設(shè)備，患者可以立體、直觀、逼真地看到自己身體器官的位置、形態(tài)、結(jié)構(gòu)和病變狀況;醫(yī)生能夠更直觀、高效地解釋病情，有效彌補(bǔ)醫(yī)患雙方專業(yè)知識(shí)的鴻溝，使醫(yī)患溝通更簡單、準(zhǔn)確和順暢。

3 混合現(xiàn)實(shí)技術(shù)在醫(yī)學(xué)教育中的應(yīng)用

2017年，黨的十九大報(bào)告提出：“要完善職業(yè)教育和培訓(xùn)體系，深化產(chǎn)教融合、校企合作。”為新時(shí)代職業(yè)教育改革的發(fā)展指明了前進(jìn)方向，開啟了加快教育現(xiàn)代化、建設(shè)教育強(qiáng)國的新征程。2018年4月，以十九大精神為指引的《教育信息化2.0行動(dòng)計(jì)劃》出臺(tái)，標(biāo)志著教育信息化2.0時(shí)代的來臨。2018年10月，為加快推動(dòng)教育信息化轉(zhuǎn)段升級(jí)，教育部印發(fā)《關(guān)于實(shí)施卓越教師培養(yǎng)計(jì)劃2.0的意見》，明確指出：“要推動(dòng)人工智能、智慧學(xué)習(xí)環(huán)境等新技術(shù)與教師教育課程全方位融合，充分利用虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)和混合現(xiàn)實(shí)等，建設(shè)開發(fā)一批交互性、情境化的教師教育課程資源。”在多種政策的利好推動(dòng)下，MR與醫(yī)學(xué)教育的融合得到前所未有的發(fā)展契機(jī)。

MR在醫(yī)療領(lǐng)域的發(fā)展，為醫(yī)學(xué)教育開辟了一種高效、立體的全新教學(xué)模式。通過影像數(shù)據(jù)和斷層掃描構(gòu)建的全息數(shù)字化立體三維影像，借助混合現(xiàn)實(shí)眼鏡，使人體復(fù)雜的解剖結(jié)構(gòu)得以真實(shí)、立體地呈現(xiàn)，讓師生能夠在同一空間內(nèi)實(shí)時(shí)互動(dòng)，反復(fù)多次地進(jìn)行實(shí)踐演示，既解決了教學(xué)資源緊張的問題，又提高了學(xué)生的參與度和體驗(yàn)感，使教學(xué)更加高效、清晰。醫(yī)學(xué)教育是一個(gè)終生連續(xù)的過程，可以分為院校教育、畢業(yè)后教育和繼續(xù)教育三個(gè)階段，以下就MR在這三個(gè)階段的應(yīng)用進(jìn)行論述。

MR在院校教育中的應(yīng)用? 醫(yī)學(xué)院校教育是高等教育的重要組成部分，是醫(yī)學(xué)教育的基礎(chǔ)階段。醫(yī)學(xué)基礎(chǔ)理論、案例教學(xué)、基本實(shí)踐技能是醫(yī)學(xué)院校教育的重要內(nèi)容，本科生教學(xué)以基礎(chǔ)理論教學(xué)為主，研究生教學(xué)以基本操作和一般手術(shù)教學(xué)為主。利用MR可以將模擬醫(yī)學(xué)應(yīng)用在院校教育的各個(gè)階段，MR支持下的院校教育，將是繼立體化教材、微課、在線課程等信息化教學(xué)方式之后，又一個(gè)創(chuàng)新的教學(xué)模式。

1）在基礎(chǔ)理論方面。對人體大體形態(tài)結(jié)構(gòu)和微觀結(jié)構(gòu)，利用全息影像技術(shù)構(gòu)建的三維模型，借助混合現(xiàn)實(shí)設(shè)備，學(xué)生可以直接透視人體的解剖結(jié)構(gòu)，進(jìn)行全方位、立體化的觀察，不僅解決了教學(xué)資源緊張的問題，也提高了教學(xué)質(zhì)量和效率。

2）在案例教學(xué)方面。由于醫(yī)學(xué)生接觸真實(shí)案例的機(jī)會(huì)極少，僅通過文字和視頻學(xué)習(xí)，而沒有臨床情景的診療實(shí)踐，使教學(xué)缺乏帶入感和真實(shí)感。而通過模擬人和MR三維影像的結(jié)合，可以讓學(xué)生在聽覺、視覺、觸覺上深度感知臨床病例，指導(dǎo)學(xué)生開展多種臨床情景的診療實(shí)踐，從而有效解決這一難題。

3）在基本實(shí)踐技能方面。以往的教學(xué)多在模擬人教具上完成，學(xué)生在操作時(shí)對人體內(nèi)部結(jié)構(gòu)缺乏立體感知，與真實(shí)病例操作存在不小差距。MR可以將人體內(nèi)部結(jié)構(gòu)通過三維影像直觀地展示出來，并與模擬人結(jié)合，利用全息眼鏡真實(shí)地呈現(xiàn)，使技能操作更加直觀。

MR在畢業(yè)后教育中的應(yīng)用? 目前醫(yī)生培養(yǎng)的主要模式是“5+3”，即五年醫(yī)學(xué)類專業(yè)本科教育后，進(jìn)行三年住院醫(yī)師規(guī)范化培訓(xùn)（規(guī)培），住院醫(yī)師規(guī)范化培訓(xùn)是畢業(yè)后醫(yī)學(xué)教育的重要組成部分，是非臨床專業(yè)如護(hù)理、檢驗(yàn)技術(shù)、影像技術(shù)等專業(yè)的畢業(yè)后教育，是院校教育與臨床銜接的重要環(huán)節(jié)。與院校教育的以基礎(chǔ)理論、基本操作技能為教學(xué)重點(diǎn)不同，畢業(yè)后教育著重臨床操作技能的培養(yǎng)，利用MR進(jìn)行各種規(guī)范化臨床操作技能的訓(xùn)練和臨床思維能力的培養(yǎng)，可有效提高醫(yī)學(xué)生的各項(xiàng)臨床操作技能、醫(yī)學(xué)綜合診斷技能等。

很多教學(xué)醫(yī)院已經(jīng)開始利用MR聯(lián)合3D打印技術(shù)、模擬人等進(jìn)行復(fù)合教學(xué)，如胸腔穿刺術(shù)、側(cè)腦室穿刺技術(shù)、經(jīng)皮椎間孔入路腰椎間盤切除術(shù)等臨床操作技能，提高了教學(xué)效率，收到較好的效果[4]。在外科手術(shù)尤其是眼外科、整形外科等顯微外科手術(shù)教學(xué)中，術(shù)前根據(jù)CT、MRI檢查結(jié)果，利用基于MR的可視化系統(tǒng)進(jìn)行全息影像呈現(xiàn)，能夠更直觀、多角度地觀察目的血管走行及毗鄰，教師可以結(jié)合全息模型進(jìn)行手術(shù)的設(shè)計(jì)和優(yōu)化，還可以將手術(shù)方案與實(shí)際病例結(jié)合進(jìn)行講解，從而實(shí)現(xiàn)教學(xué)統(tǒng)一[5]。

MR在繼續(xù)教育（終身教育）中的應(yīng)用? 醫(yī)學(xué)是一門需要終身學(xué)習(xí)的學(xué)科，利用MR建立醫(yī)學(xué)繼續(xù)教育（終身教育）的可視化遠(yuǎn)程教學(xué)模式，符合教育部提出的堅(jiān)持信息技術(shù)與教育教學(xué)深度融合的核心理念，符合構(gòu)建網(wǎng)絡(luò)化、數(shù)字化、智能化、個(gè)性化、終身化的教育體系的要求?？梢暬h(yuǎn)程教學(xué)模式與基于MR的遠(yuǎn)程會(huì)診系統(tǒng)相似，在混合現(xiàn)實(shí)全息影像技術(shù)支持下，創(chuàng)設(shè)一個(gè)在線虛擬課堂，頭戴空間站的醫(yī)生使用全息模型進(jìn)行講解時(shí)，可以使用第三視角錄制軟件把醫(yī)生及在他視角中的全息模型采集到屏幕，利用網(wǎng)絡(luò)進(jìn)行全息直播，將處于不同地域?qū)W習(xí)者的虛擬化個(gè)體耦合連接到同一個(gè)在線虛擬課堂之中，實(shí)時(shí)交互，實(shí)現(xiàn)遠(yuǎn)程共享。這種可視化遠(yuǎn)程教學(xué)模式也適用于真實(shí)案例診療教學(xué)。

4 混合現(xiàn)實(shí)技術(shù)的優(yōu)勢和發(fā)展前景

與VR和AR技術(shù)相比，MR在醫(yī)學(xué)教育中更具優(yōu)勢。VR是一個(gè)在三維空間內(nèi)完全虛擬的世界，可以通過視覺、聽覺、觸覺等感官的模擬，給使用者以身臨其境之感，可以即時(shí)、沒有限制地觀察三維空間內(nèi)的事物，并與之交互，是一種全封閉的沉浸式體驗(yàn)，其優(yōu)勢是體驗(yàn)感較強(qiáng)，但脫離了真實(shí)世界，缺乏真實(shí)感。AR是把虛擬的物體疊加到真實(shí)世界，優(yōu)勢是增強(qiáng)了與真實(shí)世界的融合交互，但需要通過手機(jī)、平板電腦的攝像頭進(jìn)行識(shí)別，在這些設(shè)備的顯示屏幕上實(shí)現(xiàn)虛擬與真實(shí)的疊加，空間局限性削弱了使用者的體驗(yàn)感。MR則是把真實(shí)的物體疊加到虛擬世界里，在這個(gè)新的可視化環(huán)境里實(shí)現(xiàn)物理和數(shù)字對象的實(shí)時(shí)互動(dòng)，集合了VR和AR的優(yōu)勢，使其同時(shí)具備空間感和立體感。

MR可以充分調(diào)用豐富的教育素材和場景資源，通過虛擬與現(xiàn)實(shí)環(huán)境的融合和交互，在教學(xué)情境、教學(xué)實(shí)驗(yàn)、技能訓(xùn)練等場景化學(xué)習(xí)中，創(chuàng)造不再受限于地理空間的教育形式，將人的感覺延伸到新創(chuàng)建的學(xué)習(xí)場景中，充分調(diào)動(dòng)視覺、聽覺、觸覺甚至嗅覺等多種感官，更具沉浸感、代入感，能夠很好地激發(fā)學(xué)生的學(xué)習(xí)興趣，促使學(xué)生主動(dòng)探索。MR將在基礎(chǔ)理論教學(xué)、案例教學(xué)、實(shí)踐技能教學(xué)等方面，以嶄新的教育思維，推動(dòng)院校教育的發(fā)展;在畢業(yè)后教育階段，與3D打印技術(shù)、模擬人等結(jié)合進(jìn)行的復(fù)合教學(xué)更具發(fā)展前景;在可視化遠(yuǎn)程教學(xué)中更具發(fā)展空間。

MR將顛覆傳統(tǒng)的教學(xué)模式，在醫(yī)學(xué)教育的各個(gè)階段開辟新的教學(xué)路徑，加快推動(dòng)醫(yī)學(xué)教育信息化改革和創(chuàng)新步伐，有效縮短醫(yī)學(xué)人才培養(yǎng)周期。隨著國家創(chuàng)新驅(qū)動(dòng)發(fā)展戰(zhàn)略的實(shí)施，MR必將以其強(qiáng)大的教學(xué)功能優(yōu)勢和廣泛的應(yīng)用范圍在推動(dòng)醫(yī)學(xué)教育發(fā)展、加快教育信息化進(jìn)程、建設(shè)教育強(qiáng)國中發(fā)揮重要作用。

參考文獻(xiàn)

[1]Forrest W P， Mackey M A， Shah V M， et al. Mixed reality meets pharmaceutical development[J].Journal of Pharmaceutical Sciences， 2017，106（12）：3438-3441.

[2]GAO Y， TAN K， SUN J， et al. Application of Mixed?Reality Technology in Visualization of Medical Opera-tions[J].Chinese Medical Sciences Journal，2019，34（2）：103-109.

[3]張加堯，吳星火，馮曉波，等.混合現(xiàn)實(shí)技術(shù)在醫(yī)學(xué)領(lǐng)域的應(yīng)用[J].中華實(shí)驗(yàn)外科雜志，2019，36（1）：179-181.

[4]杜昌旺，史羅寧，王玫，等.3D打印聯(lián)合混合現(xiàn)實(shí)技術(shù)在側(cè)腦室穿刺教學(xué)中的運(yùn)用研究[J].中國醫(yī)學(xué)教育技術(shù)，2019，33（5）：603-606.

[5]燕榮帥，李翔，肖晶晶，等.混合現(xiàn)實(shí)技術(shù)在整形外科教學(xué)中的應(yīng)用探索[J].中國美容醫(yī)學(xué)，2018，27（2）：140-142.