摘要：目的：研究精準(zhǔn)建模和碰撞檢測與力反饋技術(shù)構(gòu)建多模態(tài)膝關(guān)節(jié)腔鏡微創(chuàng)手術(shù)虛擬仿真實(shí)訓(xùn)系統(tǒng)的構(gòu)建，滿足醫(yī)學(xué)人員實(shí)訓(xùn)訓(xùn)練。方法：以目前國內(nèi)外相關(guān)研究的局限性為出發(fā)點(diǎn)，在符合工程實(shí)踐的假定條件下，進(jìn)行VR、PC、WEB三端架構(gòu)研究，并以關(guān)鍵技術(shù)3D打印膝關(guān)節(jié)模型與數(shù)字模型高精度匹配，讓骨骼模型起伏和紋理細(xì)節(jié)最大程度還原，在碰撞物體中增加標(biāo)簽的方式及模糊算法有效解決物體穿面，增強(qiáng)力反饋，通過力反饋和電磁技術(shù)在精確實(shí)時(shí)定位方法的深入研究，可對(duì)關(guān)節(jié)視覺形態(tài)和物理屬性的精準(zhǔn)模擬。結(jié)果：多模態(tài)膝關(guān)節(jié)腔鏡微創(chuàng)手術(shù)虛擬仿真實(shí)訓(xùn)系統(tǒng)性能優(yōu)良，仿真度高，能夠滿足實(shí)訓(xùn)要求，達(dá)到設(shè)計(jì)目標(biāo)。結(jié)論：系統(tǒng)為醫(yī)學(xué)手術(shù)演練實(shí)訓(xùn)起到了重要的作用，提供了良好的平臺(tái)，這種構(gòu)建模式和技術(shù)拓展虛擬仿真系統(tǒng)的應(yīng)用范圍和受益人群，同時(shí)也為我國醫(yī)學(xué)教育技術(shù)創(chuàng)新與進(jìn)步起到了拋磚引玉的作用。

關(guān)鍵詞：多模態(tài)；膝關(guān)節(jié)腔鏡微創(chuàng)手術(shù)；虛擬仿真技術(shù)；高精度匹配；力反饋

人類膝關(guān)節(jié)受到不同原因的影響會(huì)引起膝關(guān)節(jié)病變，目前最有效治療膝關(guān)節(jié)疾病的方法就是微創(chuàng)外科關(guān)節(jié)鏡手術(shù)，膝關(guān)節(jié)腔鏡微創(chuàng)手術(shù)的需求很大，此類醫(yī)生的培養(yǎng)時(shí)間和培養(yǎng)規(guī)模都受到很大局限。因此，大規(guī)模培養(yǎng)具有理論與技能于一身的高水平專業(yè)醫(yī)生非常迫切。

近年來，膝關(guān)節(jié)虛擬仿真訓(xùn)練平臺(tái)應(yīng)用非常廣泛，中國人民解放軍總醫(yī)院與國防科技大學(xué)開始手術(shù)仿真訓(xùn)練系統(tǒng)研究，也有虛實(shí)結(jié)合通過操縱鍵盤和鼠標(biāo)控制手術(shù)器械進(jìn)行膝關(guān)節(jié)鏡手術(shù)中的半月板修復(fù)手術(shù)學(xué)習(xí)和模擬訓(xùn)練。在基于網(wǎng)絡(luò)和虛擬現(xiàn)實(shí)的虛擬仿真醫(yī)學(xué)研究中，Davis、Matthew Christopher等創(chuàng)建了增強(qiáng)現(xiàn)實(shí)VIPAR平臺(tái)，允許外科醫(yī)生通過無線網(wǎng)絡(luò)查看3D合成影像，提供術(shù)中實(shí)時(shí)遠(yuǎn)程虛擬協(xié)作［9］等。

通過信息技術(shù)的發(fā)展，基于VR、PC、WEB的架構(gòu)，均有各自優(yōu)勢和特點(diǎn)，但單一輸出方式不能符合當(dāng)代人群的獲取知識(shí)方式，達(dá)不到多模式訓(xùn)練的效果，網(wǎng)絡(luò)傳輸速率已經(jīng)不是束縛多模態(tài)大規(guī)模輸出的阻礙，國內(nèi)外膝關(guān)節(jié)仿真系統(tǒng)的應(yīng)用模態(tài)能夠?qū)崿F(xiàn)B/S應(yīng)用架構(gòu)，但是應(yīng)用方式以PC機(jī)為主，終端單一受限。在使用過程中，應(yīng)用數(shù)據(jù)需要下載到本地，并且要用高端計(jì)算機(jī)環(huán)境來支持渲染計(jì)算，其他終端無法承載，達(dá)不到數(shù)字化泛在學(xué)習(xí)的要求。另外，許多系統(tǒng)只適合一對(duì)一訓(xùn)練，且實(shí)時(shí)交互效果差，卡頓情況嚴(yán)重，基于一種引擎的開發(fā)導(dǎo)致程序無法復(fù)用，這些弊端日趨突顯。因此，在數(shù)字化的今天，支持多模態(tài)應(yīng)用在在校教育、手術(shù)實(shí)訓(xùn)和終身學(xué)習(xí)等方面非常重要。

本研究提出多模態(tài)構(gòu)建膝關(guān)節(jié)腔鏡微創(chuàng)手術(shù)虛擬仿真實(shí)訓(xùn)系統(tǒng)，將交互數(shù)據(jù)視頻流作為服務(wù)器向終端呈現(xiàn)的創(chuàng)新計(jì)算的方案，再根據(jù)GPU并行加速的特性，提升網(wǎng)絡(luò)服務(wù)器部署中的資源優(yōu)化性能和加速效率的算法和策略，優(yōu)化硬件體系結(jié)構(gòu)設(shè)計(jì)，通過改進(jìn)資源調(diào)度策略，擺脫系統(tǒng)運(yùn)行時(shí)對(duì)高端PC平臺(tái)支持的依賴，同步架構(gòu)VR版、WEB版模式，進(jìn)而將3D打印技術(shù)與數(shù)字模型進(jìn)行高精度匹配，再以碰撞檢測技術(shù)與器械傳感器獲取標(biāo)簽數(shù)據(jù)進(jìn)行模糊算法，較好地解決碰撞穿面的問題，減少影響和碰撞錯(cuò)誤率，實(shí)現(xiàn)較好的效果，最終搭建基于網(wǎng)絡(luò)的多模態(tài)膝關(guān)節(jié)虛擬仿真教學(xué)實(shí)訓(xùn)平臺(tái)。實(shí)驗(yàn)表明該模式優(yōu)于單一訓(xùn)練方式，有效解決平臺(tái)單一、多人訓(xùn)練、價(jià)格昂貴等問題，真正用于國內(nèi)醫(yī)學(xué)生教育與醫(yī)生的培訓(xùn)，填補(bǔ)社會(huì)對(duì)醫(yī)生巨大需求的缺口，拓展虛擬仿真系統(tǒng)的應(yīng)用范圍和受益人群。

1 方法

1.1 系統(tǒng)總體結(jié)構(gòu)設(shè)計(jì)

本研究通過UE4、C++編寫程序三層架構(gòu)兼顧視覺渲染、觸覺反饋、觸覺硬件、5G云開發(fā)的需求，研發(fā)膝關(guān)節(jié)腔鏡微創(chuàng)手術(shù)虛擬仿真實(shí)訓(xùn)5G云在線系統(tǒng)。系統(tǒng)結(jié)構(gòu)設(shè)計(jì)基礎(chǔ)模塊、實(shí)操模塊、展示模塊、模型庫/知識(shí)庫模塊、虛擬規(guī)范化培訓(xùn)場景5個(gè)部分，其中基礎(chǔ)模塊主要包括集合建模、物理建模、碰撞檢測、形變計(jì)算、力反饋計(jì)算等單元；實(shí)操模塊主要包括模型（骨科）、手術(shù)器械等單元；展示模塊主要包括三維重建、可視化、聲音系統(tǒng)等單元，向受訓(xùn)者提供一個(gè)直觀逼真的操作視野，提供一個(gè)“所見即所得”的操作環(huán)境；模型庫/知識(shí)庫模塊提供模型資源和知識(shí)幫助；虛擬規(guī)范化培訓(xùn)場景模塊提供一個(gè)操作界面和平臺(tái)，包括開機(jī)登錄界面、用戶注冊(cè)、培訓(xùn)（包括用戶登錄信息、病例信息、CT等影像資料、互動(dòng)式操作，具備信息提示、操作過程錄制、評(píng)價(jià)等功能）、管理等功能，提供單機(jī)版和網(wǎng)絡(luò)版等多種輸出模態(tài)。

1.2 VR、PC、web輸出模態(tài)融合搭建

基于Wi-Fi6和萬兆交換機(jī)的高速局域網(wǎng)傳輸環(huán)境和5G的互聯(lián)網(wǎng)傳輸環(huán)境，將膝關(guān)節(jié)虛擬仿真系統(tǒng)中VR程序部署到局域網(wǎng)的服務(wù)器上，多終端供多用戶同時(shí)使用，突破基于VR技術(shù)的教育平臺(tái)實(shí)時(shí)培訓(xùn)人數(shù)和時(shí)空限制；通過基于5G云的線上可視化和實(shí)時(shí)交互的Web版實(shí)現(xiàn)，構(gòu)建Web交互服務(wù)器程序，其功能是將仿真程序部署在5G網(wǎng)絡(luò)環(huán)境下的云服務(wù)器上，優(yōu)化終端功能，提供網(wǎng)絡(luò)連接、視頻解碼和人機(jī)交互，擺脫需要高端PC平臺(tái)支持的依賴，用戶通過HTML5瀏覽器訪問云端，利用不受時(shí)空限制的共享，實(shí)現(xiàn)膝關(guān)節(jié)仿真系統(tǒng)網(wǎng)絡(luò)化。多模態(tài)膝關(guān)節(jié)腔鏡微創(chuàng)手術(shù)虛擬仿真實(shí)訓(xùn)系統(tǒng)支持VR版、PC版和Web版三種輸出方式。

采用平均請(qǐng)求等待時(shí)間等于服務(wù)器平均請(qǐng)求處理時(shí)間乘以并發(fā)用戶數(shù)的算法，通過多任務(wù)輪流使用系統(tǒng)資源的策略，提升服務(wù)器并發(fā)處理能力和GPU的并發(fā)計(jì)算能力。通過優(yōu)化應(yīng)用層接口API虛擬化重定向算法，采用編寫應(yīng)用程序的方式在應(yīng)用層攔截與GPU相關(guān)的應(yīng)用程序編程接口API，利用重定向算法解決顯示卡時(shí)間片分配問題。通過對(duì)軟件底層代碼和算法的優(yōu)化，使用Hook方式接管系統(tǒng)API調(diào)用，解決GPU分時(shí)同步運(yùn)算，使單一顯卡虛擬化為供多用戶同時(shí)使用的數(shù)個(gè)虛擬顯卡，優(yōu)化H.265編碼，提高GPU工作效率，降低服務(wù)器視頻編碼流計(jì)算量，解決因交互請(qǐng)求過多引起的高并發(fā)與因服務(wù)器響應(yīng)延遲出現(xiàn)的卡頓等問題，非常具有挑戰(zhàn)性，實(shí)現(xiàn)GPU虛擬化，節(jié)省硬件開銷。通過硬件、引擎和驅(qū)動(dòng)三個(gè)層面優(yōu)化訪問并發(fā)數(shù)量的算法研究。

1.3 高精度匹配3D打印膝關(guān)節(jié)模型與數(shù)字模型

應(yīng)用虛擬仿真技術(shù)了解病灶環(huán)境，研究人員先后嘗試開發(fā)虛擬關(guān)節(jié)軟件系統(tǒng)，應(yīng)用3D MAX對(duì)人體膝關(guān)節(jié)腔建模，并以關(guān)鍵幀技術(shù)設(shè)計(jì)相關(guān)動(dòng)態(tài)模型，有助于顯示解剖結(jié)構(gòu)，模擬病變結(jié)構(gòu)。首先，將重建的膝關(guān)節(jié)三維模型導(dǎo)入stl格式，匹配與人類1∶1比例。同時(shí)，對(duì)于仿真器械的3D打印通過Dadymesh實(shí)現(xiàn)高精度匹配，精度控制在±0.01mm。通過對(duì)CT和MR提取dicom影像數(shù)據(jù)，形成中高精度模型。其次，導(dǎo)入Zbrush中進(jìn)行高精度模型的復(fù)原式雕刻，原因是提取出來的骨骼模型不包含粗隆、內(nèi)外側(cè)髁、髁間隆起等起伏和紋理細(xì)節(jié)，在Zbrush中完善細(xì)節(jié)后，通過Zrebuild拓?fù)涑蓸?biāo)準(zhǔn)的輸出模型，數(shù)量5000三角面一下，用以適應(yīng)Web緩存量，并帶有UV分布信息。然后，將模型導(dǎo)入U(xiǎn)E4中，將substance painter輸出的PBR材質(zhì)貼圖給予引擎的shader，將燈光中的reallignts關(guān)閉（Web不支持實(shí)施光照），并將帶有動(dòng)畫骨骼的fbx文件集成給骨骼模型，進(jìn)行運(yùn)動(dòng)測試。將shader模式調(diào)整成H5模式，在此模式下進(jìn)行視覺渲染。

根據(jù)3D建模數(shù)據(jù)，用3D打印機(jī)打印出手術(shù)器械和定制的假體，可精確和程序匹配，做到虛實(shí)同步，由此極大地提高了仿真度，這種方式不僅可以還原模型本身，并且讓骨骼模型起伏和紋理細(xì)節(jié)最大程度還原，在訓(xùn)練手術(shù)過程更加精確。

1.4 驗(yàn)證碰撞檢測與器械傳感器

在使用UE4構(gòu)建膝關(guān)節(jié)三維模型與多功能手柄CLAW的交互場景，需要進(jìn)行二者的碰撞檢測。通過控制手的位置和反饋力的大小，可以根據(jù)解剖或手術(shù)操作將手柄模擬成不同的物體，如內(nèi)窺鏡鏡頭、探鉤等構(gòu)建解剖或手術(shù)等場景。

通過在碰撞物體中增加tag及模糊算法的方式能夠較好地解決碰撞穿面問題。首先明確網(wǎng)絡(luò)數(shù)據(jù)接口，在用戶驗(yàn)證時(shí)使用XJWT標(biāo)準(zhǔn)，此標(biāo)準(zhǔn)基于JSON Web Token（JWT）開發(fā)。XJWT包含三個(gè)參數(shù)：header，payload，signature。Token的組成結(jié)構(gòu)是based64（raw header）+'.'+base64（raw payload）+'.'+base64（raw signature），使用base64解碼signature，通過secret key驗(yàn)證，如果驗(yàn)證失敗，則token失效。使用base64解碼header，將得到的過期時(shí)間（expiry）和當(dāng)前時(shí)間進(jìn)行比較，如果已過期，則token失效；如果沒有提供header type，則token失效；使用base64解碼，并使用aes key進(jìn)行解密，得到的數(shù)據(jù)前8 byte和aes padding數(shù)據(jù)將被丟棄，返回剩余的數(shù)據(jù)json。各實(shí)驗(yàn)教學(xué)訓(xùn)練項(xiàng)目取得用戶數(shù)據(jù)后，能夠自行進(jìn)行保存，其碰撞測試精度001mm。VR輸入設(shè)備能夠?qū)崟r(shí)捕捉操作者的動(dòng)作并通過傳感設(shè)備向計(jì)算機(jī)系統(tǒng)報(bào)告，計(jì)算機(jī)便會(huì)檢測虛擬手術(shù)器械與研究對(duì)象模型間的碰撞，并在符合切割的條件下進(jìn)行模型分裂，計(jì)算柔性體的形變，通過反饋裝置將組織器官、血供等形變的反作用力實(shí)時(shí)反饋給操作者。

1.5 融入力反饋定位技術(shù)

在研究中，將該系統(tǒng)手術(shù)器械采用醫(yī)學(xué)真實(shí)設(shè)備，并在虛擬現(xiàn)實(shí)系統(tǒng)里真實(shí)還原設(shè)備的造型和運(yùn)動(dòng)。通過不同的電流大小來控制不同的力度，采用基于幾何意義的高斯分布模型，來模擬組織內(nèi)部的力反饋形變，同時(shí)，通過電磁技術(shù)，實(shí)時(shí)獲取定位傳感器在磁場發(fā)生器的磁場空間內(nèi)的電磁定位系統(tǒng)坐標(biāo)系，從而獲取手術(shù)器械在電磁定位系統(tǒng)坐標(biāo)系的位置，用戶操作設(shè)備手柄控制力觸覺渲染接口的6自由度空間位置姿態(tài)，包括x、y、z三個(gè)軸向的移動(dòng)和旋轉(zhuǎn)，并能夠多向自由力輸出，通過坐標(biāo)映射得到虛擬環(huán)境中代理點(diǎn)的同步位姿，代理點(diǎn)與虛擬模型之間進(jìn)行碰撞檢測和反饋力計(jì)算，使虛擬場景中的物體根據(jù)需要實(shí)時(shí)交互，做到虛實(shí)同步，從而提高仿真度。

本研究基于高速的網(wǎng)絡(luò)傳輸，結(jié)合VR技術(shù)、電磁定位技術(shù)、力反饋技術(shù)，建構(gòu)三維虛擬仿真模型，通過WebRTC技術(shù)實(shí)現(xiàn)實(shí)時(shí)視頻通信進(jìn)行視頻解碼，采用VR視角匹配，多模態(tài)輸出，最終達(dá)到膝關(guān)節(jié)內(nèi)組織的可視化、建立關(guān)節(jié)內(nèi)組織的動(dòng)態(tài)模型、組織的應(yīng)力形變仿真、柔性體實(shí)現(xiàn)、模擬關(guān)節(jié)科微創(chuàng)手術(shù)案例展示、力反饋和定位系統(tǒng)應(yīng)用、高速圖形顯示與圖像處理。

2 結(jié)果

基于VR、PC、WEB輸出模態(tài)，具有三維可視化和實(shí)時(shí)交互功能的網(wǎng)絡(luò)實(shí)訓(xùn)平臺(tái)環(huán)境，將復(fù)雜的GPU渲染和編碼任務(wù)全部交由服務(wù)器端處理的算法和策略，通過優(yōu)化硬件體系結(jié)構(gòu)設(shè)計(jì)和改進(jìn)資源調(diào)度，使學(xué)習(xí)者通過HTML5瀏覽器、筆記本、電腦、PAD和智能手機(jī)等設(shè)備直接與虛擬仿真程序進(jìn)行實(shí)時(shí)交互，擺脫其對(duì)高端PC平臺(tái)支持的依賴。VR版可通過VR頭盔和手柄進(jìn)行個(gè)性學(xué)習(xí)，PC版可在PC端進(jìn)行可視化多人小組學(xué)習(xí)，Web端可通過瀏覽器線上可視化學(xué)習(xí)。VR版幀率達(dá)到60fHmhIr4WhtP4mL8hfJWAdNA==ps，PC版虛擬仿真系統(tǒng)的幀率達(dá)到120fps，WEB版幀率達(dá)到90fps。

3 討論

優(yōu)化WebRTC（Web Real-Time Communication）的算法，突破實(shí)時(shí)發(fā)送視頻流時(shí)造成大量延時(shí)，且難以克服的瓶頸。通過優(yōu)化CUDA編程模型和H.265幀內(nèi)編碼算法，改進(jìn)H.265預(yù)測算法，提高編碼效率。通過設(shè)計(jì)和優(yōu)化硬件結(jié)構(gòu)體系，改進(jìn)資源調(diào)度策略強(qiáng)化終端通用性和使用效率，解決網(wǎng)絡(luò)中實(shí)時(shí)視頻傳輸容易引起的畫面失真問題，使兼容HTML5的瀏覽器可在無須安裝任何插件或者第三方軟件支持的情況下，實(shí)現(xiàn)音視頻交互實(shí)時(shí)傳輸功能。

多模態(tài)構(gòu)建不同輸出系統(tǒng)設(shè)計(jì)方式，具有技術(shù)優(yōu)勢，支持VR版（SDK輸出）、PC版（DX11輸出）和Web版（國際Web 3D標(biāo)準(zhǔn)輸出）三種模態(tài)輸出方式，能夠滿足不同應(yīng)用范圍和受益人群。

3D打印數(shù)字模型的高精度匹配能夠最大限度還原手術(shù)案例模型，在手術(shù)仿真演練過程中，操作者可以手持力反饋設(shè)備的3D打印手柄控制虛擬手術(shù)器械的運(yùn)動(dòng)，通過高頻率的觸覺刷新線程來保證二者的空間位置和姿態(tài)達(dá)到同步。系統(tǒng)具備較好的人機(jī)交互設(shè)計(jì)流程，為更多的學(xué)生及醫(yī)生提供了訓(xùn)練條件，有效提升手術(shù)專業(yè)度，有很高的應(yīng)用和推廣價(jià)值。

力反饋利用機(jī)械表現(xiàn)出反作用力，提供真實(shí)的阻力，力觸覺交互設(shè)備為用戶提供了和虛擬環(huán)境進(jìn)行觸覺交互的工具，則需要大激勵(lì)器和重結(jié)構(gòu)，在手術(shù)器械里面植入高精度傳感器和電磁鐵。當(dāng)虛擬環(huán)境遇到阻力的情況下，現(xiàn)實(shí)的器械也會(huì)有阻力反饋，用戶感覺到機(jī)械帶寬即力的頻率和轉(zhuǎn)矩的刷新率。

綜上所述，構(gòu)建多模態(tài)膝關(guān)節(jié)虛擬仿真系統(tǒng)為醫(yī)學(xué)教學(xué)、新生規(guī)劃培訓(xùn)、技能測試、技術(shù)學(xué)習(xí)、手術(shù)規(guī)劃等諸多方面提供了重要的平臺(tái)，降低學(xué)習(xí)成本，提升訓(xùn)練效果，提高學(xué)習(xí)興趣，助力醫(yī)學(xué)創(chuàng)新型人才培養(yǎng)，系統(tǒng)也能夠?yàn)榕R床手術(shù)提供更加科學(xué)的方案，為患者提供精準(zhǔn)安全的手術(shù)。

參考文獻(xiàn)：

［1］朱曉俊，甄莉.對(duì)進(jìn)行膝關(guān)節(jié)鏡手術(shù)的膝關(guān)節(jié)疾病患者實(shí)施臨床路徑護(hù)理的效果探析［J］.當(dāng)代醫(yī)藥論叢，2019，17（17）：169-170.

［2］譚珂，郭光友，潘新華，等.膝關(guān)節(jié)鏡手術(shù)仿真訓(xùn)練系統(tǒng)設(shè)計(jì)［J］.計(jì)算機(jī)仿真，2009，26（12）：290-293+324.

［3］韓雙景．交互式虛擬膝關(guān)節(jié)鏡手術(shù)中半月板修復(fù)術(shù)的研究與實(shí)現(xiàn)［C］.中國圖象圖形學(xué)學(xué)會(huì).第十五屆全國圖象圖形學(xué)學(xué)術(shù)會(huì)議論文集.中國圖象圖形學(xué)學(xué)會(huì)：中國圖象圖形學(xué)學(xué)會(huì)，2010：471-474.

［4］Davis MC，Can DD，Pindrik J，et al.Virtual Interactive Presence in Global Surgical Education：International Collaboration Through Augmented Reality［J］.WORLD NEUROSURGERY，2016，86：103-111.

作者簡介：程巍（1983—），女，漢族，河南新鄉(xiāng)人，碩士，講師，研究方向：教育技術(shù)學(xué)。

通訊作者：婁巖（1961—），男，漢族，沈陽遼寧人，博士，教授，研究方向：計(jì)算機(jī)應(yīng)用。