林瑩瑩， 蔡睿凡， 朱雨真， 唐祥峻， 金小剛

(浙江大學(xué)CAD & CG國家重點實驗室，浙江 杭州 310058)

中國擁有長達萬年的陶瓷歷史，一直以來，陶瓷工藝都是中國文化和生活方式的重要載體。隨著人們對精神文化追求的逐步提高，陶瓷制作逐漸演變?yōu)榇蟊妸蕵沸蓍e的一種方式。然而，傳統(tǒng)的陶瓷工藝對制作環(huán)境和設(shè)備要求十分嚴格，普通的陶藝體驗館并無法將陶瓷制作工藝完好地展現(xiàn)出來。如拉坯步驟，需要對泥料進行陳腐、踩煉、揉泥等一系列操作，才能在轉(zhuǎn)盤上進行拉坯成型。更不用說，在燒制階段對高溫的要求和控制[1]。所以陶瓷制作工藝普及非常之難。因此，尋求一種便利且沉浸感良好的陶瓷制作體驗方法就變得十分必要。

在當今信息化的語境下，以信息方式對事物進行重新認知和互動，成為了新的主流方式[2]。越來越多的傳統(tǒng)行業(yè)為了更好地傳承發(fā)展，加入到信息化潮流之中，陶瓷行業(yè)也不例外。事實上，陶瓷產(chǎn)品設(shè)計早已不再是單一的手繪和人工拉坯成型，像3DMax，Maya等計算機輔助技術(shù)已經(jīng)被廣泛運用其中[3]，應(yīng)用型的陶瓷體驗軟件也曾出不窮，但這些方法均不是沉浸式虛擬現(xiàn)實(virtual reality, VR)環(huán)境的。

近年來，VR技術(shù)逐步興起，從各方面展現(xiàn)出優(yōu)秀的沉浸感，而動作捕捉技術(shù)的結(jié)合，加大了用戶體驗的參與感，這也為陶瓷制作工藝提供了新的解決方案。本文結(jié)合動作捕捉和 VR技術(shù)，利用Leap Motion和HTC Vive研發(fā)了一款沉浸式的虛擬陶藝體驗系統(tǒng)，使用戶擺脫陶瓷嚴苛的制作環(huán)境，沉浸到真實的虛擬制作場景中，利用自身的手部運動交互，實時修改陶瓷形狀，生成個性化陶瓷模型。為了實現(xiàn)這一個目標，在陶瓷的結(jié)構(gòu)設(shè)計時不僅要滿足動態(tài)變化，還需保證形變的平滑性和流暢性。具體解決方法將在3.1和3.2節(jié)闡述。

1 相關(guān)工作

VR是一種可以創(chuàng)建和體驗虛擬世界的計算機仿真系統(tǒng)，1987年，由VPL (Visual Programming Laboratory)實驗室的創(chuàng)立者Jaron Lanier正式提出。隨著計算機圖形學(xué)、廣角立體顯示等技術(shù)的蓬勃發(fā)展，VR相關(guān)應(yīng)用逐漸普及。其中，與Leap Motion為代表的體感技術(shù)相結(jié)合，是VR領(lǐng)域研究的一個重要方向[4]。截至目前，“Leap Motion+VR”技術(shù)已經(jīng)被運用到醫(yī)療、教育、文化、游戲等各個領(lǐng)域[5-7]。2017年，MA Seif團隊基于Leap Motion開發(fā)了一套醫(yī)療訓(xùn)練系統(tǒng)，使用戶可以通過手勢對醫(yī)學(xué)三維物體進行控制，從而實現(xiàn)真實、有效的醫(yī)療訓(xùn)練[8]。同年，DHARMAYASA等[9]利用Leap Motion開發(fā)了虛擬博物館系統(tǒng)，使用戶可以通過手部姿勢進行位置飛躍和漫游。HARIADI等[10]將印尼傳統(tǒng)樂器Sasando虛擬化，且構(gòu)建了三維結(jié)構(gòu)，利用 Leap Motion對琴弦進行撥動操控，實現(xiàn)對印尼文化的保護。CUI和SOURIN[11]開發(fā)了利用Leap Motion進行形狀建模的系統(tǒng)，用戶通過雙手動作，對場景中的物體進行自定義建模。

截止目前，已經(jīng)有許多針對虛擬陶瓷建模的工作。HAN等[12]提出用圓柱體元作為陶瓷模型單位進行建模，隨后 LEE等[13]將圓柱體元進一步細化為循環(huán)扇形，但對細分精度要求很高，且無法避免分界線的出現(xiàn)。而 KUMAR等[14]采用數(shù)論方法對輸入輪廓數(shù)據(jù)點進行樣條插值從而得到陶瓷模型，避免了復(fù)雜的計算，但是背離了真實的制陶交互。文獻[15-17]利用廣義圓柱體表示陶瓷模型，提出了針對陶瓷建模的手勢自由幾何方法，并采用拉普拉斯平滑實現(xiàn)陶瓷的全局和局部的變形，本文陶瓷定義參考了其工作。

在產(chǎn)品方面，Vinayak團隊先后推出了“Shape-It-Up”和“zPot”制陶系統(tǒng)[16-17]，兩者分別使用 Kinect相機和 Leap Motion對手部運動進行捕捉。2018年，GAO等[18]也利用Kinect相機實現(xiàn)了虛擬陶瓷交互系統(tǒng)，并加入特效和聯(lián)網(wǎng)分享。同年，CHIANG等[19]基于Leap Motion研發(fā)了虛擬陶瓷造型的訓(xùn)練系統(tǒng)。這4個系統(tǒng)均實現(xiàn)了完整的陶瓷建模功能，但用戶仍只能從二維屏幕獲取視覺反饋，沉浸感不高。而本文系統(tǒng)采用了“Leap Motion+VR”的方式，在保證用戶參與感同時，增加了視覺反饋，提升了虛擬交互的沉浸感。

2 技術(shù)實現(xiàn)

本系統(tǒng)是基于Unity 3D引擎開發(fā)，結(jié)合Leap Motion進行手部運動信息獲取，并通過HTC Vive提升交互沉浸感。整體開發(fā)流程包括4個步驟：

(1) 陶瓷結(jié)構(gòu)設(shè)計，包含造型和形變特征；

(2) 變化判斷和平滑控制，對手部運動進行定義，并判斷操作內(nèi)容，為形變過程添加約束函數(shù)，保證變化平滑；

(3) 數(shù)據(jù)動態(tài)保存和加載，將陶瓷網(wǎng)格數(shù)據(jù)動態(tài)保存為本地文件并支持動態(tài)加載；

(4) 虛擬場景構(gòu)建和材質(zhì)渲染，保證場景流暢性同時，構(gòu)建真實感場景和陶瓷對象。

2.1 陶瓷結(jié)構(gòu)設(shè)計

2.1.1 網(wǎng)格結(jié)構(gòu)定義

根據(jù)幾何屬性，將陶瓷結(jié)構(gòu)分為側(cè)面、頂部和底部結(jié)構(gòu)。根據(jù)陶瓷網(wǎng)格的幾何特性，可以將側(cè)面結(jié)構(gòu)描述為一組包含在高度[h1,h2](h1,h2∈?)處，半徑被連續(xù)閉區(qū)間[h1,h2]中的光滑函數(shù)(h):?→?定義的圓形界面的簡單均勻廣義圓柱。函數(shù)(h)可以被理解為陶瓷的輪廓曲線[15-16,20]?？紤]到現(xiàn)實中陶瓷具有厚度，其側(cè)面結(jié)構(gòu)可以看作由n個在一定高度區(qū)域間的空心圓環(huán)(外半徑為R，內(nèi)半徑為r，每個圓環(huán)上有m個頂點)組合而成，即

頂部結(jié)構(gòu)銜接了頂部圓環(huán)的內(nèi)外環(huán)，具體的結(jié)構(gòu)將在頂點計算中闡述。底面結(jié)構(gòu)則直接由2個法向量相反的圓形截面組成。最終結(jié)構(gòu)如圖 1所示(n=10，m=20)。

圖1 網(wǎng)絡(luò)結(jié)構(gòu)圖

2.1.2 頂點計算

基于網(wǎng)格結(jié)構(gòu)定義，本文對頂點、法向量、三角形序列等網(wǎng)格屬性進行了自定義。按照分布位置，頂點有3種情況：①內(nèi)外側(cè)面頂點；②銜接處頂點；③內(nèi)外底面頂點。其中，③類頂點如圖2所示，可由圓環(huán)結(jié)構(gòu)通過①類頂點求得。以vi,j,w表示第i個圓環(huán)的第j個頂點，w∈ { 0,1}表示頂點屬于內(nèi)環(huán)(w=1)還是外環(huán)(w=0)，rw為環(huán)內(nèi)外半徑，hi為環(huán)所處高度，則①類頂點為

②類頂點連接網(wǎng)格內(nèi)外側(cè)面，需進行如圖3所示的扇形切片處理。設(shè)扇形切片角度為θ，vi,j,w為第i個圓環(huán)(i=n,頂層圓環(huán))的第j個頂點的第k個切片頂點，voc為圓環(huán)的平均半徑向量，noc為voc的單位向量，n⊥為voc在y軸正方向上的單位垂直向量，則②類頂點為

圖2 網(wǎng)格底面

圖3 網(wǎng)格頂部

2.2 形變控制

2.2.1 手勢定義

對于用戶的陶瓷變化意圖，本文利用 Leap Motion對每幀手的位置、速度等信息進行提取、計算。如圖 4所示，vh為每幀手的運動向量；vhx和vhy分別為水平和垂直分向量；voh為手相對陶瓷軸心o的位置向量，那么兩者之間的夾角β可以通過下式計算，即

設(shè)定閾值ε1＞0，當 cosβ＞ε1，陶瓷半徑變大；當cosβ＜ε1，陶瓷半徑變??；否則半徑不變。另外，設(shè)定閾值ε2＞0，將其與手部在y軸上的運動速度vhy進行比較，如果vhy＞ε2，高度增加；如果vhy＜-ε2，高度降低；否則高度不變。為了避免用戶手部無意識的運動引發(fā)陶瓷形變和不同手勢互相干擾，本文對vhx和vhy進行比例限制，并對用戶操作范圍進行區(qū)域限制。如圖5所示，用戶手勢的操作范圍均包含在虛線包圍的空間中。設(shè)Pxz為手到陶瓷軸心距離；Py為手所處高度；和分別為所處高度圓環(huán)的內(nèi)外半徑；Hmin和Hmax為當前陶瓷高度邊界；和offy為非負偏移量，則縮小半徑和高度調(diào)整的手勢范圍為

圖4 手部運動的矢量關(guān)系

圖5 手勢交互范圍

2.2.2 平滑控制

陶瓷的形變是平滑過渡的，手部運動針對陶瓷輪廓的某一個觸發(fā)點進行控制，以觸發(fā)點為基準的不同高度的空心圓環(huán)半徑會發(fā)生不同程度形變。圖6為本系統(tǒng)陶瓷輪廓形變的狀態(tài)曲線，呈現(xiàn)出“越接近中心取值越大，越遠離中心取值越小”的變化趨勢，這與高斯曲線非常相似。因此，本文采用高斯函數(shù)對陶瓷輪廓頂點形變進行平滑控制，即

其中，rmin和rmax分別為半徑的極值；為手部控制點所處位置圓環(huán)的半徑；k0為敏感系數(shù)。同時，為了保證基于觸發(fā)點上下相同高度的空心圓環(huán)半徑變化一致，參數(shù)μ應(yīng)當始終為0。實驗中，參數(shù)δ基于經(jīng)驗調(diào)整得到，取值為4.5。

圖6 平滑變化曲線

2.3 數(shù)據(jù)動態(tài)保存和加載

本文將陶瓷網(wǎng)格結(jié)構(gòu)以 OBJ格式進行保存。見表1，在OBJ文件中，幾何實體占據(jù)一行，且必須以“v”，“vt”，“vn”或“f”開頭，依次對應(yīng)到網(wǎng)格的頂點、UV坐標、法向量以及面。將陶瓷網(wǎng)格數(shù)據(jù)動態(tài)存儲到OBJ文件的過程，就是將網(wǎng)格的頂點、法向量、UV坐標以及三角形序列數(shù)據(jù)轉(zhuǎn)化為字符串，并對應(yīng)到4個實體類型的過程。

表1 OBJ文件格式

在 Unity 3D中涉及多種資源位置，其中PersistentDataPath支持運行時寫入或讀取，與系統(tǒng)對動態(tài)保存和加載的需求契合。除了內(nèi)容可讀寫，還有2個特點：一是無內(nèi)容限制，可以寫入二進制文件；二是寫入的文件可以在電腦上查看和處理[21]。動態(tài)保存時，網(wǎng)格對象會被序列化，并轉(zhuǎn)換為字節(jié)流保存到 OBJ文件; 動態(tài)加載時，OBJ文件被反序列化，并加載到場景中。

2.4 虛擬場景構(gòu)建

VR場景構(gòu)建需要考慮2點：①場景真實感和用戶沉浸感；②畫面流暢感。綜合這2點，本文采用“近景網(wǎng)格模型，遠景實拍照片”的方法進行虛擬場景構(gòu)建，即在用戶周圍使用網(wǎng)格模型進行渲染，遠離用戶的場景采用實景照片進行合成。該方法減少了場景的面片數(shù)量，在保證畫面流暢感的同時，滿足了對場景真實感和用戶沉浸感的要求。

為了追求真實感，遠景圖片采用現(xiàn)場實拍合成的方法。首先，通過攝像機在選定拍攝點進行360°無縫連拍。為了保證拼接效果良好，相鄰圖片之間至少要有30%的重合，如圖7所示。通過合成軟件Image Composite Editor將照片拼接導(dǎo)入到 Unity 3D制作天空盒。圖8為拼接過程圖，圖9為制作成天空盒后的效果圖。其次，為了使陶瓷呈現(xiàn)出真實的黏土效果，本文增加了法向貼圖并進行了細節(jié)處理。

圖7 實拍照片

圖8 全景拼接

圖9 天空盒效果

3 結(jié)果展示

本文系統(tǒng)的設(shè)計目標是：用戶通過VR頭盔沉浸到虛擬場景中，用手部運動控制陶器形變。當用戶的手以陶器中心為軸向外(內(nèi))拉伸，手所處高度的圓環(huán)半徑及鄰邊圓環(huán)半徑會以一定的規(guī)律平滑變大(小)；當用戶的手沿其側(cè)壁上下移動，陶器的高度也隨之改變。另外，用戶還可以通過手勢 UI交互，進行保存或載入個性化網(wǎng)格、重新開始或退出游戲的操作。啟動場景如圖10所示。

圖10 啟動場景

3.1 配置和性能

圖 11為本文系統(tǒng)采用的 HTC Vive頭盔和Leap Motion動作捕捉設(shè)備。表2為系統(tǒng)開發(fā)和運行的相關(guān)配置。另本文系統(tǒng)運行場景的總頂點數(shù)為7.1 M，總面片數(shù)為6.7 M，平均幀率為47.1 fps。

圖11 頭顯及動作捕捉設(shè)備

表2 運行和開發(fā)配置

3.2 形變交互

本系統(tǒng)在形變交互中主要是利用手部運動控制陶瓷半徑和高度平滑變化。圖12為裸手交互的陶瓷形變實現(xiàn)效果，其中，圖 12(a)為基準圖，顯示陶瓷初始形狀。

圖12 形變交互過程圖

3.2.1 半徑變化

圖12(b)為將雙手置于陶瓷兩邊，并在距離陶瓷一定范圍內(nèi)同時向外伸展，手所處位置(觸發(fā)位置)的圓環(huán)半徑逐漸變大，鄰近的圓環(huán)半徑也隨之變大，增大數(shù)值隨著與觸發(fā)位置距離的增大而高斯減小。當陶器圓環(huán)半徑達到最大閾值，該位置的圓環(huán)半徑將停止增大。

圖12(c)為雙手置于陶器兩邊，雙手在距離陶瓷一定范圍內(nèi)向內(nèi)收縮，手所處位置的圓環(huán)半徑逐漸變小，鄰近的圓環(huán)半徑也隨之變小，減小數(shù)值隨著與觸發(fā)位置距離的增大而高斯減小。當陶瓷圓環(huán)半徑隨手內(nèi)收達到最小閾值時，半徑停止減小。

3.2.2 高度變化

將手置于陶器兩邊，保證手掌貼近陶瓷側(cè)面，慢慢向下移動，陶瓷高度逐漸變小，如圖 12(d)所示。當陶瓷高度達到最小閾值，停止變小。

將手置于陶器兩邊，保證手掌稍微遠離陶瓷，慢慢向上移動，陶瓷高度逐漸變大，如圖 12(e)所示。當陶瓷高度隨著手部的上升，達到最大閾值，高度停止變大。

3.2.3 組合操作

經(jīng)過一系列的如圖12(b)～(e)的隨機組合操作后，系統(tǒng)可以為用戶生成如圖12(f)所示的自定義陶瓷模型。

3.3 UI交互

當用戶停止手部交互，系統(tǒng)會開始計時，一旦超出預(yù)設(shè)時間，場景中會自動跳出如圖13的交互主面板，出現(xiàn)保存、加載、退出及重做4個交互選項。通過左/右滑動的手勢進行功能選擇，通過上/下滑動的手勢進行確定/取消操作。

圖13 主面板

選中并確認主面板中的保存選項，系統(tǒng)將保存當前場景中的陶瓷模型數(shù)據(jù)保存到指定路徑，并以當前時間命名模型文件。若保存成功，會在指定目錄下生成OBJ文件，用View 3D查看，如圖14所示。選中并確認主面板中的加載選項，界面跳轉(zhuǎn)到加載面板如圖15所示。通過上/下滑動手勢進行模型選擇，左/右滑動手勢進行確定/取消操作。選中模型并確定，若加載成功，場景中的陶瓷會替換成選中加載的陶瓷模型，且其材質(zhì)以燒制后的狀態(tài)呈現(xiàn)，如圖16所示。圖17是由系統(tǒng)生成的一系列陶瓷自定義模型，其造型各異，充滿了用戶的想象力和創(chuàng)造力。

圖14 保存成功

圖15 加載面板

圖16 加載成功

圖17 成果展示

4 用戶調(diào)研

本系統(tǒng)旨在為用戶提供更真實、更有趣的虛擬陶瓷體驗，讓用戶在發(fā)揮個人創(chuàng)意同時，感受陶瓷文化。為了驗證系統(tǒng)沉浸感和趣味性，本文進行了一組對比實驗和問卷調(diào)查。系統(tǒng)采用：“Leap Motion Only (LM)”模式和“Leap Motion+VR (LM+VR)”模式，邀請用戶依次通過這2種模式實現(xiàn)指定陶瓷模型。實驗結(jié)束，實驗者將會從沉浸感、完成度、操易度和趣味性4個方面分別對2種模式進行評估。

4.1 對比實驗

邀請實驗者20人，其中男性11人，女性9人，年齡為19～30歲。為了排除因為體驗順序不同造成的結(jié)果偏差，特將人員隨機分成 A組和 B組，A組按照“LM - LM+VR”的順序，B組反之。每次體驗前，實驗者均有2 min時間熟悉模式；體驗結(jié)束，系統(tǒng)會自動保存實驗者生成的模型和輪廓數(shù)據(jù)，并計算與目標模型的偏差值，計算方式為

其中，Hs和Ht分別為用戶模型和目標模型高度；ris和分別為2個模型的第i層圓環(huán)半徑。通過統(tǒng)計，得到圖18所示的偏差分布圖和圖19所示的平均偏差值對比圖。由圖可知，“LM”和“LM+VR”模式的偏差分別集中在[8，16)，和[0，8)，并且無論是A組還是B組，“LM”模式的偏差平均值始終要大于“LM+VR”模式。由此可知，“LM+VR”模式比“LM”模式對陶瓷形變的可控性更強，具有更好的沉浸感。也就是說，VR裝置確實為本文系統(tǒng)帶來體驗的提升和交互的增進。

圖18 偏差分布

圖19 平均偏差值對比

4.2 問卷調(diào)查

相較于對比實驗中針對偏差值的客觀分析，問卷調(diào)查主要體現(xiàn)用戶的主觀感受。圖20～23分別為實驗用戶對系統(tǒng)完成度、沉浸感、操易度、趣味性4個方面的評價。每種評價分數(shù)范圍為[0，10]，其中，完成度為最終完成模型與目標模型的相似度，分數(shù)越高表示相似度越高；沉浸感為用戶體驗真實感，分數(shù)越高越真實；操易度為用戶交互容易程度，分數(shù)越高表示越容易；趣味性為用戶主觀體驗是否有趣，分數(shù)越高越有趣。

圖20 完成度

圖21 沉浸感

圖22 操易度

圖23 趣味性

由圖 21和圖 23可知，“LM+VR”模式的沉浸感和趣味性均明顯優(yōu)于“LM”模式。一個實驗者在采訪中說，“帶上 VR頭盔的體驗完全不同于單純從屏幕獲得視覺效果，更有意思，而且更真實?！绷硪粋€實驗者則表示，“不帶虛擬頭盔無法知道自己的手到底在操控哪里!”值得注意的是，在圖 20和圖22中B組實驗者表示，“LM”模式的完成度和操易度要比“LM+VR”模式的要好。然而，參考圖18和圖19的偏差分布，可以發(fā)現(xiàn)實際上B組的完成度還是“LM+VR”模式更高(偏差值更低)。由于實驗者 2次目標模型是相同的，成員在“LM+VR”模式時對手勢交互及目標模型熟悉程度都沒有“LM”模式時高，導(dǎo)致對操易度產(chǎn)生影響。同時，又因為“LM+VR”模式更好的沉浸感為用戶提供了更多的陶瓷細節(jié)，使用戶在完成陶器時看到了更多偏差，導(dǎo)致主觀上的完成度比“LM”模式低。

可以看到，無論從對比實驗中的偏差值分布，還是主觀的問卷評估，都顯示了配備VR裝置系統(tǒng)的沉浸感和趣味性均要明顯優(yōu)于只有“LM”的模式。VR所帶來優(yōu)秀的沉浸感，不僅為用戶帶來了更豐富的細節(jié)和趣味性，也產(chǎn)生了更大的操作空間。

5 結(jié) 束 語

本文結(jié)合HTC VIVE、Leap Motion研發(fā)了一個VR陶藝體驗系統(tǒng)。用戶可通過徒手交互的方式，在虛擬環(huán)境進行陶藝體驗，系統(tǒng)具有良好的沉浸感和體驗感，不僅比單純屏幕顯示有了更真實、豐富的細節(jié)，還提供了更大的操作空間。

目前，該系統(tǒng)仍存在如下局限性：

(1) 用戶與陶器的交互是通過Leap Motion進行，手部屬于懸空操作。雖然在視覺效果上，用戶得到了實施有效的形變反饋，但是不能像現(xiàn)實中的陶瓷制作那樣，為用戶提供觸覺上力的反饋。這在一定程度上，大大降低了用戶虛擬陶瓷制作體驗的沉浸感。在之后的拓展開發(fā)中，可以引入力反饋手套等裝置，讓用戶在交互過程中能夠得到包括形狀、重量、溫度、力量等真實的感官反饋，進一步提升真實感和沉浸感。

(2) 當前系統(tǒng)的陶瓷形變反饋是依據(jù)用戶手的位置與運動速度，沒有考慮到手體運動存在不同的姿勢。這也在一定程度上，與真實制作過程中通過不同手勢控制陶坯變化的情況相違背，降低了體驗的真實感。在后續(xù)的開發(fā)中，可以加入真實制陶情景中的手勢識別，使陶器根據(jù)不同手勢會發(fā)生不同狀態(tài)的形變。

(3) 雖然系統(tǒng)保留的陶器數(shù)據(jù)可以直接用于3D打印，但是與實際的陶瓷工藝要求有一定距離。這是因為用戶在進行陶器創(chuàng)造時，缺少對陶器的半徑、厚度等重要參數(shù)的有效約束。后期考慮增加參數(shù)約束，以滿足自定義陶器實體化的需求。