摘 要 AR技術(shù)在書籍?dāng)?shù)字化呈現(xiàn)中的應(yīng)用較多關(guān)注童書與醫(yī)書，鮮見美術(shù)類書籍。通過梳理AR技術(shù)在美術(shù)類書籍中的應(yīng)用范圍，分析美術(shù)類書籍二維與三維全景AR數(shù)據(jù)采集方法，提出美術(shù)類書籍AR可視與可聽內(nèi)容的設(shè)計，建議設(shè)計師參考認(rèn)知負(fù)荷與眼動追蹤理論，為美術(shù)類書籍?dāng)?shù)字化AR呈現(xiàn)，在素材數(shù)據(jù)的采集、處理、展示與利用方面提出可行性建議。

關(guān)鍵詞 AR技術(shù);美術(shù)類書籍;采集;呈現(xiàn);陶瓷

引用本文格式 孫曉燕. AR技術(shù)在美術(shù)類書籍?dāng)?shù)字化呈現(xiàn)中的應(yīng)用[J].創(chuàng)意設(shè)計源，2019（6）：17-21.

The Application of AR Technology in Digital Presentation of Art Books

SUN Xiaoyan

Abstract The application of AR technology in the digital presentation of books， more attention to children's books and medical books， rarely art books. Through combing the AR technology in the application of art books， 2D and 3D panoramic analysis of art books AR data acquisition method， put forward the art books AR visual and audible content design， digital AR present for art books， in the material data acquisition， processing， display and utilization in feasible suggestions are put forward.

Key Words AR technology;Art books;Acquisition;Present;Ceram

[基金項目] 本文系2018年度河南省軟科學(xué)研究計劃項目“河南省建設(shè)全國重要文化高地的對策研究”（項目編號：182400410220）;2018年度河南省教育廳人文社會科學(xué)研究項目“基于AR技術(shù)的河南陶瓷文化遺產(chǎn)保護(hù)方法轉(zhuǎn)型研究”（項目編號：2018-ZZJH-104）;2019年度河南省高等學(xué)校青年骨干教師培養(yǎng)計劃（項目編號：2019GGJS091）階段性成果。

引言

AR（Augmented Reality，簡稱AR）書籍與VR（Virtual Reality，簡稱VR）書籍是目前出版行業(yè)針對大眾閱讀方式的改變而探索出的轉(zhuǎn)型產(chǎn)品，這種體驗式的全新閱讀方式使讀者在閱讀過程中接受信息的途徑更加多元化。AR書籍與VR書籍的區(qū)別在于，前者是對真實環(huán)境提供信息的補(bǔ)充，后者則是引領(lǐng)讀者進(jìn)入一個完全虛擬的世界。近年來增加現(xiàn)實技術(shù)不斷發(fā)展，形成了魔鏡技術(shù)（See Through）和空間增強(qiáng)技術(shù) （Spatial Augmented），這兩種技術(shù)途徑在文化遺址展示中均有運用。[1]

有關(guān)AR技術(shù)在書籍出版中的應(yīng)用，較多案例是關(guān)注兒童書籍（圖1）、醫(yī)學(xué)書籍等，鮮見美術(shù)類書籍?，F(xiàn)有美術(shù)類書籍?dāng)?shù)字化多注重二維的視角呈現(xiàn)，而作品對場景的呈現(xiàn)、不同媒材的制作工藝、多視角的觀察體驗是現(xiàn)有數(shù)字類書籍不能實現(xiàn)的。2017年國家出臺《關(guān)于實施中華優(yōu)秀傳統(tǒng)文化傳承發(fā)展工程的意見》指出當(dāng)下迫切需要深入挖掘中華優(yōu)秀傳統(tǒng)文化價值內(nèi)涵，進(jìn)一步激發(fā)中華優(yōu)秀傳統(tǒng)文化的生機(jī)與活力;《國家文物事業(yè)發(fā)展“十三五”規(guī)劃》提出“多措并舉讓文物活起來”，本文以此為契機(jī)，展開AR技術(shù)在美術(shù)類書籍內(nèi)容設(shè)計中的探討。

一、美術(shù)類書籍出版現(xiàn)狀

（一）美術(shù)類書籍出版資源

繪畫、雕塑、工藝美術(shù)、建筑、書法篆刻等視覺文化研究類書籍越來越多地被考古、文博、拍賣、教育、科研院所等行業(yè)利用。美術(shù)類書籍的特點如下：針對特定的讀者群，利潤空間大;發(fā)行量小，銷售周期長。若使美術(shù)類書籍能夠引起數(shù)字出版的長尾效應(yīng)，就必須使其對受眾具有強(qiáng)烈的吸引力。在大數(shù)據(jù)應(yīng)用環(huán)境下，用戶終端的所有信息例如：何時、何地、選擇性閱讀的內(nèi)容、單頁停留時間等均可用以研究受眾閱讀行為習(xí)慣與偏好，精準(zhǔn)確定受眾知識獲取需求，深度開發(fā)主題性、專業(yè)性較強(qiáng)的數(shù)字出版產(chǎn)品。

（二）AR技術(shù)在美術(shù)類書籍?dāng)?shù)字化呈現(xiàn)中的應(yīng)用范圍

AR技術(shù)可以完善和豐富人們探究藝術(shù)領(lǐng)域的方法，讓公眾也有可能接觸到那些本身易損的文獻(xiàn)資料。以下分別從繪畫、雕塑、工藝美術(shù)、建筑、書法這五個方面進(jìn)行分析。

繪畫：大眾對繪畫的認(rèn)知較多停留在傳世卷軸畫，由于古書畫的紙張、絹綾、顏料為有機(jī)質(zhì)，對環(huán)境的要求較高（溫度、濕度以及光照），傳世的著名卷軸畫多為后世摹本。今天我們可以看到的唐朝之前的繪畫大多為壁畫、帛畫及漆木器上的圖像。AR技術(shù)可以將這部分的圖像完整展示出來，以補(bǔ)充早期繪畫資料的不足。

雕塑：現(xiàn)有書籍的雕塑插圖展示角度單一，面對一件雕塑品一般只會選擇其視覺效果最好的角度進(jìn)行展示。例如甘肅武威出土的銅奔馬（圖2），其側(cè)面形象地展示了駿馬風(fēng)馳電掣的奔騰氣勢，被用于中國旅游的標(biāo)志。但對于觀者來說，應(yīng)從各個角度全面觀察才能客觀地理解作品內(nèi)涵，正面的銅奔馬會給讀者不一樣的視覺體驗，但這部分信息一般都被省略掉了。

工藝美術(shù)：工藝美術(shù)的傳世品與出土物較多，我國先秦時期的古籍《考工記》已經(jīng)提出了工藝美術(shù)的評價標(biāo)準(zhǔn)“材美工巧”，材料好、工藝好。古代優(yōu)秀的工匠和上等的材料都被官府壟斷，今天我們能在博物館里看到的優(yōu)秀工藝美術(shù)作品只呈現(xiàn)出制品的完成狀態(tài)，AR技術(shù)可以將藝術(shù)品的材質(zhì)優(yōu)選、造型特征以及制作工藝過程還原出來，使公眾對作品的認(rèn)知進(jìn)一步加深。

建筑：空間是建筑的主角，建筑提供給人們的除了室內(nèi)空間，還包括紀(jì)念碑、廣場、橋梁等室外空間。AR技術(shù)可以將建筑與人的比例進(jìn)行反轉(zhuǎn)，使觀者站可以以自主選擇的視角進(jìn)行觀察。

書法：中國人對書法的推崇從古至今從未間斷，公眾驚嘆于傳世書法作品的骨法用筆，但對于沒有研習(xí)過書法的普通大眾來講，只看最終作品而無法得知運筆的起收、順逆、提按、遲速、藏露以及對筆鋒的掌控，特別是運筆中腕、肘、指的變化與字體的關(guān)系。AR技術(shù)可以將作品書寫過程中的運筆過程還原出來，一方面為書法研習(xí)者提供學(xué)習(xí)參考，另一方面也可為普通大眾提供知識普及。

二、美術(shù)類書籍AR數(shù)據(jù)采集

美術(shù)類書籍AR數(shù)據(jù)采集是指將文獻(xiàn)和文物等進(jìn)行高質(zhì)量、無損壞的掃描。采集方案的制定與采集技術(shù)的選擇是AR技術(shù)呈現(xiàn)質(zhì)量的關(guān)鍵所在，廣泛而全面地從源頭獲取高質(zhì)量的數(shù)據(jù)是美術(shù)類AR書籍長期而艱巨的任務(wù)。

（一）二維數(shù)字化采集

二維數(shù)字化采集技術(shù)主要是針對古籍、畫稿、圖冊、平面紋理等二維文物對象提出的。[2]但囿于設(shè)備、技術(shù)與成本，美術(shù)書籍?dāng)?shù)字化采集主要采用二維手段，對于普及類書籍勉強(qiáng)夠用。但隨著人們閱讀評價標(biāo)準(zhǔn)的日益提高以及讀者深度閱讀需求的增加，二維數(shù)字化采集技術(shù)顯得杯水車薪。

（二）三維全景數(shù)字化采集

三維激光掃描技術(shù)主要是利用掃描儀，通過三維掃描測量技術(shù)，采集物體的空間坐標(biāo)、尺寸以及紋理影響等數(shù)據(jù)。[3]在不接觸、無損害的前提下，通過掃描獲取的數(shù)據(jù)為后期的三維重建提供了重要的數(shù)據(jù)支撐。三維掃描的優(yōu)勢體現(xiàn)在：對于封閉的器物，在不破壞器物的前提下，即可獲取其內(nèi)部結(jié)構(gòu)與工藝信息。其弊端是：后期處理數(shù)據(jù)時，掃描點云與文物自身的紋理不能自動匹配，后期處理數(shù)據(jù)時工作量較大。例如壁畫的三維掃描中就不能找到足夠的匹配點，繼而影響紋理貼合的精準(zhǔn)度。再如陶瓷類制品表面的釉色與紋理效果非常豐富，但反光度高，在進(jìn)行三維數(shù)字化采集過程中會出現(xiàn)數(shù)據(jù)缺失的現(xiàn)象。

三、美術(shù)類書籍AR可視內(nèi)容的設(shè)計

在AR出版物中敘事設(shè)計的元素主要有紙質(zhì)內(nèi)容中的文本、圖片和AR內(nèi)容中的聲音、模型和動畫。[4]135美術(shù)類書籍則偏重將素材AR的音頻、視頻、360°場景與模型動畫等鏈入紙質(zhì)媒體之中。

（一）素材本體可視內(nèi)容的呈現(xiàn)

二維呈現(xiàn)的主要有繪畫、書法等平面形態(tài)的素材;三維呈現(xiàn)的主要有工藝美術(shù)品、建筑、雕塑等立體形態(tài)的元素。AR呈現(xiàn)的途徑是通過材料、造型與工藝來完成。利用3D模型結(jié)構(gòu)的呈現(xiàn)是AR表現(xiàn)的主要優(yōu)勢，可滿足觀者平移、縮放、旋轉(zhuǎn)等多視角觀察的需求，在不切割器物的前提下，制作準(zhǔn)確的平、剖面圖。國家文物局支持項目——陜西歷史博物館藏品圖冊是美術(shù)類書籍較早涉足AR呈現(xiàn)的案例（圖3），紙質(zhì)圖冊僅提供實物圖與線圖，語音旁白與紙質(zhì)書籍的文字內(nèi)容也相對應(yīng)，但未提供平、剖面圖，知識擴(kuò)展度有限。

以陶瓷器為例，鈞瓷是我國北方產(chǎn)瓷區(qū)的重要品類，器型古拙、釉色多變，其獨特的窯變釉工藝延續(xù)至今，連年作為國禮贈與各國政要。鈞瓷制品的AR可視內(nèi)容可從材料、器型、工藝、窯址四部分入手。

材料：陶瓷是由泥土、水與火構(gòu)成的藝術(shù)，大型瓷窯均采用就地取材的原則。歷史上，由于森林植被的萎縮與燃料的減少，一些著名瓷窯相繼衰敗。AR技術(shù)可利用3D模型將制瓷材料取用、物候的變化與自然環(huán)境的變遷向觀者展示陶瓷在歷史脈絡(luò)中的興衰軌跡。

造型：鈞瓷AR展示的重點是器型、釉色與裝飾。古代鈞官窯制品主要以花盆、尊、瓶為主，今天的鈞窯制品為融入現(xiàn)代生活，在器型上與其他瓷窯相日漸趨同，但“鈞瓷無雙”的窯變釉色仍然使其具有極高的辨識度。鈞瓷以重器型與釉色輕紋飾著稱，今天的鈞瓷制品常用裝飾手法以模印、鏤、印塑等技法為主。AR展示中可利用3D模型進(jìn)行手工拉坯、修改模型等交互體驗，讀者既可以仿制古鈞瓷傳統(tǒng)器型，又可進(jìn)行含有流行元素的現(xiàn)代鈞瓷創(chuàng)新設(shè)計。

工藝：工藝包括原料制備、坯體成型、坯體干燥及素?zé)?、施釉、燒成等。用AR展示中3D模型交互式動畫來實現(xiàn)讀者與鈞瓷燒造工藝流程的互動，讀者可隨個人喜好自主選擇手工拉坯的造型、調(diào)配釉料、模印與貼塑的零件等，打造個性化定制鈞瓷制品。

窯址：1999年《巴拉憲章》提出“具有文化重要性的場所豐富了人類的生活，在社會和景觀，過去與現(xiàn)實體驗之間建立了深刻而富有靈感的聯(lián)系。全力保護(hù)并利用這些場所，同時盡可能不對其做出任何改造，以保存其文化重要性?！?我國北方古代瓷窯因戰(zhàn)亂頻繁、年代久遠(yuǎn)，有些瓷窯僅存基址，窯爐結(jié)構(gòu)多已衰敗不堪（圖4），裝燒工藝也僅憑后世推測。AR技術(shù)將窯址考古發(fā)現(xiàn)的瓷窯基址、窯具標(biāo)本修復(fù)重建，為復(fù)原古窯場布局提供數(shù)字支持。憑借AR技術(shù)揭露歷史時期地層堆積，解析地層瓷片與窯具標(biāo)本（圖5、6），為古陶瓷的分期呈現(xiàn)提供思路。AR技術(shù)不但可以重現(xiàn)地區(qū)窯址的時空分布和單個窯場的基本布局，又可將瓷窯衰落與窯場轉(zhuǎn)移進(jìn)行勾連。歷史遺跡的衰敗與現(xiàn)代文明的發(fā)展相互碰撞，我們必須為今天與后世的人們保護(hù)這些具有文化重要性的場所。

（二）素材對場景的呈現(xiàn)

素材對場景的呈現(xiàn)主要指出土環(huán)境與展陳環(huán)境。在考古發(fā)掘過程中對遺跡空間形態(tài)與地層的關(guān)系通常采用照片建模的技術(shù)進(jìn)行展現(xiàn)，有利于復(fù)現(xiàn)器物的發(fā)掘過程，實現(xiàn)歷時性研究。AR展示除了要完成器物本體的呈現(xiàn)，還應(yīng)注意到器物在遺跡中的位置以及遺跡器物之間的組合關(guān)系，這對于研究器物的禮儀與社會功能提供了重要的佐證。

展陳環(huán)境是指器物在博物館空間中的呈現(xiàn)，這時的器物已經(jīng)離開了發(fā)掘地，利用AR技術(shù)可實現(xiàn)器物古今處境的切換。相較于傳統(tǒng)的線性陳列展，主題性展覽因其清晰的問題意識、專業(yè)的學(xué)術(shù)支持越來越受到觀眾的歡迎，AR空間呈現(xiàn)既要考慮縱向歷史脈絡(luò)，更要注意以器物為立足點，勾連出文化碰撞所產(chǎn)生的對抗與融合的關(guān)系。

四、美術(shù)類書籍AR可聽內(nèi)容的設(shè)計

AR可聽內(nèi)容包括語音旁白、背景音樂、配合模型或動畫使用的音效、讀者與虛擬角色進(jìn)行互動的聲音等。[4]135

（一）古代樂器聲音呈現(xiàn)

2016年9月北京大學(xué)賽克勒考古與藝術(shù)博物館《華夏遺韻——中原古代音樂文物展》展示了從新石器時代到春秋時期的古代樂器，是較為系統(tǒng)的呈現(xiàn)。樂器是作為文物靜置在展柜中，觀者并不知道這些樂器的音色、音域以及合奏的音效是什么樣的，相關(guān)的圖錄與著述中也都沒有立體的呈現(xiàn)。觀者只能通過觀察樂器的結(jié)構(gòu)、紋飾與組合，遙想鐘罄齊鳴，一場聽覺的盛宴無奈地轉(zhuǎn)換成視覺的游歷。AR出版物可以立體展示不同媒材古代樂器的模型音色以及與虛擬樂器組合的互動。以青銅編鐘為例，AR技術(shù)可以通過模型，展示不同大小與類型的銅鐘（鈕鐘、镈鐘、甬鐘）正鼓音與側(cè)鼓音的音色與音階。讀者既可實現(xiàn)廟堂雅樂的自主演奏，又可通過模型完整聆聽華夏遺韻的金聲玉振。

（二）古代繪畫“活化”的聲音呈現(xiàn)

中國古代繪畫根據(jù)所繪內(nèi)容的不同分為人物、山水與花鳥三科，近年來一些科研院所與展陳機(jī)構(gòu)已經(jīng)開始進(jìn)行典藏品的活化，從2014年末中國國家博物館《乾隆南巡圖》長卷數(shù)字展示到2018年故宮博物院《清明上河圖3.0》超高清數(shù)字互動技術(shù)、4D動感影像展示，沉浸式的交互體驗已經(jīng)成為古代繪畫“活化”的重要訴求。繪畫中的聲音也是我們理解畫意的重要途徑。以宋本《清明上河圖》為例，AR敘事中背景音樂可根據(jù)畫卷首、中、尾三段章節(jié)進(jìn)行設(shè)定，中國古代繪畫中內(nèi)容的聲音設(shè)定除了考慮人物、山水與花鳥的音效外，還應(yīng)注意古畫中通常伴有大量器用與陳設(shè)的圖像，這些圖像為我們了解古代的物質(zhì)文化帶來了便利，在聲音內(nèi)容的設(shè)定中可考慮將不同材質(zhì)的器皿、家具、服飾、舞蹈、樂器的音效引入AR聲音呈現(xiàn)。

五、認(rèn)知負(fù)荷的合理性

1988年澳大利亞著名心理學(xué)家約翰·斯威勒提出“認(rèn)知負(fù)荷”理論（Cognitive Load Theory）。認(rèn)知負(fù)荷是人在處理需要完成的具體任務(wù)時，通過信息加工產(chǎn)生的心理資源總量。[5]從認(rèn)知負(fù)荷角度對AR美術(shù)類書籍?dāng)?shù)字化呈現(xiàn)進(jìn)行分析，過量的認(rèn)知負(fù)荷會導(dǎo)致受眾注意力低下、學(xué)習(xí)效率降低等問題。

（一）認(rèn)知負(fù)荷

認(rèn)知負(fù)荷分為內(nèi)在認(rèn)知負(fù)荷與外在認(rèn)知負(fù)荷兩種類型。

內(nèi)在認(rèn)知負(fù)荷（Intrinsic Load）由學(xué)習(xí)材料確定，其影響因素包括學(xué)習(xí)材料性質(zhì)和元素交互性水平。[6]86學(xué)習(xí)材料或者學(xué)習(xí)者發(fā)生變化就會使內(nèi)在認(rèn)知負(fù)荷發(fā)生變化。例如：如果使用AR美術(shù)類數(shù)字書籍的是美術(shù)史家，那么與普通大眾相比，內(nèi)在認(rèn)知負(fù)荷元素交互性降低。

外在認(rèn)知負(fù)荷（Extraneous Load）的影響因素是學(xué)習(xí)材料的呈現(xiàn)方式。外在認(rèn)知負(fù)荷會干擾受眾的學(xué)習(xí)，AR美術(shù)類數(shù)字書籍的設(shè)計人員要努力降低或消除其冗余信息的影響。冗余信息包括用多種形式提供的相同信息（如供聆聽或閱讀的文字），或不必要的裝飾性信息（誘人的細(xì)節(jié)、與文字有關(guān)的動畫等）。[6]87當(dāng)冗余效應(yīng)產(chǎn)生時，設(shè)計師應(yīng)盡量減少信息源，適度利用AR視覺與聽覺雙通道混合呈現(xiàn)。

（二）眼動追蹤技術(shù)

眼動追蹤技術(shù)是一項重要的心理測量技術(shù)，在教育領(lǐng)域，眼動數(shù)據(jù)的測量可以反映學(xué)習(xí)者的認(rèn)知過程、閱讀理解機(jī)制和視覺加工過程，是學(xué)習(xí)狀態(tài)的第一手資料。[7]影響認(rèn)知負(fù)荷的三項眼動指標(biāo)分別為注視時間（Fixation Time）、注視點個數(shù)（Fixation Count）與瞳孔直徑（Pupillometry）。眼動指標(biāo)與認(rèn)知負(fù)荷的關(guān)系如表1所示。

AR設(shè)計師應(yīng)參考認(rèn)知負(fù)荷與眼動追蹤理論下的用戶感官質(zhì)量與行為模式研究，遵循適度顯示的原則，考慮使用終端的屏幕空間顯示因素，合理控制AR可視內(nèi)容的呈現(xiàn)數(shù)量，為受眾提供舒適、高效的學(xué)習(xí)體驗。

結(jié)語

美術(shù)類書籍AR內(nèi)容設(shè)計的關(guān)鍵在于素材數(shù)據(jù)的采集、處理、展示與利用，難點在于素材數(shù)據(jù)的獲取、處理與重建。素材視覺化的虛擬展示是美術(shù)遺產(chǎn)有效保護(hù)的途徑，也是傳承古代工藝、審美、知識與信仰的全新渠道。在適度原則的前提下開展美術(shù)類書籍AR應(yīng)用探索，為讀者打開認(rèn)識中國藝術(shù)與文化的窗口。

參考文獻(xiàn)

[1]康麗娟.增強(qiáng)現(xiàn)實在文化遺址展示中的運用研究[J]裝飾，2018（3）：97-99.

[2]黃俊，楊曉飛.博物館數(shù)字化科普平臺建設(shè)[J].文物保護(hù)與考古科學(xué)，2014（4）：117-121.

[3]姚婭，宋國定.三維重建技術(shù)在考古中的應(yīng)用與探討[J].文物保護(hù)與考古科學(xué)，2017（10）：96.

[4] 張燕翔，張偉偉.增強(qiáng)現(xiàn)實出版物的敘事設(shè)計研究[J].科技與出版，2018（6）.

[5]Sweller J. Cognitive load during problem solving： Effects on learning[J]. Cognitive Science， 1988（2）：257-285.

[6]陳歐昊，杰夫·伍爾科特，約翰·斯維勒.基于認(rèn)知負(fù)荷理論設(shè)計慕課[J].張恩銘，盛群力，譯.數(shù)字教育，2019（8）.

[7]薛耀鋒，李卓瑋.基于眼動追蹤技術(shù)的在線學(xué)習(xí)認(rèn)知負(fù)荷量化模型研究[J].現(xiàn)代教育技術(shù)，2019（7）：59-65.

孫曉燕

河南工業(yè)大學(xué)