蘇鏡如

摘? 要? 近年來，來自加拿大Deriviative公司研發(fā)的一款基于節(jié)點(diǎn)編程語言的多媒體創(chuàng)意工具“TouchDesigner”在藝術(shù)領(lǐng)域的應(yīng)用越來越頻繁。TouchDesigner憑借自身高互通性的優(yōu)勢，在影像、燈光、音樂等諸多媒體藝術(shù)領(lǐng)域備受設(shè)計(jì)師的青睞，越來越多的創(chuàng)意可以通過TouchDesigner實(shí)現(xiàn)且應(yīng)用，未來TouchDesigner產(chǎn)生的設(shè)計(jì)價值和商業(yè)價值不容小覷。

關(guān)鍵詞? TouchDesigner;新媒體藝術(shù);應(yīng)用領(lǐng)域

中圖分類號? G2? ? ? 文獻(xiàn)標(biāo)識碼? A? ? ? 文章編號? 2096-0360（2020）14-0009-02

1? TouchDesigner概述

TouchDesigner是一款編程類的多媒體特效軟件，但TouchDesigner與Unity3D、UE4等編程類創(chuàng)作平臺卻大有不同，TouchDesigner向使用者提供了一個節(jié)點(diǎn)式的可視化編程環(huán)境，用戶通過COMP、TOP、CHOP、SOP、DAT、MAT六類基本功能元件以及每一類元件中近百種效果控制器創(chuàng)作，每一個節(jié)點(diǎn)或OP元件代表一個獨(dú)立具體的執(zhí)行動作，設(shè)計(jì)師以“連線”的方式，可以任意拖動組合動作執(zhí)行的順序和層級關(guān)系。整個編程創(chuàng)作過程中軟件將代碼的結(jié)構(gòu)和函數(shù)變成無數(shù)個模塊，因此設(shè)計(jì)師無需傳統(tǒng)的文本式代碼。此外，TouchDesigner高集成化的元件有助于零基礎(chǔ)使用者快速上手，可以在已搭建好的初始模塊的基礎(chǔ)上延展出豐富的視覺創(chuàng)意效果，在能熟練使用基本元件及其功能后再探索更復(fù)雜的變化效果[1]。

2? TouchDesigner在新媒體藝術(shù)中的應(yīng)用

作為目前世界上最受歡迎的多媒體藝術(shù)編程創(chuàng)作工具之一，TouchDesigner被越來越多的藝術(shù)家團(tuán)隊(duì)和設(shè)計(jì)工作室選擇，涉獵領(lǐng)域廣泛。

2.1? 互動投影裝置

近年來，TouchDesigner被頻繁應(yīng)用于各類互動投影項(xiàng)目，包括演出投影裝置，如：洛杉磯的視覺藝術(shù)制作工作室V Squared Labs為巴西音樂家Amon Tobin的歌曲ISAM打造的視聽盛宴;互動燈光裝置，如：來自上海的工作室Digital FUN為奧迪A8L發(fā)布會設(shè)計(jì)的現(xiàn)場燈光秀，與傳統(tǒng)的預(yù)渲染交互體驗(yàn)不同的是，此發(fā)布會使用數(shù)控球?qū)崟r交互控制系統(tǒng)和動力球視覺特效系統(tǒng);互動屏幕裝置，如：來自紐約的設(shè)計(jì)團(tuán)隊(duì)Volvox Lab為微軟藝術(shù)長廊影劇院制作的互動屏幕墻;室外屏幕投影，如：致力于設(shè)計(jì)數(shù)字媒體和互動的創(chuàng)意公司Leviathan設(shè)計(jì)制作的名為“150 Media Stream”的大型動態(tài)數(shù)字雕塑;多面空間投影，如：曹雨西工作室出品的大型聲音影像裝置《Oriens》;球幕投影，如：專注于沉浸式球幕投影的Omnispace公司為西雅圖國際電影節(jié)提供的沉浸式視圖;建筑投影，如：來自蒙特利爾的多媒體工作室Moment Factory通過運(yùn)用聲光電元素揭開當(dāng)?shù)厥ツ复蠼烫蒙衩?、莊嚴(yán)的面紗，賦予這座古老教堂全新的體驗(yàn)和精神面貌;互動藝術(shù)裝置，如：日本Nor Lab團(tuán)隊(duì)設(shè)計(jì)完成的圍繞色彩和聲音之間的聯(lián)覺開展的互動裝置項(xiàng)目，體驗(yàn)者通過手持設(shè)備激活裝置的聲音系統(tǒng)并生成變幻莫測的色彩組合，手持設(shè)備的實(shí)質(zhì)是調(diào)整色輪，它的水平維度代表飽和度，垂直維度代表亮度，因此手持設(shè)備會隨著體驗(yàn)者的移動直接影響裝置的視覺效果。體驗(yàn)者通過獲取空間的位置信息進(jìn)行互動來生成聲音和圖像，這種視聽體驗(yàn)?zāi)軌虼碳んw驗(yàn)者的感官去理解、記憶聯(lián)覺現(xiàn)象。

TouchDesigner可以與照明設(shè)備、音頻系統(tǒng)、輸入和輸出設(shè)備進(jìn)行通信，可以在各種類型的現(xiàn)場表演中使用表演控制組件。TouchDesigner將數(shù)據(jù)在不同類型間相互轉(zhuǎn)換，從而可以輕松的使用圖像或動畫紋理對LED等照明設(shè)備進(jìn)行編程控制，實(shí)現(xiàn)可視化操作和預(yù)覽光束效果。

2.2? 虛擬現(xiàn)實(shí)體驗(yàn)

TouchDesigner的多類功能均可與VR工具及設(shè)備無縫銜接，借助TouchDesigner和虛擬現(xiàn)實(shí)，使用者可以創(chuàng)建和播放全景環(huán)繞電影?！癟he Future of Music”是電影導(dǎo)演Greg Barth和Phenomena Labs工作室一同打造的一個沉浸式超現(xiàn)實(shí)主義音樂空間。在這個項(xiàng)目中，設(shè)計(jì)團(tuán)隊(duì)使用預(yù)先可視化功能分析內(nèi)部三維空間，他們將虛擬攝像機(jī)和虛擬NPC角色放置于空間內(nèi)部以明確空間的尺寸、燈光位置以及道具的尺寸等。團(tuán)隊(duì)將現(xiàn)場拍攝視頻與提前錄制的視頻實(shí)時拼接合成，設(shè)計(jì)者使用TouchDesigner來實(shí)時觀看全景攝像頭捕捉的影像并且進(jìn)行后期調(diào)整，以創(chuàng)建完善VR設(shè)備內(nèi)的全景環(huán)境。同時，這個項(xiàng)目展示了使用VR作為創(chuàng)作媒介對于傳統(tǒng)藝術(shù)空間形式的顛覆性改變和影響[2]。

2.3? 即興影像表演

許多音樂現(xiàn)場和世界級的音樂舞臺都選擇與TouchDesigner合作，VJ（Visual Jockey）即時的剪接影像、動畫等視覺元素并添加效果，聯(lián)合音樂與視覺打造一個沉浸式實(shí)時體驗(yàn)環(huán)境，帶給受眾視覺和聽覺的雙重享受。2019年3月，音樂人Deadmau5在邁阿密完成舞臺的全新升級——Cube V3。團(tuán)隊(duì)利用3D打印技術(shù)構(gòu)建舞臺模型，舞臺底部安裝液壓動力系統(tǒng)，通過內(nèi)置程序控制立方體舞臺的傾斜變化。Deadmau5在Touch Designers搭建視覺數(shù)據(jù)系統(tǒng)，并與舞臺內(nèi)部的觸控組件建立連接，舞臺的燈光效果、視覺呈現(xiàn)、旋轉(zhuǎn)角度等都可以通過這個觸控裝置實(shí)現(xiàn)。

3? TouchDesigner的功能優(yōu)勢

3.1? 多平臺互通性

TouchDesigner可以根據(jù)不同軟件、硬件設(shè)備、超文本傳輸協(xié)議、全球廣域網(wǎng)系統(tǒng)匹配操作選項(xiàng)，將TouchDesigner集成到任何環(huán)境中。例如：2013年發(fā)布的專業(yè)音序器Ableton Live;用于設(shè)計(jì)復(fù)雜交互程序的可視化編程語言MaxMSP;用于原型設(shè)計(jì)開發(fā)的圖形化編程軟件VVVV;以及目前正在開發(fā)的超過95%的AAA游戲項(xiàng)目都使用3D紋理制作軟件Substance Designer等。設(shè)計(jì)者可以借助TouchDesigner自定義不同視覺效果的運(yùn)算符，呈現(xiàn)形狀轉(zhuǎn)化、緩動、景深、粗糙邊緣、噪波、回旋路徑、動態(tài)模糊、光斑、散射、紊亂置換、粒子效果、固層旋轉(zhuǎn)等動態(tài)視覺變換。TouchDesigner通過傳輸控制協(xié)議（TCP）和用戶數(shù)據(jù)報協(xié)議（UDP）與Web服務(wù)器、Web應(yīng)用程序、Twitter和Instagram等社交應(yīng)用程序編程接口進(jìn)行交互。

在新媒體藝術(shù)創(chuàng)作中，TouchDesigner可以被視為一個實(shí)現(xiàn)不同格式的媒體文件整合統(tǒng)一的平臺，幫助設(shè)計(jì)者利用不同軟件和硬件的功能創(chuàng)造出更加接近完美的藝術(shù)作品。無論是PS等平面設(shè)計(jì)工具，還是AE等視頻剪輯工具、C4D等三維渲染插件都可以快速的接入TouchDesigner進(jìn)行二次創(chuàng)作。通過TouchDesigner，設(shè)計(jì)者可以通過位置追蹤C(jī)4D模型，還可以實(shí)現(xiàn)音頻控制、時間控制等實(shí)時交互效果。對于媒體藝術(shù)創(chuàng)造者和設(shè)計(jì)師而言，可以較為輕松的學(xué)習(xí)并使用TouchDesigner，而對于程序員而言來說，TouchDesigner使用數(shù)據(jù)流的方法和可視化節(jié)點(diǎn)結(jié)構(gòu)幫助他們在原型設(shè)計(jì)和開發(fā)環(huán)節(jié)更加高效，而且能夠輕松的幫助他們將藝術(shù)家制作完成的視覺部分與后臺程序運(yùn)行部分結(jié)合，避免不同領(lǐng)域使用不同軟件造成的誤差，同時便于雙方人員的交流合作與二次調(diào)試修改，從而高效完成藝術(shù)項(xiàng)目落地及設(shè)計(jì)項(xiàng)目的精準(zhǔn)投放。

3.2? 實(shí)時3D渲染及高分辨率合成

除了基礎(chǔ)的2D紋理陣列以及多層紋理，TouchDesigner將實(shí)時3D渲染與高分辨率合成相結(jié)合，在本地素材庫為設(shè)計(jì)者提供不同類型的物質(zhì)材料，且線上社區(qū)還有官方和個人分享的可供使用的材質(zhì)貼圖、環(huán)境光等文件素材。

除此之外，TouchDesigner提供多種高級視頻解碼器以保證視頻播放質(zhì)量以及最大化的發(fā)揮硬件設(shè)備的潛力，以HEVC（H.265）為代表的預(yù)測加變換的混合編碼框架、用于Adobe CC應(yīng)用程序的HAP編解碼器、適合高清剪輯的Gopro Cineform轉(zhuǎn)碼器等，都為設(shè)計(jì)項(xiàng)目中的高性能HD視頻和4K視頻的輸入和輸出提供更多的解決方案。在TouchDesigner的自定義配置中，設(shè)計(jì)者可以將作品任意組合同時輸出到不同的顯示器上，實(shí)現(xiàn)多個音頻源和視頻源的混合和相互觸發(fā)，還可以使用同步運(yùn)算符和硬件框架為藝術(shù)作品創(chuàng)建大型的多機(jī)聯(lián)網(wǎng)基礎(chǔ)架構(gòu)。

4? 結(jié)語

由于國內(nèi)市場情況，TouchDesigner目前尚未在國內(nèi)廣泛使用。但隨著傳播體驗(yàn)的升級，未來大眾對媒體藝術(shù)審美水平的大幅提高，像TouchDesigner這樣的創(chuàng)意工具將會產(chǎn)生巨大的設(shè)計(jì)價值和商業(yè)價值。因此，筆者希望通過此文能引起國內(nèi)設(shè)計(jì)從業(yè)者對TouchDesigner關(guān)注和重視。

參考文獻(xiàn)

[1]陳娛.可編程材料在數(shù)字藝術(shù)中的研究與應(yīng)用[D].北京：中央美術(shù)學(xué)院，2019.

[2]韋艷麗.新媒體交互藝術(shù)[M].北京：化學(xué)工業(yè)出版社，2018.