劉 碩 龔雨楠

(1.北京尼諾時空文化科技有限公司,北京 102400)

(2.北京電影學(xué)院美術(shù)學(xué)院,北京 100088)

近年來,計算機圖形圖像技術(shù)的快速發(fā)展,以及AMD 和NVIDIA 等硬件設(shè)備的進(jìn)步,為影視制作提供了新的工作方式的可行性,即虛擬制作。在影視制作領(lǐng)域,虛擬制作早已不是一個新鮮的概念,它可以指代一系列計算機輔助電影制作的方法。維塔數(shù)碼團隊對虛擬制作的定義是:“虛擬制作是現(xiàn)實世界和數(shù)字世界交融的區(qū)域?！碧摂M制作中的技術(shù)預(yù)覽、后期預(yù)覽已經(jīng)過多年發(fā)展,應(yīng)用到了不同的影視項目中,高質(zhì)量的渲染結(jié)果和更快的渲染速度讓預(yù)覽的視覺效果持續(xù)進(jìn)步。同時,現(xiàn)場的實時視覺特效也有了新的突破,美劇 《曼達(dá)洛人》的制作幕后讓實拍LED 背景墻的虛擬制作方式受到了極大關(guān)注,引起影視行業(yè)的廣泛討論。

由此可見,虛擬制作的理念和方式正在深刻影響著影視行業(yè),從籌備階段的動態(tài)故事板,到拍攝現(xiàn)場的實時交互預(yù)演,到演員的動作捕捉、面部捕捉,再到實拍LED 背景墻的虛擬制作方式,這些工作將視覺化效果在更早的階段呈現(xiàn)出來,提高了制作效率,縮短了制作周期。在國內(nèi),已經(jīng)有團隊在嘗試采用工業(yè)化的虛擬制作流程,并且制作出優(yōu)秀的商業(yè)化電影的案例,如2019年的科幻電影《流浪地球》。但是對于仍在采用傳統(tǒng)制作方式的團隊而言,如何快速將虛擬制作的技術(shù)應(yīng)用到影視制作流程中,靈活應(yīng)用虛擬制作技術(shù),為創(chuàng)作帶來便利,這是一個必須面臨的新挑戰(zhàn)。

1 虛擬制作帶來的挑戰(zhàn)

1.1 虛擬制作和傳統(tǒng)制作的區(qū)別

虛擬制作和傳統(tǒng)制作可以從制作流程進(jìn)行區(qū)分。從制作流程來看,傳統(tǒng)制作的流程通常為線性流程,分為拍攝前期、拍攝中期和拍攝后期,而采用虛擬制作的方法后,這三個階段的界限不再有明確的界線區(qū)分,許多后期的工作會前置,前移到拍攝過程中甚至是前期籌備階段。流程結(jié)構(gòu)的變化帶來最直接的影響,是改變了項目迭代的方式,讓虛擬制作比傳統(tǒng)制作具有更高的容錯率和更快的迭代速度。由于后期工作前置,許多問題可以在更早的階段被提出和解決,提高溝通與拍攝效率,保證了拍攝的效果。

在傳統(tǒng)的制作流程中,可能會遇到的問題有:現(xiàn)場置景時才發(fā)現(xiàn)前期數(shù)據(jù)不準(zhǔn)確,由于空間限制等原因難以實現(xiàn)原定計劃,需要重新布置機位和道具,調(diào)整過后還可能連環(huán)引起其他部門的問題,需要在現(xiàn)場耗費大量時間去調(diào)整機位、燈光、布景,協(xié)調(diào)各部門工作。而在虛擬制作的工作流程中,可以利用設(shè)計的3D 模型、具有確切參數(shù)的虛擬攝像機,在虛擬場景中通過準(zhǔn)確的技術(shù)預(yù)演規(guī)避這些問題。

虛擬制作給創(chuàng)作者提供更加廣闊的創(chuàng)作空間,創(chuàng)作者可以在前期設(shè)計虛擬場景,用計算機模擬出拍攝現(xiàn)場,對場景設(shè)計、分鏡設(shè)計進(jìn)行不同的嘗試,不受現(xiàn)實的限制,充分發(fā)揮自己的創(chuàng)意。在計算機中模擬出的現(xiàn)實場景為創(chuàng)作者提供了視覺化的反饋,讓創(chuàng)作者對可以拍攝出怎樣的畫面有更加直觀的感受,對現(xiàn)場的拍攝也會有更多的把握。

1.2 制作團隊的需求

對于影視團隊中的創(chuàng)作組和制作組而言,他們有各自關(guān)心及需要解決的問題。創(chuàng)作組主要包含導(dǎo)演、燈光、美術(shù)等部門,創(chuàng)作組成員關(guān)注自由的創(chuàng)作空間、整體消耗成本和最終成片效果,在意如何設(shè)計劇本、分鏡,以及采用虛擬制作的方式后,制作成本是否減少,成片效果是否和以前一樣甚至更好。制作組主要包含視效、剪輯、音效等部門。制作組成員關(guān)注的是明確的制作需求、準(zhǔn)確有效的拍攝計劃和良好的拍攝質(zhì)量。由此可見,如何創(chuàng)作或制作才是影視團隊需要花費精力去思考和解決的問題,而不是如何掌握一門新技術(shù)。

通過分析影視團隊的需求,不難得出,在面對虛擬制作時,制作團隊所需要的是低學(xué)習(xí)成本的、能高效解決問題的技術(shù)方案,以助于集中精力在創(chuàng)作本身,如果虛擬制作的相關(guān)技術(shù)因操作難度和復(fù)雜程度,需要團隊成員花費大量精力、時間去學(xué)習(xí)和使用,反而本末倒置了。針對這個需求,本文提出一個解決方案,即良好的用戶交互。良好的交互方案可以降低不同部門的學(xué)習(xí)成本,讓技術(shù)的參與盡量符合創(chuàng)作者原有的創(chuàng)作習(xí)慣,降低新技術(shù)的“存在感”,讓虛擬制作自然融入原有創(chuàng)作流程,讓影視團隊快速使用成熟的技術(shù)方案解決問題,獲得更加高效的制作流程,更好的制作效果。

2 用于展示及拍攝的交互應(yīng)用

針對虛擬制作相關(guān)的新興技術(shù),研發(fā)團隊根據(jù)不同場景設(shè)計出最合適的用戶交互方案,在各個行業(yè)做了不同的嘗試,包括但不限于電影、廣告、綜藝、展覽展示等行業(yè)。不同的實踐都得到了良好的結(jié)果,證明了用戶友好的交互設(shè)計方案可以降低學(xué)習(xí)成本,大幅提高工作效率。

2.1 面部捕捉控制機械生物

電子機械生物是影視制作中常見的實體特效類型。由于電子機械生物的面部肌肉塊數(shù)多且復(fù)雜,因此實現(xiàn)表情控制是較有難度的一項工作,需要多位電子玩偶藝術(shù)家相互配合操作,用搖桿、按鈕、旋鈕等機械裝置去控制電子機械生物的面部肌肉變化,藝術(shù)家們需經(jīng)過較長一段時間的訓(xùn)練和協(xié)作才能完成一個自然的表情變化。

研發(fā)團隊選擇采用面部捕捉技術(shù)解決這個問題。具體方案是,首先建立一個和機械生物一致的虛擬模型,然后采用面部捕捉技術(shù),通過面部識別采集演員的面部表情變化數(shù)據(jù)及頭部轉(zhuǎn)動數(shù)據(jù),用演員面部變化數(shù)據(jù)控制虛擬模型的變化,再通過網(wǎng)絡(luò)傳輸機械生物面部肌肉的控制指令,同步虛擬模型和實體模型,使機械生物做出與演員相同的表情變化。

運用面部捕捉實現(xiàn)電子機械生物的表情控制,降低了對使用者的要求,無需受過專業(yè)訓(xùn)練的藝術(shù)家操作,只需要使用者在攝像頭前做出相應(yīng)的面部肌肉變化或情緒變化,就能夠快速得到想要的結(jié)果,實現(xiàn)對電子機械生物的面部表情控制,大大縮短排練周期。

圖1 面部捕捉控制機械生物

2.2 手勢交互展示

在汽車展會上,研發(fā)團隊采用手勢識別技術(shù),根據(jù)觀眾的手勢來控制屏幕上的汽車底盤模型展示。觀眾無需通過鍵盤或者鼠標(biāo)來操作,而是可以采用更符合日常生活的交互習(xí)慣,直接用手勢動作來對屏幕上的模型進(jìn)行放大、縮小、旋轉(zhuǎn)的操作,更加直觀地操控屏幕上的模型,獲取模型分解成零件的詳細(xì)信息,這是一個低學(xué)習(xí)成本的展示方式。

2.3 有三維仿真功能的六軸微縮控制器

六自由度平臺,是為了負(fù)載汽車等載具或道具,模擬運動中的效果。原先對六自由度平臺的控制方案是通過軟件界面和一個搖桿進(jìn)行控制,技術(shù)性參數(shù)多且復(fù)雜,再加上需要實現(xiàn)的運動狀態(tài)較多,比如轉(zhuǎn)彎、不同的顛簸效果等,而且搖桿的操作并不直觀,操作者需要及時觀察平臺的運動狀態(tài)反饋,再調(diào)整對搖桿和軟件參數(shù)的操作,訓(xùn)練和操作難度較大,花費時間成本和人力成本高。

本人所在研發(fā)團隊針對此問題設(shè)計的解決方案是,采用一個等比縮小的微縮模型作為控制器,使用者手動改變微縮控制器的狀態(tài)時,控制器的數(shù)據(jù)會實時同步給六自由度平臺,從而改變平臺狀態(tài),兩個模型的運動變化完全一致。這種控制方法非常直觀易懂,所見即所得。

由于兩個硬件設(shè)備利用軟件進(jìn)行數(shù)據(jù)傳輸,因此這個六自由度平臺的機械運動數(shù)據(jù)還可以通過軟件便捷地轉(zhuǎn)發(fā)到其他部門,為其他部門的機械控制工作提供便利。當(dāng)燈光部門需要實現(xiàn)動態(tài)燈光效果時,機械運動數(shù)據(jù)可以幫助他們更加順利地實現(xiàn)數(shù)字控制或機械控制;當(dāng)拍攝團隊采用基于LED 背景墻的虛擬拍攝方式時,物體的運動數(shù)據(jù)也是必需的。數(shù)據(jù)在不同部門間的復(fù)用可以提高現(xiàn)場整體的效率。

圖2 六自由度平臺微縮控制器

為了呈現(xiàn)最后拍攝能達(dá)到的視覺效果,本團隊創(chuàng)建了三維仿真畫面,添加載具的虛擬三維模型,微縮控制器的運動數(shù)據(jù)同步傳遞給載具虛擬模型,使其在虛擬空間中進(jìn)行和微縮控制器一致的運動。屏幕上的畫面會實時傳送到iPad上。在現(xiàn)場搭建完成之前,使用者可以將iPad 的鏡頭作為虛擬攝像機,調(diào)整虛擬攝像機的拍攝位置、角度,捕捉三維圖像的空間位置,預(yù)覽最終可以實現(xiàn)的拍攝效果。

圖3 三維仿真畫面

2.4 六自由度平臺控制器

得益于對交互與技術(shù)的綜合理解,本研發(fā)團隊在六軸微縮控制器的基礎(chǔ)上,進(jìn)一步迭代,將軟件、算法、通訊技術(shù)、結(jié)構(gòu)設(shè)計、工業(yè)設(shè)計融入了六自由度平臺的控制中,將其完善成一個更為成熟的產(chǎn)品,實現(xiàn)了從人力到工業(yè)化的轉(zhuǎn)變。

本團隊對六自由度平臺控制器做了以下幾方面的改進(jìn):加入自動化的錄制功能,在操作師演示完成一次機械控制之后,如果確認(rèn)此次控制沒有問題,則可以通過自動錄制功能,多次重復(fù)此次運動變化,在需要多次攝制的情況下,可以保證平臺運動狀態(tài)的一致,重復(fù)精度遠(yuǎn)高于人力手動控制;添加了常規(guī)預(yù)設(shè)運動數(shù)據(jù),通過調(diào)整搖動的頻率、幅度等參數(shù)模擬顛簸、水海、空中等運動狀態(tài),以前需要人手動完成的運功,現(xiàn)在可以由六自由度平臺自動化實現(xiàn),相比手動控制更加穩(wěn)定可控,根據(jù)計算機數(shù)據(jù)完成細(xì)微、精確的運動變化,大大節(jié)省了人力成本和時間;添加了濾波、平滑度參數(shù),平滑六自由度平臺的運動狀態(tài),在人力控制的情況下,避免人力失誤造成的突然顛簸或傾斜,實現(xiàn)更好的運動效果;支持導(dǎo)入第三方軟件運動數(shù)據(jù),有助于與其他部門的協(xié)作和數(shù)據(jù)的復(fù)用。

產(chǎn)品化的改進(jìn)設(shè)計使得六自由度平臺可適應(yīng)更多拍攝實踐情境,在面對不同的用戶需求時,可快速投入使用。

3 數(shù)字化控制平臺

影視制作的過程中會產(chǎn)生也會需要大量數(shù)據(jù),高效利用數(shù)據(jù)、管理數(shù)據(jù)可以為影視制作帶來更高效的流程。在總結(jié)了一些實踐經(jīng)驗和思考后,本研究提出了未來現(xiàn)場拍攝的新方案,即以物聯(lián)網(wǎng)為理念的數(shù)字化控制平臺,旨在設(shè)計控制各種數(shù)據(jù)的集成式系統(tǒng),把藝術(shù)家過去習(xí)慣的交互方式代入到新的工作流中,藝術(shù)家無需付出新的學(xué)習(xí)成本,就可以繼續(xù)發(fā)揮自己固有的創(chuàng)作能力。

數(shù)字化控制平臺集成各類數(shù)據(jù),能夠充分利用在拍攝現(xiàn)場收集到的數(shù)據(jù),避免不同部門的重復(fù)工作;再者,當(dāng)所有數(shù)據(jù)通過一個平臺進(jìn)行管理時,可以更加清晰地展現(xiàn)已有數(shù)據(jù),對于操作者而言,只需一個部門甚至一兩個人來完成所有的設(shè)備數(shù)據(jù)的控制和協(xié)作管理,大幅提升工作效率,節(jié)省人力成本,管理工作更加便利。

3.1 數(shù)字化控制平臺的設(shè)計流程

根據(jù)以往的實踐經(jīng)驗,本研究對數(shù)字化控制平臺的大致設(shè)計流程作了如下總結(jié)。首先,當(dāng)面臨新的拍攝需求時,先深入分析對應(yīng)最高效的交互方案是什么,盡可能減少使用障礙,降低使用難度,讓設(shè)計出的產(chǎn)品能夠快速投入實際使用。其次,根據(jù)提出的交互方案設(shè)計開發(fā)所需軟件,并定制改裝硬件設(shè)備。再次,由于軟件和硬件都是經(jīng)由一方開發(fā),因此可以通過軟件使用、分享收集到的硬件數(shù)據(jù),實現(xiàn)軟硬件協(xié)同的效果。從硬件設(shè)備收集的數(shù)據(jù)按照既有協(xié)議進(jìn)行轉(zhuǎn)化,可以在不同的平臺復(fù)用,聯(lián)結(jié)各個部門的工作。將傳輸協(xié)議進(jìn)行統(tǒng)一后,數(shù)據(jù)以網(wǎng)絡(luò)協(xié)議進(jìn)行管理,再按照各設(shè)備的不同協(xié)議轉(zhuǎn)化并進(jìn)行分發(fā),實現(xiàn)一個互通的數(shù)據(jù)平臺,實現(xiàn)集成式中央控制。

3.2 數(shù)字化控制平臺的特點和優(yōu)勢

數(shù)字化控制平臺的特點和優(yōu)勢可以從以下四個方面進(jìn)行闡釋:協(xié)議統(tǒng)一、功能開放、數(shù)據(jù)開放及簡化部署。

3.2.1 協(xié)議統(tǒng)一

設(shè)計數(shù)字化控制平臺的靈感來源于控制燈光的協(xié)議變遷。DMX 512控制協(xié)議是美國舞臺燈光協(xié)會于1990年發(fā)布的數(shù)字燈光信號傳輸?shù)墓I(yè)標(biāo)準(zhǔn),由于管理設(shè)備少、控制距離短等局限性,后來發(fā)展成了基于以太網(wǎng)的Art-Net傳輸協(xié)議,即利用以太網(wǎng)傳輸DMX 數(shù)據(jù)。采用網(wǎng)絡(luò)協(xié)議傳輸、管理不同設(shè)備的數(shù)據(jù),實現(xiàn)集成式中央控制,這是數(shù)字化控制平臺理念的基礎(chǔ)。以燈光控制為例,虛擬三維模擬的燈光數(shù)據(jù)可以轉(zhuǎn)換成一個個的數(shù)字,這些數(shù)字能夠以Art-Net協(xié)議被打包發(fā)送到網(wǎng)絡(luò)中,網(wǎng)絡(luò)的另一端使用一臺Art-Net轉(zhuǎn)DMX 512的轉(zhuǎn)換器,即可將網(wǎng)絡(luò)信號轉(zhuǎn)換為燈光設(shè)備需要的控制信號。

拍攝現(xiàn)場可能會用到控制燈光的DMX 協(xié)議、Art-Net協(xié)議、攝像機采用的RS 232、RS 485的通訊接口、控制云臺設(shè)備的SBUS協(xié)議等,無論設(shè)備采用什么接口,以什么協(xié)議傳輸數(shù)字信號,都可以通過程序?qū)?shù)字信號進(jìn)行編碼、解碼轉(zhuǎn)化為統(tǒng)一傳輸協(xié)議,并且通過網(wǎng)絡(luò)節(jié)點傳輸數(shù)據(jù),對數(shù)據(jù)進(jìn)行統(tǒng)一管理?；谝蕴W(wǎng)的高吞吐能力以及IP地址機制,一條網(wǎng)線能夠負(fù)載幾百甚至上千條DMX 512數(shù)據(jù),傳輸速度非?？捎^,并且可同時負(fù)載多臺設(shè)備,在數(shù)據(jù)更加方便統(tǒng)一管理的同時,拍攝現(xiàn)場的部署成本、維護成本也會降低。

3.2.2 功能開放

將硬件設(shè)備中的傳感器數(shù)據(jù)做暴露性的處理,使得數(shù)據(jù)在不同的設(shè)備和軟件平臺上都沒有使用限制。無論在Unity、Unreal Engine、Maya,甚至是移動端等不同平臺,部門工作人員都可以根據(jù)具體情況選擇需要的平臺和設(shè)備,暴露后的數(shù)據(jù)可以滿足不同需求,順利投入使用。

3.2.3 數(shù)據(jù)開放

將硬件設(shè)備的數(shù)據(jù)進(jìn)行開放處理,包括但不限于數(shù)字、坐標(biāo)、燈光亮度、音量等。例如,搖輪在現(xiàn)場主要是用來控制云臺、軌道或滑索的,搖輪的參數(shù)調(diào)整、轉(zhuǎn)動數(shù)據(jù)可以收集到軟件中并廣播到其他部門,控制燈光角度、亮度、位置,或者是用來協(xié)助演員調(diào)度設(shè)計。數(shù)據(jù)的利用不再局限于某個部門內(nèi)、某個特定的功能,將拍攝現(xiàn)場作為一個整體的系統(tǒng)來看待,充分利用數(shù)據(jù)支持拍攝工作,讓拍攝現(xiàn)場的工作更加靈活自由,一些創(chuàng)作靈感在得到數(shù)據(jù)的支持后也能夠更快更好地實現(xiàn)。

3.2.4 簡化部署

網(wǎng)絡(luò)協(xié)議非常開放且成熟,它的靈活性和高性能使得一根網(wǎng)線可以負(fù)載大量設(shè)備的數(shù)據(jù),甚至可以靈活地使用無線網(wǎng)絡(luò)傳輸?shù)姆绞?利用無線接收器,減少部署時的大量連線工作,使得部署工作更加簡便。同時,減少連線也可以降低管理難度,當(dāng)傳輸出現(xiàn)錯誤時,排除連線錯誤的難度降低,現(xiàn)場的部署與管理的工作效率都得到提高。

4 結(jié)語

電影是技術(shù)與藝術(shù)的融合體,從黑白到彩色,從無聲到有聲,從膠片到數(shù)字,從2D 到3D,電影在歷史上每一次飛躍都伴隨著科技的進(jìn)步和發(fā)展。影視行業(yè)迎來了虛擬制作時代,技術(shù)不是牽絆影視制作的阻力,如何將技術(shù)融合進(jìn)影視制作流程中則成為了虛擬制作發(fā)展的一個關(guān)鍵步驟,這是一個需要不斷完善的過程。

無論是已經(jīng)成功的實踐結(jié)果,還是設(shè)想以物聯(lián)網(wǎng)為基礎(chǔ)的數(shù)字化平臺,呈現(xiàn)給用戶的都是簡單直觀的用戶交互方案,隱藏了背后復(fù)雜的技術(shù)原理和邏輯思考,讓創(chuàng)作者仍然可以繼續(xù)專注于創(chuàng)作本身。將技術(shù)經(jīng)過設(shè)計包裝,采用合理的交互方案,成為可以應(yīng)用于多個不同場景的產(chǎn)品,會讓影視行業(yè)更快地?fù)肀Ъ夹g(shù)變革帶來的優(yōu)勢。在解決問題時,不再以技術(shù)為起點,而是從用戶需求的角度去思考,解決這個問題最高效的方案是什么,利用產(chǎn)品設(shè)計思維,更加開放的方式發(fā)揮技術(shù)的作用,以此輔助電影藝術(shù)家的創(chuàng)作。新興技術(shù)不應(yīng)成為創(chuàng)作的阻礙,而應(yīng)該是輔助創(chuàng)作的重要力量。