米春林 王梓鋒

1.諾華視創(chuàng)電影科技 (江蘇)有限公司,北 京100091

2.北京電影學(xué)院美術(shù)學(xué)院,北京 100088

1 基于LED背景墻的虛擬拍攝帶來的變革

1.1 基于LED背景墻的虛擬拍攝

2009年電影 《阿凡達(dá)》的拍攝與公映使電影虛擬拍攝為觀眾和業(yè)界帶來新的視角,也首先引入了虛擬化制作這一概念。曾任二十世紀(jì)?？怂垢笨偛玫募s翰·基爾肯尼(John Kilkenny)甚至在他的主題演講中稱 《阿凡達(dá)》為 “純虛擬制作的發(fā)源地”。得益于綠幕/藍(lán)幕,近些年電影中奇幻的空間、逼真的怪獸、浩瀚的星系層出不窮。技術(shù)的高速發(fā)展,使視覺效果愈發(fā)逼真,也使拍攝手段有了突破性的創(chuàng)新。2019年星戰(zhàn)劇集 《曼達(dá)洛人》攝制中,LED背景墻同實(shí)時(shí)渲染技術(shù)結(jié)合的成功運(yùn)用令實(shí)時(shí)3D引擎真正顛覆了傳統(tǒng)影視的制作流程,改變了演員們?cè)诰G幕前對(duì)著空氣表演的這一方式,也將基于LED背景墻的虛擬拍攝這一新技術(shù)帶到大眾面前(圖1)。攝制組以LED背景墻作為背景,結(jié)合實(shí)時(shí)引擎渲染,創(chuàng)造出星戰(zhàn)主題的場(chǎng)景,隨后演員在場(chǎng)景中表演,創(chuàng)作者在實(shí)時(shí)制片的過程中對(duì)數(shù)字化的內(nèi)容完成實(shí)時(shí)的反饋和處理,這便是基于LED背景墻的虛擬拍攝,即將虛擬計(jì)算機(jī)圖像同真實(shí)演員的表演融合在一起,在拍攝現(xiàn)場(chǎng)將最終的特效畫面做可視化呈現(xiàn)。

圖1 《曼達(dá)洛人》的拍攝現(xiàn)場(chǎng)空間結(jié)構(gòu)示意圖

1.2 技術(shù)變革

傳統(tǒng)的虛擬拍攝,包括CG技術(shù)的場(chǎng)景可視化(Previs)、實(shí)時(shí)特效 (Real-time In-camera VFX)、構(gòu)建虛擬拍攝片場(chǎng) (Virtual Sets)、虛擬后期制作(Virtual Post-production)、表演捕捉 (Performance Capture)等環(huán)節(jié)。長(zhǎng)久以來,綠幕都是實(shí)現(xiàn)現(xiàn)實(shí)與虛擬相結(jié)合的最主要方式,但綠幕拍攝有著極多的局限性。首先便是臨場(chǎng)代入感弱,《復(fù)仇者聯(lián)盟4:終局之戰(zhàn)》中英雄集結(jié)同滅霸決戰(zhàn)的大場(chǎng)景代表了當(dāng)今同類電影的視效巔峰,但在拍攝現(xiàn)場(chǎng),演員們卻只能在綠幕中完成表演,導(dǎo)演及主創(chuàng)也僅僅靠想象來確立最終畫面的效果 (圖2)。基于LED背景墻的拍攝則可以顯示畫面以輔助演員感受場(chǎng)景,提供眼線的參考。同時(shí)搭配UE4這類引擎可以將場(chǎng)景中的虛擬攝影機(jī)和真實(shí)攝影機(jī)進(jìn)行位置綁定,LED背景墻呈現(xiàn)的虛擬場(chǎng)景可以根據(jù)攝影機(jī)的移動(dòng)自由調(diào)整透視及視差,增強(qiáng)演員表演的沉浸感。

圖2 《復(fù)仇者聯(lián)盟4:終局之戰(zhàn)》拍攝現(xiàn)場(chǎng) (綠幕影棚)示意圖

對(duì)于反光及透明物體的拍攝,綠幕拍攝則需要后期額外耗費(fèi)人力物力經(jīng)過摳圖與修圖使真人表演與計(jì)算機(jī)背景融合在一起,對(duì)諸如水杯、眼鏡等這一類透明材質(zhì)的道具產(chǎn)生的折射問題,會(huì)為后期合成帶來較多的不便。LED背景墻拍攝則可以很好地解決透明介質(zhì)的拍攝,且對(duì)鏡面反射有較強(qiáng)的優(yōu)勢(shì)性,如圖3所示,在270°的LED背景墻包圍下,背景墻上呈現(xiàn)的場(chǎng)景光線給予了鎧甲極為逼真的顏色與反光,這使得曼達(dá)洛人鎧甲的光感無需經(jīng)過后期復(fù)雜的調(diào)校,在LED背景墻的映射下自然形成真實(shí)質(zhì)感。

圖3 《曼達(dá)洛人》中的鎧甲在基于LED背景墻拍攝的影棚中的真實(shí)反光示意圖

綠幕會(huì)使演員身上產(chǎn)生 “溢色”(Spill)。以往的特效影視流程最大的問題便是大量的決定都被堆積在后期,主創(chuàng)無法在拍攝現(xiàn)場(chǎng)以協(xié)作的方式做創(chuàng)意決定?；贚ED背景墻的虛擬拍攝則在一定程度上優(yōu)化了這些問題,利用巨大的LED背景墻替換傳統(tǒng)綠幕,所呈現(xiàn)的環(huán)境提供的真實(shí)色彩及光影同演員、道具自然的結(jié)合,既改善了溢色的問題,又提供了更加真實(shí)的物理效果。拍攝過程中根據(jù)攝影機(jī)角度提供正確的數(shù)字背景并可以直接看到照明、布局、交互光、地平線等元素,理想狀態(tài)下,不再需要Roto或者綠幕,為后期階段省去了大量人力物力的步驟。LED背景墻的運(yùn)用也可以滿足創(chuàng)作團(tuán)隊(duì)在一天內(nèi)完成數(shù)個(gè)時(shí)間段、數(shù)個(gè)地點(diǎn)的拍攝需求,但其也有一定的缺點(diǎn)。以傳統(tǒng)燈具應(yīng)用為例,在綠幕拍攝中,燈架燈腿穿幫等問題可以借助 “纏綠”、后期摳像去除,LED背景墻的拍攝則需要考究燈具擺放位置。

2 基于LED背景墻的虛擬拍攝中的光照

2.1 光對(duì)于虛擬拍攝塑造空間的意義

在影視行業(yè)的視覺制作中,對(duì)于光的運(yùn)用一直是重中之重,虛擬空間的營(yíng)造如何真實(shí),其基礎(chǔ)之一就是光線的構(gòu)建。演員與虛擬環(huán)境如何匹配,靠的就是拍攝現(xiàn)場(chǎng)如何布光、控光。光衰減效應(yīng)也是布光工作中的重要一環(huán),由于光的照度與到光源的距離的平方成反比,因此光衰減會(huì)受光源到物體的距離影響產(chǎn)生極大的變化,當(dāng)光源遠(yuǎn)離拍攝主體時(shí),光衰減效應(yīng)會(huì)相應(yīng)地弱化,反之當(dāng)同一光源距離拍攝主體較近時(shí),光衰減效應(yīng)則會(huì)增加。攝制時(shí)通過控制燈光光源與被攝物體的距離,可以使被攝主體同背景達(dá)成特定的光比,賦予不同鏡頭獨(dú)特的調(diào)性,最終使得畫面為觀眾帶來獨(dú)樹一幟的風(fēng)格。

雖然LED背景墻自身已具有一定的亮度,但受限于自身光譜不全,亮度有局限性,對(duì)于真實(shí)顏色,諸如皮膚一類的質(zhì)感處理會(huì)有缺失。因此,我們就要采取相應(yīng)的照明技術(shù)使光線滿足拍攝需求,并配合傳統(tǒng)燈具進(jìn)行補(bǔ)足。LED背景墻虛擬拍攝的照明技術(shù)主要有以下三種方式。

2.2 照明技術(shù)

2.2.1 LED背景墻照明

圖4 LED背景墻照明的空間結(jié)構(gòu)布置

圖5 三基色光譜參數(shù)對(duì)比

LED背景墻在拍攝時(shí),往往會(huì)直接用作照明工具,以 《曼達(dá)洛人》為例,其屏幕峰值亮度最高可達(dá)到1800尼特,搭配UE4引擎中的數(shù)字光源,還可對(duì)場(chǎng)景中的特定區(qū)域進(jìn)行亮度提升。但LED背景墻僅適合作為一個(gè)大型的面光源,若在拍攝過程中需要點(diǎn)光源的出現(xiàn)時(shí),依舊要同傳統(tǒng)燈具互相搭配獲得最終的效果。且LED背景墻自身的亮度會(huì)令我們形成錯(cuò)覺,即依靠屏幕本身就可以滿足拍攝時(shí)對(duì)于環(huán)境光的需求。但實(shí)際拍攝時(shí)會(huì)發(fā)現(xiàn),拍攝對(duì)象往往距離LED背景墻有一定的距離,單靠LED背景墻光照強(qiáng)度無法滿足需求。如圖6所示,LED背景墻自身的光學(xué)屬性會(huì)令其紅色光源的發(fā)射峰值極高,導(dǎo)致人的皮膚會(huì)反射更多的紅色,使呈現(xiàn)出的畫面集體偏紅,基于RGB三基色也會(huì)導(dǎo)致屏幕光譜不全,顯色性較差,產(chǎn)生同色異譜的現(xiàn)象,使攝影機(jī)中輸出的畫面和真實(shí)的顏色產(chǎn)生極大差距。比較好的解決方案便是使用多光譜照明,如后文提到的數(shù)字控制燈光陣列。同時(shí),LED頂屏營(yíng)造的空間高度主流搭建方案支持7~8米 (再高會(huì)有搭建、資金問題),拍攝空間局限性較大,且LED背景墻造價(jià)昂貴,大面積使用成本較高。

圖6 LED的RGB照明和皮膚反射光譜數(shù)據(jù)表

2.2.2 數(shù)字控制燈光陣列

燈光陣列是通過多盞相同參數(shù)的燈光在空間中有規(guī)律地陣列,來模擬環(huán)境光或者天光的技術(shù)。使用該方法能在建筑的暗部或者陰影部分形成豐富的細(xì)節(jié),為建筑物投射出真實(shí)柔和的環(huán)境漫反射光線。數(shù)字控制燈光陣列可以根據(jù)實(shí)際拍攝需求靈活地調(diào)整亮度,其最大的特性便是可以結(jié)合現(xiàn)代編程技術(shù),通過計(jì)算機(jī)程序?qū)艟哌M(jìn)行編組控制,完成各種定時(shí)定點(diǎn)的多維燈光效果,并最終將燈光的諸如角度、色彩、亮度等信息傳輸回計(jì)算機(jī),同軟件搭配實(shí)現(xiàn)特殊效果。

圖7 由SkyPanel構(gòu)建的數(shù)字控制燈光陣列在綠幕拍攝中的運(yùn)用

圖8 由SkyPanel構(gòu)建的數(shù)字控制燈光陣列在綠幕拍攝中的運(yùn)用

在六基色燈光照明設(shè)備研發(fā)前,Sky Panel是一種被廣泛運(yùn)用的傳統(tǒng)燈光照明設(shè)備。其為RGBW的四基色燈光照明設(shè)備,因?yàn)橛蠾的存在 (而且色溫模式使用的應(yīng)該也是冷暖兩種白光的比例調(diào)節(jié)),所以光譜是比較連續(xù)的,在色溫模式下顯色性指數(shù)很高,但其僅局限于色溫曲線上光譜是連續(xù)的,對(duì)于其他顏色上的還原仍有缺失。如今隨著技術(shù)的進(jìn)步,六基色的燈光照明設(shè)備的出現(xiàn)使得數(shù)字控制燈光陣列的組成有了更多選擇,對(duì)于色彩還原性也更準(zhǔn)確。圖9所示的數(shù)字控制燈光陣列是諾華視創(chuàng)電影科技(江蘇)有限公司自主研發(fā)的一套基于六基色的燈光照明設(shè)備,其相較于LED背景墻照明燈光光譜更全,顯色性能更好,亮度也更充足。

圖9 數(shù)字控制燈光陣列

圖11 同時(shí)拍攝LED屏幕內(nèi)灰球和采用燈光還原系統(tǒng)照明的真實(shí)灰球環(huán)境光顏色對(duì)比,顏色誤差0.15%-0.3%之間

圖12 LED屏幕、燈光還原系統(tǒng)和攝影機(jī)做標(biāo)定后的直接拍攝效果

如圖10所示,以無錫國(guó)家數(shù)字電影產(chǎn)業(yè)園影棚為例。為數(shù)字控制燈光陣列增加柔光布后,當(dāng)攝影機(jī)800感光度時(shí)光圈可以開至F7~F8左右,足以滿足虛擬拍攝中對(duì)于不同時(shí)段、不同環(huán)境的模擬及各種現(xiàn)場(chǎng)拍攝需求,且每個(gè)燈光可以單獨(dú)進(jìn)行數(shù)字控制。數(shù)字控制燈光陣列的懸掛位于棚頂,其所提供的拍攝空間約為15米左右,相比LED背景墻照明所提供的創(chuàng)作環(huán)境更自由,可控度也更高。足以滿足影視作品的拍攝需求。同時(shí)相比LED頂屏造價(jià)更便宜,使用面積也更為廣闊。

圖10 無錫國(guó)家數(shù)字電影產(chǎn)業(yè)園影棚對(duì)于真實(shí)天空環(huán)境的還原

2.2.3 其他數(shù)控影視燈光

其他數(shù)控影視燈光是較為傳統(tǒng)的一些照明器材與照明手段,這一類燈光器材往往配合LED背景墻與燈光陣列共同使用。因?yàn)長(zhǎng)ED背景墻與燈光陣列的特殊性,其對(duì)于硬質(zhì)光的模擬缺乏良好的效果,因此,諸如太陽(yáng)光這一類硬質(zhì)光就需要數(shù)控影視燈光來完成模擬。創(chuàng)作者可以通過配置透鏡、色紙、紗網(wǎng)、軟格、反光板等附件來控制燈光。改變光在其亮度、顏色、聚散、硬度等方面的參數(shù),也可以移動(dòng)燈具的角度及其位置對(duì)光線的性質(zhì)進(jìn)行改變,但這些手段往往需要工作人員親手操作來完成,若燈具需求數(shù)量巨大,調(diào)整起來會(huì)耗費(fèi)大量的人力物力。同時(shí)這一類器具也能夠利用實(shí)時(shí)引擎通過DMX協(xié)議直接控制燈光的顏色與亮度,輔助片場(chǎng)的拍攝。

2.3 照明問題

在基于LED背景墻的虛擬拍攝中也有許多應(yīng)注意的照明問題,首先應(yīng)盡量避免燈光直射在背景墻上導(dǎo)致背景畫面的反差降低,LED背景墻自身抗反光的物理特性會(huì)決定畫面的反差大小,造價(jià)昂貴的高端屏可以在一定程度上降低畫面的反光。其次是拍攝時(shí)應(yīng)注意前景拍攝的光線顏色要和攝影機(jī)里拍攝的LED背景畫面光線統(tǒng)一,若二者產(chǎn)生偏差,輸出的成片很難修改,也使得LED背景墻拍攝失去了其自身意義。

2.4 光線匹配

當(dāng)我們拍攝同一畫面時(shí),不同的攝影機(jī)所呈現(xiàn)的色彩和輸入的顏色都有基于自身特性所帶來的顏色偏差。因此,拍攝時(shí)進(jìn)行的光線匹配是重要的校準(zhǔn)步驟。

光線匹配首先要構(gòu)建基準(zhǔn)的工作空間,將攝影機(jī)輸出的LED背景墻顏色、數(shù)字控制燈光陣列的燈光顏色以及現(xiàn)場(chǎng)燈光給予一個(gè)基準(zhǔn)的統(tǒng)一,設(shè)定參考白色作為統(tǒng)一的工作空間。白色光標(biāo)定的基礎(chǔ)則有兩種情況,若現(xiàn)場(chǎng)有非可調(diào)色的傳統(tǒng)直射光源便選取該光源的燈光系數(shù)中的白作為參照,否則基于LED背景墻的白作白平衡的參考,以此同攝影機(jī)建立關(guān)聯(lián)。

而后將單燈同建立關(guān)聯(lián)的攝影機(jī)之間進(jìn)行顏色校準(zhǔn)。圖13為單燈燈光可實(shí)現(xiàn)的色彩范圍。燈光借由6色燈珠完成對(duì)XYZ 3刺激值的擬合,盡可能地逼近目標(biāo)輸入顏色。標(biāo)定結(jié)束后,原始輸入的顏色與攝影機(jī)拍攝呈現(xiàn)出的顏色誤差約被控制在3%~5%左右。

圖13 燈光色彩的可實(shí)現(xiàn)范圍

燈光標(biāo)定結(jié)束后,便是對(duì)于真實(shí)環(huán)境的還原。根據(jù)拍攝燈光數(shù)量,計(jì)算出拍攝空間中的映射點(diǎn),再將全景光照?qǐng)D的像素點(diǎn)映射到對(duì)應(yīng)的燈光中,完成拍攝空間中的光線匹配。全景顏色方向映射的邏輯也是基于圖像渲染的一個(gè)現(xiàn)實(shí)物理模擬。圖15所示是無錫國(guó)家數(shù)字電影產(chǎn)業(yè)園影棚中全景顏色方向映射對(duì)于真實(shí)天空的還原,燈光數(shù)量越多其呈現(xiàn)的天空細(xì)節(jié)也更加清晰,其所展示的天空已足以作為一個(gè)照明設(shè)備,且借助該技術(shù)更換環(huán)境天空極為便利,需要的是對(duì)真實(shí)的天空進(jìn)行光線信息采集,便可以完成影棚內(nèi)跨時(shí)間、跨空間的虛擬拍攝。

圖14 全景顏色方向映射

圖15 全景顏色方向映射對(duì)于真實(shí)天空的模擬還原

3 燈光匹配系統(tǒng)應(yīng)用成果展示

3.1 案例1:對(duì)真實(shí)燈光的還原模擬

圖16所示是一側(cè)為真實(shí)環(huán)境拍攝,一側(cè)為虛擬影棚對(duì)于真實(shí)采集信息的還原,可以看到兩者的差距僅靠肉眼已經(jīng)無法辨別,這使得在影棚內(nèi)我們便可以構(gòu)建出不遜色于真實(shí)環(huán)境的空間,既可以使導(dǎo)演更加輕松地把握電影鏡頭,也可以增加演員的沉浸感。LED背景墻將視效鏡頭合成效果由虛擬空間延伸到現(xiàn)實(shí)空間,演員可以實(shí)時(shí)體會(huì)場(chǎng)景變化。同時(shí),身上也不會(huì)出現(xiàn) “溢色”這一棘手的問題。

圖16 真實(shí)環(huán)境與棚內(nèi)虛擬環(huán)境對(duì)比圖

圖17在觀感上則要更為明確,將現(xiàn)實(shí)生活中攝制的圖像與在借助采集的光線信息還原出的虛擬場(chǎng)景中攝制的圖像合成在一起,無論是背景物體的過渡亦或是主體人物身上對(duì)于環(huán)境色的反饋,二者完美地融合在一起,難以看出明顯的差距。

圖17 真實(shí)環(huán)境與棚內(nèi)虛擬環(huán)境對(duì)比圖

3.2 案例二:跨時(shí)空拍攝

虛擬拍攝中光線匹配的另一優(yōu)點(diǎn)就是便利性,過去在拍攝時(shí)沒有高新技術(shù)支撐來還原真實(shí)生活場(chǎng)景的光線,因此 “轉(zhuǎn)場(chǎng)”對(duì)于攝制組來說是一個(gè)成本極高的大工程,一些劇組往往要帶著繁重的設(shè)備乘坐交通工具往返多個(gè)取景地多次拍攝,工期長(zhǎng)、成本高,而如今借助對(duì)燈光信息的采集可以完美地再現(xiàn)真實(shí)場(chǎng)景。如圖18所示,整個(gè)拍攝過程是在LED背景墻影棚內(nèi)實(shí)時(shí)完成的,但觀感上并無失真感。對(duì)于外景的轉(zhuǎn)場(chǎng)最快僅僅需要一秒鐘,背景街景及光照環(huán)境均在戶外采集,將采集結(jié)果在影棚內(nèi)進(jìn)行還原,而后利用跟蹤出的相機(jī)軌跡進(jìn)行Motion Control的控制拍攝。整個(gè)劇組在影棚利用數(shù)據(jù)信息完成了真實(shí)環(huán)境的拍攝,這便是燈光匹配系統(tǒng)應(yīng)用后所帶來的便利性。工業(yè)光魔視效主管Richard Bluff曾這樣形容:“我們可以上午在內(nèi)瓦羅的熔巖平原拍攝,下午到塔圖因的沙漠拍攝。當(dāng)然,我們會(huì)根據(jù)實(shí)際需求切換場(chǎng)景,一天之內(nèi)通常只切換兩個(gè)場(chǎng)景。”若某一特殊鏡頭需要綠幕完成,LED背景墻的便利性也使得攝制組無需轉(zhuǎn)場(chǎng),只需將鏡頭涉及的區(qū)域在LED背景墻上映射出一張帶有跟蹤點(diǎn)的綠色背景,其他畫面依舊保持真實(shí)的場(chǎng)景環(huán)境信息,這樣,便既滿足了綠幕拍攝的需求,又為拍攝主體提供了環(huán)境光,使得制作更加自由靈活,讓制作人員將更多精力花費(fèi)在創(chuàng)作上。

圖18 跨時(shí)空拍攝場(chǎng)景還原

3.3 案例三:透明材質(zhì)的展現(xiàn)

圖19為在基于LED背景墻的虛擬拍攝對(duì)于透明材質(zhì)的展現(xiàn)。影視攝制時(shí),基于劇情的需要往往要搭配相關(guān)的道具,在傳統(tǒng)的綠幕拍攝方式中,這一類透明道具受拍攝角度的影響極易折射出幕布顏色,需要后期專門針對(duì)性地?fù)干?。而LED背景墻所提供的環(huán)境光則省略了摳綠這一步驟,諸如水杯、眼睛等可以自然地透出背景色,融入環(huán)境之中。

圖19 對(duì)于透明材質(zhì)的表現(xiàn)

4 結(jié)語(yǔ)

技術(shù)的加持,使得基于LED背景墻的虛擬拍攝一定程度上解放了影視創(chuàng)作者,導(dǎo)演不會(huì)再因?yàn)榻巧蛨?chǎng)景的虛擬化而感到局限,3D實(shí)時(shí)拍攝帶來的背景與前景的和諧共生無限拉近了虛擬拍攝與實(shí)時(shí)拍攝的界限,導(dǎo)演可以以傳統(tǒng)拍攝的方式在虛擬場(chǎng)景下實(shí)時(shí)產(chǎn)出最終畫面。同時(shí)演員也無需在一片綠幕中想象場(chǎng)景進(jìn)行無實(shí)物表演,而是置身于一片真實(shí)的場(chǎng)景中,全身心地投入表演。

虛擬拍攝中光線的匹配并非拍攝照明工作的全部,其只是一個(gè)良好工作的基礎(chǔ),好的畫面藝術(shù)效果與契合的拍攝方式才是從業(yè)者與創(chuàng)作者應(yīng)該追求的,LED背景墻拍攝雖然效果比傳統(tǒng)拍攝更便捷,但其也不是萬(wàn)能的,目前并不能完全取代傳統(tǒng)拍攝方式。電影拍攝創(chuàng)作是一個(gè)具有極大彈性空間的過程,而基于LED背景墻拍攝的彈性空間較小,因此創(chuàng)作團(tuán)隊(duì)?wèi)?yīng)考慮好LED背景墻拍攝的缺點(diǎn)與不足,通過創(chuàng)作手段對(duì)其進(jìn)行規(guī)避,將LED背景墻拍攝用于適用的影片,而非一味地追求采用新技術(shù)進(jìn)行拍攝,基于LED背景墻的虛擬拍攝僅僅只是拍攝手法的一種,其所預(yù)示的未來才是我們值得期待的。