王騰飛 張懿慧 丁友東

(1.上海政法學(xué)院上海紀(jì)錄片學(xué)院,上海 201701)

(2.上海大學(xué)上海電影學(xué)院,上海 200072)

1 面部捕捉技術(shù)簡(jiǎn)史:從 《宇宙威龍》到《愛爾蘭人》

面部捕捉技術(shù)是動(dòng)作捕捉的一部分,指借助機(jī)械裝置等設(shè)備記錄人類面部表情和動(dòng)作,并將其轉(zhuǎn)為一系列參考數(shù)據(jù)的過程。和其他動(dòng)作捕捉相比,面部表情更加復(fù)雜,對(duì)數(shù)據(jù)精度的要求更高。目前面部捕捉技術(shù)廣泛運(yùn)用于影視、游戲等諸多領(lǐng)域,和手動(dòng)制作的動(dòng)畫相比,面部動(dòng)作捕捉制作的表情,更加具有真實(shí)性。當(dāng)下面部動(dòng)作捕捉大多是基于光學(xué)技術(shù),從數(shù)據(jù)來源可以分為兩種:二維面部捕捉和三維面部捕捉。其中二維面部捕捉指基于光學(xué)鏡頭記錄數(shù)據(jù),通過特定算法標(biāo)記,完成對(duì)人物面部表情動(dòng)作的記錄,這種技術(shù)廣泛存在手機(jī)、電腦等設(shè)備中,具有代表性的為蘋果iPhone中的Animoji,通過抓取用戶面部數(shù)據(jù)并且生成表情;而三維面部捕捉在二維面部捕捉基礎(chǔ)之上,借助設(shè)備捕捉畫面的深度信息,獲取人物面部三維動(dòng)作,一般使用相機(jī)陣列,但這種記錄方式成本較高,且不利于演員即興演出等。從拍攝條件可以分為有標(biāo)記點(diǎn)和無標(biāo)記點(diǎn)面部捕捉,其中有標(biāo)記點(diǎn)是當(dāng)下面部動(dòng)作捕捉的主要方式,這種方式在演員面部標(biāo)定一百多個(gè)點(diǎn),同時(shí)借助特定的設(shè)備捕捉面部動(dòng)作,如頭盔等;而無標(biāo)記點(diǎn)的面部捕捉方式往往依據(jù)人臉面部特征,追蹤人臉眼睛、鼻子、牙齒等位置,完成數(shù)據(jù)記錄。面部捕捉技術(shù)還有其他分類方法,在電影中的運(yùn)用一般采集三維數(shù)據(jù),更多以有無標(biāo)記點(diǎn)來區(qū)分。

最早關(guān)于動(dòng)作捕捉的技術(shù)可以追溯到1915年,動(dòng)畫大師Max Fleischer借助放映機(jī)將膠片中的畫面投影到墻上,依據(jù)投影出來的畫面,再結(jié)合人工畫師,將一幀幀畫面畫出來。而面部捕捉最早可以追溯到1988年deGraf/Wahrman公司開發(fā)的Mike the Talking Head動(dòng)作捕捉系統(tǒng),該系統(tǒng)中包含面部捕捉功能。第一次正規(guī)使用動(dòng)作捕捉技術(shù)的影片為《宇宙威龍》,但是這部影片中更多是骨骼運(yùn)用,而非面部捕捉;隨后在1992年,Sim Graphics為面部捕捉專門開發(fā)系統(tǒng),這種系統(tǒng)依賴于傳感器,將傳感器固定在頭盔上,追蹤演員嘴巴、上下顎等動(dòng)作信息,完成面部捕捉,這套設(shè)備輔助任天堂產(chǎn)品Mario演出,如圖1所示。隨后運(yùn)用動(dòng)作捕捉技術(shù)的電影有《極地特快》《丁丁歷險(xiǎn)記》等,但是大多是針對(duì)肢體的動(dòng)作捕捉為主。

圖1 基于傳感器的動(dòng)作捕捉①

較早規(guī)?；\(yùn)用面部捕捉技術(shù)且獲得奧斯卡視效獎(jiǎng)的影片為2001年的 《指環(huán)王》。演員安迪·瑟金斯在表演時(shí)穿著帶有標(biāo)記點(diǎn)的服裝,動(dòng)畫師先制作出安迪的造型,然后再將數(shù)據(jù)轉(zhuǎn)化到咕嚕的模型身上。同年Image Metrics推出無標(biāo)記點(diǎn)面部捕捉技術(shù),隨后《黑客帝國》特效團(tuán)隊(duì)又自己研發(fā)出無標(biāo)記點(diǎn)面部捕捉技術(shù),并且成功運(yùn)用于 《黑客帝國2:重裝上陣》以及 《黑客帝國3:矩陣革命》,在電影技術(shù)史中具有里程碑的意義。影片《黑客帝國》中采用無標(biāo)記點(diǎn)的面部捕捉技術(shù),運(yùn)用5 臺(tái)Sony HDW-F900高清攝像機(jī)同時(shí)記錄演員雨果·維文的面部,將面部動(dòng)作數(shù)據(jù)傳入電腦中。這種無標(biāo)記點(diǎn)面部捕捉技術(shù)采用光流照片測(cè)量技術(shù),將采集而來的數(shù)據(jù)和較高精度3D 模型相匹配,如圖2 所示。這種方法具有突破性的意義,但仍不夠完善,容易出現(xiàn)匹配錯(cuò)誤,且制作成本高,沒有得到較好發(fā)展。隨后面部捕捉基本采用標(biāo)記點(diǎn)的方法,且身體捕捉與面部捕捉分開來做。動(dòng)作捕捉技術(shù)領(lǐng)域又一次取得突破體現(xiàn)在2006年的影片 《極地特快》,該片第一次將身體和面部同時(shí)捕捉完成,但是面部捕捉技術(shù)并沒有真正取得進(jìn)步,捕捉到標(biāo)記點(diǎn)位置信息容易出錯(cuò),依然需要?jiǎng)赢嫀熓謩?dòng)大量調(diào)整。

圖2 《黑客帝國》無標(biāo)記點(diǎn)面部捕捉②

面部捕捉技術(shù)再次提升的契機(jī)源于2008年的影片《阿凡達(dá)》。在這部影片之前大多采用面部標(biāo)記點(diǎn)的方式,而《阿凡達(dá)》采用標(biāo)記點(diǎn)加頭盔裝置,并在前面安置一個(gè)攝影機(jī)來解決面部細(xì)節(jié)的捕捉,如圖3所示。2008年至2019年期間基于頭盔加攝影機(jī)這種面部捕捉方式一直延用,《魔獸世界》《少年派的漂流記》《奇幻森林》《復(fù)仇者聯(lián)盟》《阿麗塔:戰(zhàn)斗天使》《雙子殺手》等都采用了這樣的面部捕捉方式。

圖3 《阿凡達(dá)》頭盔式有標(biāo)記點(diǎn)面部捕捉③

從面部捕捉技術(shù)發(fā)展過程中可以發(fā)現(xiàn),面部捕捉數(shù)據(jù)往往較多投射到CG 制作的動(dòng)畫形象,如《猩球崛起》《金剛》《加勒比海盜》《阿凡達(dá)》《奇幻森林》等。而《黑客帝國》中對(duì)人們面部的投射較多,大多數(shù)情況下雨果·維文都佩戴著眼鏡,為制作帶來很多便利。之所以出現(xiàn)這種現(xiàn)象,源于日本著名機(jī)器人學(xué)專家森政弘于20世紀(jì)70年代年提出的一個(gè)“越像反而越不像”的“詭異谷”學(xué)說,即人們對(duì)與自身差異越大的事物,辨別能力越差,而對(duì)差異越小的人和物,辨別能力反而越強(qiáng)。如李安導(dǎo)演的120fps電影 《雙子殺手》,將面部捕捉數(shù)據(jù)投射到人物本身,制作出年輕版的威爾·史密斯,但面部細(xì)節(jié)之處依然能夠被觀眾識(shí)別出來。直到2019年上映的電影 《愛爾蘭人》,對(duì)真人進(jìn)行無標(biāo)記點(diǎn)面部捕捉,借助技術(shù)進(jìn)步藝術(shù)創(chuàng)新又有了新的突破。

2 《愛爾蘭人》 無標(biāo)記點(diǎn)面部捕捉詳解

在2019年美國國家評(píng)論協(xié)會(huì)獎(jiǎng)公布的獲獎(jiǎng)名單中,《愛爾蘭人》獲得最佳影片、最佳改編劇本兩大獎(jiǎng)項(xiàng)。這部影片采用無標(biāo)記點(diǎn)面部捕捉技術(shù),且在拍攝過程中沒有借助頭盔等設(shè)備,是面部捕捉數(shù)字技術(shù)的一次重要技術(shù)革新。

導(dǎo)演馬丁·斯科塞斯和他的制作團(tuán)隊(duì)、網(wǎng)飛、工業(yè)光魔組隊(duì)共同創(chuàng)作《愛爾蘭人》,突破演員年齡限制,打破視覺特效流程的界限,實(shí)現(xiàn)數(shù)字逆齡藝術(shù)化效果。這部影片的主要演員羅伯特·德尼羅、阿爾·帕西諾、喬·佩西已經(jīng)無法僅通過化妝來扮演更年輕時(shí)候的樣子,導(dǎo)演馬丁·斯科塞斯曾說:“我不想讓演員們彼此說話時(shí),臉上帶著高爾夫球,這影響到演員的表演,尤其是這種類型的電影,演員需要相互飆戲”,此時(shí)亟需無標(biāo)記點(diǎn)面部捕捉技術(shù)。

為了解決這個(gè)問題,制作團(tuán)隊(duì)分為兩組:一組發(fā)展攝影系統(tǒng)和捕捉,另一組繼續(xù)完善軟件。攝影組在攝影機(jī)兩側(cè)放置兩臺(tái)側(cè)拍相機(jī),如圖4 所示。這兩臺(tái)側(cè)拍攝影機(jī)為紅外攝影機(jī),紅外圖像不會(huì)受到陰影的影響,同時(shí)可以獲得多個(gè)視角,且視角越多,后期越容易轉(zhuǎn)化為三維圖像。影片中大量鏡頭采用三臺(tái)攝影機(jī)同時(shí)拍攝,導(dǎo)演馬丁·斯科塞斯戲稱之為“三頭怪獸”。

圖4 三攝影機(jī)組合④

圖5 三攝影機(jī)組合拍攝效果④

在素材方面,為了解決演員年輕時(shí)候的相貌問題,制作者花費(fèi)兩年時(shí)間,搜集三位演員的素材,截取大量參考圖用于研究學(xué)習(xí),并且建立龐大的參考數(shù)據(jù)庫。從演員過往的作品中截取出大量關(guān)于演員年輕時(shí)候的片段,如圖6所示。這些片段跨越各個(gè)年齡段,用于研究每位演員的面部表演狀態(tài),以及在詮釋角色的過程中,面部表情肌肉的走向等。

圖6 演員年輕時(shí)的面部圖像數(shù)據(jù)④

在軟件方面,制作組并沒有讓動(dòng)畫師去塑造演員的表演,工業(yè)光魔采用一種叫Medusa的技術(shù),為三位主演做面部捕捉,如圖7所示。具體過程為:讓演員坐在椅子上做一些列表情,借助設(shè)備生成一系列表情各異的模型,如圖8所示,而且可以借助軟件做到從一個(gè)表情切換到另一個(gè)表情,從而解決動(dòng)畫問題,并在某一幀使這些表情可以相融合。借助攝影機(jī)拍攝的素材,分析演員的表演,并將模型和拍攝素材相匹配,同時(shí)也借助實(shí)拍素材,在3D模型中生成更多的細(xì)節(jié)。演員每一次表演,其面部都會(huì)有很多動(dòng)作細(xì)節(jié),面部肌肉的變化、血液流動(dòng)的方式等,將這些影響因素融入到面部模型中,使得制作出來的3D 模型更加生動(dòng)。同時(shí)也應(yīng)注重演員面部在不同光照環(huán)境下的細(xì)節(jié),將每位演員的年輕版塑造的更寫實(shí),如圖9所示,即便在不需要標(biāo)記點(diǎn)以及額外的頭盔等設(shè)備的情況下,仍能保障演員在表演時(shí)不受影響。最終將演員年輕版3D 模型和表演時(shí)的面部細(xì)節(jié)數(shù)據(jù)相互結(jié)合,利用算法合成年輕版本的演員,如圖10所示,最終完成數(shù)字逆齡的藝術(shù)創(chuàng)作。

圖7 演員年輕時(shí)的面部圖像數(shù)據(jù)④

圖8 模型效果④

圖9 面部替換④

圖10 逆齡化效果對(duì)比④

《愛爾蘭人》這部影片在面部捕捉技術(shù)上的突破在于演員在表演時(shí)可以充分發(fā)揮表演才能,而無需受到表演環(huán)境的影響,既具有里程碑意義,也是當(dāng)下面部捕捉技術(shù)較為先進(jìn)的體現(xiàn)。從面部捕捉技術(shù)起源至今,無不透露出技術(shù)革新在藝術(shù)創(chuàng)作過程中所起到作用,同時(shí)藝術(shù)創(chuàng)作需求也在推動(dòng)技術(shù)的進(jìn)步。

3 《愛爾蘭人》:技術(shù)與藝術(shù)的融合創(chuàng)新

自盧米埃爾兄弟發(fā)明電影攝影機(jī),一百多年以來,電影技術(shù)與藝術(shù)兩者處于不停博弈中,隨著數(shù)字媒體技術(shù)日新月異的發(fā)展,技術(shù)革新與藝術(shù)創(chuàng)新同步的可能性也表現(xiàn)得越來越明顯。在不斷完善技術(shù)的過程中,以技術(shù)書寫影像,滿足電影主體們的創(chuàng)作需求。

首先,傳統(tǒng)電影理論無不強(qiáng)調(diào)“技術(shù)服務(wù)”論。但是在計(jì)算機(jī)技術(shù)尤其是多媒體技術(shù)快速發(fā)展的過程中,對(duì)藝術(shù)的影響也越來越大。電影《愛爾蘭人》正是借助面部捕捉技術(shù)的創(chuàng)新,較好完成了數(shù)字逆齡藝術(shù)創(chuàng)作。縱觀面部捕捉技術(shù)發(fā)展,技術(shù)的革新讓影視藝術(shù)有了質(zhì)的飛躍,為藝術(shù)表現(xiàn)提供了充足的條件。恰如電影史學(xué)家雷蒙德·菲爾丁的評(píng)論:“至少在近幾年,我作為歷史學(xué)家所做的全部工作都產(chǎn)生于下述前提:電影——作為藝術(shù)形式,作為傳播媒介,作為工業(yè)——的歷史基礎(chǔ)之上是由技術(shù)革新及其報(bào)償來決定的……就鮑特、英斯和格里菲斯的影片而言,投入使用的便捷式攝影機(jī)、大膠片盒、替換式透鏡和改進(jìn)型感光乳劑所作出的貢獻(xiàn)一點(diǎn)不亞于這幾位導(dǎo)演個(gè)人的藝術(shù)才華”。由此可見,技術(shù)至關(guān)重要,絕非是簡(jiǎn)單的“服務(wù)”,也只有借助技術(shù)才可以完成可見影像的書寫。

其次,當(dāng)下融合媒介快速發(fā)展,傳統(tǒng)電影面臨巨大挑戰(zhàn),尤其是互聯(lián)網(wǎng)帶來的沖擊。硬件技術(shù)快速發(fā)展,高新技術(shù)格式和虛擬制作已成為大制作影片的實(shí)力顯示,電影與其它媒體在技術(shù)上已無顯著區(qū)別,專屬于電影的技術(shù)日益減少,與此同時(shí)許多高新技術(shù)開始廣泛運(yùn)用于影視行業(yè)。傳統(tǒng)視聽效果已經(jīng)無法滿足人們?nèi)找嫘枰奈幕?隨著數(shù)字技術(shù)發(fā)展,以本文中面部捕捉技術(shù)為例,從傳感器捕捉技術(shù)到標(biāo)記點(diǎn)捕捉,到當(dāng)下無標(biāo)記點(diǎn)動(dòng)態(tài)捕捉技術(shù),技術(shù)持續(xù)的發(fā)展,讓影視從人偶仿真到動(dòng)物仿真,乃至《愛爾蘭人》中直接制作出年輕版的主演,技術(shù)的進(jìn)步,被才華橫溢的導(dǎo)演們所駕馭,在藝術(shù)層面有所創(chuàng)新。給予電影創(chuàng)作主體捕捉“無所不在之靈”有力的技術(shù)力量,借助將新技術(shù)探究可能性新藝術(shù)表達(dá)方式,也為下一次電影技術(shù)與藝術(shù)的創(chuàng)新儲(chǔ)蓄能力,成為電影區(qū)別于其他媒體的重要手段之一。

第三,電影數(shù)字化制作流程已經(jīng)被廣泛運(yùn)用,數(shù)字技術(shù)與電影藝術(shù)深度融合才能夠更好地體現(xiàn)技術(shù)性與藝術(shù)性相統(tǒng)一。影片 《愛爾蘭人》利用數(shù)字技術(shù)尤其是無標(biāo)記點(diǎn)面部捕捉技術(shù),打造年輕版的三位主演是一次藝術(shù)性突破。同時(shí),藝術(shù)突破性創(chuàng)作需要技術(shù)手段的持續(xù)革新,才能滿足電影創(chuàng)作主體們對(duì)“無所不在之靈”的捕捉,以及造“夢(mèng)”的需求。電影藝術(shù)屬于一種現(xiàn)代化的藝術(shù),這種現(xiàn)代化的藝術(shù)滿足人類生存對(duì)世界的探究,人類好奇心、求知欲等不斷促使人類探究未知的世界,在不停創(chuàng)作物質(zhì)世界的同時(shí),也在不停向往精神世界,尤其是美輪美奐的藝術(shù)世界。精神分析學(xué)認(rèn)為“看電影的過程,本身就存在著夢(mèng)幻、想象的特質(zhì)。這種特質(zhì)既來自于觀影者自我的心理動(dòng)機(jī),同時(shí)又來自于觀影者的觀看情境——電影院,這種把人和現(xiàn)實(shí)分隔開來,而把人與夢(mèng)幻聯(lián)系起來的特殊環(huán)境。虛構(gòu)的人物、場(chǎng)景、事件等,需要技術(shù)的支撐,電影造“夢(mèng)”的功能越來越強(qiáng)大,從借助聲音、畫面、光效等外部環(huán)境手段,在3D 電影發(fā)展之后,面部跟蹤技術(shù)持續(xù)跟進(jìn),以技術(shù)完成影像作為某種符號(hào)的創(chuàng)建,并以表意影像的方式,以可見的“物質(zhì)”形式呈現(xiàn)給意識(shí)。以技術(shù)與藝術(shù)共同構(gòu)建起運(yùn)動(dòng)的影像符號(hào),生成電影藝術(shù)的價(jià)值,也以“再現(xiàn)形式”促使受眾主體的認(rèn)知等,滿足觀眾對(duì)影片的需求。

4 結(jié)語

面部捕捉技術(shù)自誕生以來,大大提升了電影藝術(shù)創(chuàng)作的空間,幫助眾多導(dǎo)演實(shí)現(xiàn)自身的藝術(shù)創(chuàng)作,技術(shù)的進(jìn)步也是藝術(shù)所需,藝術(shù)的創(chuàng)新也需技術(shù)的不斷革新。因?yàn)橛辛思夹g(shù)的支撐,電影藝術(shù)才有了獨(dú)特的藝術(shù)魅力,大大領(lǐng)先于其他藝術(shù)形式,同時(shí)技術(shù)又是在藝術(shù)中,獲得更廣泛的運(yùn)用與表達(dá)。技術(shù)與藝術(shù)兩者共同完成電影影像的創(chuàng)建,將“靈韻”捕捉并呈現(xiàn)在觀眾面前,借助影像符號(hào),進(jìn)而將物質(zhì)呈現(xiàn)給意識(shí),形成電影藝術(shù)的價(jià)值,滿足觀眾對(duì)精神文化的需求。

①圖片來源于https://www.zhihu.com/topic/20761446/intro.

②圖片來源于https://v.youku.com/v_show/id_XMzI3NTI 1MTky.html.

③圖片來源于https://v.qq.com/x/page/t0560ey2wfu.html.

④圖片來源于https://www.bilibili.com/video/BV1fJ411G7o J?from=search&seid=4113039948075356645&spm _id_from=333.337.0.0.