朱雙月 常 樂

(北京電影學院中國電影高新技術(shù)研究院,北京 100089)

1 引言

當前,人們對于視頻的要求越來越高,追求更加清晰、更加真實的觀看體驗。更高的分辨率,更大的顏色動態(tài)范圍以及更高的幀率成為了現(xiàn)在電影技術(shù)領(lǐng)域最主要的研究方向之一。李安導(dǎo)演的兩次高幀率電影嘗試:2016年上映的《比利·林恩的中場戰(zhàn)事》以及2019年上映的《雙子殺手》,使得高幀率電影走向普通影院成為現(xiàn)實。但是,目前的絕大部分電影院的放映設(shè)備并不具備播放高幀率電影的能力,比如《雙子殺手》在上映之期就有3D/4K/120P、3D/4K/60P、3D/4K/24P三種不同幀率的版本。傳統(tǒng)的幀率下轉(zhuǎn)換的方法一般是“抽幀”。所謂抽幀,假設(shè)使用120幀的素材制作24幀的影片,抽幀的原理就是將源素材以每五幀為一組,選取每組中的一幀作為24幀影片的目標幀。但是,《比利·林恩的中場戰(zhàn)事》和《雙子殺手》在使用120幀率的素材制作較低幀率的影片時,并未使用簡單傳統(tǒng)的抽幀方法,而是使用RealD研發(fā)的TrueMotion——一款專門為了降低高幀率影片的幀率而研發(fā)的軟件,而這款軟件的核心思想就是基于“合成快門開角”方法來進行幀率下轉(zhuǎn)換。

2 合成快門開角基本原理

快門開角的概念源自膠片電影時代,用來表示以前用在膠片電影機上旋轉(zhuǎn)快門的曝光時間。在以前用膠片拍電影時,每秒會記錄24格膠片,也就是我們現(xiàn)在所說的24fps,在不做任何遮擋的情況下每張膠片的曝光時間為1/24秒。當需要調(diào)整膠片上的曝光量的時候就需要加入一個旋轉(zhuǎn)快門裝置來調(diào)整曝光時間。在旋轉(zhuǎn)快門葉片開角全開時(即360度),此時每張膠片的曝光時間為1/24秒,在旋轉(zhuǎn)快門葉片開角打開一半時(即180度),相當于膠片有一半的時間被葉片擋住,因此此時每張膠片的曝光時間為1/48秒。RealD True Motion深入挖掘了這一概念,提出了“Synthetic shutter”,即“合成快門開角”方法,并將這一方法運用到了高幀率影片幀率下轉(zhuǎn)換的方法中來。

合成快門開角的方法原理,以使用360度開角的120幀率源素材制作24幀影片為例來說明。

圖1 120幀下轉(zhuǎn)換至24幀時,將源素材每5幀分成一組

如圖1所示,當我們使用360度開角的120幀率素材制作24幀影片時,將以5幀為一組。每一幀的曝光時間為1/120秒。傳統(tǒng)的抽幀方法只會使用一組中的某一幀作為目標幀。為了更加清晰的表示,下面將以扇形圖的方式來表示幀。

圖2 圖1的扇形圖表示

如圖2,我們只選取一幀作為目標幀,此幀的曝光時間為1/120秒。即相當于轉(zhuǎn)換后的24幀影片中的此幀的曝光時間為1/120秒,也就是相當于快門開角為72度。但我們不僅僅只選用一幀,而是選用多幀來合成一幀的方式,如圖3所示。

圖3a表示,當我們選擇5幀來合成一幀的時候,相當于曝光時間為1/120×5秒,即1/24秒,所以轉(zhuǎn)換后的24幀影片相當于360度快門開角。以此類推選擇4幀、3幀、2幀、1幀的時候?qū)?yīng)的快門開角分別為288度、216度、144度以及72度。以上就是Real D True Motion的“合成快門開角”方式的基本原理。綜上所述,合成快門開角取決于合成目標幀所使用的幀數(shù)在分組中的占比。合成后的不同快門開角也必然會導(dǎo)致不同的畫面效果,使用多幀合成目標幀也必然會導(dǎo)致運動模糊的增加,進而導(dǎo)致畫面整體對比度的下降。

圖3 不同快門開角的合成方式

3 RealD TrueMotion的幀率下轉(zhuǎn)換方法特點

圖4就是RealD True Motion的主要工作區(qū),紅色框區(qū)域是視頻的預(yù)覽窗口。綠色框區(qū)域可以進行源素材以及轉(zhuǎn)換后影片的參數(shù)選擇,其中最重要的就是黃色框區(qū)域中的“Synthetic shutter”選項。

圖4 TrueMotion主界面

圖5是TrueMotion中所有的快門開角選項。黃色框部分是上述我們探討過的360度以內(nèi)的開角選項。值得一提的是,因為筆者仍使用的是120幀率的源素材,并選擇下轉(zhuǎn)換到24幀,所以360度以內(nèi)的開角選項中只有72度、144度、216度、288度和360度。如果是使用360幀源素材下轉(zhuǎn)換到36幀的話,那么就會出現(xiàn)36度、72度、108度、144度、180度、216度、252度、288度、324度、360度十個選項。

圖5 True Motion中Synthetic shutter選項

仍然以120幀下轉(zhuǎn)換到24幀為例。當選擇72度開角時我們可以看到,圖6中shutter部分的藍色虛線框內(nèi)只選擇了一幀作為轉(zhuǎn)換后的目標幀。而選擇360度開角時,我們可以看到藍色虛線框中有5個等高的藍色方柱,也就意味著轉(zhuǎn)換后的目標幀是由源素材中5幀來合成一幀的。

圖6 選擇72度開角和360度開角時的shutter界面

圖5的紅色框部分我們可以看到有超過360度的快門開角選項以及以RealD開頭的一系列選項,這就是True Motion的最大的特 點。TrueMotion不僅僅只提供最基礎(chǔ)的360度以內(nèi)的快門開角選項。首先以720度為例,我們可以觀察到圖7的等高藍色方柱的數(shù)量有10條,即合成目標幀使用了源素材中的10幀,意味著一些幀的重復(fù)使用。每一幀的曝光時間為1/120秒,10幀的總曝光時間為1/12秒,即相當于快門開角為360度開角的曝光時間的兩倍,等同于快門開角為720度。其他高于360度開角的選項也都同理。除此之外,

圖7 720度快門開角度shutter界面

True Motion又做了更深一步的延伸。以上我們看到的不論是高于360度開角還是低于360度開角,所有的藍色方柱都是等高的,意味著在合成目標幀的時候,源素材中的每一幀都分配了同樣的權(quán)重。而True Motion改變了這種方式,即分配不同權(quán)重給每一幀,用來根據(jù)需求獲得不同的畫面效果。

圖8 RealD Mg、Ga、Ag的shutter界面

如圖8所示的RealD Mg,每一個藍色方柱有不同的高度,代表著合成目標幀所占的比重不同。而且有一部分的比重為0,意味著此幀并未被使用;還有一部分的比重為負值,意味著一些源素材中的幀在合成目標幀的時候被減去了。使用越多的幀能夠增加運動模糊,減去某些幀能夠減少一些運動模糊,但也有可能造成一些畫面抖動等問題。其他以RealD開頭的“Synthetic shutter”中的選項,比如RealD Ga、RealD Ag也都預(yù)設(shè)了一些權(quán)重,用戶可以根據(jù)自己想要的效果來進行選擇。關(guān)于權(quán)重的設(shè)置,可以從shutter的形狀分布來判斷,是屬于高斯分布的。使用高斯分布的優(yōu)點就是,使用添加一些運動模糊的方式減弱幀率下轉(zhuǎn)換會出現(xiàn)的畫面問題,比如抖動、“車輪后轉(zhuǎn)”等這些現(xiàn)象,來保證畫面的對比度。

如圖9和10所示,我們可以明顯看出相對于RealD Ag來說使用RealD Ga有更加明顯的運動模糊,但是使用RealD Ag的畫面要比使用RealD Ga的畫面有著更高的對比度。以上這些就是TrueMotion的幀率下轉(zhuǎn)換的方法特點,它為幀率下轉(zhuǎn)換后的結(jié)果提供了更多的選擇,用戶可以根據(jù)自己的需求來選擇自己想要的結(jié)果。

圖9 下轉(zhuǎn)換時使用RealD Ga效果圖

圖10 下轉(zhuǎn)換時使用RealD Ag效果圖

4 TrueMotion“合成快門開角”優(yōu)點

相對于傳統(tǒng)的抽幀算法,True Motion的“合成快門開角”的方法有著以下幾個方面的優(yōu)點。

(1)增加粒子的運動模糊,更加符合視覺習慣

圖11 使用抽幀和True Motion的粒子運動對比圖

圖11左圖中是使用抽幀方法,右圖是使用了TrueMotion處理之后的效果?？梢钥闯鲇覉D的水滴運動模糊更強,使得粒子運動更加流暢,符合我們觀看的24幀電影的效果。

(2)在表現(xiàn)物體旋轉(zhuǎn)運動時效果更好

圖12、圖13中展示的是飛機的兩個葉片在旋轉(zhuǎn)的畫面。在圖右邊看到相對較明顯的葉片。而左邊使用了True Motion之后的畫面幾乎看不到葉片的形狀,意味著在運動過程中,使用了TrueMotion之后的畫面運動將會更加流暢,并且不會產(chǎn)生在旋轉(zhuǎn)運動中常見的“車輪后轉(zhuǎn)”現(xiàn)象。

圖12 使用抽幀和True Motion表現(xiàn)旋轉(zhuǎn)運動對比圖-畫面靜止圖

圖13 使用抽幀和True Motion表現(xiàn)旋轉(zhuǎn)運動對比圖

(3)慢動作表現(xiàn)更加順滑

當未經(jīng)過任何處理,直接將高幀率影片以較低幀率的速度進行播放時,會出現(xiàn)物體運動略微卡頓不流暢的效果。即使是在較高倍率的慢放,比如說0.5倍速,這種效果也會非常明顯。光流補幀法能實現(xiàn)比較好的效果,但計算量較大,處理時花費時間較長。而True Motion利用合成快門開角的方法,在增加了一些運動模糊的情況下,能夠快速實現(xiàn)較流暢的運動畫面。在對于動作清晰度要求不太高的情況下,True Motion也是比較好的選擇。

(4)減少鏡頭快速搖移時高對比度物體的抖動現(xiàn)象

由圖14和15對比可知,在鏡頭快速搖移的時候,高對比度的物體容易產(chǎn)生抖動現(xiàn)象,True Motion可以增加適當?shù)倪\動模糊來減弱這種現(xiàn)象,改善畫面的質(zhì)量。

圖14 鏡頭快搖時高對比度物體的抖動現(xiàn)象

圖15 使用抽幀和True Motion表現(xiàn)旋轉(zhuǎn)運動對比圖

綜上所述,True Motion的核心思想就是增加適當?shù)倪\動模糊,來解決一些低幀率影片經(jīng)常會出現(xiàn)的運動畫面不流暢、抖動等一些問題。最重要的是True Motion可以讓用戶選擇Synthetic shutter中的不同選項調(diào)節(jié)運動模糊的程度,來獲得用戶最想要的畫面效果。

5 總結(jié)

RealD True Motion的出現(xiàn)使得高幀率影片的幀率下轉(zhuǎn)換不再局限于簡單傳統(tǒng)的抽幀方法。其核心原理“合成快門開角”拓深了快門開角的概念,利用合成幀的方法來進行幀率下轉(zhuǎn)換。從給予幀相同權(quán)重來合成目標幀到給予幀不同的權(quán)重來合成目標幀,RealD True Motion也在探索不同的可能。但筆者認為,在給予幀不同權(quán)重方面True Motion也有其局限性。TrueMotion所定義的那些預(yù)設(shè)比如說Real D Ag,都是設(shè)定好的權(quán)重,并未考慮到畫面本身的特點。但如果加上圖像分析必定會導(dǎo)致計算過于復(fù)雜,處理時間過長。所以筆者認為目前為止Real D True Motion仍然是做高幀率影片幀率下轉(zhuǎn)換的最佳選擇。