程 檣 趙 傲

北京電影學(xué)院視聽傳媒學(xué)院,北京 100088

在網(wǎng)絡(luò)媒體全球化的時代,隨著媒介技術(shù)與手機影像功能的發(fā)展完善,網(wǎng)絡(luò)上涌現(xiàn)的大量以專業(yè)用戶生產(chǎn)內(nèi)容 (Professional User Generated Content,PUGC)為主要內(nèi)容的手機動態(tài)影像成為一種熱門的文化消費產(chǎn)品。大部分網(wǎng)絡(luò)創(chuàng)作者并非影視專業(yè)出身,但他們卻憑借著對于手機動態(tài)影像技術(shù)發(fā)展的追隨與鉆研、巧妙的內(nèi)容創(chuàng)意、對生活細(xì)致的觀察和表現(xiàn)以及對網(wǎng)絡(luò)用戶使用心理精準(zhǔn)的捕捉等優(yōu)勢,在網(wǎng)絡(luò)媒體上掀起了不輸專業(yè)內(nèi)容的流行趨勢。巴贊曾經(jīng)指出,復(fù)制、記錄和保存現(xiàn)實的世界是人類與生俱來的心理本能。人類誕生伊始,就有一種“完整電影”神話的情結(jié)。手機動態(tài)影像系統(tǒng)的出現(xiàn)與發(fā)展賦予了普通大眾通過視聽記錄生活以及進(jìn)行藝術(shù)創(chuàng)作的空間與權(quán)利,其具備的自由、經(jīng)濟、高效、智能等特點將被困在專業(yè)設(shè)備鴻溝中的平民創(chuàng)作者解放了出來,幾乎每一個擁有智能手機的用戶都參與到了這一場民間影像爆發(fā)的狂歡之中。因此,本研究將對手機動態(tài)影像系統(tǒng)技術(shù)的發(fā)展與實際應(yīng)用及其在攝制和傳播的過程中帶來的新型創(chuàng)作觀念進(jìn)行概述與分析。

1 手機影像系統(tǒng)的概念與發(fā)展

1.1 初嘗試:硬件拼合時代

2000年9月,日本移動運營商與夏普合作推出的夏普J(rèn)-SH04手機首次內(nèi)置了影像技術(shù),雖然只配備了11萬像素的CCD 攝像頭,在當(dāng)時也沒有引起較大的關(guān)注,但是J-SH04的誕生標(biāo)志著手機影像系統(tǒng)的第一次面世。自此,手機影像的概念進(jìn)入了各大廠家與用戶的視野中,市場對于手機拍照功能的熱情開始爆發(fā)。在手機影像技術(shù)的發(fā)展初期,各大手機廠商只是在硬件配置上把作為通訊工具的手機和影像記錄工具的卡片相機在一個有限的空間里縫合在了一起。雖然如此,手機影像技術(shù)在2000到2010 年這段時間內(nèi)的發(fā)展速度依然是驚人的。2005年,索尼愛立信K750i帶來了自動對焦和家用DV 功能;2006年,三星B600將CCD 像素提高到了1000萬且自帶三倍光學(xué)變焦和五倍數(shù)字變焦,以顛覆的外觀降臨,第一次真正意義上將手機影像提高到了可以和相機相提并論的地位;2006年9月,諾基亞N95將蔡司鏡頭 “請”進(jìn)了手機,帶來的諸多拍攝功能成為了一代人的情懷;2008年,iPhone 3G 與App Store面世,整體提高了手機影像系統(tǒng)硬件與軟件的配合度與執(zhí)行力?？梢哉f,在手機影像系統(tǒng)發(fā)展的第一個十年,大部分手機廠商努力的方向還僅僅停留在如何把更高級的相機鏡頭與傳感器內(nèi)置到手機里,給予用戶前所未有的手機拍攝體驗和伴隨著技術(shù)參數(shù)升級的新鮮感。但在2010年,iPhone 4的發(fā)布打開了手機影像系統(tǒng)的新思路。

圖1 三星B600

1.2 深度研發(fā):效果為王時代

2010年,iPhone 4的像素還只有500萬,在數(shù)據(jù)上甚至低于2006年的三星B600。但在那個時候,iPhone 4 卻成為了全球影像質(zhì)量最好的手機之一,這其中的技術(shù)核心是什么? 針對這一問題,蘋果前總裁Steve Jobs在發(fā)布會上給出了答案。Steve Jobs說:“很多廠商熱衷于那些很表象的指標(biāo),涉及到攝像的時候則是多少百萬的像素。但我們 (Apple公司)則更傾向于問這樣的問題——‘如何才能呈現(xiàn)出更好的影像?’”Steve Jobs意識到,對于手機影像系統(tǒng)來說,如何更充分地捕獲光線給最終成像帶來的影響遠(yuǎn)超于像素指數(shù)的提高。受制于手機內(nèi)部空間的限制,手機影像傳感器的感光面積很難做出較大的跨越。因此,iPhone 4拋棄了傳統(tǒng)的像素堆疊設(shè)計思路,在一眾廠商通過減少像素大小來提高像素的時候,做到了將300萬像素提高到500萬像素的同時保留1.75μm 的像素大小,以保證每個像素的進(jìn)光量保持不變。其次,蘋果引入了高端相機的背面照明傳感器技術(shù) (Backside illuminated sensor)來繼續(xù)增加傳感器的進(jìn)光量,實現(xiàn)了在中低照度下依然可以呈現(xiàn)不錯質(zhì)量的影像效果。更重要的是,iPhone 4首次引入了720P、30FPS的高清視頻錄制功能,并且搭配了視頻點擊對焦、內(nèi)置視頻編輯以及一鍵分享等整合化的動態(tài)影像技術(shù),真正地開啟了手機高質(zhì)量動態(tài)影像系統(tǒng)攝制與傳播的時代。

自此,各大手機廠商不再一味追求純粹的鏡頭與傳感器升級,而是將研發(fā)重心投向了如何針對手機影像系統(tǒng)獨有的特點進(jìn)行優(yōu)化。以三星和索尼為代表的傳統(tǒng)相機廠商將相機的核心圖像處理技術(shù)應(yīng)用到了手機上,并帶來了更大的傳感器。LG Optimums 3D 手機帶來的雙攝系統(tǒng)為后來的多攝技術(shù)打開了局面。雙焦段甚至更多攝像頭的配合不僅拓寬了手機攝影的空間,而且為日后更強大的圖像處理算法打下了基礎(chǔ)。手機影像不斷通過軟硬件的結(jié)合實現(xiàn)了更無損的變焦、更加準(zhǔn)確的測光、更加精細(xì)的景深、更加擬真的色彩以及更多的進(jìn)光量等高新技術(shù)。在動態(tài)影像范疇,光學(xué)防抖到傳感器防抖甚至內(nèi)置云臺的技術(shù)進(jìn)化進(jìn)一步解放了用戶的雙手,延時攝影、240FPS 慢動作等模式極大地豐富了手機攝影的可玩性,專業(yè)創(chuàng)作者也可以借助第三方軟件的開發(fā)來實現(xiàn)手動調(diào)整色溫、光圈、快門等技術(shù)參數(shù),得以保持傳統(tǒng)影像拍攝流程的操作習(xí)慣?？梢哉f,在各大手機廠商以及軟件公司真正開始針對手機影像的獨特性進(jìn)行因地制宜的努力之時,手機動態(tài)影像終于在一定程度上拉近了與專業(yè)攝影機之間的距離。

1.3 顛覆突破:計算攝影時代

在科技飛速發(fā)展的今天,信息學(xué)與光學(xué)的革命式爆發(fā)帶來了一門顛覆手機影像系統(tǒng)的新興學(xué)科——計算攝影學(xué)。計算攝影是基于傳統(tǒng)數(shù)碼攝影而衍生發(fā)展出來的一種新型數(shù)字成像技術(shù),它能夠經(jīng)過一系列的軟件處理,通過光學(xué)成像、傳感器捕捉、智能化選擇和數(shù)字計算等技術(shù),將計算機視覺、數(shù)字信號處理、圖形與圖像學(xué)等內(nèi)容進(jìn)行深層次的交叉融合,從數(shù)碼相機的成像原理上徹底改變傳統(tǒng)相機的拍攝方式。追溯到1930年一個夏天的夜晚,美國天文學(xué)家Earl Slipher在一臺24英寸的克拉克望遠(yuǎn)鏡下發(fā)明了高動態(tài)范圍 (HDR)技術(shù)的前身——多幀合成技術(shù),自此打開了人類探索計算攝影技術(shù)的大門。2013年,Google發(fā)布的Nexus5首次在影像系統(tǒng)中加入了HDR+模式。HDR+是對傳統(tǒng)HDR 技術(shù)的一次拓展,通過直接拍攝一連串短曝光的照片,并在其中智能選擇質(zhì)量最高的一張作為基準(zhǔn),在拋棄掉幾張低質(zhì)量的圖像后,用其他的圖像來進(jìn)行合成,解決了傳統(tǒng)HDR 在拍攝中長曝光幀的時候由于畫面元素的不穩(wěn)定造成的照片難以對齊以及偽像等問題。同時經(jīng)過算法的降噪處理改善了手機傳感器由于體積太小造成的信噪比不足的問題?？v覽圖2的兩條圖像處理管線。兩個管線的輸入都是全傳感器分辨率 (例如1200萬像素)、每秒最多30幀的拜耳原始圖像流。當(dāng)相機應(yīng)用程序啟動時,只有取景器管線 (圖2 第一行)是運行的。這條管線將原始圖像轉(zhuǎn)換為低分辨率圖像,以便于在移動設(shè)備的屏幕上顯示,可能幀率較低。我們目前的取景器能夠?qū)崿F(xiàn)160萬像素,每秒15-30幀的更新頻率。當(dāng)按下快門時,這條處理管線會短暫地暫停,在恒定曝光時捕捉到大量幀,并暫時儲存,然后激活軟件處理管道(圖2第二行)。這條管道將連續(xù)拍攝的大量幀對齊合并,生成一個高位深的中間圖像,然后應(yīng)用顏色與色調(diào)映射,生成一個全分辨率的8位輸出圖像,并壓縮和儲存。在實現(xiàn)處理后,這張照片能夠達(dá)到1200萬像素,在移動設(shè)備上的處理大概需要4秒。

圖2 Google HDR+完整管線

前Google傳奇工程師Mark Levoy打破了手機廠商沿用傳統(tǒng)做相機技術(shù)研發(fā)手機影像系統(tǒng)的思路,賦予了困在硬件鴻溝里的手機影像系統(tǒng)重?zé)ㄐ律踔敛粩嗤黄频纳?。Google公司通過對堆棧技術(shù)和深度學(xué)習(xí)的刻苦研發(fā),一直到2016年依然憑借著只有一顆攝像頭的Google Pixel在成像質(zhì)量上擊敗了一眾擁有更高級傳感器以及更多鏡頭的手機,沖上了手機影像系統(tǒng)排行網(wǎng)站Dxomark 的第一名。2019年,iPhone 11的發(fā)布第一次將計算影像的概念帶入了大眾視野之中,彼時的計算攝影已經(jīng)可以做到在低照度的條件下對已經(jīng)使用了HDR 堆棧技術(shù)的合成影像進(jìn)行二次計算,通過AI算法對拍攝場景以及畫面元素進(jìn)行分析后使用智能補色的方式為用戶提供超越傳感器本身能力上限的高質(zhì)量影像。同年,蘋果公司帶來的深度融合 (Deep F usion)技術(shù)在計算攝影深度學(xué)習(xí)領(lǐng)域再次取得了突破,全景分割、語義渲染技術(shù)的出現(xiàn)讓手機影像系統(tǒng)開始像人類的大腦一樣對拍攝的畫面進(jìn)行分析,天空、靜物、頭發(fā)、眼睛等人類世界的概念走進(jìn)了手機影像系統(tǒng)之中,手機針對于不同區(qū)域進(jìn)行的智能優(yōu)化讓影像變得更加自然細(xì)膩,似乎已經(jīng)不僅僅局限于記錄,而是嘗試去理解人類的創(chuàng)作意圖并努力地實現(xiàn),呈現(xiàn)了一種從技術(shù)出發(fā)到富有溫度的人文關(guān)懷,進(jìn)一步突破了人們對于手機影像技術(shù)的想象。2020年,iPhone 12第一次支持了杜比視界HDR 視頻的拍攝,并且可以達(dá)到10Bit的高動態(tài)范圍,這也意味著iPhone可以在視頻錄制的過程中捕捉到多達(dá)7億種色彩。深度學(xué)習(xí)技術(shù)在計算攝影中的應(yīng)用占比越來越大,且手機動態(tài)影像技術(shù)的邊界還在不斷擴張之中。但同時,計算攝影技術(shù)的發(fā)展也為手機帶來了巨大的算力挑戰(zhàn)。為了滿足算力的要求,各大手機廠商在繼續(xù)升級影像系統(tǒng)軟硬件的同時開始研發(fā)算力更加強大的芯片,甚至是只針對于影像處理的圖像信號處理 (Image Signal Processing,ISP)。Pixel Visual Core、A15、馬里亞納X 等高算力芯片的出現(xiàn)也標(biāo)志著計算攝影技術(shù)的下一個核心將從軟件的開發(fā)走向芯片的研制。

2021年,iPhone 13 的面世帶來了手機動態(tài)影像系統(tǒng)計算攝影跨時代里程碑式的功能——電影模式(Cinematic Mode)。蘋果公司工程師Johnnie Manzari在發(fā)布會上詳細(xì)介紹了這一模式的功能與意義,通過神經(jīng)網(wǎng)絡(luò)算法的深度學(xué)習(xí),iPhone 13的動態(tài)影像系統(tǒng)已經(jīng)可以實現(xiàn)自動識別畫面主體并跟隨畫面運動變換焦點的效果,甚至支持后期調(diào)整焦點與景深。iPhone 13 Pro所具備的大傳感器、三攝配置、強大A15芯片等硬件與計算攝影技術(shù)的結(jié)合已經(jīng)將手機動態(tài)影像的質(zhì)量提高到在某些場景下與專業(yè)攝影機難以分辨的位置。在過去,這是難以想象的。計算攝影時代的到來拓展了手機影像系統(tǒng)的邊界,賦予了普通手機用戶拍攝出更加高質(zhì)量影像的權(quán)利。用戶在拍攝過程中可以更加專注于影像的內(nèi)容與情感,專注于想用鏡頭表達(dá)的故事。計算攝影已經(jīng)不僅僅是一個技術(shù)問題,芯片的算力與學(xué)習(xí)能力將麥克盧漢經(jīng)典的那句 “媒介是人體的延伸”再次進(jìn)行了深刻直觀的詮釋。這種思維方式將是未來一段時間手機動態(tài)影像系統(tǒng)的主流,而且依然存在著巨大的潛力。同時,計算攝影下強大的芯片算法也是手機影像系統(tǒng)在傳感器體積等限制下能夠媲美傳統(tǒng)攝影機的技術(shù)基礎(chǔ)。通過自動化的高級影像處理流程,在規(guī)定相同用戶以及拍攝對象與環(huán)境的條件下,大大降低了影像創(chuàng)作的操作要求,并且常常能夠展現(xiàn)出超越傳統(tǒng)影像系統(tǒng)的驚喜效果,從而獲得平民影像創(chuàng)作者更多的青睞。

2 技術(shù)賦能下手機動態(tài)影像系統(tǒng)的應(yīng)用

2.1 高清流暢,挑戰(zhàn)視覺極限

隨著鏡頭傳感器以及芯片的不斷進(jìn)步,手機動態(tài)影像系統(tǒng)能夠拍攝的分辨率與幀速率越來越高。4K 視頻在今天已經(jīng)成為了各大手機品牌的影像標(biāo)配。令人驚訝的是,三星Galaxy S20系列以及小米10系列在驍龍845處理器的加持下,已經(jīng)能夠拍攝高達(dá)8K 分辨率的視頻。雖然大部分手機通過縮小像素面積提高分辨率的方法依然無法和相機實打?qū)嵉拇竺娣e傳感器相提并論,而且存在儲存和續(xù)航等問題,但是考慮到手機作為載體本身的局限性,這樣的飛躍依然足夠驚喜。分辨率的指數(shù)級增長意味著手機動態(tài)影像系統(tǒng)捕捉到的畫面能夠呈現(xiàn)出更多的細(xì)節(jié)與紋理,進(jìn)一步還原了影像的真實。在拍攝動物、人物等紋理復(fù)雜的元素時,高分辨率能夠?qū)⒚l(fā)、皮膚質(zhì)感、劃痕等細(xì)節(jié)更精細(xì)地展現(xiàn)出來,在拍攝一定范圍內(nèi)遠(yuǎn)距離主體的時候,也能通過裁切與放大得到不錯的影像質(zhì)量,這也為手機動態(tài)影像創(chuàng)作者提供了拍攝遠(yuǎn)景鏡頭的硬件條件。手機分辨率的提升真正將手機影像的精細(xì)程度做到了纖毫畢現(xiàn),同時也為用戶提供了更多的玩法與可能性,滿足了觀眾不僅看得到而且看得清的審美需求。

除了高分辨率以外,手機影像系統(tǒng)目前基本上都可以實現(xiàn)1080P、120FPS的高幀率攝影,手機內(nèi)自帶的慢動作模式更是可以直接記錄1080P、240FPS的超高幀率升格視頻,華為P50 Pro甚至能夠通過自動補幀算法實現(xiàn)1080P、960FPS的超級慢動作視頻。幀率的概念首先源于電影的播放原理。早期默片16～22FPS的幀率,已經(jīng)讓畫面 “活動”起來,形成了不錯的視覺效果,甚至人類在第一次觀看電影 《火車進(jìn)站》時,已經(jīng)被眼前動起來的火車嚇得驚慌失措。后來,電影技術(shù)產(chǎn)業(yè)不斷升級,電影幀率也從標(biāo)準(zhǔn)的24FPS 衍生出了48FPS、60FPS甚至以《比利·林恩的中場戰(zhàn)事》 《雙子殺手》等影片為代表的120FPS 等多種高幀率制式。可以說,高幀率視頻憑借著其影像動作前所未有的流暢性為觀眾帶來了更加細(xì)膩豐富的畫面內(nèi)容,形成了一種賞心悅目的新電影美學(xué)。如今,手機影像系統(tǒng)能夠支持最高120FPS的高清視頻錄制功能意味著用戶們可以用手機去更加極致地表現(xiàn)各種有大幅度鏡頭運動或人物動作等復(fù)雜調(diào)度的畫面,從而帶給觀眾手機影像領(lǐng)域前所未有的臨場感與參與性。同時,手機內(nèi)置的超級慢動作功能也讓用戶能夠用夸張的手法表現(xiàn)一些轉(zhuǎn)瞬即逝的場景或重點表現(xiàn)的動作,給觀眾以“時間凍結(jié)”般的臨場體驗。這種對時間進(jìn)行“特寫”的拍攝方式本身就是一種獨特的視覺美學(xué),它通過延展時間來對動作場面進(jìn)行分解,實現(xiàn)對“真實過程”的 “一種更精確更深刻的描寫”。

2.2 細(xì)膩光色,超越真實世界

2020年,由廖明毅導(dǎo)演的亞洲首部iPhone長片《怪胎》面世,并且在多個國際影展競賽中斬獲獎項。在影片中,除了故事本身的趣味性,iPhone作為影像設(shè)備對于影片美術(shù)大面積采用紅黃藍(lán)綠等高飽和度色彩的表現(xiàn)讓人印象深刻,呈現(xiàn)出了一種奇幻怪誕的浪漫。

杜比視界HDR 與語義渲染等技術(shù)的賦能,給予了手機影像系統(tǒng)對于動態(tài)范圍與色彩范圍里程碑式的跨越。10Bit的高動態(tài)范圍讓手機能夠在超大反差的環(huán)境下依然有十分出色的細(xì)節(jié)表現(xiàn)。同時,10億級色彩空間的識別與還原搭配上以Deep Fusion為代表的影像算法給予了用戶通過手機動態(tài)影像系統(tǒng)展現(xiàn)多彩絢麗畫面的權(quán)利。以iPhone 13 系列為例,蘋果在從相機到屏幕的影像全流程系統(tǒng)中都采用了DCI-P3的廣色域。這是一種影院級的色彩范圍,以人類的視覺體驗為出發(fā)點,能夠在高飽和的場景下還原出更加具有視覺沖擊力的影像。同時,杜比視界HDR 的加入將iPhone 13系列的錄制以及顯示亮度提高到了1200尼特,三攝的最大光圈也進(jìn)化到了F1.8。這意味著,iPhone 13系列可以在低照度的環(huán)境下還原出甚至連人眼都無法看清的畫面細(xì)節(jié),同時又可以在高反差的環(huán)境下保留高光和陰影的超多畫面細(xì)節(jié),并在手機屏幕上出色地展現(xiàn)出來。如果用戶在拍攝的時候,有意識地營造大光比和高對比,杜比視界就可以最高程度地釋放它的“功力”,呈現(xiàn)出一種超強的沉浸感和真實感。同時,iPhone 13系列首次加入了攝影風(fēng)格功能,用戶可以在拍攝的時候進(jìn)行選擇和調(diào)整,并且獲得實時渲染的監(jiān)看畫面,獲得了更加豐富的色彩選擇與玩法。

圖3 iPhone電影 《怪胎》

2.3 多攝合作,拓展場景空間

2011年,LG 推出了世界上第一臺后置雙攝像頭的智能手機LG P925,通過兩顆500萬像素的鏡頭,實現(xiàn)了裸眼3D 影像的技術(shù)。自此,HTC、酷派、榮耀等手機品牌也加入其中。直到2016年,蘋果推出的iPhone 7 Plus搭載了28mm 與66mm 兩 顆攝像頭,并可以通過軟硬件的配合做到2倍光學(xué)變焦與10倍數(shù)碼變焦。除此以外,雙攝的配合實現(xiàn)了手機影像系統(tǒng)對于場景位深的分析,結(jié)合機器學(xué)習(xí)算法可以做到虛擬景深的效果,為之后的 “電影模式”打下了基礎(chǔ)。如今,三攝、四攝甚至五攝的配置在手機市場上已經(jīng)見怪不怪了。多焦段鏡頭的搭配不僅拓展了用戶在拍攝時與場景及畫面主體之間的空間關(guān)系,在有限的空間里給予了用戶更豐富的拍攝選擇,以更合適的焦距更加準(zhǔn)確地用影像傳達(dá)情感,而且相比較于傳統(tǒng)影像拍攝需要頻繁更換鏡頭的流程而言,極大地提高了效率。2020年,蘋果使用配有三攝系統(tǒng)的iPhone 11 Pro拍攝了春節(jié)賀歲片《女兒》。這也是iPhone首部未外接任何鏡頭,只使用手機原生鏡頭模組拍攝完成的短片。這意味著蘋果公司的三攝系統(tǒng)已經(jīng)基本可以涵蓋從超廣角到長焦的使用需求,并且每顆鏡頭都能實現(xiàn)優(yōu)秀的成像表現(xiàn)。在影片中,大量車內(nèi)鏡頭的出現(xiàn)意味著iPhone 11 Pro的超廣角鏡頭可以在如此狹小的空間里大放異彩。后視鏡、手套箱、引擎蓋、輪轂等都可以用來放置iPhone 11 Pro,從而輕松高效地捕捉到一些新穎有趣的畫面,對于傳統(tǒng)攝影機來說,這是非常難以實現(xiàn)的。此外,iPhone 13 Pro所配置的超廣角鏡頭第一次開發(fā)了微距攝影功能,最近對焦距離可以達(dá)到2cm,為影像創(chuàng)作再次提供了前所未有的視角和效果,手機影像系統(tǒng)也終于可以拍攝到未經(jīng)裁切的超大特寫畫面。在2021 年的賀歲短片《卷土重來》中,我們通過花絮可以看到創(chuàng)作團(tuán)隊將手機固定在任意的位置,憑借著從13mm 到77mm高達(dá)6倍光學(xué)變焦的鏡頭組合,實現(xiàn)了超豐富的景別與構(gòu)圖。而其中幾個微距大特寫鏡頭對于模型車輪、沙地以及鐵鍋底部等復(fù)雜紋理主體的細(xì)節(jié)表現(xiàn)也十分優(yōu)秀。除此之外,潛望式長焦、彩色黑白鏡頭搭配以及傳感器五軸防抖等高新技術(shù)的出現(xiàn)保持著對手機影像系統(tǒng)的爆發(fā)式賦能,算法+豐富焦段的鏡頭已經(jīng)可以讓手機動態(tài)影像系統(tǒng)實現(xiàn) “指哪打哪”的拍攝效果。華為Mate 20系列更是史無前例地開發(fā)了類似于天文攝影的超級月亮功能,雖然在人工智能算法邏輯上還存在著不小的爭議,但已然可以看出手機影像工程師們對于追求極致所表現(xiàn)出的野心與努力。同時,哈蘇、蔡司、萊卡等知名相機品牌的跨界合作與研發(fā)也為手機影像的未來進(jìn)一步創(chuàng)造了無限可能。

2.4 算法賦能,營造電影擬像

細(xì)膩的焦外景深在過去是使用大傳感器以及大光圈鏡頭專業(yè)攝影機的專屬。充分的進(jìn)光量與折射率制造的淺景深似乎成為一個畫面是否具備 “電影感”的衡量標(biāo)準(zhǔn)。由于機內(nèi)空間的限制,手機動態(tài)影像系統(tǒng)僅依靠著光學(xué)原理很難實現(xiàn)細(xì)膩柔順的淺景深畫面。即使是在影像硬件系統(tǒng)上做到了極致,擁有1英寸大CMOS的Sony Xperia Pro-I所得到的光學(xué)成像畫面依然無法和入門級的專業(yè)微單一較高下。在短時間內(nèi)很難繼續(xù)擴張手機傳感器大小的現(xiàn)實情況下,蘋果公司再次提出了令人驚喜的新思路。在2021年9月的蘋果發(fā)布會上,iPhone 13帶著全新的“電影模式”高調(diào)亮相。這個通過強大的A15芯片算法做到虛擬景深、自動變換焦點甚至后期改變焦點的全新拍攝功能第一次把手機動態(tài)影像和電影畫面之間的距離變得這么近。通過全景語義分割,iPhone 13能夠清楚地識別出畫面里復(fù)雜的元素,進(jìn)而做出精準(zhǔn)的焦點與景深計算。在焦內(nèi)人物轉(zhuǎn)頭或者看向它處的時候,電影模式甚至可以自動將虛擬焦點變換到合適的畫面對象上,展現(xiàn)出了計算攝影超強的深度學(xué)習(xí)和智能優(yōu)化能力。在發(fā)布會的樣片《誰是真兇》中,創(chuàng)作者刻意拍攝了連續(xù)幾個前后景人物互動的鏡頭,旨在表現(xiàn)電影模式準(zhǔn)確、流暢、仿生的自動變焦點功能,令人嘆為觀止。電影模式的出現(xiàn)意味著普通用戶在不需要深入學(xué)習(xí)拍攝技能的條件下依然可以輕松地用電影的質(zhì)感記錄下身邊的日常畫面,更加專業(yè)的創(chuàng)作者甚至可以通過焦點的變化來進(jìn)行鏡頭語言的敘事,以用戶為中心,讓手機動態(tài)影像系統(tǒng)實現(xiàn)從記錄到創(chuàng)作的飛躍。誠然目前的電影模式依然存在比如焦點邊緣模糊與只支持1080P、30FPS等問題。但計算攝影對于手機動態(tài)影像功能的顛覆和拓展在一定程度上給予了用戶比使用專業(yè)相機還要靈活的自由度。通過關(guān)鍵幀后期改變焦點的功能在以往的任何動態(tài)影像流程中都未曾出現(xiàn)過,其劃時代的意義不言而喻。

此外,例如Filmic Pro、Protake、索尼電影大師等動態(tài)影像軟件的輔助給予了專業(yè)視頻創(chuàng)作者熟悉的操控感。通過軟件,用戶可以自由調(diào)整色溫、快門、焦段、感光度甚至畫幅比等一系列參數(shù),從而創(chuàng)作出具有溫度和人文思考的影像。在這樣一個小小的手機里,各大品牌已經(jīng)用軟硬件配合的方式來盡可能滿足絕大部分用戶的個性化需求,計算攝影在未來勢必會成為手機影像系統(tǒng)向?qū)I(yè)相機發(fā)起挑戰(zhàn)的一把利刃。在這個時代,拍大片,真的可以只是動一下手指而已。

圖4 電影模式后期調(diào)整焦點

3 結(jié)語

隨著動態(tài)影像軟硬件技術(shù)的不斷發(fā)展以及網(wǎng)絡(luò)媒介技術(shù)的飛速升級,手機在今天已經(jīng)成為最重要的也是最普遍的影像系統(tǒng)之一。二十年前,軍備競賽般的硬件堆疊將手機影像系統(tǒng)帶到了技術(shù)研發(fā)的主流位置。近十年來,AI算法、深度學(xué)習(xí)、自動優(yōu)化等計算攝影功能又將手機影像的思路進(jìn)一步拓寬,一定程度上彌補了手機影像系統(tǒng)體積小的先天劣勢,甚至在某些場景會得到令人驚喜的表現(xiàn)。二十年來,手機影像系統(tǒng)技術(shù)的戰(zhàn)火從硬件燒到軟件,未來會有怎樣的顛覆也難以揣測。但無論如何,手機影像系統(tǒng)的核心思想依然是為大眾簡化影像創(chuàng)作的流程,并提供高質(zhì)量的視聽表現(xiàn),讓每個手機用戶都能夠擁有通過視聽表達(dá)情感的權(quán)利,營造一場去中心化的民間影像狂歡。

同時,手機動態(tài)影像系統(tǒng)目前依然存在較多問題,比如Pro Res編碼的傳輸速度太慢、文件太大導(dǎo)致難以儲存;8K 與杜比視界HDR 等高新技術(shù)格式視頻上傳網(wǎng)絡(luò)時各種各樣的轉(zhuǎn)碼壓縮對于原始視頻質(zhì)量會產(chǎn)生損耗且部分平臺或設(shè)備不支持播放;計算攝影技術(shù)在錄制動態(tài)影像的時候無法使用4K高幀率的格式。但是,手機作為非純粹的影像生產(chǎn)工具,能夠在有限的條件下達(dá)到今天這樣的效果,已經(jīng)足以稱為攝影界的奇跡。并且,各大手機品牌的影像工程師們依然保持著對于技術(shù)研發(fā)的熱情和對于極致體驗的追求,在未來勢必會為手機影像系統(tǒng)繼續(xù)帶來驚人的升級進(jìn)化。手機影像系統(tǒng)改變了世界的創(chuàng)意生產(chǎn)習(xí)慣,消解了視聽創(chuàng)作的中心權(quán)利。通過技術(shù)之維不斷突破著藝術(shù)創(chuàng)作的邊界,無限拓寬人們的想象空間實現(xiàn)藝術(shù)共創(chuàng)。在這個時代,手機影像系統(tǒng)沒有拋棄任何一個想要記錄與表達(dá)的平民百姓,同時也為有一定基礎(chǔ)的專業(yè)用戶提供了可玩性與操作空間?！陡唢w鳥》《失心病狂》《橘色》《怪胎》《波瀾萬丈》等用手機拍攝的電影成功向我們展示了這樣一個小小的影像系統(tǒng)蘊含的巨大潛力。未來,我們繼續(xù)保持期待。