賈鵬

在剛剛過去的2022驍龍峰會上，高通的第二代驍龍8移動平臺正式發(fā)布。除了一如既往的突出性能表現(xiàn)，影像技術(shù)上的進步同樣讓業(yè)界側(cè)目。新平臺內(nèi)嵌了領(lǐng)先行業(yè)的首個認知ISP（Cognitive-ISP），在即將到來的一大波智能手機新品中，實時語義分割、Pro Sight視頻拍攝功能等一眾新技術(shù)，將為內(nèi)容創(chuàng)作者帶來專業(yè)的移動影像體驗。

譜寫手機影像發(fā)展史

不難發(fā)現(xiàn)，智能手機影像技術(shù)的每次突破，都離不開驍龍移動平臺ISP的助力。在高通推出首款雙ISP后，高像素、2PD對焦、4K視頻/HDR視頻拍攝逐漸實現(xiàn)，并在2016年的Spectra 180 ISP上實現(xiàn)支持雙攝方案以及平滑的光學變焦。至此，手機攝影才有了現(xiàn)在的雛形。

然而，單純提升ISP運算性能已不能滿足更復(fù)雜的拍攝場景，和更高質(zhì)量的成像需求。因此高通推出了Spectra 380 ISP，這也是全球首個CV-ISP，使智能手機具備了計算機視覺（CV）能力，照片和視頻的優(yōu)化可以具體到每一幀。手機拍攝4K HDR 10bit視頻也成為可能，并實現(xiàn)了對象分類和對象分割。至于后續(xù)上線的8K HDR視頻、4K/120FPS、杜比視界等功能，則是極大豐富了視頻內(nèi)容生產(chǎn)者的創(chuàng)作手法和想象力。

不過大家有沒有發(fā)現(xiàn)，盡管驍龍ISP的運算已經(jīng)觸及到幀，像夜景拍照，可以以極快速度將優(yōu)化好的多張照片合成。但是，這跟我們?nèi)粘?yōu)化照片還是有差別，那就是具體到畫面的每一部分。例如天空、背景的色調(diào)、人臉的細節(jié)，每一部分去詳細優(yōu)化，手機攝影能做到嗎？

讓手機鏡頭感知世界

這個問題，在第二代驍龍8移動平臺的認知ISP到來后，答案是肯定的。對比傳統(tǒng)強調(diào)算力的ISP，認知ISP以AI為先導(dǎo)，可以理解為有思維的圖像計算，與人眼一樣，認知ISP也能觀察并理解照片中的“世界”。

在拍攝照片和視頻時，認知ISP可以進行實時的語義分割。在場景中感知人臉、面部特征、頭發(fā)、衣服和天空等細節(jié)，并進行獨立優(yōu)化。這樣的好處是顯然易見的，過去的多幀合成只能做到亮部/暗部，或者整體色彩的調(diào)節(jié)?，F(xiàn)在，無論是照片或是視頻，都可以對每一幀二維的畫面進行八層語義分割，然后再加入時間深度上的語義，就可以對每層應(yīng)用做定制化處理。按照我們?nèi)粘Ｌ幚硭夭牡男袨閬韰^(qū)分的話，傳統(tǒng)ISP更像是一鍵生成，而認知ISP則更符合精修的概念。

那問題又來了，如此復(fù)雜的圖像計算，效率與能耗會不會造成負擔。實際上，第二代驍龍8的效率更高了。首先用于處理情境感知任務(wù)的AI處理器增加到兩顆，識別效率和運算速度加倍。另外，Hexagon處理器和ISP之間，增加了名為“Hexagon直連”的物理連接，圖形計算的處理上都能在ISP內(nèi)部完成，讓AI在影像中的運算效率大幅提高。

細節(jié)到發(fā)絲的優(yōu)化

實際拍攝效果又是如何，可以看虹軟基于認知ISP，針對人像特寫頭發(fā)部分的優(yōu)化。在保持人臉膚質(zhì)細節(jié)前提下，頭發(fā)部分進行了柔化處理，原來略顯分叉的發(fā)絲，在優(yōu)化后變得柔順起來，這是在視頻中實時進行的局部柔化處理，為了增加難度，頭發(fā)也在不斷飄動。完整看下來，實時處理也沒有出現(xiàn)翻車現(xiàn)象，認知ISP確實表現(xiàn)出極高的運算效率。

至于時下非常熱門的視頻虛化功能，虹軟實現(xiàn)了更為生動的電影模式。相比傳統(tǒng)單一的人像虛化，認知ISP可以根據(jù)畫面的人物或主體變化，實時切換對焦點，完成前后景深虛化效果的自然變化。而且從實拍效果能看到，這個景深變化也很符合人眼看到的效果。

至于對視頻質(zhì)量要求更高的內(nèi)容生產(chǎn)者，認知ISP提供了Pro Sight視頻拍攝模式，相比普通視頻，Pro Sight視頻的比特率提升了5倍。

玩過視頻拍攝的用戶都知道，比特率是個關(guān)鍵參數(shù)，原理上比特率越高畫質(zhì)越好。因為高比特率的畫面擁有更多的細節(jié)、更好的寬容度，更少的噪點，這樣的視頻將擁有更好的后期空間。

定義超前的未來規(guī)格

除了當下的新功能，認知ISP的潛力還來自于超前的規(guī)格。在谷歌安卓13設(shè)備上，可以拍攝10 Bit HDR的視頻以及8K HDR 60 fps的視頻，并支持2億像素的照片拍攝。

為此，三星全新的2億像素圖像傳感器ISOCELL HP3專門面向第二代驍龍8進行了優(yōu)化，能夠在驍龍平臺上支持采用Re-mosaic像素重排技術(shù)實現(xiàn)高分辨率照片拍攝。

而索尼IMX800以及1英寸的索尼IMX989，則是首批面向驍龍調(diào)優(yōu)的QDOL HDR圖像傳感器。視頻的每一幀將融合4重曝光，為視頻拍攝帶來出色的HDR效果。QDOL4技術(shù)使視頻和照片能夠?qū)⒐饩€最暗處和最亮處的細節(jié)呈現(xiàn)在同一畫面上。

可預(yù)見的手機影像飛躍

移動影像技術(shù)向來是驍龍移動平臺的核心部分，從認知ISP的具體表現(xiàn)來看，驍龍在這方面依然保持著充足的競爭力。對于用戶來說，認知ISP的能力也很快能在即將發(fā)布的旗艦手機上感受到，大家不妨拭目以待。