徐林

如履薄冰的自研6nm

2021年是一個重要的時間節(jié)點，在這一年，小米與vivo先后推出了自研的ISP芯片：澎湃C1和vivo V1，進一步助推自己在手機影像領域的技術(shù)演進。隨后，OPPO自研芯片也將要問世的消息就接踵而至，但爭議也隨之而來。因為澎湃C1和vivo V1先后都被網(wǎng)友找到了和第三方芯片公司業(yè)已存在的芯片有所關(guān)聯(lián)，紛紛質(zhì)疑其自研 的含金量。

對此我也感覺挺無奈的，因為芯片研發(fā)的鏈條本來就很長，介入方式也是多種多樣，將自主IP植入再由芯片生產(chǎn)廠商流片這本來就是一種常見且成熟的模式，其優(yōu)勢就是可以快速將自主IP硬化商用，從而節(jié)約時間與成本，并為后續(xù)的演進和設計提供經(jīng)驗。要是按很多網(wǎng)友嚴格的自研標準 來衡量，那我們熟悉的麒麟、蘋果、高通還有聯(lián)發(fā)科估計都算不得是自研，因為它們采用的IP都來自于ARM而非自主開發(fā)，算來算去可能只有Intel這種才是真自研吧……

話題扯遠了，說回OPPO。當馬里亞納 X正式發(fā)布的時候，其類型可能出乎很多人的意料：它是一枚專門用于AI影像處理的NPU，而非之前盛傳的ISP。更重要的是，這還是一枚采用相當先進的6nm工藝制程的芯片，與當前很多主流智能手機5G SoC，如高通驍龍778G/778G+，聯(lián)發(fā)科天璣 1200/1100處于同一梯隊。僅僅是6nm 這一個關(guān)鍵詞，還包含著大量信息：

第一，它的價格會很高，因為6nm是真正意義上的全EUV工藝（7nm+也只實現(xiàn)了部分EUV）。目前全球硅基芯片最先進制程大部分都為智能手機SoC采用，OPPO在一枚NPU上采用這個工藝，真是下了血本。我和一些行業(yè)分析師估算了一下，覺得單這一枚芯片的交付成本，就和半套中端手機SoC不相上下了；

第二，只能自研，因為在這個如此先進的制程節(jié)點上，沒有可以采購能達到OPPO標準的第三方成熟IP，都只能從零開始，此前網(wǎng)上有人說得頭頭是道的采購誰家IP都是扯淡；

第三，風險極大，6nm制程+自研IP流片不成功的概率并不低，每一次流片失敗都代表著千萬級別人民幣的投入打了水漂，而就算是流片成功，芯片也會有概率不達預期，稱其為開寶 一點也不為過。這也讓我想起之前和華為聊到麒麟810這枚神U為何比更高定位的麒麟985還要猛時，得到的回答是流片的結(jié)果的確超過預期 。

在這些可能梳理出來的信息背后，我覺得還有一場向來行事風格穩(wěn)重的OPPO輸不起的豪賭 ：從2018年INNO DAY上OPPO創(chuàng)始人陳明永宣布2019年研發(fā)投入100億人民幣 ，再到短短一年后的INNO DAY上3年500億人民幣 的迅速攀升，除了要支撐快速擴張的研發(fā)業(yè)務與團隊，還有很大一部分比例都為芯片研發(fā)業(yè)務所占據(jù)——用燒錢 來形容這個行業(yè)明顯力度不夠。

資金投入是一方面，另一方面是時間，與自研芯片配套的IMX709傳感器研發(fā)商用推進速度很快，當其確定在Reno7系列上采用時，留給芯片團隊的時間就已經(jīng)不多了，首次流片如箭在弦，不得不發(fā)。幸運的是，OPPO福星高照，馬里亞納 X不但一次流片成功，而且測試表現(xiàn)也完全達到了開發(fā)團隊的預期，從前期研發(fā)到后期流片的所有投入都算是扎扎實實落了地，一次堪比走鋼絲 的冒險圓滿過關(guān)。

既然成本如此高昂，風險如此巨大，為啥OPPO非要選擇這樣一條最難的路 呢？OPPO芯片產(chǎn)品高級總監(jiān)姜波為我們悉數(shù)道來——他于2019年加入OPPO芯片研發(fā)團隊，在此之前他曾供職于高通，為高通在中國智能手機芯片的起步和快速成長做出了很大的貢獻。他說OPPO智能手機業(yè)務在此前10來年的發(fā)展歷程中已經(jīng)在影像領域有大量的積累，且在長期采用第三方通用平臺的過程中也有很多AI與CV（計算機視覺）算法的經(jīng)驗，當業(yè)界都公認計算影像是未來10年影像領域的發(fā)展方向時，如何更好地凝聚這些積累并繼續(xù)演進就成為關(guān)鍵，這也是OPPO打算自研影像處理芯片的初衷。

智能手機的競爭已經(jīng)步入巨頭時代，為了打造產(chǎn)品差異化，定制傳感器+自主算法 的組合都為各家所采用，比如華為麒麟+RYYG 就是典型的例子，包括澎湃C1的3A算法，vivo V1固化的夜景拍攝和實時預覽都是這種方案的呈現(xiàn)。而在不久前結(jié)束的2021年高通驍龍峰會上，驍龍開發(fā)團隊也表示很歡迎OEM伙伴加入自研芯片，但我們認為這種方案在實效性和持續(xù)性上會有問題 。是的，ISP作為ASIC芯片，在采用的靈活性和后續(xù)提升上的確不如通用平臺方案，但其高效率和功耗平衡也是優(yōu)勢明顯，綜合下來，這也是為何很多廠商初期會采用成熟芯片植入IP這種相對穩(wěn)健的方案。

最開始，OPPO也是打算以這樣的方式入手自研芯片，且以12nm制程起步——算來算去，100億肯定是夠了。但開始之后才發(fā)現(xiàn)了問題：如果采用市面上能采購到的12nm制程IP來做，最后成片應該無法達到手機整體系統(tǒng)功率約束的目標。要知道，隨著5G SoC能力的提升，10W以上的芯片峰值功率已經(jīng)讓電池續(xù)航不堪重負，要是再額外加入一枚功耗表現(xiàn)不佳的芯片，勢必會對后續(xù)產(chǎn)品定義帶來更大的困擾，當然，這就是終端廠商自己做芯片的優(yōu)勢所在，負面因素可以前置解決。在這樣的前提下，馬里亞納 X最終選擇以6nm先進制程從零起步，3年500億，預算在燃燒……

面向未來10年的馬里亞納 X

馬里亞納 X當中集成了OPPO自研負責AI處理的MariNeuro AI計算單元和負責影像的MariLumi影像處理單元。最直觀的數(shù)據(jù)是，馬里亞納X最終的性能不負眾望：18TOPS AI峰值算力比蘋果A15處理器NPU單元的15TOPS算力更強，更是遠超高通驍龍888+處理器。有人可能要質(zhì)疑高通這款處理器不是宣稱有32TOPS AI算力么？因為那是指的整個AI Engine的算力，其是通過CPU、GPU和Hexagon多個單元一起協(xié)同達成的，如果對比同類型處理單元，即Hexagon DSP中的張量加速器（即高通處理器中的NPU）能力，馬里亞納 X是肯定強過的——當然，新驍龍8宣稱其張量加速器性能翻倍，是不是還能打就看后續(xù)信息了。

作為衡量手機NPU性能更重要的標準——每瓦算力，馬里亞納 X為11.6TOPS/W，換算下來整個芯片的峰值運算功耗約為1.5W，如果讓其執(zhí)行現(xiàn)實圖片，即實際拍攝圖片的處理，更高達12TOPS/W，性能與能效比在當前業(yè)界都處于領先水準。

除了高性能的自研NPU IP，為了滿足數(shù)據(jù)處理過程中的高吞吐量，馬里亞納 X的整個內(nèi)存系統(tǒng)也進行了針對性設計，片上緩存速度達到了每秒萬億比特級別，集成封裝的內(nèi)存子系統(tǒng)通過雙通道方式提升了17%的帶寬，速率高達8.5GB/s。

在存儲系統(tǒng)的輔助下，馬里亞納 X擁有強悍的數(shù)據(jù)吞吐量：在它上邊運行OPPO降噪算法，797mW的功耗下可實現(xiàn)4K@40fps AI處理，即可以錄制流暢的4K高清視頻，而同樣的算法運行在Find X3 Pro上，就只能實現(xiàn)4K@2fps的速率，僅可以用來拍攝照片，且功耗高達1693mW，是馬里亞納 X協(xié)處理芯片的1倍以上。

有了馬里亞納 X NPU中OPPO自研的MariNeuro AI計算單元，其帶來的強大AI運算能力，讓OPPO終于可以做一件想做很久的事情了：實時RAW域處理。為了完成這個前置的處理環(huán)節(jié)，芯片團隊在馬里亞納X中還集成了一個重要的模塊：MariLumi影像處理單元，這是OPPO自研的具備ISP功能的處理器，它是以異構(gòu)的方式整合在馬里亞納 X之中。它可以為NPU處理提供20bit、120dB超高動態(tài)范圍的傳感器原始信號，比起現(xiàn)在Find X3 Pro所能提供的18bit信號動態(tài)范圍提升了4倍，光比從之前的25萬：1達到了100萬：1，再細化到4K場景下亮部與暗部的信號增益，則分別是8dB和12dB。

有了MariLumi的存在，OPPO還可以做一件想做很久的事情：與定制RGBW傳感器配套，進行RGBW Pro模式增強處理。眾所周知，RGBW傳感器因為白色（White）像素點的存在，其感光能力得到大大增強，但同時因為傳統(tǒng)ISP RAW-RGB-YUV的處理管路，對這類傳感器的噪點抑制一直都不太理想。而專門設計的MariLumi則存在兩個并行的管路，分別進行RGGB和WWWW兩路信號的獨立處理，其RAW域信息處理量直接翻倍，這帶來的好處就是實現(xiàn)了8.6dB的SNR降噪處理能力和1.7倍的紋理細節(jié)提升，這也意味著RGBW傳感器的噪點問題和畫質(zhì)可能都會得到更理想的解決。

說到這里，OPPO為什么如此在意馬里亞納 X的原因也就非常清楚了。首先，OPPO認定影像會是智能手機未來10年的核心競爭點之一，而4K AI 夜景視頻又是這個領域的重要戰(zhàn)場，這一點從iPhone 12/13兩代產(chǎn)品在視頻性能上的大幅度強化就可見一斑；其次，RGBW異型CFA傳感器是OPPO未來要重點發(fā)力的技術(shù)，但其目前比較小眾，無論是高通還是聯(lián)發(fā)科的通用平臺對這一類型傳感器都缺乏指向性支持，想要將其能力最大化，就只有靠自己來做；第三，即使通過調(diào)校，通用處理器平臺要實現(xiàn)理想化的效果，也會付出較多能耗代價。綜合下來，自研這樣一枚芯片的確是件有價值的事情。

當然，以較小的代價只做類似于MariLumi的ISP來解決問題，OPPO芯片團隊也是有所考慮的，但最后還是一致認為應該充分考慮NPU芯片的生長性與可演進能力。而問及馬里亞納 X可能帶來多少終端成本的上升，姜波說并沒有考慮太多，而是從產(chǎn)品特性、解決問題的目的出發(fā)，至于會不會帶來終端成本的提升，他說等到2022年首先搭載馬里亞納X的OPPO Find X系列旗艦上市，看價格大家就知道了。

寫在最后

千萬不要簡單地以為OPPO芯片團隊投入這么多資金和人力，最后只做出來馬里亞納 X這一枚芯片——它只是這個團隊自2019年成立以來，經(jīng)歷兩年多時間拿出的第一個作品，從各個方面來看，它已經(jīng)非常出色了，一枚針對影像解決方案的NPU都能如此用力過猛 ，也讓我對OPPO自研芯片后續(xù)的產(chǎn)品更加充滿期待，畢竟首枚芯片就做異構(gòu)，太給人以想象空間了。還有一個小信息值得關(guān)注：6nm馬里亞納 X的誕生，意味著OPPO與全球第一晶圓代工廠臺積電的關(guān)系應該緊密了。當然，更要一起期待2022年亮相的OPPO Find X系列旗艦啦！