影像專業NPU　淺析OPPO馬里亞納MariSiliconX芯片

自研ISP的春天

如今智能手機愈加看重影像（拍照，攝像）實力。但是，手機影像系統卻是一個非常長的鏈條，包括CMOS傳感器、馬達、光學防抖模塊、鏡片、鏡頭（光圈）、鍍膜，在光學信號轉化為數字信號時還需要ISP影像處理器進行“糾錯”、“校驗”和“補償”，再通過后端標定和AI算法調優等過程。其中，ISP影像處理器芯片的角色最為特殊（圖1），也是手機廠商之間尋求影像差異化的最佳突圍路徑。

對于一線智能手機品牌來說，自研芯片已是一項不可或缺的核心競爭力，而自研ISP因難度相對較小（相比直接研發SoC），更是形成了一股風潮。特別是在AI人工智能時代，也唯有自研的ISP才能算是“知根知底”，100%匹配自家的AI成像算法，進而更好地實現自身軟硬件的協同，解決用戶關心的痛點，在設計、硬件和系統趨于同質化的當下帶來更多的辨識度。

火速鏈接

如果你對ISP的原理感興趣，請參考本刊2021年第18期《兵家必爭之地淺析智能手機“心臟” 內的I SP模塊》這篇文章。

為了提升影像實力，在武裝更高規格CMOS傳感器之外，從去年開始以小米和vivo為代表的品牌就相繼走上了自研ISP影像處理器的道路。比如，小米去年發布的澎湃C1就幫助M I XFOLD折疊屏手機實現了更精細、更先進的3A（AF對焦、AWB白平衡及AE自動曝光）處理（圖2）;vivoV1也能讓X70 Pro+在低功耗條件下就實現暗光環境下的實時預覽，在高速處理同等計算量任務時，V1的專用算法相比軟件實現的方式可使硬件電路功耗降低50%，還能提供游戲插幀體驗，震撼更勝以往（圖3）。

②

③

如今，終于輪到OPPO“交作業”了。

OPPO入局的考量

OPPO在過去一直都在手機影像領域持續發力，無論是從Find X3系列開始提出的“全鏈路10bit色彩引擎”還是Reno7系列獨享的RGBW傳感器IMX709，再往前還能追溯到開啟美顏時代的Ulike、配備旋轉攝像頭的N系列、可讓1300萬像素攝像頭實現5000萬像素的超清畫質成像技術、R17 Pro獨特的F1.5/F2.4靈動光圈、第一代Reno主打的10倍混合光學變焦技術，每一項技術或功能都令人印象深刻。

在這個過程中，OPPO在通用SoC平臺（如高通驍龍、聯發科天璣移動平臺芯片）上積累了許多AI算法，但同時也發現了一系列問題。比如，以OPPO獨享的IMX709傳感器為例，由于它采用了定制的RGBW排列，需要整個圖像處理鏈路進行優化增強，很難與通過SoC平臺實現緊密耦合，無法實現最大的收益。為此，OPPO不得不在IMX 70 9傳感器邏輯層內置OPPO自研硬件級IP——RGBW圖像處理單元，耗資巨大（圖4）。

④

另一方面，通用SoC平臺通常是1年1次迭代升級，而AI算法卻無時無刻不在更新完善，二者在時間上難以匹配。此外，隨著超級夜景、A I美顏、A I視頻防抖等功能的出現，AI算法在一定程度上已經超越了基于傳統ISP硬件芯片進行計算的效果。雖然通用SoC平臺內都已集成AI模塊，但其AI算力卻無法被手機廠商自己的AI算法充分調用，效率和功耗的損失極大。

對于已經擁有定制傳感器和成熟A I算法，并深諳用戶需求的OPPO來說，急需一顆可以將全鏈路10 bit 色彩引擎、IM X709傳感器（包括后續版本）、獨家AI算法等資源進行影像鏈路垂直整合的芯片，填補OPPO缺乏可控影像專用處理器的最后短板，將AI算法和傳統ISP進行更好地結合，迎接即將到來的“計算影像”時代。

淺析馬里亞納MariSilicon X

需要注意的是，OPPO首款自研芯片并非小米和vivo自研的ISP影像處理器，而是難度更高的專為影像而生的NPU——馬里亞納MariSilicon X（圖5）。官方稱該芯片是OPPO未來十年影像的開篇之作，將完全服務于OPPO定制化的計算影像需求，未來它將和通用平臺一起構成了手機核心運算的左右大腦，正式開啟“一機雙芯”時代。

⑤

6nm制程工藝作

為一顆“非主流”的芯片，OPPO馬里亞納MariSilicon X采用DSA新黃金架構理念，并選用了當前仍處于領先水平的臺積電6nm制程工藝（圖6），需要付出更多的設計、流片成本和開發周期。作為對比，無論是小米澎湃C1還是vivo V1都采用了更主流的12nm制程工藝。有了更先進工藝的加持，馬里亞納MariSilicon X才實現了同級最好的能效比，達到了OPPO對自研芯片的預期要求。

⑥

ISP和NPU合二為一

馬里亞納MariSiliconX內部有兩大OPPO自研的核心IP，分別是MariNeuro AI計算單元和MariLumi影像處理單元（圖7）。其中，前者扮演的就是類似驍龍AI引擎和聯發科APU的“NPU”，而后者則是傳統意義上的“ISP”。二者攜手，便能充分發揮定制圖像傳感器以及自研AI影像算法的能力，彌補當前通用SoC平臺集成的ISP和AI算力不足的難題，而且不存在功耗和芯片面積的浪費問題。

⑦

MariNeuro AI計算單元

馬里亞納MariSiliconX集成的Mar iNeuroAI計算單元可以提供高達18TOPS的算力，以及11.6TOPS/W的能效表現（圖8）。看到18TOPS這組數據時，估計不少朋友會感到不屑——驍龍888集成的第六代高通AI引擎可是有著26TOPS的算力。但正如前文所述，手機廠商無法在影像方面充分調度通用SoC平臺的AI算力。

⑧

以搭載驍龍888的Find X3 Pro為例，在這款手機上運行OPPO自研的4K（視頻）AI降噪算法時最多只能跑出2FPS，而且功耗也接近1.7W。但在搭載了馬里亞納MariSilicon X的平臺上，運行同樣的測試項目卻能跑出40FPS的幀數，功耗也低至0.8W，實現了20倍的性能躍升，同時功耗降低超過50%，充分體現了越專用越高效的顯著優勢。

馬里亞納MariSilicon X的AI計算之所以如此高效，還因為它解決了傳統AI芯片的內存墻瓶頸（圖9）。簡單來說，OPPO為它配備了豪華的雙層存儲架構，包括可提供高達每秒萬億比特（Tb /s）超大吞吐量的內存子系統，以及傳輸速度高達8.5GB/秒的獨立DDR帶寬，后者可為芯片內各個計算單元提供獨立帶寬，還能為手機系統總帶寬帶來額外的17%增量，在有效減少數據搬運的同時提升能效比。

MariLumi影像處理單元

MariLumi影像處理單元也是馬里亞納MariSilicon X的核心組成部分（圖10），它支持最高20bit的處理位寬，并支持驚人的20bit Ultra HDR。作為對比，高通新一代驍龍8集成三核18bit ISP，支持18bit RAW格式拍攝;聯發科天璣9000集成的第七代的Imagiq ISP也僅支持18bit HDR。

⑩

20bit Ultra HDR意味著能覆蓋100萬：1的最大亮度范圍，即一張照片當中最暗和最亮的部分相差了100萬倍，達到了新一代驍龍8及天璣9000的4倍，幾乎與人眼真實的感受無異（圖11）。

⑾

20bit實時RAW計算

RAW是一種未經過壓縮的無損原生照片格式，最大程度保留了照片拍攝的原始信息，這也使得其擁有更大的后期制作空間。在傳統的手機影像計算中，通常是將CMOS輸出的R AW信息先通用S oC平臺集成的ISP轉換成RGB信息，再轉換成YUV（AI降噪和HDR也在該階段完成），而其中的每一步轉換都存在一定的信息耗損，其最高上限只有18bit HDR。

通過馬里亞納MariSilicon X對影像鏈路的垂直整合，就可以重塑轉換鏈路，將處理節點提前（圖12），直接在信息量100%的RAW域做實時計算，因此才實現了20bit實時R AW計算和20 bit UltraHDR功能，并能夠帶來8dB的圖像信噪比提升。換句話說，這顆影像NPU會搶在手機搭載的通用SoC平臺之前進行HDR和AI降噪等操作，處理之后才會交付給通用SoC平臺（圖13）。

⑿

專屬RGBW Pro模式

早在2015年OPPO就曾在R7 Plus身上應用過RGBW傳感器（IMX278），號稱低照度下感光能力提升32%，噪點降低78%，室內弱光及夜拍均有更為強大的表現。可惜，受制于當年芯片的制程、信號串擾、算力不足以及缺少像素合并技術等原因，RGBW的IMX278實際成像存在色彩失準和摩爾紋等問題。

OPPO Reno7系列主打的IMX709內部集成了自研的RGBW圖像融合單元，強大的算力再疊加四合一像素算法和DTI像素隔離技術，已經很好地解決了RGBW的先天缺陷，并且減少了傳感器子像素之間的串擾，進而提升純凈度，可顯著提升人像模式下在膚色、細節、明暗等方面的表現。

但是，在通用SoC平臺下，依舊無法發揮IMX709，或者說RGBW傳感器的全部實力。為此，OPPO借助馬里亞納MariSilicon X的雙通路設計，首次實現了對RGB和W像素的分隔處理，最大化利用每一種像素特性，釋放出RGBW陣列的全部潛力。據悉，馬里亞納MariSilicon X的RGBW Pro模式可帶來8.6dB的信噪比提升，以及1.7倍的解析力提升（圖14），在傳感器尺寸規格都沒有變化的前提下實現大幅的影像效果增強。

AI夜景視頻首次嘗鮮4K

正如前文所述，哪怕驍龍888有著26 TOPS的AI算力，在進行OPPO自研的4K AI降噪算法時的幀數和功耗表現也極不理想。換句話說，現階段這種AI降噪只能用于拍照，而無法放在視頻拍攝方面。

但是，在馬里亞納MariSilicon X的加持下，就能同時讓20bit RAW計算、20bit Ultra HDR、4K AI HDR視頻降噪同時用于拍照或是視頻錄制，首次讓Android生態下的AI視頻有了4K表現（圖15），也讓4K視頻第一次擁有了AI能力。

⒂

小結

總的來說，馬里亞納MariSilicon X是一款性能強大且擁有極致能效比的影像專用NPU，綜合了比通用SoC平臺更強的AI算力和ISP性能，其主打的Ultra HDR能力、無損的實時RAW計算以及最大化傳感器能力的RGBWPro都是可以解決當下手機影像痛點的特色。可以預見，這顆OPPO自研的NPU芯片將主要服務于更多與視頻拍攝相關的創新的AI功能，用計算攝影突破手機影像功能的極限。據悉，馬里亞納MariSilicon X將被新一代Find X系列首發，以雙芯時代正式開啟面向未來十年的計算影像新篇章（圖16）。