马里亚纳，OPPO先身探索

近日，OPPO在今年的INNO DAY活动上发布了第一款自研芯片——马里亚纳X（ MariSilicon X）。这是一款NPU芯片，但非通常意义上的NPU，而是专门用于影像处理的NPU芯片。 这不仅是一款性能参数超强的芯片，更是手机的计算影像迈入“一机双芯”时代的开启。“SoC+影像专用NPU”的双芯方案会带来手机影像Pipeline管线上全链条的最优解，实现软件AI算法和硬件计算资源的紧密耦合，突破旗舰手机的影像体验。

先来看一下MariSilicon X的表现，据OPPO介绍有四大特点：

•AI能效突破：18TOPS AI算力；11.6TOPS/w能效比。（参考苹果A15的NPU算力为15.8TOPS；运行同样的OPPO的AI降噪算法的速度是搭载骁龙888的Find X3 Pro的20倍，能效比达到40倍。）

•20bit Ultra HDR：覆盖100万:1的最大亮度范围，是目前行业主流HDR能力（骁龙8、天玑9000）4倍

•实时RAW处理：支持20bit RAW计算，计算前置为整个影像链路带来无损的高质量数据，基础画质的提升、预览即成像、三方App画质提升

•RGBW Pro模式：双链路的设计和2x RAW计算，实现8.6dB的信噪比和1.7倍解析力提升

通过这些强大的特性加持，MariSilicon X大幅提升了夜景视频拍摄的画质，将计算影像推向了4K+20bit RAW+AI+Ultra HDR的新极限。

实现如此强大性能的背后，究竟有哪些奥秘？我们接下来一起来解析下MariSilion X的内“芯”。

MariSilicon X：一颗影像处理专用NPU芯片

MariSilicon X采用的是自研DSA架构，其中包含多个IP：有自研NPU IP—MariNeuro、自研ISP IP—MariLumi、自研MIPI接口IP、Arm控制IP以及自主设计的双层内存系统等。

MariLumi主要进行图像信号的降噪和HDR处理，MariNeuro主要负责AI降噪算法加速，自研MIPI用于对接各种图像传感器，包括OPPO和Sony定制的传感器，Arm控制IP主要用于IO口控制等，双层内存架构用于内部数据搬运。

NPU core：MariNeuro

对于计算影像应用而言，算力自然是越高越好。但受限于手机的外形和当下的电池能量密度，所以对于这颗NPU的功耗也有着严格的要求，不能单纯追求算力高，对于能效的控制反而更为关键。OPPO在最开始产品定义的时候就充分考虑了，将该NPU的功耗限制在手机功率约束范围内，在这个限制内进行整体的架构设计。

“手机上一颗NPU设计的关键难点不在于算力。因为可以通过增加面积，把算力堆起来，但达到11.6 TOPS/w要难的多。”OPPO 芯片产品高级总监姜波表示，“有一个NPU不难，但这个NPU真的能用到那个应用场景，在这个应用场景算法约束的情况下达到这样的能耗效率，是非常难的。”

如何理解“应用场景算法约束下达到这样的能耗效率”这一点呢？以Find X3 Pro举例，虽然搭载的骁龙888平台上NPU算力很高，但跑OPPO的AI降噪算法最大只能跑到2帧，功耗达到1.7W。“2帧”只能应用在拍照上，远远达不到30fps的视频拍摄最低门槛。如果将算力提高到30fps的水平，功耗也会是1.7W的数倍，这完全超出了手机的能耗约束水平。

而在OPPO自研的MariNeuro NPU上，可以在800mW的功耗约束范围内达到40fps的水平。既然视频拍摄30fps就已经足够，为何要做到40fps？姜波表示，4K 30fps只是一个基础的要求，为了提供更好的影像效果，比如在夜景录制的场景下，要在开启AI降噪同时开启HDR，这时就需要更多的算力，并且SoC中也会激活一些算力，这时候整体功耗就会提高。在这种场景下，考虑了整个链路的功耗，所以MariNeuro需要在30fps 800mW的表现上有足够的冗余的性能，因此最终在800mW的功耗约束范围上达到40fps水平。如果不开启AI降噪，实时拍摄4K 60帧的HDR视频也毫无压力。

ISP core：MariLumi

MariSilicon X上搭载的自研ISP IP-MariLumi主要功能是HDR和降噪，采用双链路的设计和2路20bit实时RAW计算，配合NPU的加速达到了120dB的降噪水平，开启RGBW Pro模式可以实现8.6dB的信噪比提升。

20bit-120dB意味着对于一张图片而言，最亮和最暗的部分相差100万倍。参考当前的旗舰SoC（高通骁龙8 gen1和天玑9000）都是将计算位数提高到了18bit，图片信噪比做到25万倍左右。OPPO通过新增MariSilicon X这一颗芯片，将手机影像处理的效果突破了旗舰SoC的设定的极限。

在OPPO的测试平台上进行对比，在4K场景下有MariSilicon X加持的图形亮部可以达到了8dB增益，图形暗部增益可以达到12bit，也就是8倍提升。

为了实现影像体验突破，从最前端图像传感器这一层面上，OPPO此前就与索尼进行了深度传感器定制。但例如RGBW这种类型的定制传感器，整体行业应用量较少，所以SoC厂商并没有做到最好的适配。需要传感器端将RGBW信息转换成传统RGGB信息，然后传到SoC进行处理。但这一转换过程中就会造成有用信息的丢失，因此无法发挥出RGBW定制传感器的最佳效果。MariSilicon X就起到了很好的承上启下的纽带作用，通过双路超采样pipeline（RGB+W），与前端的传感器实现了紧密耦合，直接在RAW域上进行实时计算。这样既保证了发挥定制RGBW传感器的最佳效果，也优化了整体处理链路的计算资源分配。

双层内存系统

MariSilicon X是一个算法与硬件紧密耦合的芯片，因此片上内存的设计和大小也都是根据应用场景进行定制化设计的结果。据悉其采用256MB的LPDDR4X的内存颗粒，是片上独立内存子系统带宽，远远大于传统的DDR读写速度，可以实现Tb级读写速度，提供8.5GB/s的影像专用带宽，为AI的高效运算提供充分的内存读写支持。

据姜波介绍：“对于NPU和AI处理而言，因为是一层层计算的，所以有大量中间的运算数据。如果来回在DDR上进行搬运，就无法达成需要的目标。 ”

6nm台积电制程

为了将整颗NPU的功耗控制在手机功耗水平之内，OPPO选择了台积电的6nm工艺制程，这是台积电第一个主流的采用EUV的制程。据姜波分享，在早期评估阶段，在OPPO想要的芯片表现的需求上，必须上到6nm才能满足。在6nm的工艺节点上进行芯片设计，尤其是这么多自研IP的设计，本身也面临了非常多的挑战。但最终出来的成片效果非常理想，功耗表现等都与最初的设想相匹配。

一机双芯：拉出影像链上第二条性能上升曲线

目前常规的影像处理链条是“图像传感器采集信号➡️SoC中的ISP进行信号处理➡️显示”，计算影像的算法跑在SoC上，所以追求更好效果的方式是SoC厂商迫近更高的影像处理极限，图像传感器也迫近更好的性能。但这里面存在着一些难以突破的限制：SoC厂商把握不准用户场景需求，定制传感器和SoC无法完美配合，终端厂商的定制算法与SoC硬件资源无法紧密耦合...在OPPO追求极致用户影像体验的路上——后端上优化和积累算法、在最前端传感器定制，但不管怎么，都无法突破现在这条影像处理链上的掣肘。

手机计算影像的时代，软硬件的紧密耦合才能发挥出最佳效果。所以OPPO的MariSilicon X出现了，影像链变成了“传感器➡️影像专用NPU➡️SoC➡️显示”，在NPU上追求算法和硬件的紧密耦合，这是一条新的性能上升曲线的出现。

计算重心前置的价值

首先，新增的MariSilicon X作为影像专用NPU，释放了原先后端SoC中的影像处理和计算压力，将计算中心前置。另外MariSilicon X将除了HDR AI降噪之外的复杂算法都在RAW上实时处理，这种处理的前移进一步保证了后链上接收到的影像质量。

据姜波分享，手机影像从传感器进入之后，一般是三段式，从RAW到RGB到YUV，其实每一段都有信息损耗，目前传统的SoC上面都是基于YUV做的，比如降噪、HDR等。在RAW域上对于传感器的最原始数据进行处理，才能达到最好的效果。MariSilicon X的实时RAW处理有着影像线性度、色彩更好的优势，可以保持更多原始信息，实现更高的处理效果。OPPO的芯片设计团队在最初定义这颗芯片时候，就充分考虑了定制化NPU芯片与OPPO定制sensor有一个最紧密的耦合、最大限度的优化。

“通过MariSilicon X这颗影像专用芯片，我们达成了OPPO的自研算法与OPPO自研芯片的深度耦合，以及作为终端厂商，我们看到了整个影像链 从传感器的定制开始、到传感器信号的接收处理、再到图像处理链条的优化，让算法在NPU上做到性能的最大化和最优化，这是一种非常深入的垂直整合，相信这也是OPPO作为手机终端厂商可以达到的差异化的点。”

推动行业前进的意义

MariSilicon X是OPPO在自己当下行业位置上能够作出的影像体验最大化的突破。因为尚无自研SoC，所以无法直接在SoC中设计和调用NPU和ISP资源来实现与前端定制传感器、终端算法的紧密耦合，实现软硬件的最佳协同来达到其所期用户体验效果。这种在SoC外挂一个影像专用NPU的方式，固然会给终端增加较高成本，但对于追求用户体验的OPPO而言并不介意。

OPPO此举为行业中计算影像的前进提供了一种新的技术路线，也只有终端厂商在深入了解了用户的发展需求之后，才可以进行这种探索。因为虽然成本的增加较高，但相比手机终端上极致体验提升而言并不为过；相反手机SoC厂商作为芯片供应商，如果进行这种细致的行业方向探索，试错成本会较高。

手机SoC厂商会不会后期跟进这种思路，直接在SoC中为ISP专门开辟NPU的资源，并且提供与之紧密耦合的算法，达到目前MariSilicon X芯片新建立的旗舰影像体验？非常有这种可能。但我们认为这种可能不会成为OPPO的顾虑，反而更是一种利好。首先这种集成从系统角度考虑是一种更好的方案，另外这也会为OPPO带来的终端上成本降低。对于OPPO而言，走到了对的方向上，走到了行业的前面，这种意义已经足够。

OPPO新的护城河显现：真正造芯能力

一提到终端厂商造芯，行业内有一种理所当然的看法是——“直接买IP，交给设计服务即可，并没什么了不起”。出现这种声音来自两个方面：一是因为芯片设计的门槛较高，回报周期长，终端厂商确实难以踏入；二是因为目前行业内IP厂商和芯片设计服务已经非常成熟，这的确也是行业内不少终端造芯的真实写照。但经过了对MariSilicon X芯片的全面了解之后，可以看到OPPO绝非如此。

引用行业内资深人士邵魏博士的一句话：“芯片项目是人类历史上最细微也是最宏大的工程，研发投入大，项目收益高，试错成本极高。”一个芯片需要经过芯片设计、晶圆制造、封装测试三个重要的环节。如果单纯看芯片的设计，需要经过需求分析➡️芯片定义➡️架构设计➡️逻辑设计➡️物理实现，以及验证仿真和原型验证等环节。不仅如此，在当下的芯片产业中，为了摩尔定律的延续，芯片设计者还要与晶圆制造厂、封测厂也保持密切的合作，将芯片在先进节点和封装上的实现。

图源：极客时间《说透芯片》

为什么说OPPO是具备了真正的造芯能力？首先从MariSilicon X这颗芯片整体来看，这并不是一个小芯片，其中包含了自研NPU核、ISP的核、Arm核、MIPI核、两层内存架构等。虽然实现的功能看起来非常聚焦，但体现了OPPO小到IP核、大到SoC的设计能力。

最初的产品定义开始，姜波认为是最难的部分，用户痛点、OPPO能力、呈现价值这三方面需要连起来做思考。“首先第一步是定位用户痛点，就是OPPO能做什么，也就是有了这个技术之后能给用户呈现什么，以及给到用户的价值在哪，这是第一步。而且要看解决用户痛点需要的基础能力是什么，这个基础能力其实涉及方方面面，可能涉及OPPO自己的技术积累，这个积累包含硬件设计、已有IP、算法，涉及各个方方面面。能否将这些方面垂直整合起来，实现至少有一个点是有突破性的，这个点对用户有价值的（这就是技术演进的难点）。”

在产品定义之后，MariSilicon X芯片团队就比着不同部分功能需求，在市场上找合适参数的IP。6nm的先进制程节点上不是没有相应的IP，但经过一番调研之后，设计团队发现既有的IP并不能满足其MariSilicon X芯片在终端层面功耗性能极致的要求。所以不论是NPU、ISP，甚至是MIPI接口，MariSilicon X芯片团队都进行了自主的研发。但也这就意味着每一个自研的IP，理论上都要单独经过一个Test chip的验证和流片，以确保其满足预先设想的参数表现。确认自研的各个IP没有问题之后，再将所有的IP进行布局和RTL综合，后面才会进行布线、流片和验证的工作。

在6nm的工艺上，针对每一个自研IP进行流片验证，这本身对于这颗NPU的设计而言就是极大的挑战。和经过多个自研IP的流片验证之后，就会消耗极大的时间和精力。姜波表示，“如果按照那样的流程，今天我很难做在这儿跟大家share这个芯片，我们克服了好多自研上的问题，尤其是你跑到一个更新的工艺制程上，的确是有更多挑战的，我们对于自研IP的功耗和性能进行了非常精细的预研预判。这里面有很多细节，这只是其中一个例子。”

在芯片制造的过程中，要实现一颗成熟的芯片，需要在流片、fix、bug修复、流片的这一过程上反复完善。但据姜波透露，OPPO的MariSilicon X芯片一次流片就成功了，这也意味着其只花了一次流片费用，并没有额外的Fix和bug修复的费用。

所以从MariSilicon X的整个诞生的过程，我们可以看到OPPO的造芯能力是实实在在，已经具备了世界一流的专业系统级芯片设计能力。

现在的先进芯片设计者不仅要懂芯片设计，同样也要在设计过程中保持与IP商、晶圆厂的紧密的配合。这种IP设计能力、系统级芯片设计能力、和芯片设计上下游的协作能力，是OPPO有别与其他终端厂商的新的护城河。

结语

马里亚纳海沟给人的直观感受是“黑”，早在两年前有媒体爆出OPPO马里亚纳芯片计划之时，舆论的解读通常是“造芯之路的艰难”，“黑漆漆地摸索”。但我们认为还有另外两种解读的角度：

•“探索”：去没有人到过的地方探索，新的技术，新的可能。这是OPPO作为行业开拓者的责任，先身探索。

•“更多”：海底蕴藏着极多的宝藏，除了MariSilicon X，未来里还会有更多的惊喜出现，绵源不绝，未来可期。

最后一块芯片设计能力的拼图已经拼上了，未来OPPO从用户到终端的全链条垂直整合的能力，能够达到的程度，会越来越强。