相机和手机芯片有关系吗（不上芯）

题图｜视觉中国

2022年的手机市场，是在一些吐槽中开始的。除了更强也更热的处理器外，另一个常常被提起的现象，是今年第一批旗舰手机的影像配置，看起来像是在原地踏步——鲜少有升级传感器的机型，还有些手机的超广角相机改用了更小的CMOS，这可不太高级。

影像，是过去十年手机市场竞争中最关键的赛场之一，曾经激烈的“内卷”让手机的拍摄能力飞速提升，今天的市场格局也要仰赖各家品牌曾经在影像上投入的心血。今天影像硬件的突然减速，是厂商集体躺平、将市场拱手让人了吗？

常识告诉我们，不太可能是这样。确实有一些现象表明，传感器到了发展的平台期：

今天的底片尺寸，已经触达了消费者对机身厚度、重量的极限。

超高像素的市场价值有限。

新架构的传感器，潜能还没有被完全发挥。

比如，近年来面对夜景需求，为了采集更多光信号，业界开始用RGBW排列替代原本的RGGB拜尔阵列。今天（2月24日）发布的OPPO Find X5，主摄与超广角都采用的IMX766传感器，就是一年多前由OPPO首发推出的RGBW传感器，也被用在最新一代的华为P50 Pro上。由于排列发生变化，传统的计算流程并不能发挥它超高宽容度的特性，系统适配、挖掘潜力，成了某种事实上的升级操作。

在市场与技术的共同作用下，消费者喜闻乐见的传感器迭代的确慢下来了，但手机影像绝不仅仅是一块CMOS。

工程上的创新也很重要，比如防抖或镜头结构。苹果手机前年加入的传感器位移防抖，而今天OPPO Find X5系列率先实现镜头 传感器双重悬浮防抖，支持五轴运动补偿、±3°防抖与±0.7°旋转防抖，最终实现0.5秒安全快门。

图源：OPPO 官方微博

更重要的影像突破，则在算法和算力。典型案例还得看苹果：多年不变的1200万像素，而传感器面积也曾在1/2.55英寸上停留超过三年，但算法与算力的提升，成了提升影像质量的答案。

实际上，随着光学的部分越来越接近物理极限，算法的工作，就成了这个阶段的真正赛点。

问题和答案都在那里

得益于社交网络的发展，我们都越来越清楚什么样的照片、视频是吸引人的。很多人喜欢昏暗的酒馆里的氛围感，或者将夜景拍得恰到好处的自然影像。

当然了，今天的手机大概多少都能应付静态的拍摄，它背后有一系列算法的支持——最初我们用多帧合成的方式去变相增加曝光时间，但今天的算法远不止于此，从按下快门时刻的自动对焦、自动测光与自动白平衡（统称为3A算法），到基于深度学习、逐年迭代的HDR，再到降噪和后期处理等等。

拍摄的场景越来越多，我们需要的算法种类也更多了。谷歌手机似乎从来不以硬件见长，但论算法可谓绝活，从单镜头拍长焦拍虚化，到用人工智能去除运动物体的模糊，都在算法的覆盖范围里。

今天的算法当然还有显著的提升空间。比如说，今天影像算法，往往都是处理已经被压缩过的数据，而不是传感器采集的原始数据，它计算的底子根本就是有损的；而另一个显而易见的，是安卓在超高清夜景视频方案上的无力，处理一张夜景照片需要几秒钟，但夜景视频需要每秒处理三十张以上照片，想要计算摄影拍下更好看的视频，就必然要损失分辨率，4K超高清与优化算法不可兼得。

这些问题为什么没有得到解决？就像摄像头会遇上物理规律的瓶颈，算法也会遇到算法的瓶颈，那就是算力。

问题的答案在芯片。厂商们每年都在优化的影像算法，优化的终点就是自研芯片——在硬件不怎么升级的几年里，苹果用算法优化保持着影像水平的提升，而苹果处理器新增了Bionic（仿生）的后缀，它代表神经网络引擎，是承载逐年强大的计算摄影的关键。今年谷歌手机的“Tensor”SoC也是最新的自研成果，在这些芯片里，既有传统的中央处理器，也有计算摄影必须的人工智能核心和图像处理核心（ISP）。

为了搞摄影，单独给这两个功能做一个“外挂”芯片行不行？当然可以，最早将手机影像作为突破口的OPPO，就打造了这样一颗芯片，马里亚纳 MariSilicon X。根据OPPO工程师的计算，如果要想实现像素级的图像处理，需要10-50Tops的算力，于是马里亚纳 MariSilicon X集成的自研神经网络核心MariNeuro，最终的算力被定在了18Tops。

马里亚纳® MariSilicon X

这个数字很大吗？

看你怎么比。今天一辆特斯拉汽车装着两颗人工智能芯片，总算力是144Tops，看起来是高了不少，但手机的尺寸不比汽车，在手机里，18Tops已经是超越苹果A15的总算力（15.8Tops）的强大算力。

手机算力不好做，因为手机并没有那么多的电力和散热能力去挥霍，一味地拉高芯片频率来刷数据没有实用价值。实际上，马里亚纳 MariSilicon X一共只有1.8W功率，远小于一颗手机SoC大约6-10W的功率上限，论单位功耗产生的算力，马里亚纳 MariSilicon X数倍于传统的计算架构，它一方面得益于“专芯专用”架构的高效，另一方面则是OPPO工程师设定功耗目标后，才决定用6nm先进制程去开发这颗全新的芯片。

OPPO做了这样一个测试。在OPPO的夜景拍照中有一个效果不错的算法，被应用在去年Find X3 Pro的夜景拍照场景中，在使用手机核心处理器运算时，只能每秒拍摄2张照片，并使用1.7W的功耗进行计算；同样的算法如果用马里亚纳 MariSilicon X运算，则可以达到每秒处理40帧、总功耗仅为0.8W。

40fps的处理速度，已经足以用来实时处理全像素的视频，而且功耗还低了一倍。

这只是马里亚纳 MariSilicon X的能力之一。得益于全自研的I/O与芯片内建的强大存储，马里亚纳 MariSilicon X还实现了对传感器能力的全部潜力挖掘——直接计算原始数据、获得更高的宽容度与信噪比、实现更好的HDR效果……在强大算力、自研算法的联合作用下，安卓影像第一次有能力支持极限视频规格：4K 20bit RAW AI Ultra HDR。

这其实就是今天手机影像提升的方式。我们抱怨硬件停滞，其实今天的硬件还大有作为；我们以为算法已经足够强大，但其实还有更多算法在等着为我们的创意服务。

总之，得有芯片。

非要自研不可吗？

在安卓影像领域，长期面临着一个难题：传感器、芯片、算法，这三个至关重要的环节，该怎么拧到一起？

时间是错配的，算法随时都在迭代，传感器基本上逐年更新，而芯片的开发则是一项漫长的工作；它们的功能又是相互绑定的：通用的芯片要适应各种算法、算法要适应各种传感器，为了实现这些兼容就要损失性能……

曾经，手机的芯片、传感器、算法都是买来的。但当终端厂商拥有了自己的算法能力、传感器定制开发能力后，必然需要通过自研来打通这个“不可能三角”。

自研的好处，一方面在于需求明确、能做到更合适的规格，另一方面则在于可以实现深度的定制，做到影像垂直链路的定制整合，打破算法、芯片与传感器之间长期存在的协同问题，比如以最基本的3A算法为例，业界从芯片厂商采购的3A算法，导致传感器、芯片与算法的技术发展不同步，但自研算法 自研芯片，还有机会加入定制的光谱传感器，才能做到更准确的还原。

所以说剩下的，就是一条更难走的道路。

在移动影像越来越接近物理极限的时候，自研芯片就成了提升影像质量、解决原有顽疾的必然之举。在OPPO Find X5系列中，首次实装的马里亚纳 MariSilicon X芯片，也首次实现了极限的影像规格，这成了OPPO Find X5系列的关键竞争力之一。

图源：OPPO 官方微博

消费者期待旗舰手机，也许正是因为这些“第一次”带来的技术突破——天马行空的产品创意、业界领先的技术落地，旗舰手机就是试验场，它代表的是未来的趋势。这些创新必然源于需求，但想实现它们，仍然是一场冒险。

作为OPPO的正统旗舰，在Find系列“复活”后，我们陆续看到了一项项创新，比如双轨潜望式升降模组、无痕折叠屏等工程突破，在它们背后，是精密加工与机械设计的贡献；我们也看到了如全链路色彩优化等深入安卓底层的新技术，为整个安卓生态做出贡献。

旗舰手机的创新，即使有些会止步于产品实验，但更多将会引领趋势，并成为行业的标配。

自研影像NPU，就是OPPO最新的冒险。尽管影像算力的重要性已经浮出水面，但想把它造出来、造得好，以及为它匹配自研算法，仍然需要艰难探索。

它的难度，可能远大于此前OPPO任何一项创新。

马里亚纳是地球上最深的地方，而根据OPPO透露，马里亚纳 MariSilicon X从一开始，就把自己逼入了研发的深水区——根据计算，只有用6nm这样的先进制程，才能撑得起OPPO对计算量和功耗的要求，而业界并没有这样一颗6nm NPU核心IP设计可以借鉴，在流片（芯片的试生产）成功前，没人知道它的设计是否成功、能否达到模拟出来的性能和功耗控制。

只能靠自己了。2019年，OPPO创始人、CEO陈明永公开宣布，在未来三年里要为技术研发投下500亿，其中造芯的“马里亚纳”计划就是最重要的版图之一。根据业界的信息，一颗6nm芯片流片，单次试验费用就要超过1亿元人民币，而为了这颗芯片，OPPO已经建立了几千人规模的芯片团队，并且是平均年薪过百万的资深专家。

高投入之外，还有高风险。马里亚纳 MariSilicon X是一颗DSA架构的芯片，这是一种特殊的ASIC芯片，它最大的特点是“专芯专用”，专门为某些算法服务，好处是空前强大的能效，但也意味着应用端被自我限制——一旦性能不达标，或者没有看准消费者的需求，无法通过批量生产摊薄设计成本，失败的专用芯片将付出巨大的成本。

这是一场赌局，也是OPPO建立核心技术、自研芯片万里长征的第一步。

今天看来，OPPO已经取得了阶段性的胜利：从马里亚纳 MariSilicon X流片一次成功、实现功耗与性能业界领先，再到完成算法调试，最终搭载在Find X5系列手机上，为消费者提供极致的影像指标。

在行业探索的初期，马里亚纳 MariSilicon X所承载的，不仅仅是满足当下的需求，也能成为影像芯片领域的投石问路——架构、算力指标、软硬件与传感器的配合等等，马里亚纳 MariSilicon的经验，是行业的宝贵知识。

接下来呢？我们确信，这颗芯片将会出现在更多OPPO的手机上，为更广泛的消费者赋能；OPPO的芯片之路也不会止步于此，高风险、高回报的赌注背后，是对自己成功率的信心。

自研芯片，非做不可。包括OPPO在内，几乎每一家中国手机厂商都投身到这个领域，手机产业特别是移动影像领域，下一个十年的发展主干道就在这里。

曾经的硬件竞赛，在长达十年的周期里，为消费者创造出一代代出色的产品，但在其中，很多创新要归功于产业链上游的伙伴；今天，手机厂商们在更深层技术——比如自研影像芯片——投入了远大于以往的精力和财力，也承担前所未有的高风险。

这可能是手机厂商们动真格“卷”起来的起点。2022年的手机市场也会因为更多深入的研究，变得不再无聊。OPPO Find X5所搭载的马里亚纳 MariSilicon X芯片，就是新年以来的第一场好戏。

,