手机厂商的isp（老好人的新未来）

引子：2021年4月22日上午，高通举行了一场名为“芯世界会客厅”的线上沟通会——大家先记住，这是高通一个全新的关于芯片技术的系列活动，未来内容会很多。而这个全新系列活动的“先行”主题，就是围绕高通骁龙芯片的影像功能展开的，毕竟这代高通骁龙芯片，无论旗舰骁龙888，还是中高端的骁龙780G，这次全都采用了三ISP架构。但不巧的是，这次活动的时间，和那天Redmi K40游戏增强版的线上产品预沟通会有部分重叠，所以有很多东西整得不太尽性。会后，我从业多年的强迫症发作，一定要就手机ISP这点事和高通的技术大牛们聊个通透……

（注1：本文感谢高通技术公司产品管理副总裁Judd Heape和高通公司产品市场高级总监徐恒两位专家提供技术支持）

（注2：文章部分图片来自于网络）

从幕后到台前

ISP，全名Image Signal Processor，即图像信号处理器。在影像功能在手机领域大兴起之前，可能很多朋友都见过索尼BIONZ、尼康EXPEED、佳能DIGIC之类的名词。是的，这些来自相机厂商的处理器中，就包含着ISP这个重要的模块，它最重要的作用，就是将影像传感器光电转换后生成的电信号进行识别、运算，输出一张基本的照片。长久以来，在无论数字影像的发展如何风起云涌，日新月异，ISP所做的工作都没发生太大的变化，是一个典型的“老好人”形象。

在整个数码影像的处理环节中，ISP是最基础的一环，也是非常重要的一环。打个容易理解的比方，将照片的生成看成是做一道菜的话，影像传感器输出的电信号是原料，ISP就是原料的基本加工，比如清洗、改刀等，而现在很多人知道的AI处理等，就和大厨的炒菜环节差不多。最后做出来的菜有没有卖相，口感好不好，与原料的基本加工环节相关非常多。不过真实情况是，ISP的重要性和工作的复杂性，远超这个比方，这个我们就留待后边再说……

从2002年发布的诺基亚7650，是传统意义上手机搭载摄像头的鼻祖机型。其实在那之前，日本本土不少手机就已经搭载了摄像头，但PHS独立制式对整个世界通信产业的意义有限，2001年发布的爱立信T68也有外挂摄像头组件，在此就选择性忽略吧（其实主要是用来防杠的）。

30万像素CMOS传感器画质虽不怎么样，但却成为手机影像世界的拓荒者。但因为早期的手机摄像头的像素值并不高，给系统带来的处理压力并不大，所以在很长一段时间里，影像信号的处理都交由CPU来完成即可。

随后的日子里，诺基亚N系列手机一直都是手机影像领域的佼佼者，当然还有索尼爱立信K系列时不时上演高光时刻。到了2011年秋天，苹果iPhone 4s发布，它不仅是iPhone历史上的里程碑机型，更是将影像与智能手机的世界彻底地衔接了起来，也让影像能力成为判断一款手机是否高端的重要标准。

接下来的几年，影像在手机领域的发展日新月异：诺基亚808 PureView、华为P6、努比亚Z5、OPPO Find 5、vivo Xshot……太多影像能力出色的机器到今天可能大家都还记得。与此同时，除了“索尼IMX 数字”这样的字符出现得越来越多，ISP这三个字母也越来越频繁的来到台前，出现在发布会的PPT上。

是的，影像能力的增强，CPU的处理能力已经越来不能满足高像素和画质的要求。“专业的人做专业的事”，ISP在智能手机上开始了自己的新旅程。

从第三方外挂到自研整合

ISP早期出现在智能手机上，基本都是以外挂的形式存在。对智能手机了解得深入一些的朋友，可能都知道富士通Milbeaut影像解决方案。在进入智能手机领域之前，富士通的ISP在数码单反相机和小型数码相机上占有可观的份额，所以，当手机厂商们需要用ISP来增强自家产品的影像能力时，很自然就会想到它，OPPO、vivo、魅族、美图，甚至锤子T1……都采用过富士通的ISP。

当然，除了富士通，还有别的厂商也有外挂ISP方案运用，比如2014年发布的华为Ascend P7上采用的就是来自中国台湾华晶科技（Altek）的ISP——“采用单反级独立ISP器件”也成为这款手机的宣传语之一。

一般来说，采用外挂方案会有功耗、成本等方面的负面效应，但为什么大家还是会顶着这样的问题上呢？这里需要做一个关于处理器类型的小解释。传统意义上的ISP不同于我们常见的CPU、GPU这些处理单元，它属于ASIC（Application Specific Integrated Circuit，专用集成电路）处理器范畴，而CPU、GPU则属于通用处理器，此外还有FPGA（Field Programmable Gate Array，现场可编程逻辑门阵列），它的特性介于前边说的两类处理单元之间，智能手机中的Modem就可以划归为一类FPGA，即它又可以像通用处理器那样灵活通过编程实现不同性能的调整，又可像ASIC那样在低功耗下拥有超高的数据吞吐量，效率极高。

不要觉得前边这一段看得眼晕，到后边它自有发挥用途的时候。ASIC处理器的特点就是针对特定的运算用途进行专门化的设计，其缺点是功能有限，灵活性欠佳，可调校性一般，不似CPU、GPU那般万金油，但专用性设计则成为它的“种族天赋”，即在功耗较低的前提下，能保证极高的计算效率，数据吞吐量更是可观。以承接传感器信息加工任务为主的相机ISP，数据吞吐量很大，但主要的运算工作就那几项，完全可以按图像处理的流程固化处理管线，所以它非常适合以ASIC处理器的方式存在，即以较低的系统资源代价，获得最大可能的增益效果。

不过，传统相机ISP直接照搬到手机上还是有水土不服的问题。首先，相机ISP只做基本的图像信号处理，而手机影像的复杂度远超相机，机内处理直出的需求也更高，因此，手机ISP需要在运用时更加灵活，即调校空间要求更大；其次，智能手机行业的发展实在是太快了，在手机影像步入千万像素和高清超高清视频录制时代之后，数据量和运算量都爆增，同时，多帧、多摄以及计算摄影，是过去相机ISP不太会解锁的“姿势”；第三，相机ISP这种起源于传统数据影像领域的ASIC处理器，无法摆脱这类芯片设计复杂，周期长，且成本随制程提升快速上涨的天然缺点——类似的事情在手机HiFi领域也发生过。

靠天靠地不如靠自己，所以，手机芯片大厂们不约而同地开始了ISP的自研工作。2016年前后，高通骁龙820上的Spectra ISP（那时候还没有后缀编号）、麒麟950上的华为自研ISP 1.0以及苹果A11上的自研ISP纷纷登场，外挂ISP的时代就此作古。纵然还有三星曾坚持在骁龙平台上外挂自家的ISP，但已经算不上主流。

话到这里，肯定有朋友要问了：前边你不是说ISP设计和制程提升成本高昂，那为什么手机芯片厂们又如此积极呢？因为无论从哪个方面看，最后的结果百利而无一害。

第一、高端手机一定要有高端影像能力与之匹配，这是整个手机产业链的共识。整合ISP，有利于整个产业链快速向前发展；

第二、计算摄影是未来，ISP整合到SoC中，更利于各个算力模块之间的协同工作，毕竟异构计算时代，一个模组单挑某个用例的机会正变得越来越少。同时，一体化也让芯片平台在交付时更容易做到软硬件一体，也利于终端厂商的后期调校；

第三、手机行业的规模化效应远大于传统相机产业，ISP整合入SoC之后，可以一并享有制程升级的优势，分担独立开发可能产生的高成本，而先进制程的加入，又让ISP在性能上能得到最大的提升，毕竟当下我们这个星球上最先进的5nm/6nm/7nm商用制程，很大部分的产能都被手机SoC吃掉了。

居功至伟的手机ISP

前边两个部分，我们厘清了手机ISP的来历，以及它与相机ISP的主要区别，相信很多朋友都很急迫地想知道：手机ISP到底做了什么，从而让我们将它的地位放得如此重要。（注：从这个部分开始，如果没有特别的说明，“ISP”都指手机ISP）

ISP最基本的工作如下，这是它自打娘胎里出来就要干的事情：

第一，数据处理。接收来自传感器的Bayer RAW域信号，经过基础画质处理后，转换为标准的RGB RAW域信号，继续进行RGB RAW域基础画质处理，之后再把RGB图像转换为YUV格式的图像进行更多的后处理。你不用管这些专业名词是什么意思，你就理解为生成一张“所见即所得”的照片就好了——标准的RAW格式照片为很多摄影专业人士和爱好者所喜欢，但对普通人来说，它是没办法看的，需要用软件转换出来。而没有YUV转化，我们就得不到直出的照片；

第二，在数据处理的过程中，ISP还要按与传感器相匹配的算法，完成对照片的3A（自动曝光（AE）、自动白平衡（AWB）、自动对焦（AF））、降噪、曝光调整、色彩增强、HDR高动态范围成像、镜头相关指数匹配等一系列的处理工作。比如华为从麒麟990的ISP 5.0上就整合了BM3D算法，主要目的之一就是优化这个环节的工作。

现在手机上的ISP，还多了这些工作：

第一，多摄系统各模组的驱动，同时工作。在单ISP架构下，基本只能实现一个影像模组的工作，现在，多ISP架构开始让多个影像模组同时工作记录变为可能。头一回见到这样的“壮观”场面，还是在iPhone 11 Pro Max的发布会上，而现在呢？前段时间我使用中兴AXON 30 Ultra，就充分体会到了三ISP的威力。超广、主摄和长焦不但可以同时工作，而且采用HEIF格式记录，更能实现照片浏览时的全焦段无级变焦。而小米今年最引以为傲的旗舰小米11 Ultra，全焦段夜景拍摄、全焦段8K视频录制，也都是拜高通骁龙888的三ISP架构所赐；

第二，完善手机变焦体验。手机像素的大幅度提升，敲响了数码相机的丧钟，而变焦功能的出现，则是给数码相机的棺材板儿钉上了最后一根钉子。手机变焦刚刚出现时，各位是不是还记得有一个现象叫“跳变”？即在手机变焦过程中，显示屏上的画面会随着变焦的过程，出现色彩、曝光、噪点等很多方面的明显变化，体验很不好。因为在单ISP架构下，就算原生支持多摄模组，但变焦会涉及到不同模组之间的调用，这个过程ISP只能通过硬切换完成；

所以，过去安卓手机厂商一直在SMA（平滑变焦）上做很多工作，以便能达到iPhone上与传统光学镜头类似的效果。而现在，多ISP架构基本上抹平了这个差距，比如高通骁龙888上的很多安卓手机，在变焦过程中几乎都解决了画面跳变的问题，只是因为不同模组自身位置的差距会让画面有小幅度的变化，这是因为三ISP同时驱动三个模组，三重并发，三重并行处理，画面不会出现硬性切换。不过，随着小米MIX Fold上液态镜头、vivo APEX 2020上变焦潜望模组的出现，这些问题也会慢慢解决。

第三，计算机视觉，即Computer Vision。高通骁龙855上的Spectra 380 ISP、麒麟980上的ISP 4.0等处理器，就是第一批次拥有计算器视觉技术的ISP，而这就是ISP未来发展为“大杀器”的重要方向。很多人一看到这个，可能就会把它等同于AI，这两者是有区别的。ISP是芯片，而AI只是技术。而给ISP赋予CV能力，就可以让设备的影像能力和应用领域得到极大的扩展，不仅仅只是生成处理照片和视频，还能拥有识别的能力，比如自动驾驶，比如监控视频画面分析，比如文字识别翻译……这些应用需要在大数据吞吐量下实现实时处理，所以，其处理管线也是被固化在ISP之中，进一步加快处理速度。

所以不难看出，正是因为手机影像和计算摄影的大发展，让ISP这个长久以来本本分分的“老好人”，拥有了全新的、不可估量的未来。比如现在还有很多影像识别的AI技术，需要软件运行在相应模块（高通叫AI Engine或张量加速器、华为叫NPU）上来完成，而将来这些处理管线成熟之后，要是固化在ISP中，让ISP也具备更强的AI能力，那么，借助其ASIC或FPGA芯片天生的能力，将会对终端的算力性能分担带来极大的突破。也正是因为这个原因，我们就可以理解为何澎湃C1会是一枚ISP，vivo与OPPO传言中正在开发的也是ISP，因为这个起点代表的不仅仅是一枚影像处理器，而是未来边缘计算很可能的趋势。

三分天赋，七分调校

文章到这里，我觉得关于ISP的基本问题应该都解释得比较清楚了，但是，还有很多疑问依旧存在：“为什么同样的处理器平台和同样的传感器搭配，最后的照片却风格迥异？”“为什么ISP的处理能力在不断增长，现在更有强大的AI算力辅助，但成像的速度却并不见得更快？”“既然手机上的ISP比传统相机厂商厉害那么多，那为什么还会有手机厂商会和相机厂商合作呢？只是为了冠个名提升溢价么？”……

这一系列问题，放在我的观点中，其实都大致算是一类吧。前边提到，手机上的ISP在处理和吞吐量方面的特征，与传统ISP很像，但设计它的芯片厂商却想得更多：与自家合作的手机厂商小伙伴，实力并非完全一致，影像团队的水平与能力也千差万别，如何体现对合作伙伴的关怀，让同一平台手机影像能力不至于差得太大，从而让大家都有美好的未来呢？

所以，在向终端厂商交付SoC的时候，芯片厂商会将自己在上游与其他软件厂商一起开发的ISP基础算法一并提交，比如高通就与虹软、商汤、Face 等知名软件厂商有密切的合作，而这些基础算法，对实力较弱的终端厂商，基本上是拿来就能用，而实力强大的厂商呢？则可以在这些基础算法的基础上，竭尽所能地“魔改”。

魔改主要集中在两个部分，第一是软件，第二是调校。不同手机厂商的影像团队以自己对影像的理解出发，最后开发出来的算法和软件功能各不相同，在ISP与传感器等硬件之间配合的挖掘程度不同，自然就会产出风格完全不同的照片。而对于ISP投入的工程资源时间各不相同，对于AI能力和计算机视觉等算法的理解不同，就决定了哪怕是同一款ISP，最后的工作结果也大不相同。

在这个基础上，要是还有定制化的传感器、镜头模组等硬件加入，还会进一步放大软件与调校层面的差距。同时，一些特定人群的建议也同样重要，比如vivo X60 Pro 的色彩与成像细节就让我个人非常喜欢，其“圈养”的专业摄影师团队在成像风格上的见解功不可不没。

这个时候问题来了：隔行如隔山，手机厂商玩供应链玩得再溜，也还是在手机圈子里头，元件大厂更是“和尚脑壳上的虱子”，这个差异化从何而来？咱得出圈！于是乎，手机厂商与相机厂商之间的联合合作就开始了。前前后后有哪些合作这里就不细表了，我们只对这类合作的意义进行探讨——这里离不开的一个重要核心，还是ISP。

如前所说，相机领域的传统厂商在玩ISP上和手机厂商是两条路线，前者没有计算机视觉、AI这些先进技术参与，对算法的敏感度也远不及手机厂商，能做的就是玩儿命打磨传感器与ISP之间的契合度，提升基础画质，对成像质量的要求细到极致，放在手机厂商这边，基础画质也是整个影像系统的起点，这种画质的调校往往没有倾向性，比如传感器捕捉的像素质量、坏点、对比度和噪点等光学特性。

只有做好了基础画质，随后附加的调校、软件与算法的开发空间才会更大，比如我们看到的全链路色彩体系、记忆色这些来自手机厂商的名词，都是需要基于优秀的基础画质才能更好实现。而除了ISP和基础画质调校，在色彩方案、光学素质、镜头设计方面的合作，其实也符合这样的追求方向。所以，不谈营销，只谈技术合作，如果相机光学大厂拿得出诚意，这样的合作当然就非常有价值了。

在这里要插入一个题外话：“DxOMark是不是真的有意义？”明确的答案是：有。因为DxOMark本身也是来自相机领域的一个传统专业机构，它的测试中针对照片基础画质的判定结果，绝大部分场景是被认可的，对于手机厂商改善软件和算法，提升调校水平是实质性的帮助，而部分评判带有主观色彩，则仁者见仁，智者见智，还有探讨空间。当然，把测试得分用在技术之外的营销等环节，就不在本文的讨论范围内了。所以，这也难怪有些用户不喜欢DxOMark测试固件的成像表现，毕竟追求基础画质，倾向性和喜好涉及有限，有这样的反应也是正常的。

正是因为手机厂商们在追求基础画质提升的目标是一致的，所以，无论是麒麟这种inhouse的芯片公司，还是高通、联发科和展锐这种商业化的芯片公司，不管它们在新一代处理器上做了多少算力的提升，新增算力总是会被这个目标吃得干干净净。

而且，取决不同厂商影像团队在算法、软件和ISP调校上的方向，最后的影像体验也是各有不同。比如成像速度，各家厂商都有自己的标准，华为手机的成像速度就有点“祖传”的延迟，这是因为他们基于自身在AI理解上的能力，将更多处理工作转由AI算法来做，包括RAW域数据的处理，对此他们自己也很有信心。而像升级过固件后的小米11 Ultra、vivo X60 Pro 等机型，它们在成像速度上更让我得心应手一些。

可能有不少人都有这样一个感觉：手机在拍照或录制视频时，发热与耗电量情况几乎能与玩大型3D手游戏的场景看齐，以至于我在进行发布会微博直播时，时不时就会遇到“系统过热，速度受限”的提示。是的，纵然有最先进的制程加持，纵然如骁龙888的三ISP已经达到了27亿像素/秒的吞吐量，但终端厂商对算力近乎无止境的要求，让影像成为一个功耗要求极高的应用场景。

对此，芯片厂商既无奈，但也深表理解，毕竟这场移动影像战争，是手机大厂们谁也输不起的，无论怎样优化功耗，最终还是会被更多的功能和需求消耗殆尽。所以，ISP的不断进化迭代，不断固化、纳入更多功能处理模块，将吞吐量和处理能力提升的同时，提升能效就显得尤为重要，仅仅用AI算法这种方式去硬刚，并非长远之计。

写在最后

不知不觉，这又成了一篇长文，感谢每一位能看到这个段落的朋友，如果它能很好地为你解析答疑手机影像方面的一些疑问，就真的达成了我的初衷。ISP，一个在相机领域“本本分分”的老好人，成功”出圈”到智能手机领域并取得日新月异发展的处理单元，它不仅为我们带来了不可或缺的高品质影像生活，更是在不断地进化过程中，确立了自己重要的发展方向和地位，高效、智能，ISP的新未来必将是继续”出圈“，在各个领域发挥越来越重要的作用，它也会是更多芯片厂商不容错过的好机会。

,