今天小编分享的科学经验：vivo首款自研6nm芯片！AIGC算法加持，支持4K电影级人像视频，欢迎阅读。
安卓视频拍摄体验，出现了新的天花板——
只用手机，也能拍出4K 电影级别的人像视频了！同时还能实现无损拍后编辑。
不用靠长枪短炮的画幅和光圈，就能真 ·全自动检测和切换虚化主体。
让镜头就聚焦在某个人物身上，同时周围景物自然虚化，只需一键实现：
不仅如此，就连肤质优化和色彩处理，也能秒速搞定，分分钟拍出大片效果：
安卓机型人像拍摄的这个新天花板出现，更有层次的照片，这不就来了？！
要知道，背景虚化一直是手机摄影的短板，无论是虚化层次还是边缘处理，很难与单反相机分庭抗礼。
哪怕是对所搭载的算法进行创新和优化，想要最终效果是 4k 电影级，必须要兼顾降低功耗。
不多卖关子，这种视频拍摄效果，出自刚刚登顶中国手机第一的" 蓝厂 "vivo之手，在其最新的发布会上露面。
最重要的是，背后果然又用到了最新的自研芯片。
难怪有网友调侃道：
所以，这个芯片究竟实现了什么样的功能，又是如何打破安卓手机影像能力天花板的？
打破安卓手机摄影天花板
vivo 给手机摄影带来的突破，主要体现在两方面，更高的画质和更快更好的算法。
先是在画质上，vivo 在安卓手机摄影上实现了两个 " 首次 "，即4K 电影人像视频和4K 级拍后编辑。
4K 电影人像视频，意味着手机拍人像视频，已经能达到 4K 电影级的水平，不仅分辨率更高、色彩呈现也更好。
相比之前，包括焦外散景虚化（背景虚化）、全自动主体焦点检测和切换、电影级肤质优化和色彩处理，现在 vivo 都已经能用到 4K 视频拍摄中。
焦外散景虚化，即拍出很好的浅景深效果；全自动主体焦点检测和切换，意味着不再需要手动调试镜头距离 " 对准 " 某个物体，算法自动实现；电影级肤质优化和色彩处理，让拍视频人像也 " 帧帧开美颜 "，无需拍后再手动调整。
进一步地，在拍摄完成后，vivo 还实现了 4K 级拍后编辑，快速且无损。
视频编辑耗费计算量较大，此前往往只有压缩视频大小，才能缩短剪辑加载和导出的时间。
现在，如果对拍摄出来的视频不满意，编辑时无需压缩视频，在分辨率保持 4K 的情况下，手机仍然能快速调整虚化和焦点位置，实现无损编辑。
不仅仅在于画质上的两大功能，这次 vivo 手机影像技术的更新，还体现在 " 算法大融合 " 上。
要知道，过去各种手机虽然宣称已经搭载了不少提升拍照技术的 AI 算法，但大部分算法无法同时运行。
以人像和夜景为例。目前不少手机，都能看到这两种类型的拍照模式优化，但 " 夜景 + 人像优化 " 却比较少见——
这是因为，针对夜景和人像所需的算法不完全一样，如果同时运行，不仅功耗更大、延迟也会更高。
因此，如果说之前的算法处理还只能让用户自己做选择，最新的 vivo 手机，已经能实现大量自研影像算法同时开启的效果。
像是夜景拍摄几乎必不可少的 AI 降噪（NR，Noise Reduce）算法：
基于人像理解技术，进一步实现拍摄需要的影调（调色）算法：
视频拍摄需要的 MEMC 插帧算法：
能保留影像中的更多细节、对比度也更高，提升整体效果的 HDR 技术：
以及影像变焦算法等等。
过去这些算法还需要分时间阶段运行，现在，vivo 手机不仅能同时处理它们，而且延迟都保持在用户可以感知的范围之内。
完成这些部署，离不开 vivo 自研的新一代影像芯片，名为V3。
蓝厂究竟在 V3 芯片中加了什么黑科技，来实现这样的效果？
vivo 最新自研芯片 V3
V3 芯片采用6nm 制程工艺，相比上一代的 V2 芯片，能效比提升了30%。
架构设计上，V3 仍然是 ISP（影像信号处理器），但相比上一代可以实现多并发 AI 感知。
同时，为了更好地和 SoC" 打配合 "，V3 芯片还推出了第二代 FIT 互联系统，来调度二者之间的资源。
具体来说，V3 主要通过硬體架构更新、以及和主芯片 " 打配合 "两种模式，来支持上面提到的两大新功能，以及一系列 AI 算法并发效果。
一方面，在架构上，V3 不仅在制程上得到更新，大幅提升能效，同时设计上侧重于提升 AI 算法的计算效率。
V3 芯片延续了 V 系列芯片的特征，自带定制化深度学习加速器（DLA）、以及纯 SRAM 架构，用于提升计算 AI 任务的效率。
虽然手机芯片也配备 NPU 这种神经网络硬體加速器，用于进行向量化计算和并行处理，然而，由于这种 NPU 是通用型的，因此在计算某些专用任务时效率不高。
以计算 AI 任务常用的乘加计算（MAC）为例，通用 NPU 做这类计算往往只能达到 30% 的利用率。
这是因为它所用的片上缓存（TCM）容量有限，一旦影像类 AI 任务变多，每一层网络特征图写入 DDR 内存，带宽就会爆炸、功耗也会大幅度上升。
V3 芯片自带的深度学习加速器，则能更好地处理这类任务。即使芯片制程是 6nm，在处理特定影像任务时，整体能效比相比 4nm 的 SoC 仍旧可以提升 2~3 倍。
同时在内存上，V3 芯片没有采用 DDR，而是采用了 SRAM 架构来存储信息。
相比通用 NPU，V3 只运行特定任务，不受外部后台线程（如 CPU 线程）的干扰，也不会因为其他功能升压或提频导致功耗上升，因此在做乘加计算时，利用率可以达到 100%。
但仅仅是通过更新硬體架构、提升处理 AI 任务的能力还不够。
毕竟对于手机来说，只有将所有算力资源调度起来，才能真正确保计算效率最大化，因此——
另一方面，V3 芯片推出了第二代 FIT 双芯互联系统，让算力资源调动变成了灵活的 " 一盘棋 "。
具体来说，这种系统能同时调用手机 SoC 和 V3 的算力，使得它们在处理 AI 算法时 " 各司其职 "，从而更高效地处理不同的算法。
其中，V3 芯片主要能处理两类任务。
一个是可以用低级别、像素级别的 AI 算力处理的任务；另一个是对于一些需要较大滤波器的算法（如运动估计等），V3 能将算法 " 硬體化 "，即将它们转换成特定应用集成电路（纯 ASIC），成为芯片的一部分。
同时，对于更复杂的一些算法，则主要用 SoC 来完成，同时 V3 提供 " 协作 "。
整体来说，V3 不仅能将一些特定 AI 任务的处理做到极致，同时也能作为算力 " 补充库 "，来协助 SoC 完成其他 AI 算法的处理。
这样一来，不仅能降低原本计算特定 AI 算法所用的功耗，做到 SoC+V3 芯片的总功耗 "1+1＜2"，还能做到原本 " 不可能的事情 " ——
假设手机上搭载了 10 个算法，此前可能会因为功耗和发热，导致只能同时跑 6 个；现在加上 V3 后，10 个算法都能同时运行（例如整套人像功能），并将功耗和发热保持在合适的范围内。
当然，在配合的硬體 " 位置 " 上也有讲究。相比前置 ISP（PreISP），V3 选择了后置 ISP（PostISP）的方式，即数据先通过 SoC，再通过 V3 进行处理，最后打到螢幕上。
这样设计的好处是可以降低芯片内部的处理延时、提升性能，虽然会在回传通路上增加一点处理时间，不过并不影响整体使用效果，像视频拍摄预览延迟在 180~200ms 左右，对于人眼来说几乎无感。
当然，除了针对 V3 芯片的设计，vivo 也在影像相关的其他芯片技术上下了不少功夫。
其中之一就是在 CMOS 芯片上。
vivo 针对这个芯片研发了一项名叫自适应 DCG-HDR 技术，目前研究论文已经发表在 VLSI 2023 上。
VLSI（超大规模集成电路技术和电路研讨会）是电路领網域的国际顶会，今年 vivo 也是国内手机厂商中唯一一家发表论文、并被选中进行会上分享的。
这项技术能够让在用户拍视频时常开 HDR 模式，获得更好的拍摄效果，同时功耗更低。
相比传统 HDR 在整个影像区網域使用曝光設定（或分区使用不同的曝光設定），自适应 DCG-HDR 可以将曝光設定粒度缩小到像素级别。
也就是说，每个像素根据所在的场景和光照条件选择曝光設定，使得 HDR 效果更精准；同时，通过这种调制，它还能省去一次读取像素值的操作，进一步降低了功耗。
这样一来，用户不仅能常开 HDR 模式，甚至开着拍视频，也不会出现过热或频繁关机的问题。
对于之后的影像行业布局，vivo 影像产品高级总监李卓表示：
AI 一定是未来最重要的方向之一。
然而，即便自研芯片在影像上取得了如此不错的效果，投入数十甚至上百亿去研发芯片、甚至不断迭代更新，仍然不是一个短期内看得到巨大回报的过程。
对于手机厂商、甚至整个行业而言，自研芯片的意义究竟何在？
AIGC 时代，自研芯片更显重要
回顾这几年的手机行业，新的产品、技术层出不穷，令人眼花缭乱。
行业也热点，作为各厂商发力的角逐地，也在不断变化。折叠屏、双芯设计、屏下摄像头、夜间拍摄、AI+ ……新的热点为手机行业不断加码，同时对技术提出了更高的要求。
比如，按照当下的热门技术定义，手机行业实则处于一个影像芯片、AIGC、3D 影像等热点交融的时代。
在这样浩荡的时代里，交汇交融是无法避免的趋势。
就拿 vivo 首次对外披露与 AIGC 算法相关的研发成果为例。
一手建立了重庆 3D 动捕实验室，搭建影视级光场系统，支撑 vivo 各类人像 3D 感知算法的研发、迭代工作。
重点储备以人脸、人体和手势为核心人像 3D 感知算法能力。
另一边，则在自研芯片领網域持续发力，对外发布 V3。
细数 vivo 自研芯片的历程，已有4 年历史。
2019 年，蓝厂被曝造芯；2021 年，正式闯入自研芯片赛道，推出第一颗影像芯片 V1，除了生产全部自研。
当时，手机行业主打的降噪、插帧等影像处理功能，有不少还停留在传统算法层面。
V1 主打特色之一，就是能够很好地处理传统影像算法，同时已经具备一定的算法并行能力，可以在一块芯片内同时进行部分影像成像算法，这让手机的夜景拍摄能力有了极大提升。
2022 年，结合 AI 算法的 ISP 芯片 V2快速面世。它采用迭代后的 AI-ISP 架构，能够在手机内部实现数据和算力的优化、高速协同。
这个阶段，由于用上了 AI 技术，vivo 自研的算法开始变得更复杂，需要的额外信息也变得更多。
例如，相机原本的自动对焦 AF、自动曝光 AE、自动白平衡 AWB 这类 3A 功能，也开始加上 AI 算法，这类算法往往需要用上相机控制参数、硬體参数和返回值等信息，用来做一些运动估计功能，因此延迟也会相应变高。
为了确保 AI 功能变多的同时，延迟还维持在用户可以接受的层面，V2 芯片开始正式引入 FIT 双芯互联技术，确保两颗芯片沟通的效率。
可以说，V1 到 V2，是蓝厂不断满足初代影像算法及 AI 1.0 时代对影像芯片的要求的过程。
林林总总可以归结为一句话：一个时代有一个时代的芯片要求。
AIGC 时代下，不仅算法数量呈现井喷式增长，算法的体量也有了质的差异。
尤其针对需求质与量与日俱增的影像技术而言，手机芯片的算力和处理性能，都相对应地有了更高要求。
如今在影像算法中，光是人像系统中，就有包括发丝分割、肤色增强、虚化渲染、场景感知等一系列需要用到 AI 算法的功能；
更别提夜景这类同时需要提升画质、色彩的场景，长此以往，所需的算法类型和数量只会越来越多。
同时，随着 AI 模型效果变得更好、体积变得更大，AIGC 算法逐渐成为潮流的当下，如何利用深度学习加速引擎和异构加速引擎提升 AI 处理效率，也是手机业界的一道长期思考题。
总而言之，AIGC 潮流为代表的 AI 2.0 时代，对所承载的算力的扩张需求，迫在眉睫。
一路走来都是困难重重，未来的挑战也将一个接着一个。相比优化算法去适配硬體厂商的芯片，软硬體结合，才是 AIGC 时代的王道——
手握自研芯片，就能算法軟體和芯片硬體两手抓；
没有自研芯片，只能坐等市场有什么样的芯片，再设计研究算法去适配。
显而易见，软硬體的并行，无论是对大厂本身，还是对满怀期待的客户而言，都更有竞争力和说服力。
看到这条路线的不只有 vivo 一家。
国外亚马逊、Meta。国内百度、阿里，诸多在 AIGC 时代争先恐后布局的大厂，在尝试将 AI 功能最大化时，都会考虑把 " 合作或自研设计芯片 " 作为具体的实现途径之一。
其他大厂尚且如此，向来主攻影像的手机行业，作为 AIGC 技术的头部应用场景之一，更加应该明白这样的道理：
只有真正从算力底层出发，将 AIGC 软硬體技术细节掌控在自己手中，才能最大程度地确保走在技术创新的中轴线上。
— 完 —
点这里关注我，记得标星哦～
一键三连「分享」、「点赞」和「在看」
科技前沿进展日日相见 ~
>
