今天小编分享的科技经验:从技术到产品,AI-ISP夜视的破局之路,欢迎阅读。
具备夜视能力的攝影機,可以打破昼夜限制,识别夜间无法辨别的目标,提高夜间工作的能力,目前已落地到安防、交通管理、环保监测、夜景拍摄、户外探险等场景。
当前,市场上夜视相机的极限光照度基本在 0.01Lux。
照度(Lux ) ,指部門面积上接收到的可见光的光通量,是衡量环境光的亮度部門。" 最低照度 " 反映的是攝影機可以在多黑的环境下仍能看到物体。
然而,受到硬體发展的制约,视觉成像系统的成像效果已接近天花板。但在一些特定场景下,市场需求达到了 0.001Lux 及以下的星光级。
在未来较长一段时间内,通过硬體实现最低光照度从 0.1Lux 到 0.001lux 的跳升,困难极大。
并且,随着复杂场景和影像处理要求的提高,传统 ISP 在暗光条件下的降噪、对比度增强和暗光提亮方面的局限性,已经越来越明显。
2018 年,英特尔实验室发表论文《Learning to see in the dark》,提供了一条新的路径,其通过深度学习算法打造全新 AI-ISP 成像体系的思路,成为时下提升光照度的主流。
低照度下的夜视技术探索:硬體方案受阻,AI 技术解围
在 AI-ISP 技术出现前,夜视领網域的玩家们更多在硬體上想办法,实现更低的照度。
索尼是感光芯片领網域的最强玩家,上世纪 90 年代便已进入低照度全彩夜视领網域,并且是背照式、堆栈式 CMOS 影像传感器的率先研发者。
索尼主要针对感光芯片进行工艺上的改进,核心思路是不断减少电路所占的面积,同时增加感光芯片的感光面积。硬體上,索尼做出不少努力,比如推出全画幅感光芯片。
但即便是索尼,将低照度感光芯片的光照感知能力 0. 14 Lux 提升到 0. 07 Lux,也花费了五年时间。使用的最高端的全画幅感光芯片,售价高达上万块钱。
材料学及制造工艺难以突破,硬體制约下的视觉成像系统,成像效果已接近天花板。
短期内,通过硬體提升光照度,难度显而易见,在軟體上进行探索,则能打开局面。
2018 年,英特尔实验室针对这一世界级难题,提出可以通过整个神经网络实现 ISP 的全部功能。
ISP(影像处理芯片)类似人腦的视觉处理中枢,当我们想要看到这个世界的时候,大腦中几百亿个神经元链接就会开始工作。AI-ISP 相当于将人类复杂的视觉神经网络在攝影機中实现,为攝影機提供一个新的大腦。
ISP 作为一系列影像处理算法的集合,负责完成从 sensor RAW 到影像 RGB 数据的转换,过程包括各种矫正、去噪、转换和增强等环节。
然而,随着复杂场景越来越多,影像处理要求越来越高,传统 ISP 在暗光条件下的降噪、对比度增强和暗光提亮方面,局限性越来越明显。
由于传统 ISP 通常采用硬體实现,不断扩充的参数库,带来调试上的困难,整体开发周期逐步拉长。
而以 AI 技术为辅助,通过深度学习海量场景和数据,输出算法模型,对影像进行精准处理,则可以在某些场景大幅改善传统 ISP 的成像效果。
得到端侧大算力的支持后,这种全新的 ISP 成像体系,突破了传统 ISP 影像处理体系的硬體限制。
作为解决低照度下实时全彩夜视这一难题的一剂良方,AI-ISP 的技术成果,已经落地到了安防、矿井、石油、自动驾驶、无人机等场景。
目前,国外的索尼、豪威、安霸,国内的海康、大华、华为等都是该领網域的重要玩家。
除了上述大厂,也有一些创业公司参与其中,比如深知未来、京德致远、影石等。
在深知未来创始人 &CEO 张齐宁看来,"AI 夜视技术是目前唯一能够实现全彩夜视的技术路径 "。
目前,深知未来基于其 AI-ISP 全彩夜视技术,已发布一系列产品,包括无人机载荷 S2 PRO 和 S6,手持夜视单筒镜等。
这些产品突破了传统夜视技术的局限,具有全彩实时成像、高分辨率、不惧强光、成本低、场景适应力强等特点。
AI-ISP 商业化落地的两大难点:难调试、成本高
最开始,深知未来按照英特尔的思路,用一个端到端的一体化神经网络实现 ISP。
然而,团队很快发现,英特尔的思路虽然可行,但终归只是一个实验室中的技术,很难实现商业化。
原因在于,这一技术需要巨大的算力支持,成本颇高。即使以当下的算力平台,要支持这样一个端到端的一体化神经网络,也仍是一件难事。
经过半年探索,深知未来发现了两个横亘在商业化途中的问题。
其一,用一体化神经网络实现 ISP 时,很难对其进行调试。
由于不同产品应用对影像的要求不一,因此芯片厂商基本都会预留大量参数,以供产品厂商再做调整,调试出具备自身风格的影像。
然而,对于使用 ISP 芯片的厂商们来说,想要对一整个神经网络进行调整,为此专门另招专业的算法工程师并不切合实际,此外也根本没有数据对影像风格进行调整。
其二,通过整个神经网络实现 ISP 的全部功能,难度太大且不必要。
" 事实上,只需做跟影像质量相关的关键 ISP 环节,如降噪、HDR、3A 等 AI 化,就能立刻提升影像质量,而不必对整个 ISP 进行神经网络化。" 张齐宁对雷峰网表示。
截止目前,大多数业界针对 AI-ISP 的研究,都只将少数模块 AI 化," 大多数芯片厂商只处理其中的一部分任务,仍然留很多参数,让下游产品厂商做调整。"
深知未来于是转换思路,抛弃高成本的整体路线,转而针对关键 ISP 环节进行 AI 化,并将自己的夜视神经网络命名为 "EODNet"(end of dark)。
2019 年,安霸公司提出 "AI-ISP" 概念,用以描述这种全新的 ISP 成像体系。
自安霸提出 AI-ISP 概念后,业界都将自己的相关技术定义为 AI-ISP,并提出各不相同的理解。在当时,连 AI 人脸识别这一更上层的应用,也被纳入 AI-ISP 领網域。
经过几年的探索,业界对于 AI-ISP 的理解渐渐趋于一致。
张齐宁对雷峰网解释道:"AI-ISP 的定义,是完成从感光芯片到成像过程的一整个算法集合体,包含 20-30 个算法。凡解决的问题与这 20-30 个成像任务相关,如降噪、锐化、HDR 等,那么就可以被认为是在解决 AI-ISP 的问题。"
业界主要玩家中,索尼的重心主要在低照度的底层技术研究上,前期更多探索如何通过硬體实现最低照度;国内在夜视应用领網域长期布局的海康、大华,重心则在使用更好的光学镜头与感光芯片,解决具体场景中的夜视难题。
" 对比做 AI-ISP 的友商,深知未来对整个 AI-ISP 体系研究涵盖的范围和深度是最大的。有的厂商在 20-30 个算法中,只关注了 2-4 个领網域,深知未来关注了 7-8 个成像领網域。其中 3A、超分等技术,很多 AI-ISP 厂商还没有开始涉及,而深知未来已经做了很多年研究。" 张齐宁介绍道。
行业应用多样,同类赛道该如何竞技?
如今,低照度全彩夜视成像,已在 G 端、B 端和 C 端市场形成多样分支。
比如,在公安领網域,低照度全彩夜视成像的攝影機被用于刑侦场景。
数据显示,80% 的重大刑事案件发生在夜间,这给刑侦带来了很大困难,传统 AI 视觉摄像头很难解决黑夜场景下成像模糊乃至缺失的痛点。
全彩夜视攝影機的优点是,即使在极低照度、肉眼无法看清、无补光的夜间环境下,仍能以较低的成本,提供实时彩色清晰的影像。
此外,自动驾驶领網域的夜间行驶,工业检测领網域的复杂光线场景,基于 AI-ISP 的低照度全彩夜视成像,都能极大改善影像质量。
根据客户属性的不同,深知未来提供差异化产品,以满足客户需求。
面对 B 端市场,深知未来的定位是一家技术公司。
深知未来在 B 端市场,类似一个单点技术服务商,以为合作伙伴竞标提供更有竞争优势的前端产品为主。
"B 端选择深知未来,更多的是对方自己有成熟的解决方案,需要一些让客户更感兴趣的点,避免同质化竞争。"
深知未来在 B 端的产品形态,主要分为两种:整机产品和机芯。
工业无人机是深知未来最先商业化的领網域,主要提供完整的产品形态。截止目前,深知未来一共发布了 4 款全彩夜视相机,可适配搭载于大疆的行业机。
其中,全彩夜视无人机载荷 S2 PRO 在 S2 的基础上,着重解决夜间作业的关键痛点,实现更远的视距与更精准的定位。
安防领網域,深知未来主要提供夜视机芯,合作伙伴基于深知未来的机芯,已经开发出 10 款不同的安防产品。
面对 C 端市场,深知未来的定位是一家产品公司。
C 端客户需求相对简单,更注重新奇的体验。
深知未来在 C 端主要推出完整产品,如今年推出的两款便携式夜视设备,单反式的夜视设备 P6,以类似单筒望远镜形态的 P8 Pro。
P6 和 P8 Pro 是两款从行业到户外的产品。
行业端,应急救援、公安侦查、边防巡检等场景对便携手持夜视设备有着长期的更新需求。
消费端,欧美地区户外文化成熟,徒步露营、打猎观鸟等场景,对便携手持夜视设备的需求同样必不可少。
当下,夜间全彩成像,需求缺口巨大。北美地区,用户对户外精准夜视的需求几近刚需,但市面上主流的热成像夜视仪和红外补光夜视仪,多为黑白成像或弱彩,存在目标细节特征不明显等缺点。
除了便携式设备向消费端的倾斜,深知未来也计划将工业无人机的整个模组和产品做得更加轻量级,在未来搭载到消费无人机上。
结语
在夜间实时全彩成像这一难题上,AI-ISP 技术已被证实取得了突破性的进展,但其商业化之路,经历了不断的调整和适配。
自 2010 年的计算革命开始,AI 视觉成像成为一股浪潮。但是夜间在极低照度下,如何在多个行业应用场景里实现全彩成像,仍然是一个需要不断突破的命题。
当下,入局 AI-ISP 的玩家众多,不仅有海康、大华等安防巨头,还有 OPPO、vivo 等手机大厂,芯片端海思、地平线、瑞芯微、安霸、豪威、国芯微等也都有所涉及。投身于其中的巨头们,虽有技术、品牌、渠道优势,但整个赛道仍处于早期发展阶段。
创业公司们通过不同的技术路线进行差异化布局,仍然可以在众多细分领網域中找到属于自己的位置。