海思科技新一代ISP：超越影像，智引未来

    【CPS中安网 cps.com.cn】 2021年12月第十八届深圳安博会期间，上海海思智慧视觉领域总经理刘志扬先生在由深圳市安全防范行业协会、CPSE安博会共同主办，CPS中安网承办，希捷科技冠名的第十六届中国安防论坛技术论坛上发表了主题演讲，并在主题演讲中发布了用于物联网智能终端的新一代智能图像处理引擎——海思越影®AI ISP。

上海海思智慧视觉领域总经理刘志扬

刘志扬先生表示，越影是基于海思对ISP算法和场景的深厚积累，引入AI智能技术的最新成果，是海思对过去十余年传统ISP技术的一次重大创新与自我突破，为行业树立画质的新标杆，可为千行百业物联网智能终端提供领先的智慧视觉能力。

新一代AI ISP越影，能适应各个挑战的极限场景，包含了五种主要功能与特性：

• 超感光降噪，黑夜情况下信噪比比传统的ISP提升了4倍。

• 多光谱融合，噪度进一步降低的情况下，需要红外补光，把多光谱的技术融合在一起，既能有全彩又能有细节。

• 超级宽动态，在强烈的明暗对比的情况下，采取数据处理的技术，把动态范围扩大12dB，同时获得明亮细节和暗部细节。

• 超级稳像，在运动条件下获得稳定画面。

• 多维度感知，图像技术和热感技术、3D技术及雷达技术结合，形象感知的同时进行物理量的标注。

• 在主题演讲当中，刘志扬先生对越影的能力和其职责进行了更详尽的阐述。

• 首先，视觉占了整个人的信息量感知的80%以上。

在产品研发过程中经过十几年的积累，海思团队发现图像处理的几个经典场景非常常见，处理起来也非常有挑战。

比如夜间的低照度场景：

• 和白天相比只有千分之一亮度，在这个环境之下视频就有大量的噪点，颜色纹理都会出现失真。这种情况下的图像对后续处理、物体识别会增加很大的难度，存储也会有很大的带宽上的消耗。

• 第二种是强烈明暗反差情况，拍摄照片也会遇到到这个场景。逆光的时候导致拍摄主体，暗部很难看到细节，人脸识别也出现很大困难。

• 第三种是环境快速变化过程，比如车驶出隧道口的时候，曝光要不断调整，但是如果速度很快的时候就会出现盲区，一片白或者一片黑，这种情况都有可能出现，会有安全隐患。

• 第四种情况是，移动摄像机越来越多，不管是个人DV还是汽车安装的摄像机，都会出现视频抖动的情况，这样带来的主观体验会非常差，码率也会不断上升，增加编码器负担。

• 最后一种是在雨雪雾和恶劣天气下带来的目标难以识别和可视距缩短，影响行车安全。

• 以上五个场景都是海思在图像处理中发现的比较难以处理的情况，因为整个图像从传感器进入系统一直到处理器处理其实有很多环节。

• 解决以上五个场景的挑战，可以通过一些物理的方式。比如可以加大镜头的充光量、加大图像传感器的感面；但是摄像机作为一个终端产品，数量庞大，这就意味着成本敏感。

以上的处理方式都会大幅度增加成本，如果能够通过数字信号的处理器来解决，也就是ISP（图像信号处理器）——如果通过算法、AI来解决的话，成本就会大幅度下降。

还有一些简单的物理的方式，例如解决明暗反差强烈的场景问题，要加大动态范围，这只能在数字信号领域解决，所以这些条件决定了ISP承担了这部分职责并且非常重要。

传统的ISP经过十几年的发展有了长足的进步：不管是在清晰度还是动态范围，3DNR、WDR等技术都得到了应用。

图像质量不断进步的情况下，也出现了一个瓶颈期，现在主要的问题是传统的ISP这十几个流水线环节，参数众多——上千个参数。

业界都清楚，要适配一款新的传感器和后端的ISP处理芯片，要花费长达三个月以上的时间。而且要具备专业能力的专业人士来调教。

未来传感器的型号越来越多，手机、安防、汽车、无人机等等，不同板面，不同特性越来越多，会大量消耗资源，这是痛点。以及画质进一步提升也遇到了很大难题——大量的投资、精细调优之后，性能也只能提升很有限。

这几年AI技术有了长足的进步，算力正在变得越来越便宜，软件和生态变得越来越成熟。所以海思率先把AI技术引进了ISP技术，带来的好处是非常显著的：

01图像调优智能化了，调优时间大大缩短，也不需要很多专业人士投入到这项工作里去，有效提高了劳动生产力。

02我们把算力和大数据结合起来，带以前传统的画质极限上又增加了一块，以前的很多参数平衡是像跳跳板一样，现在通过智能识别可以把整个画面分割得更加精细，根据不同场景和物体来做配置，突破了很多以前画质的极限。

其次以前摄像机一旦部署了以后，基本上能力就固定了。AI的ISP部署后，会不断根据所处的场景、补充数据进一步学习，相机会越来越智能。这是在AI的ISP相比传统ISP重大的优势。

AI ISP有很高的门槛，在算法、数据、算力等方面。在算法上，AI ISP基于对图像质量有PQ调优经验，多年的ISP迭代才能作为它的基础。第二，AI需要有数据来作为模式识别、模型的抽取的支持。第三，是要有一定的算力。终端作为一个场景，成本有一定的限制，功耗有一定的限制，体积有一定的限制。完成特定的功能、在特定的场景，消耗的算力小的情况下，设计猜是更优的。在这三方面，海思都有深厚的积累，因此为发展AI ISP技术打下良好的基础。

据刘志扬先生介绍，海思最新的越影AI ISP具有以下五大特性。

01超感光降噪:

通过抽取噪声和有效信号的模型，以及大量的数据训练，形成智能AI网络。智能算法能够在光照条件非常差的情况下区分出小信号和噪声，从而进行噪声消除。

02多光谱融合技术:

通过红外补光，在ISP将可见光、850nm、940nm等常见光谱融合，在不增加光污染的同时，最终使图像效果达到暗光全彩，细节纹理丰富，过曝区和非过曝区准确处理，解决低照环境下可见光感光能力不足所造成的信噪比低和细节损失的问题，实现图像色彩与细节的双重保证。

03超级宽动态：

基于价值目标进行场景识别自适应多重曝光，对不同曝光时间的长帧、中帧、短帧的图像数据，通过智能算法进行融合，使图像获得暗、亮区域的完美整合，亮处不过曝、暗部细节不丢失。

逆光场景下，动态范围高达120dB。同时基于场景识别的智能曝光策略，在光线快速变化的场景下，能够避免图像画面瞬间过暗或过曝，融合之后的数据位宽20bit，动态范围相对于上一代提升12dB。

04数字防抖：

基于六轴IMU对动态视频智能修正，有效减少由于外部环境晃动或抖动对视频造成的影响、大幅提升各种振动环境下视频稳定性。在交通管理等场景中，防止高频小幅的震动导致目标模糊、影响目标的有效识别。

05多维融合：

结合红外热感测温相机，红外热感与视觉的融合，远程非接触测温，广泛应用于疫情防控的各种场景中；智能零售，3D结构光/ToF与视觉的融合，高效支付，提升支付安全；雷达视频一体机，雷达与视觉的融合，对横向来车实时精确预警，提升复杂场景的交通安全。

图像处理之于终端视觉感知设备，相当于人眼之于人体的作用，承载着对外界环境80%以上的信息获取，重要性不言而喻。

海思在传统ISP画质技术方面长期积累，结合在AI架构和性能上创新，深度融合推出新一代的智能图像处理引擎— 越影®AI ISP，使能智能终端在全场景视觉能力更智能，更清晰，为图像处理带来了变革式的演进。

刘志扬先生表示：“成就”和“挑战”这两个关键词，不仅适用于这个时代，这个行业，也非常适用于海思。海思将专注于产业和产品，专注于技术，完成技术到产品的跨越、技术对产业的创新。

上海海思将坚持在智慧视觉领域的投入，服务于千行百业产业伙伴，为智能终端带来全场景、更智能、更清晰的视觉能力。