视频质量诊断中的模糊图像处理技术

 　　随着“平安城市”的广泛建设，各大城市已经建有大量的视频监控系统，虽然监控系统己经广泛地存在于银行、商场、车站和交通路口等公共场所，但是在公安工作中，由于设备或者其他条件的限制，案情发生后的图像回放都存在图像不清晰，数据不完整的问题，无法为案件的及时侦破提供有效线索。经常出现嫌疑人面部特征不清晰，难以辨认，嫌疑车辆车牌模糊无法辨认等问题。这给公安部门破案、法院的取证都带来了极大的麻烦。随着平安城市的推广、各地各类监控系统建设的进一步推进，此类问题会越来越特出。

　　模糊图像产生的原因

　　造成图像模糊的原因很多，聚焦不准、光学系统的像差、成像过程中的相对运动、大气湍流效应、低光照、环境随机噪声等都会导致图像模糊。另外图像的编解码、传输过程都可能导致图像的进一步模糊。总体来说，造成图像模糊的主要原因如下：

　　1、镜头聚焦不当、摄像机故障等；


　　2、传输太远、视频线老化、环境电磁干扰等；　


        3、摄像机罩或镜头受脏污、受遮挡等；　


        4、大雾，沙尘、雨雪等环境影响等；　
       

       5、视频压缩算法、传输带宽导致的模糊；
 

　   6、相机分辨率低，欠采样成像；
 

　　7、光学镜头的极限分辨率和摄像机不匹配导致的模糊;

　　8、运动目标高速运动导致的运动模糊等 ……

　　模糊图像常用的处理方法

　　对于模糊图像处理技术，国内大学和科研机构在多年以前就在研究这些理论和应用，相关文献也发布了不少，已经取得了一些很好的应用。美国Cognitech软件是相当成熟的一套模糊图像恢复应用软件，在美国FBI及其他执法机构中已有多年实际应用，其恢复出的图像可以直接当作法庭证据使用，可见模糊图像处理技术已经取得了相当的实际应用。

　　前面提到，造成图像模糊的原因有很多，要取得比较好的处理效果，不同原因导致的模糊往往需要不同的处理方法。从技术方面来向，模糊图像处理方法主要分为三大类，分别是图像增强、图像复原和超分辨率重构。

　　图像增强

　　很多传统图像算法都可以减轻图像的模糊程度，比如图像滤波、几何变换、对比度拉伸、直方图均衡、空间域锐化、亮度均匀化、形态学、颜色处理等。单个来讲，这些算法比较成熟，相对简单。但是对于一个具体的模糊图像，往往需要上面的一种或者多种算法组合，配合不同的参数才能达到理想的效果。这些算法和参数的组合进一步发展为具体的增强算法，比如“图像去雾”算法、“图像去噪”算法、“图像锐化”算法、“图像暗细节增强”算法等。

　　综合使用形态学、图像滤波和颜色处理等算法可以实现图像去雾的算法，下面是一个去雾算法的实际使用效果。

 　　综合应用各种图像滤波算法，可以达到非常好的图像去噪效果。
 

　　这些算法都不同程度的提高了图像清晰度，很大程度上改善了图像质量。类似的图像增强算法还有很多，这里不再一一列举。

　　图像复原

　　图像复原与图像增强技术一样，也是一种改善图像质量的技术。图像复原是根据图像退化的先验知识建立一个退化模型，以此模型为基础，采用各种逆退化处理方法进行恢复，改善图像质量。

　　图像复原和图像增强是有区别的，二者的目的都是为了改善图像的质量。但图像增强不考虑图像是如何退化的，只有通过试探各种技术来增强图像的视觉效果，而图像复原就完全不同，需知道图像退化过程的先验知识，据此找出一种相应的逆过程方法，从而得到复原的图像。图像复原主要取决于对图像退化过程的先验知识所掌握的精确程度。

　　对由于离焦、运动、大气湍流等原因引起的图像模糊，图像复原的方法效果较好，常用的算法包括维纳滤波算法、小波算法、基于训练的方法等。

　　下面是使用维纳滤波解决运动模糊的例子，取得了很好的复原效果。

　　下面是一个离焦复原的例子

　　在知道退化模型的情况下，相对图像增强来说，图像复原可以取得更好的效果。 

　　图像超分辨率重构

　　现有的监控系统主要目标为宏观场景的监视，一个摄像机，覆盖很大的一个范围，导致画面中目标太小，人眼很难直接辨认。这类由于欠采样导致的模糊占很大比例，对于由欠采样导致的模糊需要使用超分辨率重构的方法。
 

　　超分辨率复原是通过信号处理的方法，在提高图像的分辨率的同时改善采集图像质量。其核心思想是通过对成像系统截止频率之外的信号高频成分估计来提高图像的分辨率。超分辨率复原技术最初只对单幅图像进行处理，这种方法由于可利用的信息只有单幅图像，图像复原效果有着固有的局限。序列图像的超分辨率复原技术旨在采用信号处理方法通过对序列低分辨率退化图像的处理来获得一幅或者多幅高分辨率复原图像。由于序列图像复原可利用帧间的额外信息，比单幅复原效果更好，是当前的研究热点。

　　序列图像的超分辨率复原主要分为频域法和空域法两大类，频域方法的优点是:理论简单,运算复杂度低，缺点是:只局限于全局平移运动和线性空间不变降质模型,包含空域先验知识的能力有限。空域方法所采用的观测模型涉及全局和局部运动、空间可变模糊点扩散函数、非理想亚采样等,而且具有很强的包含空域先验约束的能力。常用的空域法有非均匀插值法、迭代反投影方法(IBP)、凸集投影法(POCS)、最大后验估计法(MAP)、最大似然估计法(ML)、滤波器法等，其中，MAP和POCS法研究较多，发展空间很大。对于具体的算法，不是本文的重点，这里不做详细介绍。下面是一个使用多帧低分辨率图像超分辨率重构的例子。
 

　　模糊图像处理的关键和不足

　　虽然很多模糊图像的处理方法在实际应用中取得了很好的效果，但是当前仍然有一些因素制约着模糊图像处理的进一步发展，主要如下：

　　1、算法的高度针对性;

　　绝大部分的模糊图像处理算法只适用于特定图像，而算法本身无法智能决定某个算法模块的开启还是关闭。举例来说，对于有雾的图像，“去雾算法”可以取得很好的处理效果，但是作用于正常图像，反而导致图像效果下降，“去雾算法”模块的打开或者关闭需要人工介入。

　　2、算法参数复杂性;

　　模糊图像处理里面所有的算法都会包含大量的参数，这些参数的选择需要和实际的图像表现相结合，直接决定最终的处理效果。目前算法还没有办法智能选择这些最优参数。

　　3、算法流程的经验性;

　　由于实际图像很复杂，需要处理多种情况，这就需要一个算法处理流程，对于一个具体的模糊视频，采用什么样的处理流程很难做到自动选择，需要人工选择一个合适的方法，只能靠人的经验。

　　总结

　　由于环境、线路、镜头、摄像机等影响，监控系统建成运营一段时间后，都会出现一部分的视频模糊不清的问题。

　　前面提到了针对模糊图像的各种处理算法，虽然这些算法都取得了一些较好的处理效果，但是再好的算法都是一种后期的补救措施。如果能及时发现监控系统中图像的各种问题，并及时维修，必然会起到事半功倍的效果。为此，东方网力股份科技有限公司利用先进的视频诊断技术，开发出适用于各种需求场景的视频质量诊断系统。它能够对视频图像出现的模糊、噪声、亮度异常和视频丢失等低质视频以及常见摄像机故障问题进行诊断，有效预防因硬件问题导致的图像质量低下所带来的损失。从几路视频到几百上千、上万路视频，均可高效的进行检测，自动生成检测报告，提供及时且精准的维护信息，第一时间从根源上解决图像模糊的问题。

　　对于低光照、雨雾、运动和欠采样等客观原因造成的图像模糊，只能依靠图像处理算法。为此，东方网力推出了专门的“视频增强服务器”产品，包括了各种常用的视频增强、图像复原和超分辨率重构算法。对于算法高度针对性的问题，可以灵活动态控制各个算法模块的开启或者关闭;对于参数复杂性的问题，算法给出不同参数下处理结果的列表，然后通过人工方式选定最优参数，降低使用门槛;对于算法流程，对于常见的各种图像缺陷，给出推荐的处理流程，方便使用。

　　总体来说，虽然模糊图像处理算法已经取得了非常广泛的应用，但是图像算法毕竟有自己的局限性，我们不能将所有问题都寄希望于图像算法，对于不同种类的模糊问题，要区别对待。对于由镜头离焦、灰尘遮挡、线路老化、摄像机故障等造成的模糊或者图像质量下降，在视频诊断系统的帮助下，一定要及时维修，从源头上解决问题。对于低光照等优先选择日夜两用型高感光度摄像机，对于雨雾、运动和前采样等造成的图像质量下降，可以借助于“视频增强服务器”包含的各种模糊图像处理算法，提升图像质量。　　【本文作者为东方网力科技股份有限公司高级工程师】

  【中安网原创稿件声明】转载中安网文章时应遵循以下三个规则：1、保持原创文章中图表、图片、音视频的完整性；2、完整标注文章作者［文章前后有说明］；3、转载中安网原创中部分内容也要完整标注来源"中安网"，违者本网将依法追究。