解析视频监控系统图像处理关键技术

　　视频流传输与存储

　　由于目前的因特网在带宽、延迟抖动和丢包率等方面的不可预知性，在大规模网络视频监控系统中，需要采用相关技术，提高流媒体服务质量，目前采用的技术主要包括：音视频流播出质量服务、视频流的转发与存储、渐进式音视频流传输等。

　　音视频流播出质量服务

　　包括各个层次上的网络服务控制(QOS)，如错误隐藏、跳帧处理和容错编码等。其中客户端的差错隐藏是比较常用的技术手段，该技术利用图像序列的连续性恢复出受损块的运动矢量，在没有运动信息时利用受损块周围的相同信息来推测受损块的内容。

　　视频流的转发与存储

　　与数值、字符等数据不同，视音频数据是非格式数据，并且数据量相对庞大，对存储服务器和转发服务器的性能有较高要求，因此服务器不仅需要有海量的多模态数据存储能力，还需要有快速的数据吞吐量、实时的响应时间;对于存储设备，主要技术包括有磁盘调度策略、数据条块化、分级存储和磁盘容错等。

　　渐进式音视频流传输

　　这种传输方式首先接收并显示低分辨率的音视频数据，然后再进一步接收更精细的数据，来提高音视频的现实质量，这样可以用来平衡等待时间与观看质量之间的矛盾，该技术的关键问题是对音视频对象的渐进式表达。

　　移动视频技术

　　随着移动互联网的发展，移动终端已经成为信息获取和交互主要工具，成为视频监控系统中的重要终端。目前移动视频监控系统应用中的核心问题是如何在较低的带宽和较小的显示屏幕限制下，更方便地获取视频监控信息，其技术主要包括以下几个方面：

　　面向小屏幕应用的媒体内容适配显示

　　由于移动终端的屏幕有限，而音视频内容在移动环境下往往不能被充分显示，需要采用自适应浏览技术，对于静态内容的显示可根据前期关注分析的结果，按重要程度依次显示或进行放大缩小处理;对于动态音视频内容的播放，可以采用最优化损失、曲线拟合等方法减少视频画面抖动。

　　面向移动音视频访问的人机交互界面

　　由于移动终端显示屏幕大小的限制，往往不能像正常的屏幕那样显示检索或推荐得到的多个媒体内容，这样就需要研究移动环境下的媒体可视化技术，在有限空间范围内尽可能多的表示媒体内容，同时还能增强用户的浏览观感。

　　面向移动应用的视频转码

　　由于移动终端的显示能力和计算能力各不相同，支持的视频质量也各不相同，需要采用面向移动应用的视频转码和视频传输技术，能根据不同的信道状况和终端显示能力，对视频进行自适应的转码处理。视频转码技术分为码率缩减的转码、分辨率缩减的转码、帧率缩减的转码、针对无线网络的容错转码、不同格式之间的转码等，其主要研究内容包括结合快速模式选择，高效、低复杂度的率失真优化转码框架，以及根据输入视频码流中的各种信息参数进行不同预测模式之间的快速预测和变换。在多模式的视频转码中，还需要根据用户所需要的视频内容和网络资源占用情况，综合考虑动态调整视频流的帧率、空间分辨率以及量化步长，使得用户体验最优化。
 

　　视频分析

　　虽然音视频内容的分析研究已经进行了多年，但许多问题依然只能在较小的范围内应用，目前监控系统中应用的视频分析和理解技术主要包括特征提取、分类方法、多模态融合等。

　　特征提取

　　现有的音视频特征可分为两类：整体特征和局部特征，整体特征往往从整个媒体单元中抽取得到，可以较好地描述音视频数据的整体特性，但不能有效描述其细节特点，局部特征从音视频数据的局部中抽取得到，并用于描述其细节特点，局部特征可以对遮挡、光照、视角变换具有更好的鲁棒性。受文本信息检索技术的启发，通过将音视频数据的局部特征量化为视觉单词，从而将媒体数据转化为类文本数据结构，进而采用较为成熟的文本信息处理技术处理音视频数据，这种基于局部特征和视觉单词模型，已经被应用于物体识别、物体检测、视频检索、事件检测等应用中。

　　分类方法

　　目前采用的分类方法可分大致为有监督学习、半监督学习和无监督学习三大类，其中，有监督学习方法需要大量的标注数据用于训练分类器以对待处理的数据进行的分类识别，无监督学习方法通过聚类分析等提取出一些可能有用的信息来辅助满足用户的需求，这两种分析方法已经在音视频分析中得到了大量的应用;半监督学习方法，该方法利用数据的内在分布特点，只需要用户标定少量数据以得到更准确的分类模型，在已标注的训练数据不足而未标注的数据却大量存在的情况下效果较好，目前半监督学习算法主要有如自训练法、产生式模型方法、直推式支持向量机及其改进、多视角方法的和基于图的学习方法等。

　　多模态融合

　　融合多种模态信息的音视频分析可以根据不同模态特征在分类能力和可靠性的差异采用不同的处理模式，通过合理利用图像/关键帧、声音、文字等多种媒体源特征的互补性，获得更优的分类或检测结果;多模态融合主要可以分为前融合和后融合，多模态特征的前融合即将不同的特征向量合并在一起作为分类器输入，具有应用简单、鲁棒性较强的特点但常不能反映各模态特征受关注程度的全部信息，后融合方法在解决数据的不对称性问题和不同时序层次的判别融合问题方面具有较大优势。

  【中安网原创稿件声明】转载中安网文章时应遵循以下三个规则：1、保持原创文章中图表、图片、音视频的完整性；2、完整标注文章作者［文章前后有说明］；3、转载中安网原创中部分内容也要完整标注来源"中安网"，违者本网将依法追究。