数据激增 安防大数据面临三大问题

    【CPS中安网 cps.com.cn】视频监控从最早的模拟闭路监控系统开始，经历过模拟监控、数字监控、网络监控等重要发展阶段，如今进入了大数据的时代。大数据是飞速增长的，用现有数据库管理工具难以管理所有的数据集合。之于安防行业，大数据来了，因此，问题也来了。

　　一、数据激增带来三大问题

　　大数据是飞速增长的，用现有数据库管理工具难以管理所有的数据集合。这些数据包括：社交媒体、移动设备、科学计算和城市中部署的各类传感器等等，其中视频又是构成数据体量最大的一部分。在视频监控大联网、高清化推动下，视频监控业务步入数据洪水时代不可避免。

　　视频监控数据有两个方面的内涵——海量和非结构化。视频监控数据量规模庞大，并且随着高清化、超高清化的趋势加强，视频监控数据规模将以更快的指数级别增长;与通常讲的结构化数据不同，视频监控业务产生的数据绝大多数以非结构化的数据为主，这给传统的数据管理和使用机制带来了极大的挑战。

　　1、存储

　　视频监控数据具有高并发、大容量的特点。以1080P为例，在8Mbps的码率下，每只摄像头每天产生的视频数据约84GB，中等城市的监控规模一般为数千到数万个摄像头，而且这些数据一般要求必须在系统中保存30天以上。存储系统还必须具有高级别的容错性，存储介质的故障率通常较高，但故障发生时不应造成监控数据的丢失。此外，由于安防项目本身在不断发展，系统可能要进行在线扩容和升级，这就要求存储系统具有高度的可扩展性，可在系统中简单便捷地增添存储设备。

　　2、共享

　　大数据需要通过快速的采集、发现和分析，从大量化、多类别的数据中提取价值。安防大数据时代最显着的特征就是海量和非结构化数据共享，用以提高数据处理能力。与科学计算、互联网相比，视频监控的大数据处理难度尤大，首先，视频录像是更原始的非文本非结构化的数据，必须经过复杂繁重的分析处理才能提取出文本结构化的数据进行下一步处理;其次视频录像相对其它形式数据的容量要大几个数量级，对传输、存储和计算的带宽要求大。

　　3、安全

　　平安城市、智慧城市的建设促使安防存储技术的新应用，智慧城市一大要求就是将视频存储数据相互之间进行联动、共享。与此同时，视频监控数据具有私密性高、保密性强的特点，不仅是事后追查的依据、而且更是后续数据分析挖掘的基础。因此我们说数据安全一方面是指不受到外界数据的入侵和非法获取、另一方面是指庞大系统的鲁棒性、体系容错机制，确保硬件软件发生故障时，数据仍然可以恢复、得以保存。面对海量数据的存储、共享，硬件和软件设备承载了极大的风险，因此我们如何构建大型、海量视频监控存储系统、数据分析系统以及容错冗余机制是难题。 

　　二、大数据存储格局

　　作为数据载体和驱动力量，存储系统成为大数据基础架构中最为关键的核心。

　　传统的数据中心无论是在性能、效率，还是在投资收益、安全，已经远远不能满足新兴应用的需求，数据中心业务急需新型大数据处理中心来支撑。除了传统的高可靠、高冗余、绿色节能之外，新型的大数据中心还需具备虚拟化、模块化、弹性扩展、自动化等一系列特征，才能满足具备大数据特征的应用需求。这些史无前例的需求，让存储系统的架构和功能都发生了前所未有的变化。显然，NVR架构的存储主要面向小型高清监控，无法应对大数据需求。以下介绍两种大数据存储架构。

　　SAN架构下的存储系统

　　平台SAN架构主要面向中大型高清监控系统，前端路数成百上千甚至上万。一般多采用FCSAN或IPSAN搭建高清视频存储系统。作为监控平台的重要组成部分，前端监控数据通过录像存储管理模块存储到SAN中。此种架构接入高清前端路数相对节点NVR有了较高提升，具备快捷便利的可扩展性，技术成熟。

　　FCSAN在行业用户、封闭存储系统中应用较多，比如县级或地级市高清监控项目，大数据量的并发读写对千兆网络交换提出了较大的挑战，但应用FCSAN构建相对独立的存储子系统，可以有效解决上述问题。

　　值得指出的一点是，FCSAN采用分级集中存储的方案，视频数据按区域存储在不同的子平台中，通常使用RAID来进行存储。但RAID在性能、利用率、可靠性等方面很难达到理想的平衡，而且成本偏高。北京智慧仓存储技术有限公司致力于在大数据的时代背景下，为客户提供高性价比、高价值的存储产品和解决方案。我们是国内唯一拥有光纤通道技术、硬件RAID技术和嵌入式技术等RAID控制器技术的厂家。彻底解决了困扰安防监控客户的价格瓶颈、性能瓶颈和稳定性瓶颈。

　　对于IPSAN而言，在ISCSI环节数据并发读写传输速率有所消耗，由于这种分级集中存储进入安防行业较早，仍然得到很多客户的青睐。

　　构架云的存储

　　大数据最核心应用是为了智能分析，就如同存储是大数据最核心技术一般。监控系统中，存储和传输问题是首要面临的难关，大量无用视频信息被存储、传输，既浪费了存储空间又增加了带宽，智能分析的目的是为了视频存储所需要的空间减少从而缓解带宽压力，或者对于一些无用视频则采用低码流方式进行压缩或传输，更方便整套系统调查或查询使用，提升监控在大数据的应用价值。

　　对于大数据的智能分析，云存储架构方式是最佳方案。不过这种应用目前只在平安城市项目有应用，技术的成熟度相对于SAN结构还需完善。

　　三、结束语

　　探索大数据安防，最核心是要把握大数据给安防行业带来哪些挑战，选择哪些存储方式去解决数据管理的问题。然而，应用才刚开始，监控存储格局也在大数据时代出现改变，我们可以拭目以待!

声明:

凡文章来源标注为"CPS中安网"的文章版权均为本站所有，如需转载请务必注明出处为"CPS中安网"，违反者本网将追究相关法律责任。非本网作品均来自互联网，转载目的在于传递更多信息，并不代表本网赞同其观点和对其真实性负责。