大华云存储助力“安防+”时代

    【CPS中安网 cps.com.cn】一、安防行业存储技术发展现状

　　存储在监控行业的发展过程中经历了磁带存储、DVR、NVR、SAN直存等产品形态，新兴的软件定义存储、云存储等概念也是层出不穷，但无论怎样发展，存储起到的作用始终是写入和读取两个核心功能。传统的分布式存储如DVR、NVR产品，只能对监控点位分散的结构通过划分若干监控区域进行分布式存储，保证基本的写入需求，对于大规模读取的性能无法按需满足;监控领域的集中式存储主要指SAN、一体机设备，这类设备通过RAID、增加扩展柜的方式获得了单机的大规模写入空间，满足了高密度的需求，但是对于视频的读取仍无法做到按需分配;云存储的架构真正做到视频的写入、读取按需分配、线性扩展，增加独立的存储节点即可获得更高的读和写性能。

　　从实际实用的角度来看，用户对于存储的主要需求是建、存、读、管、维。由于监控行业高端存储如云存储仍处于快速发展阶段，没有统一标准，市场上存在着存储产品参差不齐的状况。这几个标准对应的衡量标准可以作以下几点总结：

　　1. 建的瓶颈体现在上线部署便利程度，能否做到分钟级快速部署，能否降低设备分批上线的难易程度;

　　2. 存的瓶颈体现在能否满足海量规模存储，单一的录像、复杂的小尺寸图片等，既能保证空间又能保证性能;

　　3. 读的瓶颈体现在能否按需读取，特别是给予视频监控进行的实战业务部署，读取的性能线性增长，存储能否给予保证;

　　4. 管的瓶颈体现在易用性，能否实时准确获取设备状态，能否把传统存储不友好的人机界面变成更加亲切的交互;

　　5. 维的瓶颈在于保证设备的高可用性，如何在云存储系统把发生的故障当做一种常态并兼顾数据安全和成本二者的平衡点。

　　二、云存储概念

　　云存储的概念与云计算类似，它是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统，保证数据的安全性，并节约存储空间。与传统的存储设备相比，云存储不仅仅是一个硬件，而是一个网络设备、存储设备、服务器、应用软件、公用访问接口、接入网和客户端程序等多个部分组成的复杂系统。各部分以存储设备为核心，通过应用软件来对外提供数据存储和业务访问服务。从严格意义上讲，云存储不是存储，而是服务。云存储已经成为未来存储发展的一种趋势，云计算和云存储正引起一场技术革命，安防行业也不例外。

　　三、安防行业引入云存储

　　当前安防行业大规模的高清视频监控系统应用中，需要满足海量高清的视频数据存储，高清视频数据如720P、1080P、5MP、8MP等高分辨率IPC的接入，大路数并发大码流的实时数据读写，传统存储的性能面临极大的挑战;安防监控视频图像的高清显示、海量非结构化的数据存储、多元信息融合、音视频图像的分析挖掘、大规模数据的智能分析及决策需要引入云计算、云存储等多种先进技术，尤其在平安城市、智能交通、智慧城市以及跨地域的大规模行业应用当中，对于这些行业中海量的视频图片等非结构化数据存储系统的需求，意味着数据存储能力和计算处理性能的提升，存储产品要求具备高性能、高容量、高可靠性以及可扩展性，同时需要实现与安防行业应用的深度结合，满足安防系统海量视频数据管理的特殊业务应用。

　　云存储将成为未来平安城市、智慧城市系统的基石，有效的支持原始视频存储、卡口图片存储，视频图像信息库等数据集中存储与共享业务，以及智能实战系统，警务政务综合系统，大型数据挖掘系统等数据分析业务，成为便捷、统一管理和高效应用的大数据基础平台。

　　四、大华云存储助力安防+

　　为适应安防行业的发展，大华股份首家引入IT通用云存储和云计算技术，推出自主研发的云存储系统Extreme Stor。

　　大华云存储系统软件(EFS)是一款集先进的分布式技术、高可靠的容错技术、智能化的资源调度管理于一体的数据存储系统平台软件，面向海量的非结构化数据，具备高可靠、高性能、大容量、弹性扩展、自动化管理等特点，轻松满足海量的数据存储和弹性变化的业务需求。采用先进的纠删码算法，存储的空间利用率可达80%以上，数据可靠性达到10个9。最小系统即可提供4GB/s读写能力。存储容量可弹性扩展至EB级海量空间。

图 大华云存储系统

　　1、快速文件索引技术

　　大华云存储系统可以支持上亿级的文件，同时还需要支持上千个用户同时访问。这么大规模的元数据和并发访问量，采用传统的内存加磁盘多级存储，以及多级索引方式，寻址的开销将非常大，直接影响到系统的可用性。

　　为了提高系统的响应速度，云存储采用粗粒度的管理方式，以一定大小的块进行索引，大幅减小元数据的数量。基于这种情况，系统采用全内存态的元数据访问模式，可以将文件寻址时间降到毫秒级别。为了保证元数据的可靠性，需要对元数据的访问做日志记录，并定期将元数据持久化到硬盘。元数据服务采用的硬盘都是SSD硬盘，加速持久化和主备元数据服务器同步过程。

　　2、负载自动均衡技术

　　采用中心服务器模式来管理整个云存储文件系统，所有元数据均保存在元数据服务器上，文件则被按块划分存储在不同的数据节点上。

　　元数据维护了统一的命名空间，同时掌握整个系统内数据节点的使用情况，当客户端向元数据服务器发送数据读写的请求时，元数据服务器根据数据节点的磁盘使用情况、网络负担等情况，选择负担最轻的节点服务器对外提供服务，自动调节集群的负载状态。数据节点内同时有提供磁盘级的负载均衡，根据磁盘的IO负载，空间容量等情况，自动选择负载最轻的磁盘存储新的数据文件。

　　当有一个数据节点因为机器故障或者其他原因造成离线时，元数据服务器会将此机器自动屏蔽掉，不再将此数据节点提供给客户端使用，同时存储在此数据节点上的数据也会自动恢复到其他可用的节点服务器上，自动屏蔽数据单节点故障对系统的影响。

　　另外对故障的数据节点上的数据快速恢复，只需将数据节点上的硬盘拔出，插入到其他数据节点，这样即减少集群对数据恢复的压力，又不对客户端读写产生影响。

　　3、高速并发访问技术

　　客户端在访问云存储时，首先访问元数据服务器，获取将要与之进行交互的数据节点信息，然后直接访问这些数据节点完成数据存取。

　　客户端与元数据服务器之间只有控制流，而无数据流，这样就极大地降低了元数据服务器的负载，使之不成为系统性能的一个瓶颈。客户端与数据节点之间直接传输数据流，同时由于文件被分成多个节点进行分布式存储，客户端可以同时访问多个节点服务器，从而使得整个系统的I/O高度并行，系统整体性能得到提高。

　　通常情况下，系统的整体吞吐率与节点服务器的数量呈正比，实现Scale-Out横向扩展的架构。

　　4、高可靠性保证技术

　　对于元数据，通过操作日志来提供容错功能。主服务器本地SSD盘组建高可靠RAID1，提供高可靠容错能力。当元数据服务器发生故障时，在磁盘数据保存完好的情况下，可以迅速恢复以上元数据。且操作日志在主备元数据服务器之间实时同步，实现更高程度的可靠性。

　　对于节点服务器，采用Erasure Code冗余方式实现容错，数据冗余分布存储在不同的数据节点上。任一数据节点的损坏，不会导致任何数据丢失，不会影响任何的数据访问和写入过程。之后，通过灵活数据恢复机制，进行数据重建过程。集群规模越大，恢复速度越快。

　　5、高可用技术

　　系统中的所有服务节点均是通过网络连接在一起，由于采用了高可靠的容错机制，系统增减节点不必停止服务，可在线增减存储节点。

　　元数据服务器采用主备双机热备技术，主机故障，备机自动接替其工作，对外服务不停止;存储节点采用Erasure code冗余备份机制，如采用4+1节点间冗余容错，任意损失一个节点，数据不丢失，服务不停止，客户端无感知。

　　五、总结

　　大华的大规模云存储云计算技术通过提供一套统一的大数据处理平台，集成各种智能化算法和计算模型，综合处理海量监控数据，以更快的速度得到更有价值的数据。未来的大华云将在统一资源管理技术、实时检索技术、复杂事件处理技术、海量视频检索技术、人脸检索技术、车辆特征分析等关键行业领域持续发力，为安防带来一系列技术革命。

声明:

凡文章来源标注为"CPS中安网"的文章版权均为本站所有，如需转载请务必注明出处为"CPS中安网"，违反者本网将追究相关法律责任。非本网作品均来自互联网，转载目的在于传递更多信息，并不代表本网赞同其观点和对其真实性负责。