如何让安防大数据摆脱好事多磨的窘境

    【CPS中安网 cps.com.cn】 　　

　　随着IT技术的发展，大数据时代正在IT行业内如火如荼的开展着，然而安防行业却只有一只脚迈入了大数据时代。都说好事多磨，那么阻碍着安防行业真正进入大数据时代的那些“磨难”都有什么?安防大数据又该如何摆脱好事多磨的窘境?

　　一、大数据的今天

　　1、应用领域

　　智能交通

　　在安防行业内，大数据可进行交通分析，即通过对交通卡口采集的海量过车记录进行分析，发现车辆的行车轨迹，发现异常行为，为案件研判、交通诱导等提供信息支撑。

　　平安城市

　　英我们所居住的城市中有无数的高清摄像头，涉及治安监控、指挥通信、侦查破案、规范执法、社会服务等，视频接入规模从几千到几十万，每天产生海量数据。

　　卡口

　　目前大数据在安防行业内应用较多的主要还是针对卡口方面的应用，如碰撞分析、随车分析、假牌套**、初次入城分析等等，这些应用应该说是在实践中有明确和迫切需要的，且应用起来还是很有效的。

　　公安执法

　　此外，大数据不但可为公安侦查提供人、车、物和时空的相关性，在这些信息的分析和比对中发现有价值的线索信息;同时还可利用数据分析进行事前预警防范，如人脸识别比对系统，通过搭建人脸识别比对，建立人脸捕捉数据库，将人脸信息归档，并与个人身份建立关系，在实际运用过程中采用人脸搜索、黑名单布防、陌生人识别等多项智能分析技术，大大提高视频监控的防范功效，可让犯罪分子无可遁形。

　　2、大数据的组成及特征

　　在安防行业，涉及的数据信息类型很多，以数据的结构类型来看，包括各类非结构化、结构化及半结构化信息。其中，非结构化数据主要包括视频录像和图片记录，如监控视频录像，报警录像，摘要录像，车辆卡口图片，人脸抓拍图片，报警抓拍图片等;结构化数据则包括报警记录，系统日志记录，运维数据记录，摘要分析结构化描述记录，以及各种相关的信息数据库，如人口信息，地理数据信息，车驾管信息等;半结构化数据则如人脸建模数据，指纹记录等。

　　对IT大数据来说，其特征通常用4V(Velocity、Variety、Volume、Veracity)来概括，但对于安防大数据来说，它有自己独特的特点。首先，安防大数据以非结构化的视频监控数据为主，因而它更侧重于对非结构化数据的信息分析、提取挖掘以及处理能力;其次，就数据容量而言，以视频录像为主的安防大数据对传输、存储和计算过程中需要的带宽以及存储空间要求都更高;再次，以数据量基础做比较，安防大数据中的信息价值密度更低，从海量的图像信息中快速和准确地检测或者挖掘出有用信息的难度更大;最后，视频监控数据7×24小时都在持续不断地更新积累，其时效性更高。

　　3、应用/实施状况

　　截至目前，许多智能化功能和大数据应用已在技术上得到实现，主要包括入侵检测、徘徊检测、遗弃物检测、人流统计、车流统计、车牌识别、视频诊断等;此外还有未遂检测、停止检测、方向检测、颜色识别等高级智能分析功能，这些技术正在广泛地运用于安防领域。而目前智能化的市场正在通过部分典型应用进行拓展，例如智能交通的车辆统计和车流分析、公共场所的人数统计和警戒设置、商铺家居的常规防范等。随着更多智能化功能的不断完善，大数据的智能化处理正在从专业市场向民用及商业市场快速推进。

 　　二、安防大数据相关技术

　　大数据在安防行业的应用使得安防更加智能化，大数据的技术一般分为数据采集、存储、挖掘和计算(算法)技术。

　　处理分析工具

　　安防界大数据的处理和分析工具主要有两类，一类是对视频图像等非结构化信息的处理和分析工具，包括视频智能分析工具、视频摘要工具、图像清晰化工具、视频清晰化工具、视频转码工具、视频编辑工具等等;另一类则是对结构化、半结构化信息的大数据分析处理工具，此类处理和分析工具安防界吸取了IT界在处理大数据方面的架构和经验，比较流行的如Hadoop，Spark大数据处理的框架，以及Mahout、R数据挖掘工具，以对结构化和半结构化的数据可以实现快速和准确的数据分析和挖掘。

　　英特尔的理念是在端到端的安防行业，全面实现数据价值的挖掘。所谓“端到端”，包括前端视频采集、分析、存储以及后端数据中心处理。区别于单个设备的解决方案，英特尔以其优越的性能、灵活的设计为设备制造商和系统集成商提供整套系统化解决方案，从数据获取、存储、分析到应用各个层面均有覆盖。从硬件角度，英特尔提供的全系列处理器涵盖入门级的凌动、酷睿以及高性能的至强处理器，随着夸克产品线的推出，在前端的应用将更具性能功耗比优势。此外，英特尔聚焦于通过GPU进行媒体处理工作负载的整合，如编解码的硬件加速，从而实现更高密度的视频流集成，使系统整体性能得到优化。在软件层面，英特尔拥有多种媒体处理工具，如异步IPP、媒体处理开发套件(Media SDK)以及Open CL开发套件。同时，对于开源大数据基础软件Apache Hadoop，英特尔提供了很多算法上的优化，还可根据客户的特定业务需求对运行Hadoop的基于英特尔至强系列芯片的服务器进行硬件的深度优化，为海量数据的存储和处理提供灵活支持，使之更适用于交通和安防行业的应用，合作伙伴也可在这个开放的平台之上自如地融入自己的创新。

　　核心技术

　　在笔者问道大数据的核心技术是什么时，受访人不约而同地给出了同一个答案：智能分析。智能分析是安防大数据区别于IT大数据的根本点，只有利用智能分析技术将安防大数据的非结构化数据转换为结构化数据，才能将IT大数据成熟的技术体系应用到安防大数据中，充分发挥安防大数据的作用。对于视频图像等非结构化数据的分析和处理，目前可能更多地是把它归属到智能分析的范畴，这些技术很多已在初期应用中不断改进和完善，很多更新的智能分析技术仍处在研发过程中，对这类数据的分析和处理也将成为安防大数据的核心价值点。日益丰富的智能算法将大大提高视频监控摄像机的使用范围和价值，处于应用初级阶段的智能视频监控，也将随着智能算法的日益丰富而快速发展。而数字处理芯片、编解码能力以及压缩算法，是影响图像处理技术的重要因素。安防智能化的核心还体现在VA(视频分析或图像分析)，而VA需要底层算法的支持并运用单元执行，这可提高视频分析的效率。

　　此外，对于大数据时代的安防行业来说，存储技术同样处于不可或缺的位置。他认为，海量数据必须拥有能够进行可靠、可保证效率且拥有快速的读写以及响应能力的存储。

 　　三、大数据成长路上的“磨难”

　　对任何一个新事物来说，它在出现和发展过程中都不可能是一帆风顺的，安防大数据在其成长路上又在经历着哪些“磨难”的考验呢?

　　数据共享问题

　　目前安防行业内各系统以及各领域之间比较孤立，数据与数据之间并没有互通，从而形成了一个个数据孤岛，这导致各个系统按照大数据的方式使用起来比较困难。他认为，如果利用云存储技术对大数据进行统一管理，把视频与存储进行分离并做成一个通用的共享层，对安防大数据来说将不失为一大进步。

　　筛选有效数据问题

　　众所周知，以视频监控数据为主的安防拥有着海量的数据，然而，在这海量的数据中，可利用的、有价值的数据却是少之又少的，如何在海量数据中高效地筛选出有效数据便成为一个非常困难的问题。如何在大数据中快速高效地筛选有效信息正是目前安防大数据技术发展的问题所在。他认为，安防的数据量大，且传统的安防多是事后查证，于是把所有有用无用的数据全存储下来，其造成检索查找不便。众多厂商都在致力于探索如何从安防大数据中提取有价值的数据信息。

　　大数据的最终目标是尽可能快速地利用各种数据来做出最好的决策。当前需要高效筛选安防数据，依然需要对安防监控关注的业务对象进行人工监督的建模，基于业务对象建模反向指导数据采集汇聚与分析。当前有两种决策分析模型，一种是基于假设的模型，要关注哪些高价值数据，关注相关领域的数据，关注那些能够提升效率的数据;另一种模型就是一种不是基于假设的模型，是一种机器学习(如神经网络算法等)的模型，大数据带来的变化是分析必须减少对于固有数据的依赖，分析模型将能够根据数据流中的动态数据自适应。这种模型跟假设模型完全不同，两种模型暂时无法相互替代。从长期来看，一定会有更多的数据需要我们去关注。对安防大数据来说，它能够不断增加安防监控量，帮助我们基于数据做出更合理的决策，这是它的优势。他认为，经过长时间数据和技术的发展，机器学习方式可能会取代假设模型。

　　安防厂商想要在大数据中快速高效地筛选出有效信息，需要两个基础来保证：于非结构化信息的分析、识别和提取等处理要准确和高效;对大量结构化信息，或者半结构化信息的综合搜索要准确和快速。因此，安防厂商首先需要提升对非结构化信息的处理能力和效率，准确和快速地处理视频图像、人脸特征建模等数据，从里面提取出有用的信息，并且能够进行信息的某种表述，在大数据的存储层面上完成数据信息的提取和存储工作，以便进行后续的数据信息检索，分析和挖掘业务。其次，通过使用并且针对性地改进目前的大数据处理技术以及平台框架，提供针对安防数据信息的快速检索机制，形成有针对性的海量安防数据信息处理架构，从这些大量的结构化和半结构化信息中进行快速检索和分析。

　　智能分析困难

　　在安防大数据中，如何对海量数据进行智能分析是关键。现阶段，如何平衡网络带宽承载、降低系统存储成本则成为处理海量数据的前提性要求。在实际应用中，视频图像的分析处理需求日益增加，如车牌识别、人脸识别等，对图像质量提出了更高的要求，也对芯片的解码能力提出了更大的挑战。解决方案不单单是一个芯片就可以完成的，它是一个完整的架构。

　　目前，数据分析往往在数据中心执行，市场缺少一个端到端的计算架构，使不同摄像设备的关键信息被快速关联起来，从而迅速、及时地进行分析。如何有效提取高质量的视频信息以及实现更高效的数据中心智能搜索和分析正在成为业界的重要诉求。而在前端设备中使用更高性能、整合了GPU(图形处理单元)的CPU(中央处理器)的芯片，通过相应的开发工具使GPU和CPU的能力得到充分利用，可使前端视频的解析更有效率;同时，在后端使用对于开源或其它Apache Hadoop商用版(如Cloundera)深度优化的至强系列服务器集群，可以合理地分配系统整体的计算资源，使图像视频处理及智能分析得以高效实现。

　　安防系统性能问题

　　安防大数据以视频数据为主，然而视频数据则对带宽有着很高的要求，海量视频数据的快速调取对高分辨率视频数据的处理能力也有着很高的要求。目前安防行业对图像信息的分析处理过程中，应用的性能瓶颈虽然会出现在计算层面，但对于大容量的数据上传而言，下载和调度也是一个重要的瓶颈。

　　数据安全问题

　　在IT行业中，数据安全问题很是令人担忧的，这个问题在安防行业内同样不容忽视。大华王海丰认为数据安全问题主要分为三个方面：数据丢失、数据篡改以及数据泄露。针对这些问题，除了可采用多副本存储、算法容错技术之外，还可采用视频水印及进行信道加密、存储加密、数据加密技术等。

　　对于安防领域而言，数据量大，图像信息蕴含的信息量更多，且还涉及到个人隐私，公共安全等问题。所以，在系统安全方面更不容忽视。在安防领域，由于其公共安全的特性，除一般的如采用信息加密、传输加密、数据冗余、安全账号控制、系统安全检测、入侵检测等信息数据安全措施外，更需要一些特殊保护措施。如从法规层面的保护，即涉及个人隐私和公共安全视频信息的使用和控制，要加强对重点领域敏感数据的监管，特别是在公安和政府层面，需要明确重点领域数据内容和范围，制定完善的重点领域数据库管理和安全操作制度，加强日常对信息数据监管。另外，还需要规划信息敏感域，做好本域的信息隔离和保护工作，如使用安全边界接入平台等方式，切断直接的数据通讯链接，减少甚至避免受攻击的情况。实际上，数据安全问题的解决，并不是靠一个人，一个企业或者一个行业就能彻底解决的，而是需要整个社会，各行各业的共同努力。

 　　四、大数据如何真正落地安防

　　大数据如何才能真正落地到安防行业?英特尔顾典为我们分享了他的观点：

　　1、由于大数据基础软件Apache Hahoop是一个通用的平台软件，所以安防行业的厂商如软件供应商、系统集成商仍需和最终客户之间有深入的交流，了解需求，根据客户需求构建新的大数据解决方案。这样可以把一个通用的数据平台设计成更加符合安防行业应用的数据平台，并考虑设计一些标准的API，使系统能够灵活地应对将来的业务扩展。

　　2、大数据的应用还涉及到一些新的行业技术标准，如某些视频信息抽象出的元数据等。有了这些针对数据处理的行业标准才可能使系统在处理海量异构数据时减少由于不必要的数据转换带来的系统资源损耗，使系统更加专注于分析、挖掘，从而更有效率地实现数据带来的价值，如提高应用的实时性。

　　3、因大数据技术相对较新，产业链中包括方案提供商、系统集成商以及客户本身，都需要增加熟悉大数据软硬件的技术人才。比如，方案提供商需要有熟悉Apache Hadoop基础平台软件的开发人员，需要有熟悉如何将基于Apache Hadoop的应用与现有的其它业务流程进行系统对接的应用开发人员，而系统集成商和客户也需要有相应的Hadoop基础软件平台的维护人员。有了这些人才，才能使方案不断、快速地优化，从而实现稳定及高效运作。