视频监控数据如何带来价值

在安防行业，涉及的数据信息类型很多，以数据的结构类型来看，包括了各类非结构化、结构化以及半结构化信息。非结构化数据主要指视频录像和图片记录，如监控视频录像、报警录像、摘要录像……

今年，安防行业得到很到的发展，作为主力军的监控市场更是耀眼瞩目。监控应用的范围越来越大，势必会长大量的数据。与此相应的我们的大数据时代已经带到来，大数据技术如何用科学的方式处理数据，会带来怎样的价值？

大数据信息来源丰富

在安防行业，涉及的数据信息类型很多，以数据的结构类型来看，包括了各类非结构化、结构化以及半结构化信息。非结构化数据主要指视频录像和图片记录，如监控视频录像、报警录像、摘要录像、车辆卡口图片、人脸抓拍图片、报警抓拍图片等；结构化数据则包括报警记录、系统日志记录、运维数据记录、摘要分析结构化描述记录，以及各种相关的信息数据库，如人口信息、地理数据信息、车驾管信息等；半结构化数据则如人脸建模数据、指纹记录等。

这些信息的来源有几个渠道，一个是安防系统内部产生的信息，如各种视频录像、抓拍图片、系统运维数据、日志记录、摘要记录等；另外一些则是通过外部系统采集或者集成，如人口信息、地理数据信息、人脸库数据、车驾管数据等。这些数据作为一个整体，构成了安防系统或者说安防领域的大数据基础，并且具有以下特征：最显著的是安防数据体量巨大并不断快速膨胀，随着视频监控图像系统的不断联网和整合，以及视频分辨率和帧率的不断提高，实时视频数据的存储已经从TB级别开始跃升到PB级别；其次，安防数据类型繁多，如上面提到的视频、图片、地理位置信息等等，而且随着各类安防系统以及相关的信息系统的不断整合，数据类型也会越来越多；另外，安防数据整体蕴含的价值密度低，但是价值高。以视频监控数据为例，在7×24小时连续不间断监控过程中，可能有用的数据仅仅1、2分钟，甚至1、2秒。同时，这些信息更新频率特别快，安防数据每时每刻都在大量产生，信息每时每刻都在更新。

大数据视频监控4V特点

在这些数据信息当中，视频监控的数据占的比例不小，分析视频监控数据，发现它们主要呈现出：体积大、类型多、速度快、价值低这四大特点，又被称为是4V：Volume、Variety、Velocity、Value，具体解释如下：

第一，数据体量巨大（Volume）。高清化带来单个监控点数据量即以指数级增长，例如单个1080PIPC30天就会产生2T数据；IP化大联网后，各平台实现互联，平安城市网内摄像头数量达数万数十万级别，其数据量之巨大可想而知。

第二，数据类型繁多（Variety）。视频监控领域的视频编码格式包括：H.264、MPEG-4、MJPEG等多样化的编码方式。而同时随着各类物联网技术的融入到视频监控业务，汇聚了包括各种传感器、IT、CT系统产生的多样的数据。业务系统需要把结构化与非结构化数据相互关联，统一存储。

第三，处理速度快（Velocity）。视频数据随时间快速增长，并以持续顺序到达。在视频监控领域，视频分析的效率决定价值，更低的延迟、更准确的分析是平安城市这类客户的普遍需求。随着数据量的增加，哪怕对TB级别的数据进行视频内容的数据分析和检索，采用串行计算模式都可能需要花费数小时的计算，已远远不能胜任时效性的需求。

第四，价值密度低（Value），效率要求高。在视频监控业务中，价值密度的高低与数据总量的大小成反比。一小时的视频监控内容，可能有用的数据仅仅只有一两秒。如何通过强大的机器算法更迅速地完成数据的价值“提纯”是目前大数据汹涌背景下亟待解决的难题。

架构更加灵活 伸缩弹性更大

对于大数据的视频监控处理，我们根据数据的特点，基于大数据的架构，几种视频监控数据在处理起来的时候更加的方便。

第一，架构更加灵活，伸缩弹性更大

对于一些中大型项目，由于起点的差异，缺乏视频监控架构的顶层设计，后期的扩容升级难免尾大不掉，如在建设初期就引入面向大数据的架构，为业务扩张和管理带来好处。

第二，以廉价通用硬件迎合视频监控数据的爆发性增长

在面向大数据的架构中，可根据视频监控业务的部署需要，设立多个HDFS集群组成，采集的流数据会被划分成段，并分布于数据节点，这些数据节点可以采用廉价通用型的硬件，由软件技术保证其高可靠性，这种方式避免采用传统高端硬件的模式，大大降低投资成本。

第三，通过高速并行计算实现智能分析和数据挖掘

对于金矿来讲，唯有熠熠发光的金子才是有价值，视频监控数据就犹如这样一座金矿，传统人工和串行的数据筛选方式已在大数据时代不能满足要求。面向大数据的架构原理就是将海量数据分解为较小的更易访问的批量数据，在多台服务器上并行分析处理，从而大大加快视频数据的处理进程。

结合视频监控业务特点，引入Hadoop的架构，以顶层设计的视角来构建面向大数据视频监控架构，将对未来视频监控业务的规划设计产生深远的影响。下面简要描述下大数据视频监控逻辑架构。

数据源层，包括实时数据和非实时数据。实时数据指IP摄像头和传感器产生的实时流媒体数据。非实时数据指从DVR、编码器、第三方系统导入的媒体数据。

大数据存储层，采用了HDFS和HBASE，实现数据低成本、高可靠的管理。把采集的视频流保存在HDFS集群内，并通过HBase建立访问的索引。把传统NVR和专用存储进行重构，纳入到整体的分布式文件系统中来。

大数据计算层，实现智能分析和数据挖掘。通过MapReduce把对大视频的分析进行分解，充分利用闲置资源，把计算任务交由多台服务器进行并行计算分析，另外一方面，根据智能分析产生的视频元数据，通过Hive挖掘视频元数据的价值信息。业务及管理层，实现设备和业务管理。基于Zookeeper组成的服务器集群，可以保证业务系统的无故障运营，基于Ganglia实现对摄像头等设备的监管。

基于大数据的视频架构，本质上是把视频数据作为最有价值的资产，以数据作为核心来构建的技术架构，重点解决了海量的视频数据分散和集中式存储并存、多级分布问题，极大提升了非结构化视频数据读写的效率，为视频监控的快速检索、智能分析提供了端到端的解决方案。

大数据视屏监控带来的价值

大数据视频架构是革命性的技术，特别在实时智能分析和数据挖掘方面，让视频监控从人工抽检，进步到高效事前预警、事后分析，实现智能化的信息分析、预测，为视频监控领域业务带来深刻的变革。

视频监控进入网络化时代以后，越来越多融入IT新兴技术，大数据技术在视频监控领域的广阔发展路径已经显现，不少厂家正致力于通过将大数据技术和视频监控业务的完美融合，打造大数据时代的视频监控解决方案。