嵌入式人脸识别设备

核心技术core technology

热门关键词

联系我们

公司名称:

成都西亚深图智能科技有限公司

联系电话:028-87560601

公司邮箱:

xyst_deeprec@163.com

公司地址:

四川省成都市高新西区新业路4号

汇都总部园二期1-3-4

深圳办事处::深圳市龙华区民治

街道白石龙华富锦大厦512

电话:代经理 13632664173

公司网址:

www.deepgraph.cn


分布式异构数据储存

您的当前位置: 首 页 >> 核心技术 >> 分布式异构数据储存

分布式异构数据存储技术


   智慧城市大规模视频监控产业的飞速发展,为视频流存储与处理行业带来了巨大的产业机会。在规模较大的城域视频监控场景下,高并发的摄像头持续不断的向存储系统写入数据,在视频数据高清化趋势下,产生了视频大数据存储与处理的新的需求。而传统的存储系统方案,如DVR、NVR等,既面临着高清流数据吞吐率不足和部署成本过高等问题,同时也无法解决高可靠存储服务容错、按需扩容和易维护性等关键问题。西亚深图采用云计算架构的分布式存储系统,针对高清流式数据视存储特点进行特殊优化,可以有效解决上述问题,非常适用于数据中心级视频监控存储需求。

1512098803423477.png

SSTORE存储系统架构


  一个SSTORE存储子集群中主要包括两种类型的服务器:一台元数据服务器(MS)和多台数据存储节点服务器(DS)。


MS节点功能如下:

接收数据节点服务器的注册请求,维护在线数据存储节点列表以及各节点承载的视频流信息。

* 接受视频流的写入请求,为其分配数据存储节点。

接受查询客户端的读取请求,通知其所欲查询流数据所对应的数据存储节点。


DS节点功能如下:

* 专用面向视频流的连续存储文件系统。

多磁盘智能调度。

* 高并发高清流调制。

* 接受视频流的读写/循环写服务。


A.技术指标参数


720路并发视频输入:300M/S吞吐量。

500路并发视频输入: 220MB/s吞吐量。

240路并发视频输入: 100MB/s吞吐量。


B.技术优势


吞吐率

    在海量视频流并发写入的情况下,由于传统的NVR存储系统缺乏针对性优化,在将数据存入磁盘时,大量的并发写入会导致磁头频繁移动,磁盘性能急剧下降,同时磁盘损耗速度大幅提升。

在分布式视频监控流存储系统中,大量视频流数据并发写入时,将数据在内存中进行缓存和调制,结合专门优化的流数据文件系统设计,充分利用了磁盘连续写入的性能优势,极大的提高了磁盘写入的效率,使得单块磁盘的性能能够支持更多的并发视频流数据,同时降低磁盘损坏,延长磁盘寿命。


* 数据可靠性

    传统的NVR存储系统通常是通过RAID的方式来保证数据的可靠性,然而该方式通常需要专用的硬件RAID卡,同时无法提供灵活的可配置的数据可靠性策略,保证不同的可靠性需求均能得到满足。例如,某些视频流对可靠性要求较低,而某些视频流需要高于RAID能够提供的数据可靠性。

    在本方案中,可以根据不同的需求,对视频流提供不同等级的可靠性需求。通过可配置的分布式多副本策略及分布式存储编码,既可以提供比RAID更高的可靠性保证,也可以针对低可靠性需求的数据,实现更低的成本。


* 灵活性

    传统的NVR系统中,视频流数据与磁盘存在紧耦合的关系。一旦为某路视频流数据分配磁盘空间后就无法进行更改和调度。而在分布式存储系统中,视频流数据的存储可以根据整体的负载,不同硬件的性能,或者摄像头的上线和下线等因素进行灵活的调度。例如,在传统的NVR系统中,当某块磁盘出现故障,导致写入速率下降时,无法满足视频流数据存储的需求;而在分布式存储系统中,可以进行灵活的调度,保证数据能够有效地进行存储,充分发挥系统的性能,提高资源利用率。


* 可扩展性

    如果采用NVR存储系统,随着高清视频监控点位规模的增加,当前的系统已经无法满足性能需求时,如输入带宽,磁盘吞吐率等性能。由于NVR的集中存储特点,很难通过简单的扩展来达到要求,通常需要更换性能更好的硬件,扩容成本太高。然后由于分布式系统往往具有良好的可扩展性,当目前集群的规模已经无法满足存储需求时,只需要增加磁盘或存储节点既能够完成扩容。而且在扩展的同时能够不中断服务,完成实时在线扩容,这是传统的存储系统所无法实现的。


C.成本优势


* 无需专用硬件

    分布式视频流存储系统只需要通用的廉价x86服务器,而传统的NVR存储系统往往需要专用的硬件支持,构建和维护成本更高,与此同时,扩容的成本显著高于分布式系统。


* 单节点支持更高并发流数量

   基于当前市场普通的x86服务器,在我们的方案中,系统吞吐带宽已经不存在瓶颈,其单台能够支持的视频流数量仅受制于磁盘容量的限制,通过提高磁盘容量,即可支持更高并发数的高清流存储。

   由于分布式流存储系统针对并发视频流数据的写入进行了针对性优化,其性能上限只受制于网卡带宽和磁盘容量,使得单台存储节点可以支持更高的并发视频流数,显著节约成本。