高清数字存储未来将以集中存储为核心
从现代安防监控技术特点可以看出,现在监控系统需求:第一,各级容错,即当存储设备出现故障时不丢失数据,存储设备出现故障时业务不受影响可以继续进行(自动切换到另外的存储设备继续录像);第二,前瞻性(即扩展性),可随着业务量的增加进行扩容,并且扩容时对前端业务影响降到最低;第三,容量按需分配,即提高磁盘空间的利用率;第四,支持视频检索,智能分析等多种深度应用并发执行;第五,响应节能环保需求,减少碳排放。
传统IT存储架构的不足和缺陷
高清监控存储系统需要具有海量数据高效管理、高效检索、高可靠性,容量按需分配,节能等一系列的要求,不过传统的IT存储方式(包括DAS存储、NAS存储、SAN存储)在这些方面似乎有着各项不能胜任的理由:
DAS:该方案利用SAS或HBA卡直接连接应用服务器和光纤盘阵,不提供数据共享能力。如果多个应用需要共用同一份数据,往往要花费大量的时间进行数据迁移,结果导致环境中存在多份相同的数据,并且多份数据之间的同步困难,浪费了大量的人力物力,并且难以保证数据可靠性。
SAN:该方案利用存储光纤网络连接应用服务器和光纤盘阵,相比DAS更具灵活性和可扩展性。但是SAN不具备数据共享能力,应用服务器难以冗余,一旦应用服务器或盘阵出现故障,前端业务将中断,同时SAN系统高昂的价格,以及不同厂商之间的设备兼容性问题,因此限制了在高清监控系统领域的使用。
NAS:提供NFS或者CIFS协议访问的NAS系统能够给应用服务器提供统一的文件系统映象,满足多台应用服务器之间共享数据的需求。但是由于传统NAS往往通过单台服务器的形式提供文件级的存储空间,其有限的IO带宽和可扩展性都难以满足高清监控系统大量的并发读写需求。而且NAS对文件系统锁的支持较差,多台客户端不能同时读写同一文件,导致客户端之间不能够很好的协同工作。
SAN+NAS:该方案一定程度上具备了SAN的可扩展能力和NAS的数据共享能力,但仍然存在明显的缺陷。应用所有的数据I/O都必须通过单个NAS服务器进行,无法实现服务器负载均衡,使得整套系统的I/O带宽受限于NAS服务器的带宽,仍旧难以满足高清监控系统环境的需求。
面对如此情况,尽管众人把希望寄托在云存储身上,然而,云计算落地时间尚早,云存储的应用到户时间还有待商榷,安防监控用户该如何实现大数据量的高清监控数据的存储呢?
结合现代监控市场独特的应用需求,及传统存储架构存在的各种缺陷及不足,国内网络安防监控存储专家中科蓝鲸,针对不同用户的不同组网方式,全方位推出了集群存储解决方案。
所谓集群存储是指将多台存储设备中的存储空间聚合成一个统一命名的存储空间,应用可以通过该访问接口透明地访问和利用所有存储设备上的磁盘。中科蓝鲸BWStor集群存储通过系统文件级虚拟化,实现整合统一存储空间,大大提高了存储设备的性能和磁盘利用率,实现了容量动态按需分配及在不影响前端业务的情况下,在线扩容。从而获得更高的并发访问性能。
集群存储的主要体现在提高并行或分区I/O的整体性能,而中科蓝鲸的BWStor集群存储系统除了实现高并发性能外,还实现了环保节能,即按照智能存储策略,硬盘分组轮流工作,当没有工作的磁盘会停止转动,从而降低整体成本,延长磁盘寿命。
传统类型的存储架构,每1TB硬盘的I/O平均读写速度最高能达到14-21MB/s左右,以50TB为例,整个存储架构的I/0并发读写速度仅能达到0.75-1.25GB/s,无法满足高并发性的要求;而中科蓝鲸的BWStor集群存储系统打破了传统意义上的以硬盘为单位的I/O读写速度的瓶颈,采用了高效的文件管理机制,以节点为整个系统I/O读写的计算单位,同样50TB,中科蓝鲸的BWStor集群存储系统大约需要9个节点(9台存储单元),每个节点的读写速度为300MB/s以上,故并发读写速度可达到3GB/s以上,极大地满足了用户对于系统高并发性的要求。经过测试,中科蓝鲸的SkySANSS1500支持190路4M高清码流并发读写,9台SS1500组成的集群存储系统可支持到1700路4M高清码流并发读写。
通过分析可知,传统存储架构的软件在客户端请求数较多时,元数据类操作将失去响应。而中科蓝鲸的BWStor集群存储系统是没有这个问题,因为采用了录播分离高级模式,可有效进行负载均衡,从而解决了服务器因所有客户端同时请求数据过多而失去响应的问题,同时,中科蓝鲸的BWstor集群文件系统还支持设备级故障冗余,即N+N冗余方案,当正在写入的存储设备出现故障时,系统自动切换到下一个存储设备,从而保证在客户端请求数据时不受影响,极大提高了数据的可靠性。经测试,在同等硬件条件下,集群系统软件的IO带宽比传统存储架构软件要高出35%。投资成本降低了45%以上。
集群存储的机遇
目前国内监控行业正处在快速发展中,其中安防市场的发展主要是由一些政府主导的项目在推动,比如平安城市建设,交通监控系统建设等,这些安防系统都有着多路数、高图像质量的要求,同时要求系统具有实时处理信息的能力与智能分析深度数据挖掘的能力,由此带来的大数据量存储的问题不可避免。
现代高清监控发展趋势是数字化、网络化、集成化、智能化、标准化,先进的安防技术不断渗透到各个行业,在不同行业形成了特色应用。其中集群存储对安防行业来说,这一新的存储方式能否被我们接受呢?相信通过一定时间的熟悉和了解,广大用户会接受的
传统IT存储架构的不足和缺陷
高清监控存储系统需要具有海量数据高效管理、高效检索、高可靠性,容量按需分配,节能等一系列的要求,不过传统的IT存储方式(包括DAS存储、NAS存储、SAN存储)在这些方面似乎有着各项不能胜任的理由:
DAS:该方案利用SAS或HBA卡直接连接应用服务器和光纤盘阵,不提供数据共享能力。如果多个应用需要共用同一份数据,往往要花费大量的时间进行数据迁移,结果导致环境中存在多份相同的数据,并且多份数据之间的同步困难,浪费了大量的人力物力,并且难以保证数据可靠性。
SAN:该方案利用存储光纤网络连接应用服务器和光纤盘阵,相比DAS更具灵活性和可扩展性。但是SAN不具备数据共享能力,应用服务器难以冗余,一旦应用服务器或盘阵出现故障,前端业务将中断,同时SAN系统高昂的价格,以及不同厂商之间的设备兼容性问题,因此限制了在高清监控系统领域的使用。
NAS:提供NFS或者CIFS协议访问的NAS系统能够给应用服务器提供统一的文件系统映象,满足多台应用服务器之间共享数据的需求。但是由于传统NAS往往通过单台服务器的形式提供文件级的存储空间,其有限的IO带宽和可扩展性都难以满足高清监控系统大量的并发读写需求。而且NAS对文件系统锁的支持较差,多台客户端不能同时读写同一文件,导致客户端之间不能够很好的协同工作。
SAN+NAS:该方案一定程度上具备了SAN的可扩展能力和NAS的数据共享能力,但仍然存在明显的缺陷。应用所有的数据I/O都必须通过单个NAS服务器进行,无法实现服务器负载均衡,使得整套系统的I/O带宽受限于NAS服务器的带宽,仍旧难以满足高清监控系统环境的需求。
面对如此情况,尽管众人把希望寄托在云存储身上,然而,云计算落地时间尚早,云存储的应用到户时间还有待商榷,安防监控用户该如何实现大数据量的高清监控数据的存储呢?
结合现代监控市场独特的应用需求,及传统存储架构存在的各种缺陷及不足,国内网络安防监控存储专家中科蓝鲸,针对不同用户的不同组网方式,全方位推出了集群存储解决方案。
所谓集群存储是指将多台存储设备中的存储空间聚合成一个统一命名的存储空间,应用可以通过该访问接口透明地访问和利用所有存储设备上的磁盘。中科蓝鲸BWStor集群存储通过系统文件级虚拟化,实现整合统一存储空间,大大提高了存储设备的性能和磁盘利用率,实现了容量动态按需分配及在不影响前端业务的情况下,在线扩容。从而获得更高的并发访问性能。
集群存储的主要体现在提高并行或分区I/O的整体性能,而中科蓝鲸的BWStor集群存储系统除了实现高并发性能外,还实现了环保节能,即按照智能存储策略,硬盘分组轮流工作,当没有工作的磁盘会停止转动,从而降低整体成本,延长磁盘寿命。
传统类型的存储架构,每1TB硬盘的I/O平均读写速度最高能达到14-21MB/s左右,以50TB为例,整个存储架构的I/0并发读写速度仅能达到0.75-1.25GB/s,无法满足高并发性的要求;而中科蓝鲸的BWStor集群存储系统打破了传统意义上的以硬盘为单位的I/O读写速度的瓶颈,采用了高效的文件管理机制,以节点为整个系统I/O读写的计算单位,同样50TB,中科蓝鲸的BWStor集群存储系统大约需要9个节点(9台存储单元),每个节点的读写速度为300MB/s以上,故并发读写速度可达到3GB/s以上,极大地满足了用户对于系统高并发性的要求。经过测试,中科蓝鲸的SkySANSS1500支持190路4M高清码流并发读写,9台SS1500组成的集群存储系统可支持到1700路4M高清码流并发读写。
通过分析可知,传统存储架构的软件在客户端请求数较多时,元数据类操作将失去响应。而中科蓝鲸的BWStor集群存储系统是没有这个问题,因为采用了录播分离高级模式,可有效进行负载均衡,从而解决了服务器因所有客户端同时请求数据过多而失去响应的问题,同时,中科蓝鲸的BWstor集群文件系统还支持设备级故障冗余,即N+N冗余方案,当正在写入的存储设备出现故障时,系统自动切换到下一个存储设备,从而保证在客户端请求数据时不受影响,极大提高了数据的可靠性。经测试,在同等硬件条件下,集群系统软件的IO带宽比传统存储架构软件要高出35%。投资成本降低了45%以上。
集群存储的机遇
目前国内监控行业正处在快速发展中,其中安防市场的发展主要是由一些政府主导的项目在推动,比如平安城市建设,交通监控系统建设等,这些安防系统都有着多路数、高图像质量的要求,同时要求系统具有实时处理信息的能力与智能分析深度数据挖掘的能力,由此带来的大数据量存储的问题不可避免。
现代高清监控发展趋势是数字化、网络化、集成化、智能化、标准化,先进的安防技术不断渗透到各个行业,在不同行业形成了特色应用。其中集群存储对安防行业来说,这一新的存储方式能否被我们接受呢?相信通过一定时间的熟悉和了解,广大用户会接受的