新闻 > 新闻详情

柏科知识大讲堂 | 分布式产品规划篇

公司动态|发布于2020-12-03 09:50:59
      在数字化转型的今天,越来越多的企业认识到IT运维已经从内部的运营支撑体系转变为企业的核心竞争力要素之一。尤其在金融、电信、能源、工业等行业,良好的IT运维更是保障业务高效、稳定、可靠运转的关键
      目前,
分布式存储已经开始广泛应用,这将是未来IT运维的一个主要发展趋势。下面带大家了解一下分布式储存产品该如何规划?


分布式存储系统

是集成众多标准IT技术的综合系统,因此,在使用部署的时候需要根据业务系统的需求,合理的规划网络资源、数据保护方式、存储池安全级别以及制定相关的运维策略,来保证分布式存储系统的安全、稳定、高效的工作


网络规划

分布式存储系统一般提供数据副本或纠删码的数据保护方式来保证数据的安全,这个特性会对网络产生不一样的性能压力。比如,我们使用2副本的数据保护方式,就意味着当有1MB的数据写入时,存储内部将产生2MB的数据存储量。因此,当业务网络产生1MB的写入数据时,存储网络就需要产生2MB的数据流量将数据分散的存储在各个存储节点。因此,在网络规划阶段,应根据不同的数据保护方式特性,来规划业务网络与存储网络之间的数据冗余比配置关系。


数据保护方式

数据副本和纠删码是两种最常用的数据保护方式。数据副本的技术实现方式最为简单——直接使用拷贝的方式形成多副本数据,以保证数据的安全;在数据需要恢复的时候,只需要再拷贝一份数据副本即可完成数据的重建。而纠删码则是需要通过CPU的计算来形成数据校验块——类似于传统的RAID3或5的原理,在数据重建的时候,再通过剩余的数据块来算出丢失的数据块。因此,纠删码方式需要消耗一定的CPU资源。比较而言,数据副本模式对存储节点CPU处理资源的占用非常少,而纠删码方式对存储节点CPU处理资源占用比较多,特别是在数据重建的过程中将消耗大量的CPU资源。并且,由于有些业务系统会进行文件的部分写或者读的操作,那么,这个过程对于使用纠删码的环境下,将会大大的降低系统的性能,因此,需要针对这样的特性进行针对性的优化才能满足性能的需要。由此可见,纠删码方式对性能有一定影响,副本方式占用消耗更多的存储容量。两种方式各有利弊,在实际应用中应根据业务系统特点进行合理规划,以适应不同业务场景需求。



储池安全级别

针对小规模分布式存储系统来说,使用基本的数据保护方式即可达到相应的数据安全级别。但对于大规模分布式存储环境,就不仅仅要考虑数据安全级别,更要考虑整个存储池的安全级别,以便降低在大规模部署时丢失数据的风险。比如,5台存储节点使用副本3的话,这样的安全级别是足以让人心感到安全的,但如果是50个甚至500个存储节点的话,使用副本3的策略,就不会让人感到放心。通常,这个时候就要考虑牺牲容量来增加数据安全了。如何用最少的存储容量消耗最大化保障数据安全,以提高整个集群的利用率呢?故障域是一种分区策略,将一个大集群分成若干个子域,每个子域都提供相同的数据保护方式。这样一来,相当于把鸡蛋放在多个篮子里,就可以达到我们希望的最理想的状态了。



柏科数据自主研发的IS Cloud分布式存储产品为业务提供多种手段来保证系统的性能、可用性以及安全性。基于标准以太网的数据交换,提供1Gb\10Gb\25Gb\100Gb以太网络接口,并可使用infiniband网络作为后端存储网络;提供1-8级数据副本和自定义纠删码数据保护策略,针对不同数据安全需求可以同一套系统中同时部署使用。同时,提供硬盘级、节点级和机柜级数据安全策略,进一步保证数据的安全。IS Cloud分布式存储,从多个角度优化纠删码的性能,使之可以满足广泛的使用场景。