新闻 > 新闻详情

柏科知识大讲堂 | 分布式产品选购篇

公司动态|发布于2020-12-03 09:33:39
大数据时代已经来临并和我们的生活密不可分。


随着移动互联网的充分普及,以及近年来物联网出现和快速发展,今天数据的主要来源已经不仅仅是人机会话了,而是通过设备、服务器、应用自动产生的,机器产生的数据(物联网)正在呈几何级增长,比如基因数据、各种用户行为数据、定位数据、图片、视频、气象、地震、医疗等等。据早前Gartner预测,到2020年全球将有大约200亿台物联网设备,数据量将达到35ZB。同时,和传统数据不同,这些数据是以非结构化、半结构化为主,对数据存储带来了全新的挑战。由此,近年来分布式存储系统在这种以业务数据为核心应用的领域得到了飞速发展与应用。


分布式存储方案分布式文件、分布式块以及分布式对象三种分布式存储系统的使用形态,用来满足业务系统对于海量数据的存取方式、合法访问、容量控制以及运维等方面的需求。

1

分布式文件,是分布存储系统最初提供的应用形式,主要解决海量非结构化文件数据的并发存取、权限管理、容量配额管理等问题,在基于NAS协议的访问基础上,利用分布式存储系统的性能聚合、容量聚合形成的专为海量非结构化数据存储的产品。因此,它适合文件共享、高并发存储性能、海量数据存储、权限分级管理以及存储容量配额管理等应用需求的场景。如广电行业的视频编辑/媒资管理系统/VOD点播/CDN文件分发/动漫渲染、石油勘探/卫星遥感/基因工程等HPC应用领域。

2

分布式块的应用得益于云架构IT系统的推动而在近几年大力的发展起来,其中最以OpenStack云平台应用最为广泛。其次,安防行业的平安城市/智慧城市中视频监控应用在延续了使用块设备做为存储介质的使用习惯的基础上,由于规模的不断扩大,分布式存储系统的容量与性能上的优势被逐渐在应用在项目当中。分布式块的应用形态,可以提供众多块设备的管理,大容量的存储空间以及性能的线性扩展,弥补了传统形态块存储设备只能纵向扩展的不足。


3

分布式对象是近年来发展最快的应用形态。随着众多行业应用在生产过程中会产生众多的海量小文件,而小文件的存储在分布式文件应用形态多,由于分布式存储系统的存储路径较长,加上元数据处理的技术缺陷,在海量小文件查询、定位和检索上性能不能满足行业的需求,因此,基于S3对象的分布式对象存储形态应运而生。分布式对象存储利用扁平的元数据和数据管理,可以有效解决元数据性能的问题,结果 分布式存储系统的并发访问的性能特性,以及基本HTTP形式的访问形态,可以提供众多的性能加速方案,可以有效的解决海量小文件应用的需求。



分布式之产品选购柏科数据自主研发的IS Cloud分布式存储系统产品,同时提供了分布式文件、块和对象三种数据应用形态,并可同时部署提供数据服务,有效的满足了各类业务对于不同数据类型、大小以及IO特性的使用场景。柏科IS Cloud分布式存储能够满足复杂、多样的业务应用场景,并提供相应的存储高级功能,如数据服务HA、多链路、多网关、访问鉴权、配额、WORM、NDMP、快照、精简配置、零拷贝等。同时,为满足国内自主可控的需求,IS Cloud分布式存储系统软件已适配国产飞腾、申威、海光以及鲲鹏硬件平台。