柏科ExaGrid重复数据删除技术-消除冗余数据的良药：

  如何清除备份磁盘中大量的冗余数据？使用重复数据删除的工具和技术有望把需要存储的数据减少到原来的1/20，并且还可以延长备份数据的保存时间，节省异地存储期间所占带宽。

  就在几年前，磁盘到磁盘（D2D）的备份手段似乎还好得令人难以置信。受价格低廉的 ATA（以及后来的SATA）硬盘的影响，许多人把D2D当做虚拟磁带库或者软件备份到磁盘的方案来实施，这样做可以消除磁带驱动器和磁带库的机械故障，并简化了技术支持部门应对众多文件恢复请求的繁重事务。

  但是如今，磁盘备份的设备容量趋于饱和，数据中心没有足够空间或者电力再添加1PB的备份空间，于是用户开始把原本想保留一个月的备份数据改为仅仅保存两三天。问题在于，备份设备中有太多的重复数据。好消息是，嗅到了商机的厂商们声称其最新的重复数据删除产品可以按20 : 1、甚至300 : 1的比例缩减需要存储的数据量。果真如此吗？

  重复数据删除技术可以让你在特定的一组磁盘上存储更多的备份数据。这样，就延长了数据在备份磁盘上的保存时间，降低数据中心的电力和冷却的成本。如果你先删除重复数据，然后通过广域网传送，还可以节省带宽，并且让过去依赖磁带的公司可以使用在线异地备份。重复数据删除技术的惟一缺点就是，会导致备份速度变慢。大幅度节约空间当备份程序对同一个目录下的同一个文件进行多次备份，或者对网络中不同位置的相同文件进行备份时，重复数据就会使备份文件的规模逐渐超越极限。大多数网络上都有数量惊人的重复数据，有的是众多用户把有关节日聚会的一篇PDF文档保存到各自的本地目录上，有的是每台服务器的系统驱动器上都有3GBWindows文件。

  解决临时区域内文件重复的方案之一就是增量备份。虽然我们很喜欢这种方案，但是正如我们认为RAID灾难恢复不是重复数据删除那样，增量备份也不是重复数据删除。增量备份属于避免重复数据的范畴。

  最基本的一种重复数据删除就是内容寻址存储（CAS）设备中的文件级单一实例存储（single-instance store）。每个文件存储到CAS系统上后，设备就会为文件的内容生成一个散列（hash）；要是已经存在有相同散列的文件，系统就会创建另一个指针，指向已经存在的副本，而不是保存另一个副本。

  虽然文件级SIS能够节省一些空间，但如果我们不但删除重复文件，还删除重复文件内存储的重复数据，情况就变得颇有意思。想一想Outlook的.PST文件。通常一个用户会有300 MB或者更大容量的.PST文件，里面保存着以往的所有重要电子邮件; 每天收到一封或者更多封新邮件，因为.PST文件每天都在变化，备份程序就会把该文件包括在增量备份中，即使这个300 MB的文件中改变的内容只有25 KB。

  要是重复数据删除产品能识别这25 KB的新数据，只保存这些数据、不用管其他数据，就可以节省大量磁盘空间。依次类推，要是重复数据（如20个用户的.PST文件中的550 KB附件）能够被消除，就可以大大缩减数据量。这种设备在备份软件看来就像虚拟磁带库（VTL）或者NAS设备。它们从备份软件获取数据后，可以透明地删除重复数据。

  柏科公司的ExaGrid 就是这种能识别内容的重复数据删除设备。数据备份时，这种设备会根据对CommVault Galaxy和Symantec Backup Exec等常见备份软件的了解，从源系统识别文件。备份完毕后，它会识别出多次备份的文件，然后生成增量文件。多个 InfiniteFiler可以组成一个网格，支持多达30 TB的备份数据。

要考虑成本

  虽然备份后进行处理可提高备份速度，但同样需要成本。备份后删除重复数据的系统要有足够的磁盘空间，因为除了经过重复数据删除的数据外，还要保存全部的标准备份内容。如果用户希望继续执行每周完全备份一次、每天增量备份一次的计划，那么在后台删除重复数据的系统上，可能需要多几倍的磁盘空间来保存全部备份。

  正因为重复数据删除在后台运行，不要忽视了重复数据删除的性能。如果到星期一晚上开始再次备份服务器时，VTL还没有完成对周末备份的处理，结果可能不会让用户满意。不是磁盘空间不够了，就是重复数据删除过程导致备份速度减慢。

彻底解放备份服务器

RorkeData Exagrid采用基于重复字节比较的重复数据删除技术，大大减少了服务器CPU的负载，因为传统的Hash算法需要不断的处理不同数据之间的比较，把重复的数据丢掉，只保存更新的数据，但是，这种方式极大的消耗了服务器的CPU资源，使得备份的效率极大的降低，而RorkeData Exagrid采用基于重复字节比较的重复数据删除技术，先把备份数据全部备份到磁盘，然后在Exagrid后台进行重复数据比较，把相同部分删除，保留改变部分的数据，从而彻底解放了备份服务器，使的备份服务器能够在最短时间内处理更多的备份任务。

快速恢复

由于Exagrid每次备份都只保留改变部分，所以能够支持的备份周期就会越长，而且Exagrid有专门的全备空间来提供快速数据恢复，对于备份来说其根本意义就在于能够在因为硬件故障或者自然危害出现数据丢失的情况下，实现最快速的数据恢复，Exagrid就是以此为中心去设计的，因此，Exagrid字节重复数据删除技术是目前备份和数据恢复的最理想方案。

远程异地备份

Exagrid采用的方法和传统的远程备份有着备份速度更快，而且减低网络负载的优势，由于Exagrid是先把两台备份系统放在一起，先把原数据做一次全备份到远程的这台备份系统上，然后再把这台备份系统运输到其需要保存的地点，这样比起在远程直接做全备份节省了大量的时间，因为如果通过Internet去传输几百GB或者几TB的数据，其备份速度是可想而知的慢，Exagrid采用的这种方法，就可以避免了这种情况，而且，Exagrid是字节级的重复数据删除技术，每次只需要把变动的字节数据保存到异地备份系统中，大大减轻了网络的负担，更重要的是备份的速度和增量备份有着天壤之别.

安全性

由于Exagrid采用RAID6的磁盘保护机制对数据起到了非常重要的保护作用，并且解决了光盘和磁带等容易损坏的难题，为用户的数据安全提供最可靠的保障。

柏科ExaGrid重复数据删除技术：  详细...

柏科ExaGrid 备份方案介绍  详细...