大數據與海量數據已經成為數據中心的主要業務，而重復數據刪除與壓縮是可以節約大量數據存儲的技術。

只有備份還不夠。重復數據刪除與壓縮即將成為主存儲的必備功能。

重復數據刪除是一種壓縮技術，通過識別重復內容，進行去重，并在對應的存儲位置留下指針，來最小化數據量。這個指針通過給定大小的數據模式進行哈希創建。

也許在于你已經在備份系統上實施了重復數據刪除備份和歸檔多年，問題在于：是否需要在主存儲上運用重復數據刪除與壓縮技術？

并非所有的重復數據刪除技術都一樣。IT專業人士在將其添加到主存儲環境之前，應該權衡其各自的特點。

何時使用重復數據刪除

重復數據刪除首先開始于創建數據。接著是所有其他業務——備份、復制、歸檔以及任何網絡傳輸——都可以受益于規模縮小后的數據，位于Hopkinton, Mass的大容量存儲咨詢服務公司Taneja Group創始人Arun Taneja說。

“幾年前，我寫道，自己知道為什么重復數據刪除技術通常被應用于備份設備上。但是，如果沒有限制，重復數據刪除應該在數據被創建時進行，而且數據在整個生命周期內，應該以某種脫水格式存儲，” Taneja說。唯一的例外應該是當用戶或應用程序需要訪問這些數據時。

但把重復數據刪除應用在主數據這一場景很難被用戶接收，因為這樣做是在篡改主數據集，Storage Switzerland LLC存儲顧問公司的首席分析師George Crump說。“做好備份，就算沒有重復數據刪除技術，也不會因為搞砸生產環境的數據而出大亂子，”他說，“但是如果動到主存儲，問題就很大了，而且需要了解這項技術會如何影響性能、可靠性與數據完整性?！?

目前只有少數主存儲陣列提供重復數據刪除作為產品的附加功能。只有不到5%的磁盤陣列真正支持在線重復數據刪除與壓縮，Permabit公司的CEO Tom Cook說。該公司是一家數據效率技術供應商。不過，這個數字在未來的18個月內將可能增長到25%，并且在36個月后達到75%，Cook說。

重復數據刪除的比例

通過數據去重節約的空間十分可觀，這取決于數據類型以及所使用的數據去重引擎的組塊大小。以文本文件與虛擬桌面架構環境為例，受益于高刪除率，壓縮比可達到40:1。而視頻可以壓縮的，但沒法去重。存儲廠商認為6:1是重復數據刪除率的最佳平均值。加上相同的塊壓縮，數據中心可以通過這些技術輕松實現10:1的存儲空間節約。

這些技術能夠節約空間，十分具有，但重復數據刪除屬于計算密集型技術。在相對不重要的二級存儲中，一般不會出現問題，但可能給主存儲環境出現短暫擁塞現象，Gartner的副總監兼著名存儲技術與戰略分析師Dave Russell說。

“真正令人當心的是，應用程序可能在寫入存儲甚至在讀取時被卡住，” Russell說?！叭绻鞔鎯﹃嚵械男阅苁且粋€瓶頸，那么就必須采取后處理方式”，在數據已經被寫入存儲后才開始壓縮。

重復數據刪除不僅可以在實時刪除重復數據，還可以讓供應商通過算法最大化潛在的數據壓縮率。以Quantum的DXi系列備份設備為例，使用可改變塊大小的重復數據刪除算法，該算法是固定塊大小方法效率的三倍以上，Quantum的數據中心高級產品營銷經理Casey Burns說。

河南億恩科技股份有限公司(www.ypdoo.com.cn)始創于2000年，專注服務器托管租用，是國家工信部認定的綜合電信服務運營商。億恩為近五十萬的用戶提供服務器托管、服務器租用、機柜租用、云服務器、網站建設、網站托管等網絡基礎服務，另有網總管、名片俠網絡推廣服務，使得客戶不斷的獲得更大的收益。
服務器/云主機 24小時售后服務電話：0371-60135900
虛擬主機/智能建站 24小時售后服務電話：0371-55621053
網絡版權侵權舉報電話：0371-60135995
服務熱線：0371-60135900