多管齊下縮減存儲空間

申請免費試用、咨詢電話：400-8352-114

面對急劇增長的存儲需求與緊縮的IT預算，最有效的解決辦法是縮減需要存儲的數據量，這樣不但能削減硬件、軟件、電力和數據中心場地的成本，還能減輕網絡和備份窗口的負擔?，F在，幾乎每家存儲廠商都聲稱自己有相應的解決方案。那么，縮減數據占用空間應該使用哪些技術？

首先我們要了解自己企業(yè)如何存儲和使用數據，并確定什么時候需要通過數據縮減來節(jié)省成本，即使性能因此而下降也是值得的。最適合自己企業(yè)的技術并不取決于所在行業(yè)，而是取決于所存儲數據的類型，如對于X光片、工程測試數據、視頻或音樂來說，由于其中相同的數據相對少，所以，應用重復數據刪除技術常常無法大幅節(jié)省空間，不過，重復數據刪除技術卻能對虛擬服務器大施功夫，降低成本。

重復數據刪除技術

重復數據刪除技術是指查找并刪除存儲在不同數據集里面的重復數據，它可將存儲需求最多縮減90%。比如，通過重復數據刪除技術，可以使同時發(fā)送給數百名員工的郵件的相同附件只保存一個副本。對于縮減數據占用空間比讀取速度更重要的各種二級存儲來說，重復數據刪除幾乎已變得必不可少。

從事醫(yī)療廣告和營銷的Grey Healthcare Group的IT主管Chris Watkis發(fā)現，備份數據的縮減比可以高達72:1，而這要歸功于使用了飛康軟件公司的虛擬磁帶庫存儲設備的重復數據刪除方法。云存儲服務提供商i365的首席技術官David Allen則表示，在微軟Exchange、SharePoint、SQL Server和VMware虛擬機文件組成的混合環(huán)境下，數據縮減比可達到30:1至50:1。

數據可以在文件或塊層面進行重復數據刪除處理，不同產品能夠深入分析不同大小的塊。在大多數情況下，系統進行重復數據比較的粒度越細，所節(jié)省的存儲空間越大。不過，粒度越細，其重復數據刪除要花的時間越長，因而降低了數據訪問的速度。

重復數據刪除可以在數據寫入到存儲目標前進行操作，稱為預處理（Preprocessing）或在線處理（Inline）；也可以在數據存儲到目標設備后進行操作，稱為后處理（Postprocessing）。從事技術調研和咨詢的Server and StorageIO Group的高級分析師Greg Schulz表示，如果希望數據快速備份，更關注縮小備份窗口，那么，后處理方案比較合適；但如果你“有的是時間”，又需要節(jié)省備份磁盤，降低成本，則不妨考慮預處理方案。

批評人士稱，雖然inline方式重復數據刪除技術在縮減存儲的數據量時，其縮減比可達到約20:1，但它不具有擴展性，還會降低性能，迫使用戶購買更多的服務器來執(zhí)行重復數據刪除。另外，后處理重復數據刪除則需要更多的存儲空間作為緩沖區(qū)，而使這部分空間無法用于其他需要。

對于擁有多臺服務器或多個存儲平臺的客戶來說，全企業(yè)實行重復數據刪除可消除存儲在各平臺上的重復數據副本，從而節(jié)省費用?；诖疟P的存儲廠商Nexsan公司戰(zhàn)略副總裁Randy Chalfant認為這很重要，因為大多數企業(yè)為同一數據生成的副本多達15個，以供數據挖掘、企業(yè)資源規(guī)劃和客戶關系管理等應用系統使用。用戶可能還需要考慮使用單一重復數據刪除系統，以便任何應用或用戶更容易根據需要“還原”數據（讓數據恢復原來形狀），并且避免多個系統不兼容問題。

高級分析師Greg Schulz則表示，主要的重復數據刪除產品可在預處理模式下進行操作，直到遇到一定的性能閾值，之后再改用后處理模式。

另外還有一種方案，即基于策略的重復數據刪除，它允許存儲管理人員根據文件的大小、重要性或其他標準，選擇哪些文件進行重復數據刪除處理。

SFL Data專門為要打官司的公司企業(yè)和律師事務所收集、存儲、檢索、搜索及提供數據，它在性能與數據縮減之間找到了平衡點。該公司正在部署Ocarina Networks的2400存儲優(yōu)化器，以便以“近在線（near-online）”的方式將經過壓縮和重復數據刪除處理的文件存儲在BlueArc Mercury 50集群上，該集群的可用容量最多可以擴展到2PB。當用戶需要時，還可以還原那些文件。

SFL公司的技術主管Ruth Townsend說：“還原文件導致訪問時間有點減慢，但比告訴客戶必須等兩天才能訪問那些文件要好多了。”他指出，該公司借助重復數據刪除和文件壓縮技術，省下了多達50%的存儲空間。

數據壓縮

壓縮大概是最有名的數據縮減技術了，它是指查找并刪除重復字節(jié)。它非常適用于數據庫、電子郵件和文件，但是對圖片來說效果則不太好。壓縮技術內置在一些存儲系統中，但也有獨立的壓縮軟件或壓縮設備。

高級分析師Greg Schulz表示，實時壓縮技術不需要數據在改動或讀取之前先解壓，所以不會導致訪問延遲或性能降低，很適合像數據庫和聯機事務處理這些聯機應用?，F代多核處理器具有的計算能力也讓基于服務器的壓縮成為有些環(huán)境的一種選擇。

i365公司的Allen說，壓縮效果好壞不一。針對SQL數據庫，數據縮減比至少可以達到6:1；但針對文件服務器，縮減比則接近2:1。據飛康公司營銷副總裁Fadi Albatal聲稱，壓縮技術對備份、二級存儲或三級存儲最有效，針對“高度活躍”的數據庫或電子郵件應用，可以把存儲需求縮減到1/2或1/4。

信息管理服務公司Iron Mountain的首席營銷官T.M. Ravi表示，該公司對應用進行歸檔時，壓縮和重復數據刪除這兩項技術可將存儲空間最多縮減80%。

IBM收購的Storwize公司主要是為了對主存儲進行壓縮。該公司的設備可將壓縮文件寫回到生成這些文件的NAS（網絡附加存儲）設備上，或寫到另一個存儲層上。IBM存儲部門副總裁Doug Balog說，Storwize正在測試一款基于塊的設備。

由微軟Office應用軟件壓縮的文件或JPEG等流行的圖片格式無法用許多常用的壓縮技術來縮減，壓縮后文件大小甚至可能變大。Neuxpower Solutions公司聲稱，其軟件可以刪除不必要的信息，如元數據或只有圖片放大后才看得清的細節(jié)，從而把Office和JPEG文件的大小最多縮減95%，圖片質量并不下降。被戴爾收購的Ocarina公司則稱，其產品提供了類似功能，因為所用的多種優(yōu)化算法已針對不同類型的內容進行了調整，還能夠測試多種壓縮方法，并選擇一種合適的方法，確保運行時效率最高。

重復數據刪除和壓縮是互為補充的。Greg Schulz說：“如果關注的重點是速度、性能和傳輸速度，那就使用壓縮技術；如果存在大量的冗余數據，又希望節(jié)省更多的存儲空間，那就使用重復數據刪除技術?！?/P>

基于策略的分層

基于策略的分層是指，根據數據年限、訪問頻繁程度或提取速度等制定相應的標準，把數據轉移到不同類別的存儲介質上。除非策略要求完全刪除不需要的數據，否則這項技術不會降低總體存儲需求，但由于把部分數據轉移到成本較低但速度較慢的介質上了，所以能夠削減成本。

這個市場得到了一些廠商的關注，如惠普和DataGlobal公司?；萜赵谄銼torageWorks X9000中提供了內置的策略管理和自動化文件遷移功能；DataGlobal則聲稱，其統一存儲和信息管理軟件讓客戶能夠分析及管理非結構化文件及其他信息，因而能夠將電子郵件的存儲需求減少60%至70%，將文件服務器的存儲需求減少約20%。

具有分層功能的其他產品包括：Compellent Technologies公司的Storage Center 5、飛康的HotZone和SafeCache、3Par公司的Policy Advisor、EMC的FAST和F5 Networks公司的ARX系列文件虛擬化設備。

存儲虛擬化

與服務器虛擬化一樣，存儲虛擬化指把多個存儲設備“抽象”成單一存儲池，以便管理員可根據需要，在各存儲層之間轉移數據。許多專家認為，存儲虛擬化是一項支持性技術，而其本身并不是一種數據縮減技術；但也有另一些專家認為，它與數據縮減有著更直接的關系。

Actifio公司的數據管理系統使用了虛擬化，以便使備份和災難恢復等操作不需要多個應用程序。其設備讓客戶可以選擇合適的服務級別協議，以便通過一系列模板來管理眾多的數據集。借助這個方法，適當的管理策略隨后可運用到數據的惟一副本上，比如定義數據副本存儲在何處、在備份和復制等操作期間如何進行重復數據刪除處理。該公司的聯合創(chuàng)辦人兼首席執(zhí)行官Ash Ashutosh聲稱，Actifio可將存儲需求縮減75%至90%。

自動精簡配置

自動精簡配置是指對于一項應用，系統會在磁盤上為該應用分配一定量的空間，但實際上只有應用需要時，才真正使用這部分空間。與基于策略的存儲一樣，這項技術并不縮減總的數據占用空間，但可以推遲購買更多磁盤的需要，只有絕對必要時才購買。

i365公司的Allen表示，如果存儲需求迅速增長，你必須“非常迅速地響應”，確保有足夠的物理存儲空間。你的需求越難預測，就越需要好的衡量和管理工具，如果采用自動精簡配置的話。高級分析師Greg Schulz建議，應該尋求這樣一種產品：可確認用戶需要跟蹤了解的數據和應用程序；不但能監(jiān)測存儲空間的使用情況，還能監(jiān)測讀寫操作，以防出現瓶頸。

IBM是這個市場的代表廠商，它將自動精簡配置技術運用到了其所有存儲控制器中?；萜赵谄銹4000 SAN上也提供了自動精簡配置技術，它收購的3Par可確保其Utility Storage產品會將客戶的存儲需求縮減50%。Nexsan公司的SATABeast陣列也提供了自動精簡配置。

在選擇一項數據縮減策略之前，要制定好策略，以便有助于選擇何時投入成本，以提升性能；何時通過縮減數據占用空間來省錢。切忌一味關注縮減比，而是要牢記：如果縮減比比較小，但數據集比較大，則有望節(jié)省更多空間。

另外，不要被廠商的術語搞得一頭霧水。壓縮、重復數據刪除、變更數據備份（change-only backups）和單實例存儲都是縮減冗余數據的不同方式而已。如果有疑慮，應根據給業(yè)務帶來的成效，詳細分析數據結果，以選擇合適的存儲縮減工具。