分布式對象存儲——“超級數據圖書館

QQ1355017510
 電話  0371-63322099
數據的產生及信息爆炸帶來的挑戰

　　為了更清晰的認識我們所生存的環境，提高人際溝通效率，人們收集和創造了大量的數據，有些是對物理世界的客觀描述，如原子和分子的組成，或是DNA螺旋結構;也包括煙波浩渺的宇宙中的星系和星云;亦或是人類對自身歷史的記錄;還有一些數據被用于人們相互溝通，如Facebook上每天新增數十億條內容，或每天被發送的數千億封郵件。

　　隨著人們對客觀世界的逐步認知，人際溝通的效率越來越高，人們的溝通與生活也越來越豐富，人類收集和創造的數據也越來越多，這些數據飽含信息與知識，是人類智慧與勤勞的結晶，是人類寶貴的信息資產。一部《史記》，共52萬6千500字，約1MB數據;一組用于基因研究的染色體照片數據量超過2TB;歐洲核子研究中心(CERN)每年有超過20PB數據通過全球最大的大型強子對撞機(LHC)被收集起來用于微觀粒子研究。根據IDC的分析，2011年全球數據產生量達到1.8ZB，到2020年這個數字將增長50倍(1ZB=1,000EB=1,000,000PB)，如此大規模的數據給存儲系統帶來了巨大的挑戰，人類將如何應對咆哮而來的數據洪流？

　　存儲方案的演進

　　在人類發明和使用電子計算機以前，數據處理由人類大腦完成，大腦中還同時存儲了大量信息用于支撐數據處理，人類大腦存儲的信息依然相對有限，仍有大量數據被存儲在圖書館。當有需要的時候，人們便會到圖書館獲取更多的數據。以此我們可以總結出如下的一種數據存儲與數據處理模型：

　　該模型包括三個部分，計算單元、內部存儲單元(低延遲，容量偏小)、外部存儲單元(延遲增加，容量超大)。如果按照對圖書的存儲(記憶)能力來估算，通常一個人大腦中能記憶的內容不超過1000本書，圖書館中收藏的書籍大約是百萬本為單位。兩種存儲的存儲容量差距大概是1000倍，而且圖書館中的數據可以被很多人共享。

　　20世紀電子與信息技術迅速發展，機器計算迅速普及，馮·諾依曼在1945年6月30日，提出了存儲程序邏輯架構，即現有的計算機都遵循的“馮·諾依曼體系架構”，具體如下圖：

　　我們可以看出，馮諾依曼體系結構與人腦(生物)計算模型匹配度相當準確。我們通常把運算器和控制器合并成中央處理器(CPU)，內部小容量的存儲提供快速的訪問，外部存儲器提供大容量的存儲空間。在不同的計算機時代，我們可以按照不同的角度來理解馮諾依曼體系結構。在單機計算時代(包括大型機、小型機、微機)內部存儲器可理解為內存(即Memory)，外部存儲器可理解為物理硬盤(包括本地硬盤和通過網絡映射的邏輯卷)。在本地硬盤空間不足，可靠性無法滿足業務需求的情況下，SAN存儲出現了，通過網絡映射的邏輯卷(即SAN存儲提供的LUN)成為增強版的硬盤。為了解決數據共享的問題，NAS存儲隨之誕生。

　　但馮諾依曼體系架構沒有考慮并行計算和數據共享情形，在如今的網絡時代，大量計算設備通過網絡形成一個龐大、相互獨立但又邏輯統一的計算系統，因此我們可以總結出一個數據存儲的通用模型，這個模型包括兩級存儲，其存儲容量差距約1000倍：

　　如果將上圖中每一個計算模塊理解為一個計算內核，那么高速存儲單元則是CPU內的緩存(單位為KB~MB)，海量存儲單元則是內存(單位為GB);如果把每一個計算模塊理解為一個CPU，那么高速存儲單元則是內存(單位為GB~TB)，海量存儲是物理硬盤或通過網絡映射給服務器的邏輯卷(或網絡文件系統，單位為TB~PB);如果把計算模塊理解為針對某一項任務或某一組任務提供計算能力的服務器集群，把SAN或NAS等擁有TB~PB級存儲規模的網絡存儲設備理解為高速存儲單元，那么具備PB~EB級存儲容量的海量存儲單元將基于什么技術和產品構建呢？

　　SAN和NAS技術已經出現了數十年，目前單臺SAN或NAS設備最大容量已經達到PB級別，但在應對EB級數據挑戰時，還是顯得有些力不從心。這主要由于其架構和服務接口決定的。

　　SAN使用SCSI協議作為底層協議，SCSI協議管理的粒度非常小，通常以字節(byte)或千字節(KB)為單位;同時SCSI協議沒有提供讀寫鎖機制以確保不同應用并發讀寫時的數據一致性，因此難以實現EB級存儲資源管理和多個服務器/服務器集群之間數據共享。

　　NAS使用文件協議訪問數據，通過文件協議存儲設備能夠準確識別數據內容，并提供了非常豐富的文件訪問接口，包括復雜的目錄/文件的讀寫鎖。文件和目錄采用樹形結構管理，每個節點使用一種叫做inode的結構進行管理，每一個目錄和文件都對應一個iNode。目錄深度或同一目錄下的子節點數隨著整體文件數量的增加而快速增加，通常文件數量超過億級時，文件系統復雜的鎖機制及頻繁的元數據訪問將極大降低系統的整體性能。

　　傳統的RAID技術和Scale-up架構也阻止了傳統的SAN和NAS成為EB級高可用，高性能的海量存儲單元。傳統的RAID基于硬盤，通常一個RAID組最多包含20+塊硬盤，即使PB級規模的SAN或NAS也將被分割成多個存儲孤島，增加了EB級規模應用場景下的管理復雜度;同時Scale-up架構決定了即使SAN和NAS存儲容量達到EB級，性能也將成為木桶的短板。

　　那么如何才能應對信息爆炸時代的數據洪流呢？我們設想能否有一種“超級數據圖書館”，它提供海量的、可共享的存儲空間給很多用戶(服務器/服務器集群)使用，提供超大的存儲容量，其存儲容量規模千倍于當前的高速存儲單元(SAN和NAS)，用戶或應用訪問數據時無需知道圖書館對這些書如何擺放和管理(布局管理)，只需要提供唯一編號(ID)就可以獲取到這本書的內容(數據)。如果某一本書變得老舊殘破，系統自動地將即將失效或已經失效的書頁(存儲介質)上的數據抄寫(恢復/重構)到新的紙張(存儲介質)上，并重新裝訂這本書，數據使用者無需關注這一過程，只是根據需要去獲取數據資源。這種“超級數據圖書館”是否真的存在呢？

　　分布式對象存儲的誕生

　　對象存儲技術的出現和大量自動化管理技術的產生，使得“超級數據圖書館”不再是人類遙不可及的夢想。對象存儲系統(Object-Based Storage System)改進了SAN和NAS存儲的劣勢，保留了NAS的數據共享等優勢，通過高級的抽象接口替代了SCSI存儲塊和文件訪問接口，屏蔽了存儲底層的實現細節，將NAS垂直的樹形結構改變成平等的扁平結構，從而提高了擴展性、增強了可靠性、具備了平臺無關性等重要存儲特性。

　　SNIA(網絡存儲工業協會)定義的對象存儲設備是這樣的：

　　Ø 對象是自完備的，包含元數據、數據和屬性

　　n 存儲設備可以自行決定對象的具體存儲位置和數據的分布

　　n 存儲設備可以對不同的對象提供不同的QoS

　　Ø 對象存儲設備相對于塊設備有更高的“智能”，上層通過對象ID來訪問對象，而無需了解對象的具體空間分布情況

　　換句話說對象存儲是智能化、封裝得更好的塊，是“文件”或其他應用級邏輯結構的組成部分，文件與對象的對應關系由上層直接控制，對象存儲設備本身也可能是個分布式的系統——這就是分布式對象存儲系統了。

　　用對象替代傳統的塊的好處在于對象的內容本身來自應用，其具有內在的聯系，具有“原子性”，因此可以做到：

　　Ø 在存儲層進行更智能的空間管理

　　Ø 內容相關的數據預取和緩存

　　Ø 可靠的多用戶共享訪問

　　Ø 對象級別的安全性

　　同時，對象存儲架構還具有更好的可伸縮性。一個對象除了ID和用戶數據外，還包含了屬主、時間、大小、位置等源數據信息，權限等預定義屬性，乃至很多自定義屬性。

　　具備EB級規模擴展性的分布式對象存儲，通過對應用提供統一的命名空間，構建EB級統一、可共享數據的存儲資源池，有效地填補上述通用計算模型中“網絡計算”場景海量存儲單元空白，通過高層次的數據模型抽象，可以簡化應用對數據訪問，同時使得海量存儲更加智能。

　　華為公司基于對電信運營商、大型企業、互聯網、科學研究等領域的深刻理解，憑借深厚的ICT技術積累，秉承存無止境，安全可信理念，通過不斷技術創新，推出新一代UDS海量存儲系統。

　　對象是數據和自描述信息的集合，是在磁盤上存儲的基本單元。對象存儲通過簡化數據的組織形式(如將樹形的“目錄”和“文件”替換為扁平化的“ID”與“對象”)、降低協議與接口的復雜度(如簡化復雜的鎖機制，確保最終一致性)，從而提高系統的擴展性以應對信息爆炸時代海量數據的挑戰。同時對象的智能自管理功能也能有效降低系統維護復雜度，幫助用戶降低整體擁有成本(TCO)。

　　華為UDS開創性地采用基于ARM芯片的高密度硬件架構，降低單位容量功耗、提高單位體積存儲容量，有效降低能源消耗;通過對象、P2P分布式存儲引擎、集群應用等技術構建海量對象存儲基礎架構平臺;對外提供多種訪問接口，以滿足不同業務的適配需求。以UDS為基礎可構建多種解決方案，如海量資源池，網盤，云備份，集中備份等方案將幫助用戶構建強擴展，易管理，高可靠的“超級數據圖書館”，使得人類可以輕松應對海量存儲環境下的各種挑戰。

　　華為UDS(Universal Distributed Storage)海量存儲系統以對象作為基本存儲形式，通過分布式技術將本地或異地海量存儲節點的存儲資源進行有機的整合，形成一個跨地域、跨設備、可橫向擴展的EB級容量的大型分布式對象存儲系統;該系統通過多種安全、可靠的存儲技術確保數據私密性及數據高可用;通過自動化部署、自動負載均衡、自動數據遷移、故障自愈等技術豐富自動化管理特性，同時結合豐富的生命周期管理策略及高效節能技術，提高運維效率。華為UDS海量存儲系統為客戶構建數字洪流時代的“超級數據圖書館”，幫助客戶化挑戰為機遇，并在信息化社會發展中持續受益。

原文出自【比特網】，轉載請保留原文鏈接：http://storage.chinabyte.com/40/12421040.shtml

服務器租用/服務器托管中國五強！虛擬主機域名注冊頂級提供商！15年品質保障！--億恩科技[ENKJ.COM]