文章內(nèi)容

云關(guān)鍵技術(shù)及基于Hadoop的云計算模型研究

發(fā)布時間: 2012/8/6 14:06:49

云計算是由企業(yè)界開始發(fā)展，然后才進入學(xué)術(shù)界引起重視的，這與網(wǎng)格計算相反。經(jīng)過對迄今為止的云計算相關(guān)學(xué)術(shù)論文進行統(tǒng)計分析后，顯示學(xué)術(shù)界對于云計算的研究主要集中在云技術(shù)關(guān)鍵技術(shù)方面。云計算研究的關(guān)鍵技術(shù)包括虛擬機、安全管理、數(shù)據(jù)管理、云監(jiān)測、能耗管理和計算模型等。云計算的計算模型是研究如何針對某類應(yīng)用特點提出效率更高的編程方式，目前云計算模型眾多，而Hadoop是一個開源的分布式系統(tǒng)基本架構(gòu)，正日益成為具有較強實用性的開發(fā)平臺．淘寶就是國內(nèi)率先使用Hadoop的公司之一。

1 云計算關(guān)鍵技術(shù)

1．1 虛擬機

虛擬機是云計算的關(guān)鍵技術(shù)之一。目前在云計算中使用的主要虛擬機之一就是VMware Infrastructure。它是一個虛擬數(shù)據(jù)中心操作系統(tǒng)，可以將離散的硬件資源統(tǒng)一起來以創(chuàng)建共享平臺。其優(yōu)點有：①整合服務(wù)器以降低IT成本；②暗哨計劃內(nèi)和計劃外停機以改進業(yè)務(wù)連續(xù)性；⑧運行較少的服務(wù)器并且動態(tài)關(guān)閉不使用的服務(wù)器。

1．2 安全管理

云計算是計算機資源的整合，通過云計算設(shè)施中的任何一臺計算機，任何隱私信息都能夠被找到。云計算安全問題已經(jīng)成為急需解決的重要問題。其中，Siani Persion等提出了在云計算服務(wù)設(shè)計過程中保護用戶隱私的一些設(shè)計原則：① 發(fā)送盡量少的個人信息到云中，或者對系統(tǒng)進行分析后只對一小部分個人信息進行必要的收集和采集；② 采用安全措施防止未授權(quán)的訪問、復(fù)制、使用或者修改個人信息來保護云中的個人信息：③最大限度地實現(xiàn)用戶控制。在云計算環(huán)境中，讓用戶完全控制個人信息是比較困難的。要加強對個人信息的控制：一可以允許用戶控制最重要的個人信息；二可以委托信任的第三方來管理：④允許用戶對個人信息的使用進行選擇，即加入、退出機制；⑤明確以及限制數(shù)據(jù)使用的目的。個人信息必須被身份明確的人使用和處理；⑥有反饋機制。即設(shè)計人及界面清楚地表明云服務(wù)中采取的安全措施，用其向用戶提供安全提示。

1．3 數(shù)據(jù)管理

云計算具有計算能力可變、數(shù)據(jù)儲存在不信任的主機上、數(shù)據(jù)是遠程復(fù)制等3個特點。從這3個特點分析而出，只有兩種數(shù)據(jù)管理應(yīng)用程序可能適合部署到云計算中：一是和事務(wù)處理相關(guān)的數(shù)據(jù)管理系統(tǒng)：另一種是和分析相關(guān)的數(shù)據(jù)管理系統(tǒng)。前者未采用共享的體系結(jié)構(gòu)，在進行遠程數(shù)據(jù)復(fù)制時很難滿足ACID的需求，同時在不信任的主機上存儲數(shù)據(jù)也有比較大的風(fēng)險。ACID要求對于基于分析的數(shù)據(jù)管理系統(tǒng)來說不是必須的，同時可以保證敏感數(shù)據(jù)在分析之外，從而保證其安全。因此，基于分析的數(shù)據(jù)管理系統(tǒng)應(yīng)該很合適部署到云計算環(huán)境中去。

1.4 云監(jiān)測和能耗管理

云監(jiān)測是隨著云計算的推廣、云設(shè)施不斷增加、為了更好地體現(xiàn)云計算的強大計算處理能力而設(shè)置的對虛擬機監(jiān)控的能力：能耗管理是如何節(jié)省云設(shè)施中計算設(shè)施所需要的能源、有效整合資源、降低成本。

1．5 云計算的計算模型

現(xiàn)行的分布式計算系統(tǒng)可以提供強大的計算能力．但非專業(yè)用戶并不能有效地利用，一個龐大的任務(wù)很可能由于初學(xué)者的偶然操作導(dǎo)致性能的大幅下降。為了解決這些問題，應(yīng)該提供給用戶一個高度抽象的產(chǎn)品系統(tǒng)．這些就是云計算的計算模型。提到云計算模型，就不得不說一個開源框架，那就是Hadoop。

Hadoop是一個分布式系統(tǒng)基本架構(gòu)。由Apache開發(fā)，使用戶在不了解分布式底層細節(jié)的情況下，開發(fā)分布式程序。簡單點說。Hadoop是一個可以更容易開發(fā)和運行處理大規(guī)模數(shù)據(jù)的軟件平臺。

Hadoop實現(xiàn)了一個分布式文件系統(tǒng)（Hadoop DistributedFile System），簡稱HDFS。HDFS有著高容錯性的特點，并且設(shè)計用來部署在低廉的硬件上。而且它提供高傳輸率來訪問應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集的應(yīng)用程序。HDFS放寬了POSIX標(biāo)準(zhǔn)的要求。這樣可以流的形式訪問文件系統(tǒng)中的數(shù)據(jù)。

Hadoop采用Master／Slave結(jié)構(gòu)（如圖1），會有一臺Mas．ter，主要負責(zé)NameNode的工作以及JobTracker的工作，Job．Tracker的主要職責(zé)就是啟動、跟蹤和調(diào)度各個Slave的任務(wù)執(zhí)行。還會有多臺Slave，每一臺Slave通常具有DataNode的功能并負責(zé)TaskTracker的工作。TaskTracker根據(jù)應(yīng)用要求來結(jié)合本地數(shù)據(jù)執(zhí)行Map任務(wù)以及Reduce任務(wù)。