【RHCA翻譯計(jì)劃】EX436第一章：集群存儲概論2

1.11SAN存儲技術(shù)：

從存儲到億恩科技主機(jī)之間的網(wǎng)絡(luò)連接有多種不同的機(jī)制，包括DAS、SAN、NAS等，而針對大型應(yīng)用，關(guān)鍵應(yīng)用常常采用SAN存儲架構(gòu)，其優(yōu)點(diǎn)是高性能，易拓展，而缺點(diǎn)則是管理復(fù)雜、價(jià)格昂貴（特別是使用FC光纖網(wǎng)絡(luò)）。

如上圖，關(guān)鍵業(yè)務(wù)如web服務(wù)器、數(shù)據(jù)庫服務(wù)器等通過光纖連接到光纖交換上，光纖交換下是多套存儲形成的存儲網(wǎng)絡(luò)，這樣的架構(gòu)性能相當(dāng)強(qiáng)勁。企業(yè)級應(yīng)用中，為防止單點(diǎn)故障，還會使用兩套光纖交換實(shí)現(xiàn)物理上的冗余，保證高可用性。

說到SAN就必須要提iSCSI，iSCSI（ipOverSCSI）業(yè)內(nèi)也常叫作ipSAN，即是通過TCP/IP的網(wǎng)絡(luò)協(xié)議來傳輸磁盤的SCSI數(shù)據(jù)，隨著以太網(wǎng)技術(shù)的發(fā)展，千兆萬兆都將應(yīng)用在企業(yè)中，而以iSCSI存儲的性價(jià)比，很多中小型企業(yè)會更加傾向于使用。

區(qū)分SCSI設(shè)備和FC光纖設(shè)備是相當(dāng)重要的，F(xiàn)C光纖設(shè)備是在存儲虛擬化最底層模擬一個或多個SCSI設(shè)備的抽象設(shè)備，并沒有真實(shí)的SCSI設(shè)備，而是通過SCSI協(xié)議模擬的。

GNBD（GlobalNetworkBlockDevice）全局網(wǎng)絡(luò)塊設(shè)備類似于iSCSI的存儲架構(gòu)，只是數(shù)據(jù)傳輸以數(shù)據(jù)塊為單位，C/S內(nèi)核模塊提供了通過以太網(wǎng)塊級別（block-level）的存儲訪問。

1.12光纖通道：

現(xiàn)在企業(yè)級應(yīng)用中，通信最佳選材當(dāng)然是FC光纖了，光纖通信抗干擾、高速率，在企業(yè)中表現(xiàn)優(yōu)秀，光纖通道的組建需要光纖線、HBA卡、光纖交換機(jī)，組成一個高性能高可用的光纖網(wǎng)絡(luò)。

由于光纖網(wǎng)絡(luò)的管理復(fù)雜性，且價(jià)格高昂，所以一般僅應(yīng)用在最為關(guān)鍵的業(yè)務(wù)的關(guān)鍵部分，典型的應(yīng)用就是光纖存儲網(wǎng)絡(luò)。

1.13HBA光纖接口卡：

說到HBA卡就要說說光纖通信的原理，光纖通信主要是一個光電轉(zhuǎn)換的過程，數(shù)字信號通過HBA卡轉(zhuǎn)換成光信號，光信號在光纖中高速傳輸，在另一端的HBA卡上轉(zhuǎn)換成電信號。HBA卡本身就有處理器對數(shù)據(jù)進(jìn)行處理，不需要耗費(fèi)CPU的處理時(shí)間，這也是光纖通信高效的原因之一。

HBA卡類似于SCSI卡，在計(jì)算機(jī)中被識別成SCSI設(shè)備。HBA卡使用SCSI命令，SCSI數(shù)據(jù)將被添加網(wǎng)絡(luò)包頭和包尾，轉(zhuǎn)換成FC光纖通道協(xié)議進(jìn)行傳輸。一些HBA卡能提供一個以上的光纖物理路徑，就像多路徑一樣。

1.14光纖交換機(jī)：

光纖交換機(jī)是SAN光纖存儲網(wǎng)絡(luò)的重要部分，提供了良好的拓展性，也使得SAN存儲網(wǎng)絡(luò)連接幾乎不受距離的限制。光纖通道通信距離可以超過100km。

光纖交換的拓?fù)溆幸韵氯N：點(diǎn)對點(diǎn)；仲裁環(huán)路；交換式光纖網(wǎng)。點(diǎn)對點(diǎn)是兩個設(shè)備的簡單連接，仲裁環(huán)路是所有的設(shè)備都排列在一個環(huán)路連接中，交換式光纖網(wǎng)是所有的設(shè)備連接到一個或多個光纖交換機(jī)上，形成光纖交換網(wǎng)絡(luò)。企業(yè)中普遍使用的是交換式光纖網(wǎng)。

1.15iSCSI存儲：

iSCSI可以理解為ipOverSCSI，也可以理解為internetSCSI，即是指SCSI數(shù)據(jù)通過以太網(wǎng)絡(luò)進(jìn)行傳輸，使用TCP/IP協(xié)議，默認(rèn)使用3260端口。一些企業(yè)更樂于使用iSCSI，因?yàn)椴幌馞C光纖網(wǎng)，iSCSI完全可以利用現(xiàn)有的交換網(wǎng)絡(luò)進(jìn)行部署，且iSCSI以性價(jià)比著稱，對于中小型企業(yè)來說是最佳選擇。
 

1.16NPS網(wǎng)絡(luò)電源控制器：

NPS（NetworkPowerSwitch）網(wǎng)絡(luò)電源控制器，即電源Fence。在集群中，F(xiàn)ence設(shè)備是相當(dāng)重要的，在Windows的集群中沒有Fence這個概念，他的服務(wù)切換是通過仲裁機(jī)制來實(shí)現(xiàn)；而Linux的集群既有仲裁機(jī)制，也有Fence機(jī)制。

Fence設(shè)備大體可以分為兩大類，一類是電源Fence，另一類則是電纜Fence。現(xiàn)在的集群大部分只使用了電纜Fence。下面介紹一下Fence的工作原理：以雙機(jī)的HA集群為例，當(dāng)空閑節(jié)點(diǎn)通過心跳線得知服務(wù)節(jié)點(diǎn)發(fā)生問題，如通信失敗等，空閑節(jié)點(diǎn)就會利用服務(wù)節(jié)點(diǎn)上的Fence卡將該節(jié)點(diǎn)關(guān)機(jī)或重啟，并將服務(wù)資源“搶”到本節(jié)點(diǎn)上。電源Fence則是檢測到集群節(jié)點(diǎn)斷電時(shí)則切換服務(wù)到另一節(jié)點(diǎn)。

下圖即為NPS，主要就是為每一個電源接口提供一個以太網(wǎng)口，以實(shí)時(shí)監(jiān)控電源情況，目前國內(nèi)很少使用，其實(shí)有了UPS和完善的機(jī)房管理體制，NPS也沒有什么必要。

1.17ACPI機(jī)制：

ACPI（AdvancedConfigurationandPowerinterface）機(jī)制主要是針對億恩科技主機(jī)電源管理的機(jī)制，對于管理電源消耗很有用處。各廠商也有相應(yīng)的產(chǎn)品，如戴爾的遠(yuǎn)程訪問接口卡DRAC，惠普的是iLo，英特爾的是IpmI等。

由于ACPI是基于軟件的機(jī)制，所以并不能完全依賴。例如，集群中一個節(jié)點(diǎn)由于內(nèi)核恐慌（kernelpanic）而被逐出集群，這時(shí)該節(jié)點(diǎn)將不能處理必要的電源輪詢。

1.18網(wǎng)絡(luò)集群節(jié)點(diǎn)：

集群心跳也屬于集群通信傳輸?shù)囊徊糠郑荷系姆⻊?wù)可以利用不同網(wǎng)卡上的子網(wǎng)分隔開來，集群間通信形成一個子網(wǎng)，集群中各節(jié)點(diǎn)對外提供服務(wù)的網(wǎng)卡連接到公網(wǎng)。

通常為防止單點(diǎn)故障，各通信接口都要利用兩塊以上的網(wǎng)卡做綁定，可以實(shí)現(xiàn)冗余和負(fù)載均衡的作用。

網(wǎng)絡(luò)設(shè)備必須支持組播，組播用于集群間各節(jié)點(diǎn)之間的通信，地址是集群創(chuàng)建之時(shí)自動生成的，但也可以手動地用其他地址覆蓋。必須確定所有的網(wǎng)絡(luò)硬件（路由、交換、集線器、網(wǎng)卡等）支持組播。交換機(jī)的默認(rèn)配置有些是關(guān)閉了組播的，你可以通過ping組播地址測試一下，使用netstat-g查看已分配的組播地址。

1.19廣播與組播：

廣播的特點(diǎn)就是單對多，像DHCP服務(wù)那樣，利用廣播來發(fā)送自己DHCP的身份；組播則是數(shù)據(jù)包發(fā)送給指定的接收者。有一個形象的比喻，廣播就是告訴全公司的人一件事，組播則是只告訴一部分你想告訴的人。

組播比廣播更具效率，因?yàn)閺V播是不管你需不需要這信息，通通都發(fā)一遍，而組播則是有針對性地發(fā)送，效率自然比較好。

不是所有的以太網(wǎng)卡都支持組播。

IPv6很依賴組播，因?yàn)镮Pv6取消了廣播，采用了更合理的組播。

1.20以太通道的綁定：

以太通道的綁定即是將多塊物理網(wǎng)卡在操作系統(tǒng)上綁定成一個邏輯設(shè)備，實(shí)現(xiàn)高可用性和負(fù)載均衡。在集群中，雙機(jī)之間的心跳線是集群的關(guān)鍵，但是如果心跳線的網(wǎng)卡發(fā)生故障，則整個集群就失去功能了，所以，心跳線網(wǎng)卡常常用兩塊網(wǎng)卡綁定起來，實(shí)現(xiàn)冗余，防止由于物理網(wǎng)卡故障而導(dǎo)致集群崩潰。
 

1.21以太通道綁定的配置：

配置以太網(wǎng)卡綁定相當(dāng)簡單。

第一步是配置加載bonding內(nèi)核模塊，使得支持綁定功能；

#vim/etc/modprobe.conf

aliasbond0bonding

optionsbond0mode=1miimon=100use_carrier=0

寫入上面兩行參數(shù)后保存退出；其中，mode=0/1，0表示提供容錯和負(fù)載均衡的功能，1表示只提供容錯的功能；miimon=100表示連接監(jiān)控的頻度，單位為毫秒；use_carrier表示如何確定連接狀態(tài)；可以使用primary參數(shù)指定哪塊網(wǎng)卡作為主要優(yōu)先的。

第二步是配置網(wǎng)卡配置文件：

#cd/etc/sysconfig/network-scripts/

假設(shè)要將eth0和eth1綁定成bond0，則作如下修改：

#vimifcfg-eth0

DEVICE=eth0

MASTER=bond0

SLAVE=yes

ONBOOT=yes

BOOTPROTO=static

#vimifcfg-eth1

DEVICE=eth1

MASTER=bond0

SLAVE=yes

ONBOOT=yes

BOOTPROTO=static

#vimifcfg-bond0

DEVICE=bond0

IPADDR=192.0.2.1

NETMASK=255.255.255.0

GATEWAY=192.0.2.254

ONBOOT=yes

BOOTPROTO=static

重啟網(wǎng)絡(luò)：

#/etc/init.d/networkrestart

1.22多路徑：

多路徑是用于訪問共享存儲的，可防止單點(diǎn)故障導(dǎo)致服務(wù)不可用。

設(shè)備映射多路徑允許節(jié)點(diǎn)通過多條路徑訪問存儲，多路徑支持FC、iSCSI、GNBD等存儲架構(gòu)。

1.23安全：

集群間多有節(jié)點(diǎn)的通信默認(rèn)都經(jīng)過了加密，OpenAIS使用集群名作為密鑰，但這并不是徹底安全的策略。

防火墻必須允許集群和GFS相應(yīng)端口的使用。以下端口必須開放：

5404,505 cman udp

11111 ricci tcp

14567 gnbd tcp

16851 modcluster tcp

21064 dlm tcp

50006,50008 ccsd tcp

50007 ccsd udp

服務(wù)器租用托管專員，億恩天使QQ530997 分享

服務(wù)器租用/服務(wù)器托管中國五強(qiáng)！虛擬主機(jī)域名注冊頂級提供商！15年品質(zhì)保障！--億恩科技[ENKJ.COM]