Twitter宕機(jī)背后：兩套數(shù)據(jù)系統(tǒng)同時(shí)癱瘓

位于美國(guó)加州中部的薩克拉門(mén)托（Sacramento）有三個(gè)身份：1850年代的淘金人口集散地、如今的加州州府和Twitter的數(shù)據(jù)中心。

7月26日上午8點(diǎn)20分，這個(gè)數(shù)據(jù)中心停止了工作。當(dāng)你輸入Twitter網(wǎng)址時(shí)，你會(huì)看到頁(yè)面顯示“Twitter目前因某些原因宕機(jī)，預(yù)計(jì)稍后恢復(fù)”的提示。這種狀況持續(xù)了兩個(gè)多小時(shí)，直到10點(diǎn)25分，Twitter才恢復(fù)正常。部分用戶懷疑這和7月27日開(kāi)幕的倫敦奧運(yùn)會(huì)有關(guān)。

盡管Twitter的運(yùn)營(yíng)團(tuán)隊(duì)通過(guò)后臺(tái)的流量圖看到了即將到來(lái)的奧運(yùn)會(huì)熱潮對(duì)各項(xiàng)指標(biāo)的拉升—這種可預(yù)期的、能帶來(lái)大流量的事件，Twitter一般都會(huì)提前做準(zhǔn)備，然而意外還是發(fā)生了。

在Twitter的預(yù)案里，如果這里發(fā)生了洪水、地震或者其他任何有可能導(dǎo)致服務(wù)器停止工作的問(wèn)題，距離薩克拉門(mén)托965公里的另一個(gè)數(shù)據(jù)中心就會(huì)開(kāi)始工作，它位于托管服務(wù)商Raging Wire旗下的一處建筑內(nèi)，當(dāng)然，情況也可能相反：Raging Wire這邊出了問(wèn)題，薩克拉門(mén)托開(kāi)始工作。

無(wú)論哪一種情況，Twitter希望保證的是用戶的不間斷使用體驗(yàn)，即便是遠(yuǎn)在大洋彼岸的用戶，也可以正常地把自己的消息Tweet出去，而不會(huì)感受到服務(wù)中斷。

對(duì)于互聯(lián)網(wǎng)公司而言，在線就是生命。Facebook早期迅速積累用戶并不是由于它來(lái)自哈佛大學(xué)的好名聲，而是它幾乎從不宕機(jī)。這與當(dāng)時(shí)強(qiáng)勁的競(jìng)爭(zhēng)對(duì)手MySpace形成了鮮明對(duì)照。

但在7月26日這一天，Twitter兩個(gè)數(shù)據(jù)中心同時(shí)發(fā)生故障，全球用戶的Twitter服務(wù)中止。Twitter提供的解釋是由于“基礎(chǔ)設(shè)施元件中的級(jí)聯(lián)式漏洞”，但沒(méi)有公布更詳細(xì)的信息。在Twitter的成長(zhǎng)史上幾乎每年都會(huì)有多次重大宕機(jī)事故，宕機(jī)時(shí)網(wǎng)站就會(huì)顯示出一幅有趣的圖片：幾只小鳥(niǎo)用線艱難地拉起一頭擱淺的鯨魚(yú)。

這是Twitter在兩個(gè)月之內(nèi)的第二次重大宕機(jī)故障。此前一次是6月21日，Twitter停止服務(wù)將近兩個(gè)多小時(shí)。

Twitter負(fù)責(zé)工程技術(shù)的副總裁拉瓦德（Mazen Rawashdeh）事后解釋說(shuō)，Twitter在數(shù)據(jù)中心有兩套能互相備份的數(shù)據(jù)系統(tǒng)同時(shí)出現(xiàn)了故障，這是基礎(chǔ)設(shè)施上的“巧合事件”。通常情況下，如果一個(gè)系統(tǒng)出現(xiàn)故障，那么另一個(gè)將被緊急啟用。而兩套系統(tǒng)同時(shí)出現(xiàn)問(wèn)題則比較少見(jiàn)，為避免類(lèi)似故障重演，Twitter稱(chēng)計(jì)劃對(duì)基礎(chǔ)設(shè)施大幅投資。

數(shù)據(jù)中心問(wèn)題一直困擾著Twitter.截至3月，Twitter已有1.4億活躍用戶，每天會(huì)發(fā)出3.4億條Tweet.隨著用戶量和信息讀寫(xiě)量的增長(zhǎng)，Twitter迫切需要一個(gè)能自我完全掌控的數(shù)據(jù)中心。

Twitter早期租用第三方的數(shù)據(jù)服務(wù)，之后計(jì)劃轉(zhuǎn)向租用位于猶他州鹽湖城的定制化數(shù)據(jù)中心，然而在去年該數(shù)據(jù)中心卻出現(xiàn)了漏雨、電力不足等問(wèn)題，于是Twitter不得不改變其計(jì)劃，另謀他處。

在同一天，悲催的不僅僅是Twitter.谷歌（微博）的即時(shí)通訊服務(wù)Gtalk也在早上6點(diǎn)40分發(fā)生故障，并遲遲沒(méi)有被修復(fù)。有用戶報(bào)告，微軟（微博）旗下面對(duì)企業(yè)客戶的云服務(wù)工具Windows Azure在西歐地區(qū)也發(fā)生了宕機(jī)問(wèn)題。

在宕機(jī)這段時(shí)間內(nèi)，Gtalk用戶發(fā)現(xiàn)雖然能夠登錄，但無(wú)法像以往一樣正常發(fā)送信息以及進(jìn)行語(yǔ)音、視頻聊天。他們持續(xù)接到谷歌通過(guò)網(wǎng)頁(yè)更新的問(wèn)題修復(fù)狀態(tài)通知，時(shí)間單位大約為半小時(shí)，而這一狀態(tài)持續(xù)了近5個(gè)小時(shí)，算是谷歌史上罕見(jiàn)的長(zhǎng)時(shí)間故障。習(xí)慣線上溝通的用戶們不得不轉(zhuǎn)向其他工具，有人說(shuō)，接連兩起宕機(jī)事件讓他們有一種“全球停電”的感覺(jué)。

谷歌的數(shù)據(jù)中心分布全球且多達(dá)20多個(gè)，目前無(wú)法得知是哪一塊數(shù)據(jù)中心發(fā)生了故障以致Gtalk癱瘓，谷歌至今也未解釋具體原因。

世界正在變成一個(gè)由數(shù)據(jù)洪流組成的存在，而整個(gè)世界也因幾個(gè)重要信息節(jié)點(diǎn)而相互連接在一起。但即使是像谷歌這樣著名的互聯(lián)網(wǎng)公司也無(wú)法保證自己所有的服務(wù)全年都不出問(wèn)題。

據(jù)谷歌稱(chēng)，其最受歡迎的服務(wù)Gmail電子郵件服務(wù)2010年全年宕機(jī)時(shí)間為7分鐘，這已經(jīng)是業(yè)內(nèi)最短時(shí)間。根據(jù)Radicati Group的數(shù)據(jù)，電子郵件系統(tǒng)平均宕機(jī)時(shí)間為每月3.8小時(shí)。對(duì)比起來(lái)，Gmail可謂優(yōu)秀。

一般造成系統(tǒng)不穩(wěn)定甚至宕機(jī)的原因是多樣的，開(kāi)發(fā)安卓手機(jī)管理工具豌豆莢的豌豆實(shí)驗(yàn)室技術(shù)總監(jiān)高磊對(duì)《第一財(cái)經(jīng)周刊》介紹，在用戶使用網(wǎng)站服務(wù)時(shí)，從用戶輸入信息，網(wǎng)絡(luò)傳送信息給網(wǎng)站服務(wù)器，網(wǎng)站服務(wù)器按照程序?qū)τ脩粢�求進(jìn)行處理，將結(jié)果返還用戶，整個(gè)過(guò)程中其中一個(gè)環(huán)節(jié)出現(xiàn)問(wèn)題就會(huì)導(dǎo)致網(wǎng)站的服務(wù)受到影響，甚至發(fā)生宕機(jī)而不可用。

引發(fā)問(wèn)題的潛在因素多種多樣，包括網(wǎng)站自身程序、服務(wù)器的操作系統(tǒng)、硬件設(shè)備、機(jī)房與網(wǎng)絡(luò)運(yùn)營(yíng)商等基礎(chǔ)設(shè)施。

如果網(wǎng)站自身程序有Bug，可能會(huì)導(dǎo)致使用變慢，或部分功能失效；服務(wù)器的操作系統(tǒng)也會(huì)出現(xiàn)漏洞，比如裝有Linux部分版本的服務(wù)器就在本月因?yàn)殚c秒問(wèn)題而宕機(jī)；服務(wù)器硬件本身?yè)p壞，比如硬盤(pán)或內(nèi)存都存在一定物理故障的機(jī)率。

而在基礎(chǔ)設(shè)施上，機(jī)房停電或進(jìn)水、遭到雷擊等也會(huì)造成設(shè)備停止運(yùn)行。最基礎(chǔ)的問(wèn)題是過(guò)熱，因此大型數(shù)據(jù)中心旁邊一般都有冷卻裝置。

6月底，美國(guó)一場(chǎng)風(fēng)暴襲擊了弗吉尼亞北部，大面積電力供應(yīng)中斷。而恰巧亞馬遜（微博）在這里安置了US-East-1數(shù)據(jù)中心，因?yàn)橥ｋ姡�整個(gè)數(shù)據(jù)中心癱瘓。

亞馬遜是業(yè)界領(lǐng)先的云服務(wù)提供商，其提供給網(wǎng)站以數(shù)據(jù)服務(wù)的云服務(wù)Amazon Web Services也因此一度中斷服務(wù)。之后連鎖反應(yīng)便產(chǎn)生，使用其服務(wù)的Instagram、Pinterest、Quora、Netflix等知名網(wǎng)站也停止了服務(wù)，進(jìn)而影響到各自的生態(tài)系統(tǒng)。

為避免風(fēng)險(xiǎn)，一些網(wǎng)絡(luò)公司選擇不把雞蛋放在一個(gè)籃子里，設(shè)置多個(gè)數(shù)據(jù)中心，或者在使用云服務(wù)時(shí)同時(shí)選擇多家供應(yīng)商，當(dāng)然，這也會(huì)增加成本。

據(jù)新浪微博技術(shù)總監(jiān)楊衛(wèi)華對(duì)《第一財(cái)經(jīng)周刊》介紹，是否能穩(wěn)定登錄，響應(yīng)的速度怎樣，都會(huì)對(duì)用戶的體驗(yàn)造成直接影響。新浪微博采用了分布式的架構(gòu)，這意味著它沒(méi)有把所有的服務(wù)器都放在新浪所在的北京，而是在國(guó)內(nèi)多個(gè)主要城市都設(shè)置了數(shù)據(jù)中心，在突發(fā)事件發(fā)生后的流量處理和響應(yīng)速度等各方面來(lái)保證用戶體驗(yàn)。

你在宕機(jī)時(shí)體驗(yàn)到多少焦慮，穩(wěn)定對(duì)于互聯(lián)網(wǎng)公司就有多重要。

當(dāng)越來(lái)越多的人被接入同一個(gè)網(wǎng)絡(luò)─比如被稱(chēng)為“世界的脈搏”的Twitter，數(shù)據(jù)中心癱瘓的風(fēng)險(xiǎn)等級(jí)也相應(yīng)增加。這些數(shù)據(jù)就存儲(chǔ)在像加州薩克拉門(mén)托的大房子里，一旦宕機(jī)，空白也從這里開(kāi)始。

服務(wù)器租用/服務(wù)器托管中國(guó)五強(qiáng)！虛擬主機(jī)域名注冊(cè)頂級(jí)提供商！15年品質(zhì)保障！--億恩科技[ENKJ.COM]