微軟近日解釋了一連串故障事件導(dǎo)致北歐的一些Azure客戶在近7個(gè)小時(shí)的時(shí)間內(nèi)無(wú)法訪問(wèn)其服務(wù)。
影響概述:2017年9月29日協(xié)調(diào)世界時(shí)(UTC)13:27至20:15,由于一個(gè)存儲(chǔ)可擴(kuò)展單元(storage scale unit)無(wú)法正常使用,北歐的一部分客戶在連接或管理該地區(qū)托管的資源方面遇到了困難。依賴該地區(qū)受影響的存儲(chǔ)資源、因此受拖累的服務(wù)包括:虛擬機(jī)、云服務(wù)、Azure Backup、App Services\Web Apps、Azure Cache、Azure Monitor、Azure Functions、Time Series Insights、Stream Analytics、HDInsight、Data Factory、Azure Scheduler以及Azure Site Recovery。
客戶影響:一部分存儲(chǔ)資源不可用,這導(dǎo)致相關(guān)的虛擬機(jī)關(guān)閉,以確保數(shù)據(jù)持久性。一些Azure Backup保管庫(kù)在故障持續(xù)的這段時(shí)間內(nèi)不可用,從而導(dǎo)致備份和恢復(fù)操作失敗。Azure Site Recovery可能無(wú)法故障切換到最新的恢復(fù)點(diǎn)或無(wú)法復(fù)制虛擬機(jī)。HDInsight、Azure Scheduler和Azure Functions可能遇到了服務(wù)管理和作業(yè)故障,資源無(wú)不依賴受影響的存儲(chǔ)可擴(kuò)展單元。Azure Monitor和Data Factory遇到了依賴這個(gè)可擴(kuò)展單元的管道方面的延遲和錯(cuò)誤。Azure Stream Analytics作業(yè)停止處理輸入及/或生成輸出持續(xù)了幾分鐘。Azure Media Services的數(shù)據(jù)流請(qǐng)求、上傳和編碼出現(xiàn)了故障和延遲。
解決方法:將虛擬機(jī)部署到配備托管磁盤(pán)的可用性集(Availability Sets)提供了彈性,可以為基于虛擬機(jī)的工作負(fù)載防范重大的服務(wù)影響。
根本原因和緩解方法:在一次常規(guī)的定期滅火系統(tǒng)維護(hù)期間,發(fā)生了意外釋放惰性滅火劑的情況。滅火機(jī)制被觸發(fā)后,它開(kāi)始自動(dòng)關(guān)閉空氣處理單元(AHU),這是為火勢(shì)控制和安全設(shè)計(jì)的系統(tǒng)。雖然數(shù)據(jù)中心里面的情況得到了重新確認(rèn),AHU也重新啟動(dòng),但受影響滅火區(qū)的隔離區(qū)的環(huán)境溫度還是高于正常的運(yùn)行參數(shù)。由于受到內(nèi)部散熱監(jiān)測(cè)機(jī)制的觸發(fā),受影響區(qū)域的一些系統(tǒng)自動(dòng)關(guān)閉或重新啟動(dòng),防止這些系統(tǒng)過(guò)熱。觸發(fā)惰性滅火劑滅火在第一時(shí)間就知道了,在隨后的35分鐘內(nèi),所有AHU恢復(fù)正常,環(huán)境溫度恢復(fù)到了正常的運(yùn)行水平。數(shù)據(jù)中心設(shè)施的電源在這次事件中沒(méi)有受到影響。所有系統(tǒng)已恢復(fù)到完全正常的運(yùn)行狀態(tài),在調(diào)查意外釋放惰性滅火劑期間,進(jìn)一步的系統(tǒng)維護(hù)已被暫停。由于上述事件的性質(zhì)以及受影響滅火區(qū)的隔離區(qū)域的散熱情況方面的差異,一些服務(wù)器和存儲(chǔ)資源沒(méi)有以一種受控的方式關(guān)閉。因此,需要另外的時(shí)間來(lái)排查故障,并恢復(fù)受影響的資源。一旦可擴(kuò)展單元達(dá)到了所需的運(yùn)行節(jié)點(diǎn)數(shù)量,客戶就看到情況得到逐漸而穩(wěn)步的改善,直到20:15 UTC完全解決了故障,這時(shí)存儲(chǔ)和相關(guān)服務(wù)都已完全恢復(fù)過(guò)來(lái)。
后續(xù)步驟:我們對(duì)于給受影響的客戶帶來(lái)的影響深表歉意。我們?cè)诓粩嗖扇〈胧└倪M(jìn)微軟Azure平臺(tái)和我們幫助確保此類事件將來(lái)不會(huì)發(fā)生的流程。在這里,這包括(但不僅限于):滅火系統(tǒng)維護(hù)分析繼續(xù)開(kāi)展,設(shè)備工程師查明意外釋放惰性滅火劑的原因,并且減小再次發(fā)生的風(fēng)險(xiǎn)。針對(duì)這種場(chǎng)景下的存儲(chǔ)資源,工程團(tuán)隊(duì)繼續(xù)調(diào)查故障情況和恢復(fù)時(shí)間方面的改進(jìn)。隨著重要的調(diào)查和分析工作深入開(kāi)展下去,我們會(huì)在10月13日周五之前發(fā)布該RCA的補(bǔ)充信息。
來(lái)源:中國(guó)IDC圈
石家莊服務(wù)器托管 石家莊服務(wù)器租用 石家莊機(jī)柜租用 石家莊機(jī)房 |