IT運(yùn)維管理關(guān)鍵技術(shù)點(diǎn)解剖

運(yùn)維關(guān)鍵技術(shù)點(diǎn)解剖

1、大規(guī)模集群管理問(wèn)題

首先我們先要明確集群的概念，集群不是泛指各功能服務(wù)器的總合，而是指為了達(dá)到某一目的或功能的服務(wù)器、硬盤資源的整合（機(jī)器數(shù)大于兩臺(tái)），對(duì)于應(yīng)用來(lái)說(shuō)它就是一個(gè)整體，目前常規(guī)集群可分為：高可用性集群（HA），負(fù)載均衡集群（如lvs），分布式儲(chǔ)、計(jì)算存儲(chǔ)集群（DFS，如googlegfs,yahoohadoop），特定應(yīng)用集群（某一特定功能服務(wù)器組合、如db、cache層等），目前互聯(lián)網(wǎng)行業(yè)主要基于這四種類型；對(duì)于前兩種類似，如果業(yè)務(wù)簡(jiǎn)單、應(yīng)用上post操作比較少，可以簡(jiǎn)單的采用四層交換機(jī)解決（如f5），達(dá)到服務(wù)高可用/負(fù)責(zé)均衡的作用，對(duì)于資源緊張的公司也有一些開(kāi)源解決辦法如lvs+ha,非常靈活；對(duì)于后兩種，那就考驗(yàn)公司技術(shù)實(shí)力及應(yīng)用特點(diǎn)了，第三種DFS主要應(yīng)用于海量數(shù)據(jù)應(yīng)用上，如郵件、搜索等應(yīng)用，特別是搜索要求就更高了，除了簡(jiǎn)單海量存儲(chǔ)，還包括數(shù)據(jù)挖掘、用戶行為分析；如google、yahoo就能保存分析近一年的用戶記錄數(shù)據(jù)，而baidu應(yīng)該少于30天、soguo就更少了。。。這些對(duì)于搜索準(zhǔn)備性、及用戶體驗(yàn)是至關(guān)重要的。

接下來(lái)，我們?cè)僬務(wù)勅绾慰茖W(xué)的管理集群，有以下關(guān)鍵幾點(diǎn)：

I、監(jiān)控

主要包括故障監(jiān)控和性能、流量、負(fù)載等狀態(tài)監(jiān)控，這些監(jiān)控關(guān)系到集群的健康運(yùn)行，及潛在問(wèn)題的及時(shí)發(fā)現(xiàn)與干預(yù)；

a、服務(wù)故障、狀態(tài)監(jiān)控：主要是對(duì)服務(wù)器自身、上層應(yīng)用、關(guān)聯(lián)服務(wù)數(shù)據(jù)交互監(jiān)控；例如針對(duì)前端webserver，我們就可以有很多種類型的監(jiān)控，包括應(yīng)用端口狀態(tài)監(jiān)控，便于及時(shí)發(fā)現(xiàn)服務(wù)器或應(yīng)用本身是否crash、通過(guò)icmp包探測(cè)服務(wù)器健康狀態(tài)，更上層可能還包括應(yīng)用各頻道業(yè)務(wù)的監(jiān)控，常用方法是采用面業(yè)特征碼進(jìn)行判斷，或?qū)χ攸c(diǎn)頁(yè)面進(jìn)行簽名，以網(wǎng)站被黑篡改（報(bào)警、并自動(dòng)恢復(fù)被篡改數(shù)據(jù)）等等，這些只是一部份，還有N多監(jiān)控方式，依應(yīng)用特點(diǎn)而定，還有一些問(wèn)題需解決，如集群過(guò)大，如何高性能的進(jìn)行監(jiān)控也是一個(gè)現(xiàn)實(shí)問(wèn)題。

b、其它就是集群狀態(tài)類的監(jiān)控或統(tǒng)計(jì)，為我們合理管理調(diào)優(yōu)集群提供數(shù)據(jù)參考、包括服務(wù)瓶頸、性能問(wèn)題、異常流量、攻擊等問(wèn)題。

II、故障管理

a、硬件故障問(wèn)題；對(duì)于成百上千或上萬(wàn)機(jī)器的N多集群，服務(wù)器死機(jī)、硬件故障概率是非常大的，幾乎每時(shí)每刻都有服務(wù)硬件問(wèn)題，死機(jī)、硬盤損壞、電源、內(nèi)存、交換機(jī)。針對(duì)這種情況，我們?cè)谠O(shè)計(jì)網(wǎng)站架構(gòu)時(shí)需要充分考慮到這些問(wèn)題，并將其視為常態(tài)；更多的依靠應(yīng)用的冗余機(jī)制來(lái)規(guī)避這種風(fēng)險(xiǎn)，但給系統(tǒng)工程師足夠?qū)捲５奶幚頃r(shí)間。（如google不是號(hào)稱同時(shí)死800臺(tái)機(jī)器，服務(wù)不會(huì)受到任何影響嗎）；這就是考驗(yàn)運(yùn)維工程師及網(wǎng)站架構(gòu)師功能的地方了，好的設(shè)計(jì)能達(dá)到google所描述自恢復(fù)能力，如gfs，糟糕的設(shè)計(jì)那就是一臺(tái)服務(wù)器的死機(jī)可能會(huì)造成大面積服務(wù)的連鎖故障反映，直接對(duì)用戶拒絕響應(yīng)。

b、應(yīng)用故障問(wèn)題；可能是某一bug被觸發(fā)、或某一性能閥值被超越、攻擊等情況不一而定，但重要的一點(diǎn)，是要有對(duì)這些問(wèn)題的預(yù)防性措施，不能想當(dāng)然，它不會(huì)出問(wèn)題，如真出問(wèn)題了，如何應(yīng)對(duì)?這需要運(yùn)維工程師平時(shí)做足功夫，包括應(yīng)急響應(yīng)速度、故障處理的科學(xué)性、備用方案的有效等。

III、自動(dòng)化

自動(dòng)化：簡(jiǎn)而言之，就是將我們?nèi)粘Ｊ謩?dòng)進(jìn)行的一些工作通過(guò)工具，系統(tǒng)自動(dòng)來(lái)完成，解放我們的雙手及枯燥的重復(fù)性勞動(dòng)，例如：沒(méi)有工具前，我們安裝系統(tǒng)需要一臺(tái)一臺(tái)裸機(jī)安裝，如2000臺(tái)，可能需要10人/10天，搞爛N張光盤，人力成本更大。。。而現(xiàn)在通過(guò)自動(dòng)化工具，只需幾個(gè)簡(jiǎn)單命令就能搞定、還有如機(jī)器人類程序，自動(dòng)完成以往每天人工干預(yù)的工作，使其自動(dòng)完成、匯報(bào)結(jié)果，并具備一定的專家系統(tǒng)能力，能做一些簡(jiǎn)單的是/非判斷、優(yōu)化選擇等。。。這些好處非常明顯不再多說(shuō)。。。應(yīng)該說(shuō)，自動(dòng)化運(yùn)維是運(yùn)維工程師職業(yè)化的一個(gè)追求，利已利公，雖然這是一個(gè)異常艱巨的任務(wù)：不斷變更的業(yè)務(wù)、不規(guī)范化的應(yīng)用設(shè)計(jì)、開(kāi)發(fā)模式、網(wǎng)絡(luò)架構(gòu)變更、IDC變更、規(guī)范變動(dòng)等因素，都可能會(huì)對(duì)現(xiàn)有自動(dòng)化系統(tǒng)產(chǎn)生影響，所以需要模塊化、接口化、變因參數(shù)化等因此，自動(dòng)化相關(guān)工作，是運(yùn)維工程師的核心重點(diǎn)工作之一，也是價(jià)值的體現(xiàn)。

2、運(yùn)維中關(guān)鍵技術(shù)點(diǎn)解剖（比較實(shí)際，現(xiàn)實(shí)中的案例，今天先想出這幾條，如大家有其它感覺(jué)興趣的，可以提出，一起交流～）

1、大量高并發(fā)網(wǎng)站的設(shè)計(jì)方案

2、高可靠、高可伸縮性網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)

3、網(wǎng)站安全問(wèn)題，如何避免被黑？

4、南北互聯(lián)問(wèn)題,動(dòng)態(tài)CDN解決方案

5、海量數(shù)據(jù)存儲(chǔ)架構(gòu)

【推薦閱讀】

◆上網(wǎng)行為運(yùn)維管理專區(qū)

◆怎樣才算是一個(gè)合格的上網(wǎng)行為運(yùn)維工程師

◆上網(wǎng)行為運(yùn)維工作師需要什么樣的技能及素質(zhì)

◆網(wǎng)站上網(wǎng)行為運(yùn)維管理經(jīng)驗(yàn)探討和心得分享

◆網(wǎng)管軟件專區(qū)