本文來(lái)自騰訊社交多媒體業(yè)務(wù)負(fù)責(zé)人@梁陵水（大梁）在聽(tīng)云的同名主旨演講。 工作變成手工。

今天和大家分享的話題是如何做手工運(yùn)維。

之前大家可能聽(tīng)我介紹過(guò)智云平臺(tái)是怎么工作的。 最近在想一件事，比如騰訊的體量（QQ月活8.3億，DAU 8.3億）和海量運(yùn)維的壓力。 自動(dòng)化運(yùn)維平臺(tái)如果真的放在一些中小企業(yè)，用處不大。

那怎么辦呢？

還在琢磨怎么才能不讓大家白白分享這一次，所以特意把之前分享的手動(dòng)運(yùn)維上的內(nèi)容重新提煉總結(jié)了一下。 多年來(lái)，上述一些最重要的功能模塊一直由人工操作和維護(hù)。

所以明天我就不給大家介紹一個(gè)非常龐大的系統(tǒng)了。 我會(huì)專門講一下手工化中最核心的環(huán)節(jié)（CMDB分層、技術(shù)架構(gòu)、后續(xù)實(shí)現(xiàn)方式等），說(shuō)不定那些核心環(huán)節(jié)你都做了，你的效率就會(huì)提升到一個(gè)很高的水平。

1. 人工運(yùn)維的能與不能

明天的分享主要有三個(gè)部分。 前兩部分會(huì)著重告訴大家在做手工運(yùn)維之前我們應(yīng)該有什么樣的概念。 不管是運(yùn)維還是開(kāi)發(fā)這兩個(gè)角色，雖然都需要遵守這樣的規(guī)范，但是我們的規(guī)范是什么？ 基于這樣的規(guī)范，我們?nèi)绾螌?shí)現(xiàn)我們的手動(dòng)實(shí)現(xiàn)。

手動(dòng)化不是萬(wàn)能的，并不是所有場(chǎng)景都適用。 人工運(yùn)維也是如此。 騰訊小的時(shí)候，我們還在思考如何高效的運(yùn)維。

由于騰訊的社交產(chǎn)品是樹狀結(jié)構(gòu)，因此有很多小應(yīng)用。 只有QQ相冊(cè)、Q空間、QQ音樂(lè)這些核心的非常大，其他都是很零散的小應(yīng)用。 如果這樣的小應(yīng)用無(wú)序增長(zhǎng)，如何規(guī)范？ 當(dāng)它發(fā)展起來(lái)的時(shí)候，我們的運(yùn)維效率才能跟上。

今年6月，騰訊整個(gè)集團(tuán)的化機(jī)數(shù)量剛剛突破50萬(wàn)臺(tái)。 我們運(yùn)維團(tuán)隊(duì)的增長(zhǎng)速度遠(yuǎn)不及服務(wù)器。

我們先來(lái)看看人工化要解決什么樣的問(wèn)題？

里面有意思的話摘自我們團(tuán)隊(duì)內(nèi)部：比如文檔過(guò)期了，我們做運(yùn)維，老大要我們整天寫一些所謂的運(yùn)維文檔。 這份文件寫出來(lái)的時(shí)候，似乎意味著它已經(jīng)過(guò)期了。

也有一些資深朋友辭職了，經(jīng)驗(yàn)就沒(méi)了。 都是希望人工解決的。 還有邏輯前饋，微服務(wù)，硬編碼IP，或者必要的切換等等，這絕對(duì)是你在做人工運(yùn)維的時(shí)候絕對(duì)不想觸碰的雷區(qū)，同時(shí)包括人為錯(cuò)誤。 、失控結(jié)構(gòu)等。

我們?nèi)绾翁岢鰳?biāo)準(zhǔn)化規(guī)范？ 讓我們的研發(fā)團(tuán)隊(duì)和運(yùn)維團(tuán)隊(duì)更高效的合作，防止誤會(huì)？

規(guī)范化不是為了眼花繚亂，也不能為了規(guī)范化而規(guī)范化。 20%的工作消耗了我們80%的精力。 只要集中精力把那20%的工作做好，基本就能達(dá)到好的狀態(tài)。 你可以釋放你的精力去做大數(shù)據(jù)和智能運(yùn)維，而不是說(shuō)所有的場(chǎng)景都要追求到極致。

在我們團(tuán)隊(duì)里面，大家經(jīng)常會(huì)說(shuō)一句話，我們做任何事情做到80分，半年就夠我們投入了。 而要完成另外的20分鐘，可能比80分鐘的時(shí)間要少很多，所以這個(gè)時(shí)候，也希望大家回家規(guī)劃自己的手工運(yùn)維場(chǎng)景時(shí)，能夠注意這一點(diǎn)。 這是當(dāng)務(wù)之急。

我們已經(jīng)定義了我們的手動(dòng)操作和維護(hù)。 做任何事情之前，首先要明確自己的目標(biāo)：在大規(guī)模運(yùn)維場(chǎng)景中，基于監(jiān)控?cái)?shù)據(jù)的智能決策，觸發(fā)高重復(fù)性任務(wù)，實(shí)現(xiàn)無(wú)人參與，人工操作的運(yùn)維能力稱為人工操作和維護(hù)。

這里重要的是沒(méi)有人參與。 目前，我們的平臺(tái)可以在無(wú)人值守的情況下進(jìn)行擴(kuò)容和縮容。 明天，我將介紹如何實(shí)現(xiàn)它。

再回到業(yè)務(wù)場(chǎng)景，在騰訊的社交業(yè)務(wù)場(chǎng)景中，在海量、敏捷、復(fù)雜、高可用上有一些具體的描述，這也是國(guó)內(nèi)所有擁有如此龐大用戶群體的社交產(chǎn)品的共同體現(xiàn)。

2. DEV與OPS：求同存異

在如此巨大的業(yè)務(wù)壓力下，我們?nèi)绾闻c我們的開(kāi)發(fā)人員和運(yùn)維人員共同訂制一個(gè)我們可以實(shí)施的標(biāo)準(zhǔn)化運(yùn)維解決方案？

2008年和2009年的時(shí)候，我們當(dāng)時(shí)就提到了D/O分離，但是我還是覺(jué)得D/O分離有點(diǎn)弄巧成拙。 如果你把程序開(kāi)發(fā)出來(lái)交給我，你就不用做了。 我眼里含著淚水。 完成這件事。

結(jié)構(gòu)不良的程序無(wú)法有效地維護(hù)它。

在騰訊的社交產(chǎn)品線，我們現(xiàn)在有超過(guò)5000個(gè)功能模塊，對(duì)應(yīng)的微服務(wù)有上萬(wàn)個(gè)。 在這些情況下，沒(méi)有辦法維護(hù)一些結(jié)構(gòu)不良的程序代碼。

那個(gè)時(shí)候2010年，概念的概念還沒(méi)有提出來(lái)，我們就已經(jīng)意識(shí)到了這個(gè)問(wèn)題，所以我們當(dāng)時(shí)就已經(jīng)開(kāi)發(fā)了智云平臺(tái)，真正對(duì)接這個(gè)概念的時(shí)候，恰逢用它。

只有合作，才能在激烈的互聯(lián)網(wǎng)紅海競(jìng)爭(zhēng)中走得更快，才能勝出。 怎么做？

我們把開(kāi)發(fā)和運(yùn)維可能涉及到的地方分為四大塊：第一塊是架構(gòu)。

運(yùn)維很關(guān)心架構(gòu)，否則沒(méi)辦法評(píng)估它的好壞是不是和架構(gòu)有直接關(guān)系。 Ops 希望開(kāi)發(fā)違背我們的規(guī)范。

之前也和一些傳統(tǒng)行業(yè)的同事交流過(guò)。 他們寫了很多無(wú)法完成的規(guī)范開(kāi)發(fā)。

因此，帶著這個(gè)問(wèn)題，我們來(lái)看看騰訊是如何實(shí)踐的。

我們提倡的統(tǒng)一架構(gòu)和運(yùn)維規(guī)范，對(duì)開(kāi)發(fā)者的面子有什么影響？ 那么基于這樣一個(gè)統(tǒng)一的規(guī)范，我們?nèi)绾螛?gòu)建一個(gè)運(yùn)維工具體系，使其成為手冊(cè)呢？

基本上所有的互聯(lián)網(wǎng)業(yè)務(wù)架構(gòu)都可以用上圖簡(jiǎn)單概括，分為客戶端、用戶終端、PC、中間的運(yùn)營(yíng)商，以及以下三層結(jié)構(gòu)：接入層、邏輯層、數(shù)據(jù)層.

騰訊整個(gè)社交網(wǎng)絡(luò)大致是這樣劃分的。 同樣的結(jié)構(gòu)，我們開(kāi)始提出管理理念：框架化、組件化、無(wú)狀態(tài)、分布式。

我們的框架是如何實(shí)現(xiàn)的？

在騰訊社交上，我們整個(gè)業(yè)務(wù)開(kāi)發(fā)的技術(shù)棧基本上都是以C作為主要開(kāi)發(fā)語(yǔ)言，而不是Java，所以沒(méi)有辦法基于Java無(wú)痛注入來(lái)做APM。 技術(shù)習(xí)慣設(shè)計(jì)更適合我們的框架。

所以在通信上，我們使用CS架構(gòu)的服務(wù)器，根據(jù)公共功能進(jìn)行通信、收集和分包，將這些能力做成一個(gè)框架。 業(yè)務(wù)開(kāi)發(fā)只需要專注于編寫其業(yè)務(wù)邏輯和實(shí)現(xiàn)我們的框架即可。

基本上在騰訊，我們有一個(gè)支持同步的開(kāi)發(fā)框架，一個(gè)支持異步的開(kāi)發(fā)框架，還有一些Web服務(wù)的應(yīng)用，都是一個(gè)通用的框架來(lái)支持。

再來(lái)說(shuō)說(shuō)組件化，這里也舉個(gè)例子。 假設(shè)我們現(xiàn)在要上一個(gè)網(wǎng)站，必須有一個(gè)Web，不同的開(kāi)發(fā)團(tuán)隊(duì)會(huì)有不同的選擇，有的說(shuō)性能好，有的說(shuō)NGINX好，有的說(shuō)我用IIS，有的說(shuō)這三個(gè)都是垃圾，我自己寫的是最好的。

不幸的是，如果這件事在2009年之前在騰訊確實(shí)是這樣，百花齊放，讓我們無(wú)法維護(hù)。 為了運(yùn)維，我要選擇100個(gè)不同的網(wǎng)站100次。

為什么我們不能要求一致？ 我們站在組件化的高度和要求上，只能選擇一種應(yīng)用場(chǎng)景。 這一次，我們可以將這些組件化做到極致。

說(shuō)完我們的一些框架和組件化的例子服務(wù)器運(yùn)維技術(shù)，通過(guò)提出這樣的需求，我們的運(yùn)維團(tuán)隊(duì)讓我們的每一個(gè)業(yè)務(wù)開(kāi)發(fā)，開(kāi)發(fā)出來(lái)的框架基本上就是里面的樣子。 還有一些組件如TGW和L5沒(méi)有介紹。 可以在搜索引擎上找到之前的分享。

明天我非常希望能和大家充分討論這個(gè)概念。 當(dāng)我們的業(yè)務(wù)架構(gòu)層級(jí)長(zhǎng)成這樣的時(shí)候，無(wú)論是手動(dòng)運(yùn)維還是監(jiān)控，都非常方便。

剛才一位老師提到了一件讓我覺(jué)得很有啟發(fā)的事。 我們應(yīng)該如何衡量應(yīng)用程序？ 指標(biāo)是什么樣子的？

今年是騰訊內(nèi)部的直播年。 騰訊自己也在做直播。 僅靠我們的社交直播應(yīng)用程序可能還不夠。 各個(gè)開(kāi)發(fā)團(tuán)隊(duì)都在做直播。 不同的直播如何衡量？

所以這個(gè)時(shí)候，運(yùn)維團(tuán)隊(duì)就起到了非常重要和決定性的作用。 我下來(lái)就是說(shuō)，直播的質(zhì)量和系統(tǒng)應(yīng)該是這樣看的，這些指標(biāo)我都給大家定好了。

我覺(jué)得很多東西，不是說(shuō)技術(shù)好壞，而是看誰(shuí)更適合去做。 這個(gè)時(shí)候侯運(yùn)維作為一個(gè)公共支撐團(tuán)隊(duì)，權(quán)力更大或者應(yīng)該規(guī)范這樣的事情，讓我們?nèi)ズ饬客|(zhì)化的業(yè)務(wù)場(chǎng)景。

接下來(lái)的兩部分完成了我們的理念。 我們要怎么著陸？ 細(xì)節(jié)是怎樣的？ 下面有一張全局圖。

在我們的社會(huì)運(yùn)維團(tuán)隊(duì)中，我們主要的運(yùn)維產(chǎn)品有四大部分：一個(gè)是智云，主要負(fù)責(zé)人工運(yùn)維的方向，還有一個(gè)天網(wǎng)，還有我們的報(bào)表系統(tǒng)，是專門做用來(lái)做我們可以測(cè)量的。 最后是手機(jī)運(yùn)維MSNG，里面包含了很多子系統(tǒng)。 明天主要講智云的一小部分。

3、人工運(yùn)維技術(shù)細(xì)節(jié)

明天我們重點(diǎn)說(shuō)說(shuō)智云，這是智云的核心功能點(diǎn)。 標(biāo)準(zhǔn)化之后，需要做很多事情，這樣就可以輕松實(shí)現(xiàn)人工運(yùn)維工作。

說(shuō)到人工運(yùn)維，大家都在講標(biāo)準(zhǔn)化、運(yùn)維規(guī)范。 它們到底是什么？ 明天真想和大家一起打開(kāi)這個(gè)黑匣子，看看騰訊運(yùn)維的標(biāo)準(zhǔn)化程度如何？

我們把業(yè)務(wù)架構(gòu)分成不同的層次，雖然是剛才的圖的另一種表達(dá)方式。 五層，不同的層次，我們要做的標(biāo)準(zhǔn)化是針對(duì)不同的對(duì)象。

像我們的設(shè)備層有哪些標(biāo)準(zhǔn)？ 統(tǒng)一型號(hào)，計(jì)算型，內(nèi)存型，SSD，你用的是關(guān)系型數(shù)據(jù)庫(kù)，你要用什么型號(hào)，你要用大硬盤，你是做web的，標(biāo)準(zhǔn)顯存就夠了。

尤其是在當(dāng)今這個(gè)虛擬化的世界里，如果讓一個(gè)企業(yè)可以隨意選擇它的模式，對(duì)我們來(lái)說(shuō)將是一個(gè)額外的工具。 騰訊這么大的體量，容不得我多掉一個(gè)運(yùn)維對(duì)象。

所以我用紅色標(biāo)注了幾個(gè)字，就是減少運(yùn)維對(duì)象。 和其他業(yè)務(wù)層一樣，你是一個(gè)IM類的應(yīng)用，架構(gòu)肯定是三地三活分布的。 QQ的調(diào)度方案必須和QQ空間一致。 所以我們所做的一切都是為了減少運(yùn)維對(duì)象。

減少運(yùn)維對(duì)象后如何實(shí)現(xiàn)？ 在開(kāi)發(fā)之前，整個(gè)產(chǎn)品生命周期被分成幾個(gè)部分。 開(kāi)發(fā)前、上線前、上線中、運(yùn)營(yíng)中，在不同的階段考慮不同的點(diǎn)。

開(kāi)發(fā)前要知道業(yè)務(wù)形態(tài)是什么樣的，可能用到什么樣的組件，什么樣的框架。 這時(shí)候硬編碼IP的想法或者對(duì)本地存儲(chǔ)很敏感的情況基本就避免了。

雖然只是記下來(lái)了，但是在真正的運(yùn)維工作中，我并沒(méi)有說(shuō)我們每次上線產(chǎn)品都要，時(shí)間不夠用。

當(dāng)我們形成了這樣一種開(kāi)發(fā)和運(yùn)維合作的文化之后，開(kāi)發(fā)團(tuán)隊(duì)就會(huì)跟進(jìn)，只是在不同的階段，我們提出不同的要求。 每一個(gè)需求也會(huì)對(duì)應(yīng)一個(gè)我們運(yùn)維的工具體系來(lái)支持它，也就是說(shuō)我們的標(biāo)準(zhǔn)化是可以落地的。

下面看一下我們互聯(lián)網(wǎng)業(yè)務(wù)架構(gòu)層的分層特點(diǎn)，針對(duì)不同層級(jí)的對(duì)象構(gòu)建對(duì)應(yīng)維護(hù)對(duì)象的系統(tǒng)。 該系統(tǒng)形成的數(shù)據(jù)將在我們的配置管理CMDB上進(jìn)行結(jié)構(gòu)化和實(shí)施。 這個(gè) CMDB 在整個(gè)人工運(yùn)維過(guò)程中起到了非常核心的作用。

什么是CMDB層？

我們的開(kāi)發(fā)和運(yùn)維在思維模式上有著本質(zhì)上的不同。 我們?cè)贑MDB中提出了一個(gè)概念，就是模塊的概念。 為什么會(huì)有模塊的概念？ 也許開(kāi)發(fā)者聽(tīng)到了自己寫的一組代碼。 對(duì)他來(lái)說(shuō)，這套代碼部署在一處，部署在三處。

但是對(duì)于騰訊來(lái)說(shuō)，我們所有的核心服務(wù)都是三地三中心。 用戶方面，上海的用戶數(shù)量與北京不同，南方的用戶數(shù)量和容量也與北方不同。 數(shù)量不一樣，提前規(guī)劃的機(jī)房也不一樣。

這時(shí)候，我們提出了一個(gè)概念，就是模塊。 這個(gè)模塊必須按照運(yùn)維的命名規(guī)則來(lái)定義，存儲(chǔ)我們的固定資產(chǎn)、硬件配置、軟件配置、運(yùn)行設(shè)置、資源配置、流程配置、測(cè)試用例等信息。

存這種東西有什么用？

如果CMDB可以一下子看到我們整個(gè)QQ的某個(gè)功能，分布在北京、上海、深圳的容量分布圖，或者記錄下這個(gè)模塊的測(cè)試用例。 這樣我們?cè)谧鍪謩?dòng)化的時(shí)候，我可以在部署之后手動(dòng)調(diào)整它的測(cè)試用例，手動(dòng)測(cè)試完之后上線。 要實(shí)現(xiàn)這個(gè)目標(biāo)，無(wú)非就是為手工化做鋪墊。

1、智云的運(yùn)維思路

后面還是會(huì)講思路和概念。 接下來(lái)兩部分介紹了標(biāo)準(zhǔn)化以及如何將標(biāo)準(zhǔn)化做成我們的配置，然后最后一步就是實(shí)現(xiàn)手動(dòng)化。

手動(dòng)化的過(guò)程在技術(shù)上似乎很簡(jiǎn)單。 無(wú)非就是配置一堆結(jié)構(gòu)化的數(shù)據(jù)，用一些手工的手段或者寫批處理腳本，全部上傳到機(jī)器上恢復(fù)。

現(xiàn)在業(yè)界比較流行，口號(hào)是BUILD、SHIP、RUN（構(gòu)建、傳輸、上傳到生產(chǎn)環(huán)境執(zhí)行），但實(shí)際上真的有那么理想嗎？

上圖是我們?cè)隍v訊每次發(fā)布的時(shí)候做的。 其實(shí)我陷害的內(nèi)容并沒(méi)有幫助我們解決問(wèn)題。 怎么申請(qǐng)業(yè)務(wù)權(quán)限，可能是騰訊很有特點(diǎn)的。

大家知道，騰訊的很多業(yè)務(wù)都是在QQ的關(guān)系鏈系統(tǒng)下發(fā)展起來(lái)的，并不是所有的業(yè)務(wù)都有拉QQ關(guān)系鏈的權(quán)限。 訪問(wèn)QQ關(guān)系鏈必須經(jīng)過(guò)授權(quán)，這是鏡像部署無(wú)法解決的問(wèn)題。 而我們智云平臺(tái)必須要解決這樣的事情。

據(jù)悉，測(cè)試中還有一些問(wèn)題無(wú)法解決。 比如有人說(shuō)我直接在測(cè)試環(huán)境下測(cè)試，做了個(gè)鏡像，就可以了。

但是我們QQ有一些大集群，上千臺(tái)機(jī)器。 每次發(fā)送都會(huì)重啟嗎？ 這也不現(xiàn)實(shí)。 測(cè)試結(jié)果如何？ 怎么解決灰度問(wèn)題？ 到底如何上網(wǎng)？ 也沒(méi)有解決上網(wǎng)的問(wèn)題。 對(duì)于我們網(wǎng)站類的應(yīng)用，還是需要加入外域解析，加入DNS。 怎么做

為了解決這個(gè)問(wèn)題，我們內(nèi)部整理了一個(gè)最適合騰訊社交的流程，如右圖所示。

我們將整個(gè)手動(dòng)部署過(guò)程可視化為六大步驟，但分解下來(lái)畢竟有23個(gè)步驟。 為了兼容業(yè)務(wù)特性的部署發(fā)布，我們帶上一些我們運(yùn)維需要的部署發(fā)布，而且還要有測(cè)試環(huán)節(jié)，要有灰度環(huán)節(jié)，最后完成上線。

我們將我們的手工流程可視化為23個(gè)步驟，并將其放在我們的資源平臺(tái)上，資源平臺(tái)起到什么作用？ 或者它有什么特別之處？ 我們用七大要點(diǎn)來(lái)概括，如右圖所示。

首先，它必須能夠推廣。 所有運(yùn)維經(jīng)驗(yàn)都是存儲(chǔ)在CMBD上的一種配置項(xiàng)資源，需要提出很多標(biāo)準(zhǔn)。 這個(gè)標(biāo)準(zhǔn)是在我們管理不同對(duì)象的運(yùn)維系統(tǒng)上實(shí)現(xiàn)的，最終是協(xié)同的。

這么多特性構(gòu)成了智云的整個(gè)技術(shù)框架，今天就不講了，因?yàn)槲矣X(jué)得不需要那么多復(fù)雜的東西。

2. 人工運(yùn)維核心組件

想和大家深入交流一下核心CMDB和人工運(yùn)維的流程體系，通過(guò)我們的傳輸通道，把我們的工具一一對(duì)接起來(lái)。

只要做到這一點(diǎn)，你的運(yùn)維效率就會(huì)提高很多，不需要完全人工或者無(wú)人化。 為什么要無(wú)人值守？ 本來(lái)500臺(tái)機(jī)器，10個(gè)人，一個(gè)人50臺(tái)機(jī)器很輕松。

上圖是我們CMDB最重要的技術(shù)框架，歸根結(jié)底是關(guān)系型數(shù)據(jù)庫(kù)。

我們需要保存什么配置項(xiàng)來(lái)設(shè)計(jì)表的結(jié)構(gòu)，但是我們可以提供，這樣我們的工具系統(tǒng)就可以調(diào)度了。

想要部署一個(gè)包系統(tǒng)，首先要知道運(yùn)行的對(duì)象是誰(shuí)？ 這個(gè)對(duì)象的模塊名稱是什么？ 我剛剛提到了一個(gè)非常重要的點(diǎn)。 我們統(tǒng)一了開(kāi)發(fā)和運(yùn)維的語(yǔ)言。 我們需要為這個(gè)模塊的每個(gè)部署安裝什么包？ 發(fā)送什么配置？ 最近入駐我們的CMDB數(shù)據(jù)庫(kù)，拉低調(diào)整我們的流程系統(tǒng)，調(diào)整我們的傳輸工具，把這個(gè)資源推送到我們的生產(chǎn)環(huán)境。

推送之后，需要啟動(dòng)流程體系，啟動(dòng)步驟，測(cè)試步驟，灰度步驟，上線步驟，一步一步來(lái)。 這就是為什么人工運(yùn)維的核心很重要，就看我們用什么樣的材料來(lái)做這道菜了。

下一步是工藝系統(tǒng)。 目前業(yè)界還沒(méi)有非常合適的開(kāi)源方案，我們還在做流程體系。 去年，我們做了一個(gè)新版本，希望讓它更健壯。

假設(shè)我們寫了100個(gè)腳本，就一個(gè)大腳本，把這100個(gè)腳本串起來(lái)就是我們的流程體系。

它可以由某些數(shù)據(jù)觸發(fā)，有一些決定在什么時(shí)候在流程中運(yùn)行哪些工具，或者當(dāng)一個(gè)工具失敗時(shí)，是否重試或者運(yùn)行分支流程，或者停止報(bào)警，這就是我們的流程系統(tǒng).

我們之前提供了一些函數(shù)頭。 上面的工具可以自己寫邏輯，通過(guò)一些公共的輸入輸出函數(shù)，讓工具自己處理的輸入輸出可以被進(jìn)程理解，傳遞給下一個(gè)工具。

主要核心就是做這么一個(gè)東西，結(jié)構(gòu)長(zhǎng)什么樣都無(wú)所謂，所以明天畫的是原理，不是結(jié)構(gòu)。 如果想看流程體系的結(jié)構(gòu)，可以搜索我分享的手動(dòng)運(yùn)維PPT，就是那種結(jié)構(gòu)。

最后是傳輸通道，如何讓進(jìn)程流起來(lái)？

終于要運(yùn)營(yíng)生產(chǎn)環(huán)境了怎么辦？ 在騰訊，我們用一個(gè)C/S的框架來(lái)實(shí)現(xiàn)我們所說(shuō)的命令通道，可以傳輸文件，執(zhí)行命令。

你寫一個(gè)C/S，自己配置一個(gè)合約，傳一堆文件。 它可以解析指令，執(zhí)行它們，找到相應(yīng)的文件并執(zhí)行它們。 這些是我們傳輸通道的一些最基本的功能。

傳遞函數(shù)就這么簡(jiǎn)單還不夠嗎？

基于安全考慮，我們也需要注意自己的源頭IP權(quán)益，避免被黑客黑入肉機(jī)后隨便發(fā)起批量操作，損害大廠商的聲譽(yù)。

二是用戶身份的完善。 QQ運(yùn)維是不可能操作QQ音樂(lè)設(shè)備的。 其實(shí)兼職是可以的。 我們會(huì)對(duì)執(zhí)行的命令做一些分析，避免高危操作，避免有人失戀想刪庫(kù)走人。

還有就是限制目標(biāo)的IP，這跟我們生產(chǎn)環(huán)境管理的理念是息息相關(guān)的。 其中有幾個(gè)是系統(tǒng)運(yùn)維之類的。 由于他負(fù)責(zé)整個(gè)10萬(wàn)臺(tái)機(jī)器，一次1萬(wàn)臺(tái)機(jī)器要處理10次，而不是一條命令。 獲得 100,000 個(gè)單位，因?yàn)槿藗兛偸菚?huì)犯錯(cuò)誤。

完成這個(gè)CMDB流程體系后，也就有了傳輸通道。 如果你的公司規(guī)模或者你管理的設(shè)備量不大，效率上面已經(jīng)說(shuō)的非常高了。

大家可以想一下，我要操作的對(duì)象都在配置管理上，配置一個(gè)流程執(zhí)行，就是先安裝包，然后啟動(dòng)相關(guān)包，然后調(diào)用測(cè)試程序，連接灰度到兩臺(tái)機(jī)器。 在域名上，去驗(yàn)證沒(méi)有問(wèn)題，然后全量上線。 我們點(diǎn)幾下按鈕就解決了，不需要完全無(wú)人值守。

但是騰訊的體量還是不夠，所以我們做了無(wú)人值守，要做這七點(diǎn)：你的設(shè)備怎么管理？ 如何做決定？ 我應(yīng)該使用哪種設(shè)備？

而我們的智能決策，應(yīng)該依靠什么樣的數(shù)據(jù)決策，應(yīng)該啟動(dòng)什么樣的流程？

假設(shè)我們有一個(gè)web層有10臺(tái)機(jī)器，8臺(tái)機(jī)器同時(shí)掛了。 當(dāng)只有一臺(tái)機(jī)器掛了，我們不需要馬上報(bào)警，因?yàn)橛袥Q策系統(tǒng)。

我知道web層的機(jī)器是無(wú)狀態(tài)的。 我直接重啟踢下線，又掛了又掛。 當(dāng)5臺(tái)機(jī)器都掛了，決策系統(tǒng)才能做出決定。 它的IP號(hào)超過(guò)30%是不可用的，這時(shí)候就不能不發(fā)通知了。 這個(gè)時(shí)候就應(yīng)該給運(yùn)維人員發(fā)通知，讓人介入這件事情。 這是我們的明智決定。

還有我們的人工測(cè)試和灰度量。

灰度管理系統(tǒng)根據(jù)什么策略來(lái)考慮灰度量。 還有變更復(fù)檢，有沒(méi)有基礎(chǔ)指標(biāo)，CPU，你新上線的設(shè)備是否符合當(dāng)前設(shè)備的CPU曲線，或者有沒(méi)有業(yè)務(wù)監(jiān)控，你可以告訴我，這些是一些東西在變更時(shí)需做復(fù)檢。

還有日志通知。 當(dāng)手動(dòng)系統(tǒng)與監(jiān)控系統(tǒng)聯(lián)動(dòng)時(shí)，就像是在做一個(gè)改變。 那里有商業(yè)警報(bào)。 一旦這兩個(gè)數(shù)據(jù)關(guān)聯(lián)起來(lái)，就可以不發(fā)出業(yè)務(wù)告警了。 哪一個(gè)取決于監(jiān)控系統(tǒng)的告警策略？ 建筑。

三、實(shí)際案例

完成這七點(diǎn)后，能達(dá)到什么境界呢？ 是騰訊QQ會(huì)員的真實(shí)案例。 如果你用的是騰訊的產(chǎn)品，那你肯定收到過(guò)騰訊發(fā)給你的紅點(diǎn)。

有的處女座一定要點(diǎn)那種紅點(diǎn)，量馬上就到。 這對(duì)運(yùn)維來(lái)說(shuō)是一場(chǎng)噩夢(mèng)。 如果不提前規(guī)劃好容量，業(yè)務(wù)請(qǐng)求量就會(huì)飆升。

但是有了無(wú)人值守的運(yùn)維能力，你什么都不用做。 你會(huì)收到郵件提醒，無(wú)論是聊天工具彈框還是手機(jī)郵件提醒你當(dāng)前正在執(zhí)行手動(dòng)擴(kuò)容，它自己完成了整個(gè)過(guò)程。

自從我們完成了三個(gè)核心部分，并協(xié)助他們完成了最后七個(gè)步驟，可以說(shuō)我們?cè)谑止せ矫嬉呀?jīng)達(dá)到了人生的巔峰。

最后跟大家總結(jié)一下：明天分享的主題不會(huì)做的很大服務(wù)器運(yùn)維技術(shù)，大家回家看看，我們有什么樣的管理對(duì)象可以標(biāo)準(zhǔn)化，怎么去框定，以及框架搭建好之后，如何在這些標(biāo)準(zhǔn)場(chǎng)景下實(shí)現(xiàn)最高效的運(yùn)維。

我們的標(biāo)準(zhǔn)化和配置，然后把流程系統(tǒng)和我們需要做的一切都連接到標(biāo)準(zhǔn)的對(duì)象上，最終可以實(shí)現(xiàn)我們的手動(dòng)運(yùn)維。 好了，明天的分享到此結(jié)束，謝謝大家。

闡明

本文來(lái)自中國(guó)應(yīng)用性能管理行業(yè)盛會(huì)——2016中國(guó)應(yīng)用性能管理大會(huì)（簡(jiǎn)稱2016），由聽(tīng)云等聯(lián)合主辦，8月起在廣州新廣東皇冠假日酒店隆重召開(kāi)18 日至 19 日。