關(guān)于作者：

周慧

自數(shù)甲骨文王，2002 OCP。千禧年以來先后任職于富士康集團(tuán)、平安科技、順豐速運(yùn)，經(jīng)歷了制造業(yè)、金融業(yè)、快遞物流業(yè)IT運(yùn)維的歷史變遷。有幸在金融數(shù)據(jù)集中的黃金時(shí)代負(fù)責(zé)了某金融集團(tuán)的保險(xiǎn)、銀行、證券、投資、基金、信托等數(shù)據(jù)庫的運(yùn)維，完成了其龐大數(shù)據(jù)庫的標(biāo)準(zhǔn)化規(guī)劃和改造過程團(tuán)體。隨著快遞物流的快速發(fā)展，引領(lǐng)順豐科技基礎(chǔ)設(shè)施從原生態(tài)向標(biāo)準(zhǔn)化、系統(tǒng)化、半自動(dòng)化的運(yùn)維模式轉(zhuǎn)變，并完成了規(guī)劃、順豐集團(tuán)新數(shù)據(jù)中心和容災(zāi)中心的建設(shè)和遷移。工作?，F(xiàn)致力于順豐科技運(yùn)維的轉(zhuǎn)型與改革it運(yùn)維技術(shù)，是一名實(shí)踐者。

總有一個(gè)理想，如果實(shí)現(xiàn)了，理想能走多遠(yuǎn)，我們才能一起走多遠(yuǎn)。在實(shí)現(xiàn)理想自由的道路上，我們繪制藍(lán)圖，踏出探索之路的第一步。未來不是夢，即使是夢，也要用一生去完成這個(gè)夢。

一、運(yùn)維密室1.1、密室的墻和鎖

自2007年順豐技術(shù)運(yùn)維部成立以來，隨著物流行業(yè)的快速發(fā)展，其運(yùn)維規(guī)模也一直在瘋狂運(yùn)行。到2016年，技術(shù)運(yùn)維團(tuán)隊(duì)已成長為近200人的大型團(tuán)隊(duì)。為建立專業(yè)技術(shù)能力，自2013年初以來，經(jīng)過三年的建設(shè)，技術(shù)運(yùn)維團(tuán)隊(duì)的組織架構(gòu)和職能已逐步形成：

1、從底層基礎(chǔ)設(shè)施到網(wǎng)絡(luò)、存儲(chǔ)、服務(wù)器、操作系統(tǒng)、數(shù)據(jù)庫和中間件，每個(gè)專業(yè)領(lǐng)域都有專業(yè)的一線團(tuán)隊(duì)負(fù)責(zé)，其工作職能包括規(guī)劃、設(shè)計(jì)、建設(shè)、實(shí)施和日常日常運(yùn)營。

2、外部交付由基礎(chǔ)架構(gòu)架構(gòu)師團(tuán)隊(duì)協(xié)調(diào)，工作模式為流程驅(qū)動(dòng)，通過工單系統(tǒng)進(jìn)行推廣和跟蹤。

3、部門的制度、流程和質(zhì)量由運(yùn)維策劃團(tuán)隊(duì)負(fù)責(zé)，以彌補(bǔ)和彌補(bǔ)技術(shù)團(tuán)隊(duì)管理上的先天不足。

4、整個(gè)技術(shù)運(yùn)維團(tuán)隊(duì)以ITIL系統(tǒng)為指導(dǎo)。

5、基礎(chǔ)技術(shù)軟件已于2015年全面開源。

通過專業(yè)的組織和分工，我們培養(yǎng)了多個(gè)專業(yè)領(lǐng)域的人才，獲得了一定的技術(shù)能力。同時(shí)，我們還系統(tǒng)地形成了基礎(chǔ)設(shè)施建設(shè)標(biāo)準(zhǔn)、設(shè)備引進(jìn)和使用標(biāo)準(zhǔn)、基礎(chǔ)軟件使用標(biāo)準(zhǔn)和適合物流行業(yè)業(yè)態(tài)的標(biāo)準(zhǔn)。建筑標(biāo)準(zhǔn)。受益于這些變化，我們的資源使用效率變得更加合理，系統(tǒng)穩(wěn)定性也逐年顯著提升。

經(jīng)過三年的治理，團(tuán)隊(duì)的組織架構(gòu)、職能和技術(shù)棧都進(jìn)入了相對穩(wěn)定的狀態(tài)，但新的問題也逐漸浮出水面：

1、運(yùn)維團(tuán)隊(duì)都背負(fù)著系統(tǒng)可用性的KPI，最終分解成各個(gè)專業(yè)團(tuán)隊(duì)。在這種評價(jià)模式下，責(zé)任感逐漸顯現(xiàn)。既然變革總是伴隨著風(fēng)險(xiǎn)，本著少做多錯(cuò)的理念，團(tuán)隊(duì)之間的接縫工作或多或少有推卸，專職順利協(xié)作成為奢望。不幸的是，煙囪式的垂直分工比水平分工需要更多的協(xié)作。

2、為了信息安全，嚴(yán)格劃分各種系統(tǒng)和應(yīng)用權(quán)限，很多日常運(yùn)維工作都有上層人員等待下層依賴團(tuán)隊(duì)授權(quán)或代為執(zhí)行。

3、原來的職業(yè)分工導(dǎo)致大家的技術(shù)能力棧收縮，形成技術(shù)能力熱點(diǎn)。對于更全面的專業(yè)技術(shù)問題，研發(fā)和運(yùn)營人員需要尋找相應(yīng)的專業(yè)技術(shù)人員進(jìn)行協(xié)助。經(jīng)?？吹轿覀冝k公室的一位DBA或中間件管理員被很多人圍著分析問題。

至于技術(shù)運(yùn)維團(tuán)隊(duì)本身，各個(gè)團(tuán)隊(duì)同時(shí)進(jìn)入瓶頸期，整體發(fā)展壯大受到嚴(yán)重制約，大多數(shù)人在自己的微觀世界里都沒有意識到。

1.2、密室外的風(fēng)暴

當(dāng)我們的運(yùn)維人員在密室的微觀世界里按照自己的節(jié)奏前進(jìn)，感到舒服的時(shí)候，外面的大世界已經(jīng)在發(fā)生快速的變化。現(xiàn)實(shí)是什么樣的？

商業(yè)：

1、業(yè)務(wù)流量高峰逐年增加，尤其是每年雙十一；

2、業(yè)務(wù)形式越來越多。過去，更有可能是我們自己內(nèi)部用戶使用的各種系統(tǒng)；現(xiàn)在有各種直接的C端和B端用戶；

3、為了適應(yīng)市場的變化，業(yè)務(wù)的調(diào)整越來越頻繁，隨著版本和變化越來越頻繁，傳遞到技術(shù)運(yùn)維端。

技術(shù)方面：

1、云技術(shù)的成熟，降低了企業(yè)對自建技術(shù)運(yùn)維團(tuán)隊(duì)的需求。市場需求的池塘逐漸枯竭，池塘里的許多魚還沒有感覺到變化；

2、全面的開源和技術(shù)的快速演進(jìn)，讓很多傳統(tǒng)的商業(yè)技術(shù)專業(yè)變得無用武之地。工程師要靠自己的本事吃到最后基本上是不可能的。在池塘干涸之前來不及完成進(jìn)化的，可能會(huì)被提前淘汰；

3、的火爆為運(yùn)維開辟了另一條更有效的途徑，進(jìn)而對現(xiàn)有運(yùn)維人員提出了新的素質(zhì)要求。運(yùn)維人員需要具備研發(fā)能力，并能夠運(yùn)用這種能力來提高運(yùn)營效率和質(zhì)量。

密室里面是斜風(fēng)細(xì)雨，密室外面又是暴風(fēng)雨，不可能做魚干。

二、運(yùn)維審判日

我們對IT運(yùn)維工作做了四象限分解（如下圖）。從價(jià)值來看，理想的情況是技術(shù)運(yùn)維團(tuán)隊(duì)需要在右象限投入更多的資源，但實(shí)際情況是我們近70%的精力消耗在左象限的基礎(chǔ)日常工作上象限，做各種布朗運(yùn)動(dòng)。

基于對運(yùn)維工作四象限分解的反思，我們總結(jié)出運(yùn)維的五種死法：

2.1、龐大的熟練度

經(jīng)過三年的專業(yè)化和標(biāo)準(zhǔn)化，我們的工程師對平時(shí)的日常工作已經(jīng)非常熟練了，新的一天的工作只是n+1的重復(fù)；工程師們在鍵盤上打字的手越來越快，但他們的腦袋卻逐漸麻木，在工作中逐漸失去了獨(dú)立思考的能力。

2.2、工作效率降低

很多日常的IT運(yùn)維交付工作真的只需要幾分鐘就可以完成，但從用戶需求到層層審核再到交付給用戶，可能需要幾天的時(shí)間。大團(tuán)隊(duì)普遍存在的效率低下的問題是，煙囪式的垂直專業(yè)分工會(huì)隨著依賴團(tuán)隊(duì)數(shù)量的增加而進(jìn)一步放大，讓用戶苦不堪言。透過現(xiàn)象看本質(zhì)，其實(shí)時(shí)間是花在溝通和等待上的。

2.3、向內(nèi)觀察黑洞

在企業(yè)IT團(tuán)隊(duì)中，從技術(shù)的角度來看，技術(shù)運(yùn)維團(tuán)隊(duì)往往具備專業(yè)的技術(shù)能力，但從業(yè)務(wù)價(jià)值鏈的角度來看，技術(shù)運(yùn)維團(tuán)隊(duì)處于價(jià)值鏈的末端；從完整的工作流程來看，技術(shù)運(yùn)維團(tuán)隊(duì)往往是最后一環(huán)，而不是IT大軍的第一線。在價(jià)值認(rèn)知錯(cuò)位、信息孤立的情況下，如果沒有完全的理性和充足的一線信息，技術(shù)運(yùn)維人員就會(huì)形成各種負(fù)面的自我，匯聚成內(nèi)心視覺的黑洞。

2.4、自制鏈條

起初，隨著公司的成長，該部門建立了KPI、規(guī)范、流程、標(biāo)準(zhǔn)、預(yù)算、成本等各項(xiàng)制度，為系統(tǒng)化、規(guī)范化的管理做準(zhǔn)備。它們的出現(xiàn)使運(yùn)維工作有序高效。規(guī)劃、規(guī)劃，并在起步階段起到了很好的作用。但在某些情況下，這些機(jī)構(gòu)會(huì)表現(xiàn)出陰暗面，成為組織的桎梏和桎梏，例如：

1、制度和流程執(zhí)行過度，無視人的主動(dòng)性，所有人都被制度和流程帶走，團(tuán)隊(duì)的創(chuàng)造力被閹割。

2、系統(tǒng)和流程所引導(dǎo)和約束的事物是不斷變化的，但系統(tǒng)和流程卻跟不上變化的步伐，最終成為工作的包袱和爛鏈。

3、關(guān)注管理者的需求，忽略用戶和一線的聲音，忘記建立制度和流程的初衷。制度和流程最終成為皇帝的新衣。

2.5、自動(dòng)化缺點(diǎn)

當(dāng)IT運(yùn)維團(tuán)隊(duì)達(dá)到一定的能力和規(guī)模后，將進(jìn)入運(yùn)維工作的自動(dòng)化構(gòu)建階段，并在一開始就給予解決各種問題的良好期望。很多時(shí)候，IT運(yùn)維團(tuán)隊(duì)發(fā)起的自動(dòng)化工作，優(yōu)先解決運(yùn)維團(tuán)隊(duì)自身的問題，不一定站在用戶的角度。

我們從 2015 年下半年到 2016 年上半年開始自動(dòng)化運(yùn)營；本來希望可以節(jié)省勞動(dòng)力，提高效率和質(zhì)量，但結(jié)果卻不盡如人意。自動(dòng)化的任務(wù)結(jié)束了，整體的交付效率沒有發(fā)生質(zhì)的變化，用戶也沒有變得滿意?；仡櫾颍医K于明白，我們都是在做執(zhí)行端的自動(dòng)化，也就是把之前的人工執(zhí)行工作自動(dòng)化，解決了運(yùn)維主管自己的問題，但并沒有解決效率低下的問題交付工作流程。因?yàn)橐粋€(gè)用戶需求是從審核提出，到修改，最后反饋給用戶，這個(gè)過程是很長的。許多人所做的自動(dòng)化只是自動(dòng)化他們自己的執(zhí)行，

三、運(yùn)維夢

經(jīng)過一系列的反思和自我判斷，我們看到了技術(shù)運(yùn)維團(tuán)隊(duì)未老先老?？偨Y(jié)如下：

1、失去創(chuàng)造力，工作僅限于維護(hù)現(xiàn)有技術(shù)和架構(gòu)特征類型系統(tǒng)的可用性，未能系統(tǒng)地進(jìn)行前瞻性的整體技術(shù)能力建設(shè)，以支持公司未來對IT機(jī)箱技術(shù)的發(fā)展需求。

2、愿景在縮小，規(guī)劃設(shè)計(jì)工作聚焦自身痛點(diǎn)，無法從公司業(yè)務(wù)發(fā)展中有效拓展IT底盤能力的廣度和深度。

3、官僚主義越來越官僚化，流程等規(guī)章制度成了盾牌和隔音墻。當(dāng)需要技術(shù)炮火時(shí)，團(tuán)隊(duì)已經(jīng)筋疲力盡，無法再為前線提供有效支持。

4、坐以待斃，只關(guān)注技術(shù)本身，忽視價(jià)值貢獻(xiàn)，無法鏈接和跟進(jìn)公司的技術(shù)戰(zhàn)略。

綜上所述，感覺技術(shù)運(yùn)維團(tuán)隊(duì)已經(jīng)是寒山夜雨，千山暮雪，如何沖破身心的牢籠，實(shí)現(xiàn)自我救贖？經(jīng)過多輪思考和頭腦風(fēng)暴，我們認(rèn)為技術(shù)運(yùn)維工作的理想狀態(tài)應(yīng)該是：

四、陰謀

方向明確，目標(biāo)在彼岸。如果我們達(dá)到它怎么辦？更細(xì)心的執(zhí)行、更負(fù)責(zé)任的態(tài)度、更細(xì)粒度的管理都解決不了問題。只有突破現(xiàn)有的思維模式，立足現(xiàn)狀，不拘泥于現(xiàn)狀，才有出路。我們決定從以下六個(gè)方面進(jìn)行突破：

1、重新定義對專業(yè)技術(shù)能力的要求。技術(shù)運(yùn)維人員需要在精通或精通基礎(chǔ)軟件應(yīng)用的基礎(chǔ)上，具備研究和引進(jìn)新技術(shù)的能力或運(yùn)維研發(fā)能力。

2、專業(yè)的技術(shù)支持團(tuán)隊(duì)有責(zé)任以系統(tǒng)的方式提供便捷的自助服務(wù)渠道，實(shí)現(xiàn)依賴團(tuán)隊(duì)的能力解耦。

3、業(yè)務(wù)是第一要?jiǎng)?wù)。在工具平臺(tái)開放前，將從現(xiàn)有專業(yè)團(tuán)隊(duì)中招募精英，組成全棧技術(shù)能力運(yùn)維團(tuán)隊(duì)，支持敏捷產(chǎn)品團(tuán)隊(duì)的運(yùn)維支撐工作。

4、在不降低運(yùn)維質(zhì)量要求的前提下，將原有ITIL的管控環(huán)節(jié)抽象為規(guī)則邏輯，嵌入工具平臺(tái)。

5、所有自動(dòng)化工作都堅(jiān)持端到端的用戶思維，讓用戶以自助的方式享受服務(wù)。原有流程環(huán)節(jié)通過規(guī)則引擎植入運(yùn)維系統(tǒng)，對用戶透明。

6、持久化內(nèi)容存儲(chǔ)必須是可編程的，可以扁平化技術(shù)架構(gòu)，降低工作依賴程度，進(jìn)一步統(tǒng)一X86 IT設(shè)備。

經(jīng)過深思熟慮，我們啟動(dòng)了以下五項(xiàng)工作：

對于主線任務(wù)微視，任務(wù)組在年初制定了完善的計(jì)劃（如下圖），計(jì)劃在2017年4月上旬交付資源自助，然后轉(zhuǎn)入優(yōu)化七月的階段。

五、我撞墻了

在美好愿景的推動(dòng)下，我們將原有專業(yè)團(tuán)隊(duì)的部分優(yōu)勢轉(zhuǎn)移到需求團(tuán)隊(duì)。研發(fā)和實(shí)施團(tuán)隊(duì)主要是沒有做過運(yùn)維工作的Java工程師。步入煉獄，進(jìn)入兩個(gè)月的無盡循環(huán)。

在這一切都出了問題之后，兩個(gè)月后，參與這項(xiàng)任務(wù)的同事，無論是為了需求還是為了結(jié)構(gòu)，每天都在互相指責(zé)，沒有結(jié)果，筋疲力盡，痛苦不堪。傳統(tǒng)運(yùn)維、運(yùn)維、研發(fā)的艱辛已經(jīng)遠(yuǎn)遠(yuǎn)超出了當(dāng)初的預(yù)期。

一個(gè)接著一個(gè)，有的成員開始放棄，有的平臺(tái)和前端研發(fā)離開，產(chǎn)品經(jīng)理不玩了，架構(gòu)師也跑了。

六、面對墻壁

骨干人員集體對墻，對任務(wù)進(jìn)行回顧和反思，最終制定了以下五項(xiàng)規(guī)則：

七、打破圍墻

客觀和理性再次成為行為的主流。大家停止了相愛相殺的爭吵，運(yùn)維大腦（微視）的設(shè)計(jì)理念終于出爐。

1、基于KVM、OSS提供的標(biāo)準(zhǔn)接口，實(shí)現(xiàn)底層資源的可編程；原有的SAN、NAS、LB硬件設(shè)備以封裝原子服務(wù)的形式實(shí)現(xiàn)資源分配的可編程性；

2、OS上的DB、MW、MQ等軟件服務(wù)以封裝的原子服務(wù)的形式實(shí)現(xiàn)；

3、用編排框架實(shí)現(xiàn)整個(gè)工作流的編輯和管理；日程安排輔以任務(wù)管理能力；

4、具體架構(gòu)和運(yùn)維規(guī)則邏輯在上層功能模塊中實(shí)現(xiàn)；

5、通過授權(quán)認(rèn)證模塊實(shí)現(xiàn)登錄和認(rèn)證的處理；

6、面向用戶體的功能模塊包括自助配送服務(wù)、自助服務(wù)、自適應(yīng)和管理視圖模塊。

按照這個(gè)概念，次元stone()的原型如下：

經(jīng)過六個(gè)月的不懈努力，我們已經(jīng)迭代到1.5版本，實(shí)現(xiàn)了容器管理平臺(tái)、KVM、自交付模塊和自助服務(wù)四大塊的階段性目標(biāo)，1.6的迭代已經(jīng)開始切入管理視圖部分的容量管理功能。隨著功能的逐步上線，運(yùn)維團(tuán)隊(duì)的工作方式和工作內(nèi)容也開始發(fā)生相應(yīng)的變化：

1、專業(yè)的團(tuán)隊(duì)可以充當(dāng)優(yōu)秀的資源供應(yīng)商，只需要做好線上資源的庫存管理；

2、需求方無需通過工單系統(tǒng)進(jìn)行拆單，直接在微視工作平臺(tái)獲取資源，最后給出良性反饋：“終于可以優(yōu)雅工作了”。交付效率比以前提高了1到2個(gè)數(shù)量級；

3、由于存在誤操作風(fēng)險(xiǎn)，不需要在人力最緊缺的晚上進(jìn)行大量例行變更it運(yùn)維技術(shù)，打破人員與工時(shí)反向差的瓶頸；

4、專業(yè)能力依賴于解耦。此前，由于專業(yè)能力和安全權(quán)限，需要排隊(duì)的專業(yè)組同事提供的服務(wù)可以在工作臺(tái)上獲取。這部分還在進(jìn)一步優(yōu)化中。

Stone() 和 VM

八、現(xiàn)在和未來

今天，我們還在加強(qiáng)運(yùn)維研發(fā)能力建設(shè)：

我們意識到過去我們認(rèn)為不可能的事情經(jīng)歷了很多艱苦的工作。只要我們努力，我們就能實(shí)現(xiàn)。可以預(yù)計(jì)，再過一年，可以達(dá)到部分自適應(yīng)、自愈的運(yùn)維水平。

九、運(yùn)維自由

最后，希望廣大運(yùn)維人員能夠自由自在。內(nèi)心的自由，不用時(shí)時(shí)刻刻害怕，如履薄冰，擔(dān)心不能按時(shí)交付東西，擔(dān)心系統(tǒng)故障。這個(gè)夢想，希望廣大運(yùn)維同仁一起實(shí)現(xiàn)！

結(jié)尾