藍(lán)鯨是騰訊IEG十多年研運(yùn)探索的經(jīng)驗(yàn)與成果，積累了很多人的智慧與付出。由于騰訊IEG的業(yè)務(wù)特殊性，藍(lán)鯨體系天生地展現(xiàn)出對(duì)異構(gòu)業(yè)務(wù)的友好，避免了需要重復(fù)造輪子才能完成對(duì)多業(yè)務(wù)的支持。本次分享主要介紹藍(lán)鯨研運(yùn)體系在騰訊內(nèi)的發(fā)展、應(yīng)用及未來(lái)的演進(jìn)之路。

*注：以下內(nèi)容整理自：騰訊藍(lán)鯨研運(yùn)體系基礎(chǔ)PaaS負(fù)責(zé)人 陳睿 于 2022研運(yùn)一體創(chuàng)新峰會(huì)的精彩分享——《藍(lán)鯨研運(yùn)體系在騰訊內(nèi)的應(yīng)用實(shí)踐》。

01. 藍(lán)鯨研運(yùn)體系發(fā)展歷程

藍(lán)鯨研運(yùn)體系最早是在騰訊游戲內(nèi)部孵化出來(lái)的，它的作用就是幫助整個(gè)騰訊游戲，能夠更好地進(jìn)行運(yùn)營(yíng)維護(hù)等一系列的支撐工作。

藍(lán)鯨在騰訊內(nèi)部的發(fā)展經(jīng)歷了三個(gè)階段：

• 第一階段，是在CD領(lǐng)域的建設(shè)，稱(chēng)之為AutoOps；
• 第二階段，基于數(shù)據(jù)化的驅(qū)動(dòng)向CO領(lǐng)域拓展；
• 第三階段，最終達(dá)到了AIOps能力。

1）第一階段，CD領(lǐng)域建設(shè)，稱(chēng)之為AutoOps

① 騰訊游戲的特點(diǎn)

• 種類(lèi)非常多，大概有六七百款游戲在運(yùn)營(yíng)
• 游戲的架構(gòu)、開(kāi)發(fā)語(yǔ)言都不相同
• 游戲來(lái)源不同，有些是自研，有些是代理服務(wù)商開(kāi)發(fā)

②“煙囪”問(wèn)題頻繁凸顯

• 為支撐種類(lèi)繁多的游戲，構(gòu)建了各種各樣的運(yùn)營(yíng)支撐系統(tǒng)，調(diào)用非常復(fù)雜、重復(fù)建設(shè)問(wèn)題嚴(yán)重。

③ 為解決早期“煙囪”問(wèn)題，藍(lán)鯨內(nèi)部自建PaaS體系

• 對(duì)這些煙囪系統(tǒng)內(nèi)部的這些重復(fù)模塊，進(jìn)行打平、融合，在融合基礎(chǔ)之上去構(gòu)建上層的服務(wù)場(chǎng)景，由此形成了藍(lán)鯨的工具文化，自建一個(gè)PaaS體系。

④ PaaS體系初步構(gòu)建完成，內(nèi)部實(shí)現(xiàn)運(yùn)維統(tǒng)一

• 首先，將所有的基礎(chǔ)能力進(jìn)行抽象，構(gòu)建一個(gè)公共的服務(wù)層。
• 其次，在服務(wù)層之上通過(guò)更低成本的方式，擴(kuò)充使用場(chǎng)景，立足于自動(dòng)化來(lái)引導(dǎo)工具文化。
• 最后，向其他領(lǐng)域進(jìn)行拓展，形成服務(wù)化分離的早期藍(lán)鯨版本。

藍(lán)鯨在底下沉淀了很多原子能力，如版本管理、作業(yè)平臺(tái)、配置平臺(tái)等。中間通過(guò)一些網(wǎng)關(guān)或者服務(wù)總線(xiàn)之類(lèi)的接口封裝，讓上層的場(chǎng)景能夠很方便地調(diào)用底下原子的能力。

這就是一個(gè)簡(jiǎn)單的運(yùn)維PaaS雛形，形成了藍(lán)鯨的整體架構(gòu)圖。通過(guò)這種方式，在騰訊內(nèi)統(tǒng)一了整個(gè)騰訊游戲的技術(shù)運(yùn)營(yíng)方案。

2）第二階段，基于數(shù)據(jù)化的驅(qū)動(dòng)，向CO領(lǐng)域拓展

在這一時(shí)期，藍(lán)鯨經(jīng)歷了兩個(gè)關(guān)鍵的時(shí)間點(diǎn)：2015年到2016年前后，數(shù)據(jù)化運(yùn)維啟動(dòng)，鋪墊了藍(lán)鯨整體擴(kuò)充AIOps的領(lǐng)域能力。

為了能夠?qū)⒄麄€(gè)PaaS的內(nèi)容向CO部分?jǐn)U展，藍(lán)鯨在整個(gè)PaaS基礎(chǔ)上增加了兩個(gè)平臺(tái)以及三部分的場(chǎng)景，分別是計(jì)算平臺(tái)、AIOps平臺(tái)。

場(chǎng)景層通過(guò)同樣的模式，同樣的PaaS結(jié)構(gòu)，增加了業(yè)務(wù)指標(biāo)視圖、自助發(fā)布系統(tǒng)、日志發(fā)布系統(tǒng)等。這樣就完成了在統(tǒng)一的PaaS結(jié)構(gòu)下，將內(nèi)容由CD向CO進(jìn)行擴(kuò)充。

3）第三階段，達(dá)到了AIOps能力

2018年，全面啟動(dòng)了DevOps的能力建設(shè)，也為將來(lái)藍(lán)鯨走向研運(yùn)一體化提供了基礎(chǔ)。

從CD層向CI層進(jìn)行內(nèi)容擴(kuò)展時(shí)，在平臺(tái)這一層增加了很多CI類(lèi)型的平臺(tái)，例如代碼管理、流水線(xiàn)、編譯構(gòu)建的工具、測(cè)試工具、代碼掃描等等一系列。

CI方面的研發(fā)流程相關(guān)的一些原子能力，藍(lán)鯨在上層增加了整個(gè)業(yè)務(wù)DevOps的工具鏈，能幫助業(yè)務(wù)更好地去構(gòu)建他們的平臺(tái)和業(yè)務(wù)系統(tǒng)。

藍(lán)鯨在騰訊內(nèi)部一個(gè)孵化以及演變的全過(guò)程，整個(gè)藍(lán)鯨的從無(wú)到有，從有再到擴(kuò)展CI CD CO三個(gè)領(lǐng)域。

• 不變的是藍(lán)鯨PaaS的框架結(jié)構(gòu)和基礎(chǔ)組件；
• 變化的是藍(lán)鯨PaaS里增加的內(nèi)容和場(chǎng)景。

02. 藍(lán)鯨研運(yùn)體系在騰訊內(nèi)的應(yīng)用

藍(lán)鯨研運(yùn)體系在騰訊內(nèi)支撐了騰訊游戲所有業(yè)務(wù)，以及CI部分支撐了整個(gè)騰訊公司絕大部分業(yè)務(wù)的系統(tǒng)。應(yīng)用概況呈現(xiàn)出承載業(yè)務(wù)數(shù)量多、覆蓋范圍面積廣、任務(wù)數(shù)據(jù)量龐大、涉及相關(guān)人員多等特點(diǎn)。

1）CI領(lǐng)域場(chǎng)景應(yīng)用

① 典型實(shí)踐：藍(lán)盾平臺(tái)

藍(lán)盾是對(duì)所有藍(lán)鯨能力的封裝，在CI領(lǐng)域的具體體現(xiàn)，其核心服務(wù)大概有以下7部分能力：

② 流水線(xiàn)

可視化的持續(xù)集成流水線(xiàn)服務(wù)，貫穿代碼庫(kù)、版本倉(cāng)庫(kù)、代碼檢查、質(zhì)量紅線(xiàn)、編譯加速等等。

③ CodeCC

自動(dòng)化檢查代碼缺陷的服務(wù)，涵蓋代碼缺陷、安全漏洞、代碼規(guī)范、復(fù)雜度、重復(fù)率等多種維度。

④ 質(zhì)量紅線(xiàn)

通過(guò)設(shè)置質(zhì)量標(biāo)準(zhǔn)，控制流水線(xiàn)的行為，使得最終交付必須符合質(zhì)量標(biāo)準(zhǔn)的一種服務(wù)。

⑤ PreCI

是騰訊CI在IDE下提供的CI服務(wù)，為開(kāi)發(fā)者提供云編譯、代碼分析、單元測(cè)試、測(cè)試、自動(dòng)化部署等CI實(shí)踐。

⑥ 編譯加速

基于分布式編譯技術(shù)、緩存技術(shù)、容器技術(shù)實(shí)現(xiàn)的一套編譯加速解決方案。

⑦ Stream

以Pipeline as code為理念建設(shè)的CI服務(wù)。

⑧ 藍(lán)盾APP

手機(jī)上的CI管家，提供App商店、App版本測(cè)試、移動(dòng)端流水線(xiàn)等 能力的移動(dòng)端服務(wù)。

2）CD領(lǐng)域場(chǎng)景應(yīng)用

① 典型實(shí)踐：全球化管控

立足于中國(guó)本土，覆蓋節(jié)點(diǎn)覆蓋北美、歐洲、東南亞、甚至非洲、南美等全球地區(qū)，都有藍(lán)鯨的管控節(jié)點(diǎn)。

全球化管控的實(shí)現(xiàn)，依賴(lài)于藍(lán)鯨底層通道管控平臺(tái)，管控平臺(tái)處于整個(gè)藍(lán)鯨體系結(jié)構(gòu)里面的最下層，是整個(gè)藍(lán)鯨體系的支撐通道，就像一個(gè)人的腿一樣。

完成對(duì)管控平臺(tái)全球化部署和操作能力的支持后，那么整個(gè)藍(lán)鯨上層的所有平臺(tái)，都能借助這個(gè)能力實(shí)現(xiàn)全球化。

全球化管控，使得整個(gè)藍(lán)鯨PaaS能力在CI、CD、CO領(lǐng)域的應(yīng)用發(fā)揮到極致，所有的能力層級(jí)疊加，層級(jí)拓展，所有的能力都可以復(fù)用。

② 在CI領(lǐng)域，實(shí)現(xiàn)全球制品投遞

在國(guó)內(nèi)編譯的游戲版本，能夠通過(guò)這套系統(tǒng)，隨時(shí)發(fā)布到全球任何一個(gè)地點(diǎn)。

③ 在CD領(lǐng)域，實(shí)現(xiàn)全球資源管控

可以對(duì)全球任何一臺(tái)服務(wù)器，執(zhí)行任何一條命令；能夠從這臺(tái)服務(wù)器上取得任何想要的信息。

④ 在CO領(lǐng)域，實(shí)現(xiàn)全球數(shù)據(jù)采集分析

例如觀測(cè)某一臺(tái)服務(wù)器的監(jiān)控狀況，藍(lán)鯨監(jiān)控可以通過(guò)管控平臺(tái)，觸達(dá)到全球管控范圍內(nèi)的任何一臺(tái)服務(wù)器。

3）CO領(lǐng)域場(chǎng)景應(yīng)用

① CMP平臺(tái)

數(shù)據(jù)平臺(tái)、AIOps平臺(tái)、以及CO內(nèi)的成本分析、根因分析等場(chǎng)景，是藍(lán)鯨在CO領(lǐng)域的典型應(yīng)用，稱(chēng)之為智能監(jiān)控。

下圖右邊的深藍(lán)色部分，是藍(lán)鯨的AIOps平臺(tái)能力抽象模型。有算法部分、數(shù)據(jù)部分，也有一些數(shù)據(jù)的Pipeline、清洗、規(guī)則等。在一些典型的領(lǐng)域可以與日志數(shù)據(jù)、基礎(chǔ)監(jiān)控?cái)?shù)據(jù)進(jìn)行結(jié)合，做一些清理和計(jì)算，通過(guò)它的理論模型做智能的分析，我們就可以讓監(jiān)控變得更加智能。這是藍(lán)鯨研運(yùn)體系在騰訊內(nèi)CO領(lǐng)域的一個(gè)非常典型的應(yīng)用。

下圖是智能監(jiān)控的一個(gè)應(yīng)用案例，通過(guò)調(diào)整檢測(cè)算法里面的參數(shù)，來(lái)達(dá)到在算法層面對(duì)告警靈敏度、精度等數(shù)據(jù)的優(yōu)化。

異常情況的檢測(cè)，可以結(jié)合智能監(jiān)控，通過(guò)算法，模型的學(xué)習(xí)和訓(xùn)練，能夠快速抓住這些異常點(diǎn)，并且將異常點(diǎn)事件發(fā)送給用戶(hù)，或者告警，從而避免造成一些業(yè)務(wù)損失。

4）CD+CO領(lǐng)域的應(yīng)用實(shí)踐

由于藍(lán)鯨PaaS結(jié)構(gòu)的便利性，不同領(lǐng)域的技術(shù)能夠很方便的產(chǎn)生一些交叉和融合，從而促成一些新的技術(shù)。例如智能化應(yīng)用編排調(diào)度、裝箱優(yōu)化。

① 典型應(yīng)用：智能化編排調(diào)度

藍(lán)鯨容器平臺(tái)的架構(gòu)，分為兩層：

② 服務(wù)層

里面包含了集群管理、業(yè)務(wù)管理、數(shù)據(jù)管理等模塊，它主要負(fù)責(zé)跟藍(lán)鯨整個(gè)體系的融匯打通。

③ Runtime層

它主要包括K8S的一些組件，包括K8S的運(yùn)行時(shí)它的Kubelet，以及一些插件，例如CI插件、CNI插件、針對(duì)游戲的Game Operator、支撐游戲的組件、負(fù)載均衡、CA、GPA和驅(qū)逐等等。它的作用是當(dāng)業(yè)務(wù)的資源使用受到瓶頸時(shí)，觸發(fā)一種規(guī)則，這種規(guī)則能夠自動(dòng)的將空閑池里面一部分機(jī)器初始化之后納入到集群里面來(lái)，然后擴(kuò)充業(yè)務(wù)的資源。

④ 典型應(yīng)用：裝箱優(yōu)化

應(yīng)用彈性伸縮的常規(guī)做法，往往是通過(guò)CPU、內(nèi)存的水位分布來(lái)出發(fā)容量預(yù)測(cè)的規(guī)則，但實(shí)際上CPU和內(nèi)存的水位分布不一定能夠真實(shí)地代表業(yè)務(wù)的真實(shí)需求，所以我們可以通過(guò)構(gòu)建模型去將更多的業(yè)務(wù)指標(biāo)納入到水位的管理中。這就是AIOps在CD領(lǐng)域的一個(gè)典型應(yīng)用。

通過(guò)AIOps在整個(gè)容器平臺(tái)這個(gè)領(lǐng)域，藍(lán)鯨做了三部分事情：

• 裝箱優(yōu)化：通過(guò)訓(xùn)練模型來(lái)快速?zèng)Q策容器最優(yōu)分布方案
• 配額推薦預(yù)測(cè)：CPU、mem等資源配額的最合理推薦
• 容量預(yù)測(cè)：根據(jù)歷史數(shù)據(jù)預(yù)測(cè)容量未來(lái)的變化，并驅(qū)動(dòng)調(diào)度系統(tǒng)提前擴(kuò)縮容

對(duì)藍(lán)鯨的PaaS而言，我們認(rèn)為它是一個(gè)有生命力的、不斷成長(zhǎng)的生命體，所有歷史存在的東西都不是包袱而是積累。基礎(chǔ)能力可以在不同場(chǎng)景得到復(fù)用，不同領(lǐng)域的能力能夠方便的產(chǎn)生交流聯(lián)系，并孕育出新的能力。

03. 云原生時(shí)代藍(lán)鯨研運(yùn)體系的自我演進(jìn)

在云原生時(shí)代下，藍(lán)鯨研運(yùn)體系為了能夠更好的支撐業(yè)務(wù)、保障業(yè)務(wù)的運(yùn)營(yíng)，不可避免的需要做一些持續(xù)的自我演進(jìn)，主要有四個(gè)方向：

1）容器化部署

在云原生體系下容器已經(jīng)變成了一種成本更低、更便捷的部署方式，所以在藍(lán)鯨軟件V7這個(gè)版本會(huì)推出藍(lán)鯨整個(gè)容器化部署的一套方案。

2）數(shù)據(jù)體系融合貫通

在云原生時(shí)代有容器、Workload、Service等等模型、元數(shù)據(jù)與傳統(tǒng)的元數(shù)據(jù)不再一樣，這些新的概念需要在藍(lán)鯨體系內(nèi)進(jìn)行數(shù)據(jù)的融匯貫通。例如，CMDB未來(lái)可能支持對(duì)云原生資產(chǎn)的納管、容器和傳統(tǒng)監(jiān)控實(shí)現(xiàn)統(tǒng)一、算力資源內(nèi)部進(jìn)行統(tǒng)一抽象和管理等。

3）云原生網(wǎng)關(guān)

基于APISIX來(lái)重新打造藍(lán)鯨的網(wǎng)關(guān)服務(wù)，并且讓它支持分布式網(wǎng)關(guān)的能力。用戶(hù)也可以在這個(gè)分布式網(wǎng)關(guān)上進(jìn)行各種自定義的擴(kuò)展，當(dāng)然它支持社區(qū)的Lua擴(kuò)展。

4）SaaS應(yīng)用模型

定義一個(gè)藍(lán)鯨SaaS的應(yīng)用標(biāo)準(zhǔn)，然后通過(guò)這個(gè)標(biāo)準(zhǔn)開(kāi)發(fā)的SaaS，不用再去強(qiáng)依賴(lài)藍(lán)鯨原有的開(kāi)發(fā)框架。整個(gè)SaaS應(yīng)用標(biāo)準(zhǔn)，定義和流程也會(huì)更加云原生化，會(huì)更加復(fù)用藍(lán)鯨內(nèi)部的一些云原生能力。