01. 傳統(tǒng)監(jiān)控與可觀測差異

傳統(tǒng)監(jiān)控體系是面向靜態(tài)資源通過主動撥測方式構(gòu)建的時序監(jiān)控指標(biāo)視圖，其前置條件需要明確觀測對象及觀測指標(biāo)，基于指標(biāo)體系工程師能夠了解哪些系統(tǒng)是確定工作的。在云原生觀測場景下指標(biāo)覆蓋不全、業(yè)務(wù)侵入性大、數(shù)據(jù)關(guān)聯(lián)性差、缺乏基于業(yè)務(wù)視角異常感知機制等問題凸顯，傳統(tǒng)監(jiān)控能力難以適應(yīng)云原生架構(gòu)動態(tài)變化、服務(wù)依賴復(fù)雜、信息組織多樣的現(xiàn)實問題，無法從全業(yè)務(wù)流量鏈路上有效定位問題，故障處置不及時整體業(yè)務(wù)連續(xù)性遇到較大挑戰(zhàn)。

云原生觀測體系通過多維觀測數(shù)據(jù)鏈路trace、時序指標(biāo)metric、日志明細(xì)log進行有機融合構(gòu)建體系化觀測體系，通過無侵入采集動態(tài)插碼技術(shù)降低業(yè)務(wù)觀測成本。同時提供豐富的業(yè)務(wù)應(yīng)用視角的觀測手段包括依賴分析、性能剖析、故障排錯及根因定位，實現(xiàn)從被動感知到主動觀測、從被動響應(yīng)到主動觀測體系建設(shè)的思維模式轉(zhuǎn)變，從而達(dá)到了解已知、防范風(fēng)險、探索未知的觀測目標(biāo)。

監(jiān)控可類比中醫(yī)基于脈搏時序檢測依賴人為經(jīng)驗判斷，依賴經(jīng)驗豐富的工程師；可觀測類比西醫(yī)，通過各種觀測手段rum、apm、日志、基礎(chǔ)監(jiān)控構(gòu)建全量觀測體系白盒診斷，讓醫(yī)生對系統(tǒng)實時進行全面體檢，發(fā)現(xiàn)問題所在。

02. 云原生時代應(yīng)用可觀測問題

云原生應(yīng)用架構(gòu)在落地敏捷開發(fā)、快速迭代、彈性伸縮的同時將原有的單體應(yīng)用拆分成多個獨立部署相互通信的組合應(yīng)用，應(yīng)用數(shù)量指數(shù)增長業(yè)務(wù)模塊間的依賴關(guān)系錯綜復(fù)雜，不同業(yè)務(wù)層級不同維度難以建立實時有效關(guān)聯(lián)的映射關(guān)系；同時，隨著容器頻繁啟停監(jiān)控對象及其指標(biāo)變化成為常態(tài)故障現(xiàn)場難以留存、故障問題難以有效定位。以上云原生架構(gòu)的觀測難點給應(yīng)用運維的故障分析、根因定位、業(yè)務(wù)連續(xù)穩(wěn)定帶來嚴(yán)峻挑戰(zhàn)。云原生應(yīng)用觀測難點概述為以下兩點：

1）信息維度復(fù)雜，難以建立多維數(shù)據(jù)關(guān)聯(lián)映射關(guān)系

云原生應(yīng)用的監(jiān)控度量涉及應(yīng)用進程、中間件、容器編排平臺、容器進程、資源基礎(chǔ)設(shè)施等相關(guān)層級資源屬性和性能指標(biāo)；其次，應(yīng)用排障及性能剖析涉及多個服務(wù)、多個組件復(fù)雜交互關(guān)系，需根據(jù)請求鏈路依賴關(guān)系分析故障根因。

2）架構(gòu)動態(tài)變化，故障現(xiàn)場難以留存問題難以定位

伴隨業(yè)務(wù)規(guī)模和復(fù)雜度提升需要對服務(wù)不斷進行拆分，軟件架構(gòu)的變化成為常態(tài)；容器部署架構(gòu)基于聲明式面向終態(tài)的設(shè)計思想，部署資源實例對象變更頻繁，服務(wù)節(jié)點飄逸成為常態(tài)。基于多維明細(xì)數(shù)據(jù)和指標(biāo)數(shù)據(jù)關(guān)聯(lián)映射構(gòu)建的運行時觀測分析矩陣能有效回溯歷史故障現(xiàn)場。

03. 云原生觀測體系核心建設(shè)路徑

1）統(tǒng)一觀測模型、建立觀測標(biāo)準(zhǔn)

面向云原生體系下不同的觀測組件、多維的觀測數(shù)據(jù)汗牛充棟，如何將不同的觀測組件和觀測數(shù)據(jù)進行有機融合建立統(tǒng)一觀測模型、構(gòu)建觀測標(biāo)準(zhǔn)是建立云原生觀測體系首要解決的核心問題。Peter Bourgon 在2017年2月撰寫了一篇簡明扼要的文章， 叫 “Metrics, tracing, and logging” 首次提出可觀測的三大支柱將觀測數(shù)據(jù)按數(shù)據(jù)類型和應(yīng)用場景劃分為鏈路數(shù)據(jù) trace 、時序指標(biāo)數(shù)據(jù) metric、明細(xì)日志文本數(shù)據(jù)log 。鏈路數(shù)據(jù)trace基于特定標(biāo)識提供單筆請求的全量調(diào)用路徑自動構(gòu)建系統(tǒng)運行時軟件架構(gòu)，提供清晰排障路徑。時序指標(biāo)數(shù)據(jù) metric 是用戶觀測系統(tǒng)狀態(tài)和變化趨勢，基于數(shù)據(jù)波動可有效發(fā)現(xiàn)異常，但無法用于根因定位。明細(xì)日志文本數(shù)據(jù) log 應(yīng)用運行過程的現(xiàn)場留存，保留完整業(yè)務(wù)執(zhí)行明細(xì)，是業(yè)務(wù)排障主要來源。如何將三者進行有機統(tǒng)一，相互融合打造統(tǒng)一觀測體系，核心分為以下三點：

① 統(tǒng)一觀測對象建模

建立全局統(tǒng)一觀測對象模型（可基于CMDB），構(gòu)建多維業(yè)務(wù)對象級聯(lián)關(guān)系，方便數(shù)據(jù)的定位尋址。

② 數(shù)據(jù)關(guān)聯(lián)打標(biāo)

在日志明細(xì)中埋入traceid和spanid，metric指標(biāo)上報埋入業(yè)務(wù)對象標(biāo)簽。

③ 構(gòu)建時間范圍統(tǒng)計關(guān)系

提供基于時間統(tǒng)計維度依賴對象間的下鉆分析能力

呈現(xiàn)效果：

2）構(gòu)建以應(yīng)用為中心的性能評估模型

不同維度的觀測數(shù)據(jù)統(tǒng)一接入后需要對數(shù)據(jù)進行清洗、關(guān)聯(lián)、聚合，構(gòu)建以應(yīng)用為中心將trace、metric、log多維數(shù)據(jù)融合的應(yīng)用性能評價體系，從而基于業(yè)務(wù)視角統(tǒng)一性能評價標(biāo)準(zhǔn)主動發(fā)現(xiàn)性能瓶頸、快速感知故障、高效故障恢復(fù)，保障應(yīng)用系統(tǒng)連續(xù)穩(wěn)定。

3）挖掘持續(xù)觀測運維決策反饋的應(yīng)用場景

以應(yīng)用為中心將性能指標(biāo)、運行日志、服務(wù)事件、請求鏈路進行統(tǒng)計聚合、關(guān)聯(lián)分析、建立服務(wù)全景觀測中樞，實現(xiàn)服務(wù)性能度量、預(yù)測，提供故障根因及性能分析依據(jù)。聯(lián)動標(biāo)準(zhǔn)運維能力及AI賦能加持，基于性能觀測度量結(jié)果構(gòu)建清晰運維決策鏈路，聯(lián)動應(yīng)用發(fā)布、故障處置、容災(zāi)演練、服務(wù)治理構(gòu)建持續(xù)觀測、優(yōu)化改進的雙向閉環(huán)反饋機制，保障系統(tǒng)連續(xù)穩(wěn)定。