基于分布式微服務全鏈路實時監控系統開發與應用

摘要：本文針對全鏈路業務監測平臺——Message-Box-Tracing進行總體設計和開發，并提出監測和檢測微型博客的分散服務系統。通過開發者、測試者、運營者三方的協作，對分布式微服務全鏈路實時監控系統進行聯合檢測，最大限度地降低因發現錯誤帶來的人力物力、時間與能量的耗費，在此基礎上，根據軟件發展的有關原理，從工程角度對系統的作用和組成進行說明，并對如何實現此系統進行論述。

關鍵詞：分布式；全鏈路；實時監控；微服務

一、引言

目前所有網絡公司均有獨立的全鏈路監測技術，谷歌在2005年就發布全鏈路監測技術，并完成了全鏈路監測系統原型。此后，各網絡企業紛紛借鑒谷歌對全鏈路監測的開放源碼理念和開發原型，逐漸向企業系統開展全鏈路的業務拓展。淘寶的“雙十一”堪稱網絡并發奇跡，全鏈路監測是該平臺得以適時保障、為企業創造豐厚利潤的重要保障。騰訊、百度等企業也通過自身全方位的監測手段，始終確保體系的平穩、秩序以及使用者的順暢使用。

二、需求分析

（一）功能性需求

1.客戶端探針需求分析

客戶端探測系統是對各部門商業系統起到重要的功能，它的功能是生成各種不同商業系統之間的數據流鏈路，在服務發生行動時，可以通過嵌入的方式生成相應的鏈接數據，并對其進行分析。

（1）在調用鏈路的上行，要求信號信道截取程序對原來的請求進行攔截。

（2）請求信道篩選器首先要確定該請求的種類，根據要求進行響應，組合鏈接索引[1]。

（3）接收的信息通道將會產生一個新的線程進行監聽，如果被要求接收的服務過程中出現不正常的行為，或者發出不正常的舉動，則會被偵聽到，并做出相應的回應。

（4）一個應答信道截取程序將在鏈接的下游截獲最初的應答。

（5）所述應答通道濾波器在收到所述應答后，將找到所述鏈接結構的所述請求的發送時間。

在全鏈路用戶探測系統中，通過對用戶探測系統的使用實例進行研究，可以了解各層次用戶需要滿足的要求。基于數據流程圖進行分析，能夠判斷系統功能，該過程中，信號偵聽器將截取來自上行業務的最初要求，并且產生一個要求定單，將這個定單傳送到信道濾波器[2]。

首先，通過獲取用戶的指令，建立一個分布式跟蹤ID，以確保其在網絡中的獨特性。

其次，將用戶的請求數量、業務數據以及索引結構跟蹤ID相融合，形成一份索引指令，并保留下來，同時生成一個監聽程序，用于監視業務動向，如果發生意外，則會將其添加到索引指令中，作為備份。如果一個下行的服務已經執行完畢，則應答截取程序就會截取這些應答，然后將這些消息抽取到一個新的命令中，最終分發程序會執行兩項操作，一是向全鏈路服務器傳送指標，二是將具有特定指標的應答返回到上層。

要向鏈路體系遞交的最終定單就是含有目前鏈接的全部資訊的指數定單。從收到一個要求的瞬間，就會將一個索引命令組合起來，在截取一個請求的同時，將其添加到上面的要求中，再產生一個全球唯一的ID：Trace-ID，這個ID與后續的檢索中的ID是一樣的。通常來說，要對此鏈接進行查詢的工作人員，例如程序開發者、商業系統測試者、運營人員，均可以有選擇地將應答的Trace-id進行存儲，供日后參考[3]。偵聽器被激活后將上游和下游的系統的運行狀況都記錄下來，最終下游的系統完成后，這個指標指令也會被添加到相應的信息中，此指標信息如下：

①對報頭的要求；

②所述狀態代碼的回傳；

③整體上的獨立唯一跟蹤標識符；

④對下游的體系進行不正常處理。

接著對用戶探頭進行函數劃分，其中用戶探測系統可劃分為三個部分：請求處理通道、行為監聽通道以及應答過程通道。例如：

（1）要求處理通道會對上行的數據要求進行截獲，并確定是哪種請求，相應地針對每一種要求，都會為其創建相應的索引，在生成索引指令的同時，會生成一個分布的跟蹤標識符，以確保在分布的系統中，目前所產生的標識符具有全球唯一性，確保沒有發生任何碰撞。此時，使用的裝配機構會將請求的標題、請求的數據以及全局唯一跟蹤標識符進行打包，并加以存儲。最終，在原來的要求外，將鏈接的資訊加入要求標頭，開始偵聽[4]。

（2）偵聽程序：從一個請求的線程中分離出一個單獨的、活躍的服務，其作用是監聽一個具有鏈接的請求的活動路徑，在路徑上注意是否有任何不正常的舉動，并且要時刻準備將數據送回來，如果出現不可控制的狀況，則會立即將異常消息和終止監聽；

（3）應答處理通道會截取下行通信完成后的應答，并收集通信流中的諸如應答狀況代碼、應答數據等信息，并將請求線程生成的所述指標指令從目前存儲器中提取出來，并添加到指令中，向整個鏈路監測服務器發送響應，并向節點提供指標應答。

（二）全鏈路監控服務端前端機需求分析

1.前端機需求

全鏈路監測服務端的作用相當于人類與系統之間的一座橋梁，其主要的作用是對權限進行管理，無論是維護還是測試，或者開發者，他們都有自己的工作，他們也只有對承擔的工程進行檢查，從而確保資源的隱秘性和隔離性。該過程中要將商業之間的相互依存性展示出來，而上游和下游之間的聯系，則可以讓觀眾清楚地看到商業的邏輯操作是如何進行的，也能看到一條服務線路包括的全鏈路上各鏈接的資訊，讓觀眾了解該商業鏈接中哪些地方發生問題，從而提升查找問題的速度。

前端設備除了可以看到全鏈路外，還可以完成鏈接的數據采集，用戶發出一個鏈接時，前端機可以將鏈接數據集中起來，將其傳送至數據中心進行存儲。該系統也必須具有自我探測能力，能夠自我檢驗其他設備是否在運轉[5]。

（1）對用戶的訪問權限進行管理和監控，管理員可以設置全局權限，當用戶登錄時，將會產生資源隔離。

（2）查看關于本人的所有業務依賴，可以查看關于自己的業務，以及上下游調用關系，明確數據流向。

（3）檢查某一服務的全部鏈接，該服務隨時接收該服務的請求，通過查詢該服務的全部鏈路，可以看到該服務特定的要求，以及每一個請求的詳細內容。

（4）檢查鏈接中的詳細鏈接來自客戶機，包括特定鏈接的上游請求時間、請求狀態、下游服務呼叫，有無出現任何異常，以及應答狀態。

（5）采集用戶發來的鏈接，用戶將連接到的鏈接數據組合為一個包含全局唯一跟蹤標識的索引，然后將該標識進行匯總，然后將該標識轉發到消息中間件，

（6）心跳探測，該業務端的前端機將心跳信息分組傳輸到其他諸如隊列機器、存儲器等終端，以確定另一方的生命狀況。

2.非功能性需求

所謂的“非功能要求”，就是為了滿足使用者的商業需要，需要具備的特征。商業運作時，除了正常狀態下，還應注意異常事件。例如，當數據流量急劇增加時，數據有可能失去，這并非因為偶然損失，而是因為使用保險絲，故意損失一部分的數據，以確保系統的正常運轉。當大量數據出現時，線程應用也要格外注意，假設這個服務仍然存在一個下行流，則必須設置多層緩沖，以避免將一個OPS填得滿滿當當或者中斷停機。這種情況下，CPU負荷會變得非常高。所以，有必要清楚地定量非功能要求。

三、監控系統設計與實現

（一）全鏈路客戶端探針

1. Http客戶端探針

根據客戶發送基礎原則，可以將其劃分為HttpClient Handler和HttpServerHandler，都從相同的HttpHandler類中繼承，其中包括探測跟蹤、發送鏈接的數據、Sampler抽樣、Parser類，將Span資料插入請求，adapter功能是對當前計算機IP以及系統所用端口進行寫入，發送前要經handleSend功能裝配Span，在Span結構中還有一種枚舉類型Kind，可以確定此枚舉的某個類型，并根據抽樣速率判定，如果確定要抽樣，則首先查找線程內有無Span或者新的Span，將Span數據放入request后再轉發。如果另一個服務提供應答，則會通過handlerReciver功能，將所有應答信息和狀態代碼提取出來，然后將這些信息重新組合成一個完整的Span[6]。

2. GRPC客戶端探針

GRPC探測器的一個類別依賴性圖表，與其他RPC類似，例如Dubbo、Motan，其中GRPC非常有效。所以，以GRPC為例，分析其如何使用鏈接數據探測技術。首先，這一探測中，同樣是一個有環的服務呼叫就會有兩個處理程序，像Http一樣，但此處是一個攔截者。這兩類一個是Grpc客戶端接口，一個是Grpc客戶端接口，其結構與基礎結構相似，首先構建Tracer，經Sampler抽樣驗證，獲取局部線程構建Span；其次，引入一個用于偵聽RPC的應答，并根據應答進行操作，并將定制的回調功能添加至該類中，一旦收到RPC反應，就會被調用。類似于GrpcServerIntercepter的函數遵循服務器的基礎環函數，將請求RPC的資料構建成Span，然后放至本機線程內。

（二）全鏈路監控服務端前端機

1.權限控制

用戶訪問權限是用戶訪問網絡的關鍵，是防止用戶違規操作的關鍵，也是提高用戶工作效率的根本措施。將SpringSecurity用于許可管理架構中，采用該框架是出于以下原因：

首先，與Spring是一個高度融合的架構，在Spring架構基礎上，使用SpringSecurity進行融合。

其次，部分具有較強整合的控制許可方法，其中有概要控制、數據庫控制、TAuth和OAuth控制、本文采用的單一登錄CAS控制。

最后，其控制顆粒小，可以滿足各種需要，還可以通過一個較高層次的過濾鏈條完成。只有當使用者檢視資訊時，才會使用特權控制。

2.鏈路數據收集

鏈路采集則是對用戶探頭發出的鏈接信息進行采集。在向前置器發送鏈路的數據時，客戶先對該數據的合法性進行判定，該判定的先決條件如下：

首先，該客戶對該標識比特進行序列化鏈路的同時，將在該標識比特中增加4個比特的二進制，該接收過程中，4個標志比特滿足該條件，如果滿足該條件，則對該4個標志比特進行解壓縮、譯碼，獲得的是一個實例的鏈路徑，將該調用的結果加到一個調用函數中，根據采集的結果執行。

其次，通過抽樣速率驗證服務器，驗證是否可以采集所需數據，向信息中介機構傳送鏈路地址進行回調。采集鏈路時，會出現大量線程，給每一個線程設定5分鐘時限，一般以秒量級速度進行。

（三）監控系統測試

全鏈路監測系統中，用戶端是全鏈路數據傳輸中關鍵的一環，因為各部門對各種服務的實施方法不盡相同，所以對探頭也適用于各種情況。表1顯示Dubbo探測器對阿里巴巴RPC的測試案例。

四、結束語

綜上所述，實時監控系統在一定程度上滿足了基于分布式網絡的實時監測任務，但受時間、人員等因素的限制，某些功能還有待改進，并不斷進行改進。此外，程序上尚有一定的改進空間。與此同時，網頁也需要改進，以提升使用者的感受。研發系統時，也意識到技能水平還存在缺陷，只有通過不斷學習，才能夠獲取更多的信息，從而擴大眼界，提高實力。

作者單位：杜輝 任建新 劉峰 趙政 中鐵云網信息科技有限公司

杜輝（1978-），男，山東肥城，碩士，工程師，研究方向：信息化。

參考文獻

[1]黃濤，高麗婷.基于Spark的實時數據采集與處理[J].河北建筑工程學院學報，2022，40（04）：176-179+188.

[2]張明杰，張才俊，江帆，張波，楊照輝.面向指標體系的業務運營實時監控系統[J].計算機時代，2022，（06）：62-65+70.

[3]張衛星.智能分布式饋線的自動化系統分析[J].集成電路應用，2021，38（11）：84-85.

[4]米亮.分布式碼流實時監控與錄制系統的設計與實現[J].電視技術，2021，45（08）：140-142.

[5]郭文鑫，王海柱，趙瑞鋒，劉洋，王可.分布式實時資源數據采集裝置的設計[J].自動化技術與應用，2021，40（07）：30-32+41.

[6]莊清霖.基于ZigBee協議的分布式光伏電站運行數據實時監控系統[J].農村電氣化，2021，（07）：57-59.