探尋醫院業務智能運維之路

莊一峰

在數字化醫療時代，確保醫院業務穩定運行，故障快速恢復，亦是爭取搶救時間的重要一環。某醫院通過業務運維平臺，以用戶訪問體驗為中心，從業務故障的感知、定位再到故障的通知、解決為主線，進行業務可用性的實時探測和業務訪問體驗的實時分析，幫助運維人員迅速定位和排查故障。通過通信手段，將故障信息及時告知運維人員，有效壓縮業務故障定位時長，為業務快速恢復爭取寶貴時間。

醫院信息化規模隨著門診量的增加而不斷擴大，其IT環境亦日益復雜，但醫院缺乏全局的業務運維管理平臺，業務系統訪問異常時無法事先感知，往往前端報障后，根據業務故障現象查找故障原因，無法實時監測業務使用狀態，亦無法感知用戶訪問業務系統的體驗，故障處理時也是依據經驗，無法快速界定問題點。

信息化建設達到如此大的規模，針對業務系統訪問體驗的監控和管理就成為至關重要的命題，傳統被動響應、憑經驗排查的方式，已經遠遠落后于信息化建設，無法滿足業務的實際需求。為了確保業務系統的健康運行、數字化醫院建設的穩定推進，科學高效的信息化管理手段必然要緊跟其上。參照IT運維管理經驗，采用智能化、自動化的業務運維管理工具，建立了一套自上而下、主動長效的運維管理機制，以此提高信息化建設的工作效率和管理水平，發揮IT運維對業務的最大價值。

（一）7*24小時實時檢測業務訪問狀態

1.功能方案

業務運維管理平臺可通過部署仿真點，模擬某個區域真實用戶對業務系統進行訪問，以便實時掌握業務系統的訪問狀態。將仿真點部署在重點關注區域，該仿真點對業務進行連通性和登錄功能的探測，探測結果即代表了該區域或IP分組是否能正常訪問業務系統，以及登錄服務是否正常。可根據需要設定仿真點對業務系統探測的頻度，實現7*24小時不間斷的周期性模擬訪問，當無人訪問時也可發現業務問題。

運維人員通過業務看板，隨時了解業務系統訪問狀態，一旦業務出現異常，系統將產生告警，并通過不同顏色表示不同告警級別，幫助運維人員判斷、處理問題的緊急程度。

2.技術原理

仿真點通過訪問連通性探測、腳本探測、Traceroute探測等方式實現對業務系統的探測，系統根據探測的結果以及用戶真實訪問體驗數據配置告警規則，系統根據規則產生告警，并自動更新業務應用的狀態，讓用戶能一目了然地了解業務系統的運行情況。

（二）感知并量化用戶訪問體驗

1.功能方案

業務運維系統可感知并量化用戶對業務系統的訪問體驗，當用戶訪問業務系統出現緩慢、卡頓時，代表了該網絡質量或應用性能出現了異常，系統可對關鍵業務系統中的網絡異常、應用性能異常進行及時發現，幫助運維人員提升用戶對于業務系統的訪問體驗，減少抱怨或投訴。

業務運維系統的業務詳情中提供了訪問卡慢的分析，列出了影響應用性能或網絡質量的指標，系統將根據閾值判斷業務系統是否存在訪問卡慢的情況。當出現訪問卡慢異常時，異常指標將變為橘色標識，提醒并幫助運維人員進行分析。

2.技術原理

（1）流量探針

業務運維管理系統通過部署流量探針，獲取所有真實用戶訪問業務系統產生的網絡數據包，并采用深度包分析技術進行分析，幫助運維人員定位業務系統卡慢的原因，提升問題處理效率，保障業務系統的穩定運行。

在用戶訪問業務系統的數據傳輸路徑上，選擇一個集中位置，通常是核心交換機或是核心路由器部署流量探針，以便獲取用戶訪問業務的全量數據。

（三）業務故障智能定位

1.功能方案

當用戶反饋業務系統無法訪問或訪問卡慢時，之前運維人員需要經過復雜的分析過程，才能定位到是網絡問題還是業務應用問題，同時需要協調部門其他人員協助共同解決故障。

目前通過業務運維系統，可以快速地分析故障嚴重程度和影響范圍，分段定位故障原因，界定出責任人，提高故障處理效率。

當系統產生了業務告警，用戶可在告警詳情中看到故障的分析結果。

（1）訪問通斷分析

顯示仿真點撥測的異常結果，可清晰定位出訪問路徑中哪個節點出現連通性問題，是DNS、網絡、主機或應用問題。

（2）訪問卡慢分析

顯示網絡質量和應用性能指標，根據閾值判斷。當業務出現卡慢時，可以根據閾值判斷出DNS、網絡還是應用哪一類的指標出現了異常。

2. 技術原理

告警規則將根據仿真探測結果和真實用戶訪問結果，通過故障現象分析，內置一套告警產生規則。告警規則中通過真實數據測試給出通用閾值，也可以根據用戶實際場景，靈活調整條件和閾值，以便于適合各種情況。

（四）流量精細化管理

1.功能方案

當發生流量異常變化時需要定位故障源，或是分析一段時間內的流量構成時，運維人員可通過流量分析功能，分析全局或各分支網段網絡質量、流速趨勢，以及流量的構成匯總統計等。

在全局網絡視角，通過網絡質量和流量占比，支持按照區域、源IP、目的IP統計流量的TOP5及流量占比。在各分支網段視角，支持匯總統計給定時間窗口下的所有用戶訪問所有目的IP的流量，分別呈現總流量、上行流量、下行流量匯總值。

流速趨勢及流量構成分析，是通過上行流速和下行流速在一段時間內的占用趨勢查看波峰波谷識別流量規律及異常大流量，并可鉆取IP流量詳單查詢流量原始流水定位異常的流量占用。

信息技術人員還可以通過流量回溯功能查看出現異常時刻的用戶訪問流水，清晰的了解每一條流水具體的訪問來源、訪問目的、訪問流量以及響應時延等，有利于迅速定位問題發生原因。

2.技術原理

流量探針可獲取全量的用戶訪問產生的網絡數據，對不同協議的數據包進行深度包解析，包括DNS協議、TCP協議、HTTP協議下的數據包以及按照IP層的流量進行匯總。通過對上述協議中的數據包的內容進行轉化和分析，提供按五元組的方式進行詳單查詢，如協議、源IP、源端口了、目標IP、目標端口。

（五）故障自愈

1.功能方案

業務運維平臺提供了廣義的腳本管理框架，實現對運維過程的各類腳本的統一管理、批量下發和執行，支持基于規則的故障自愈處理。當業務系統產生告警時，自動調用自愈規則順序執行批量動作，進而滿足日常巡檢、智能備份等常見運維場景。通過自動化技術手段，執行日常運維過程中重復性、有規律的例行工作，釋放運維人員的精力，減輕運維人員的工作量。

2.技術原理

系統通過使用多種協議來執行用戶定義的命令、腳本等，將這些命令和腳本打包成文件下發到服務器上執行，來實現對于資源自動化操作。

（六）優化業務運行環境

1.功能方案

業務運維平臺可根據一段時間內的用戶訪問數據提供歷史回溯功能，幫助運維人員分析業務運行過程中各項性能指標的增長趨勢和變化，如在線用戶數、并發連接數、流速等，為持續優化業務運行環境提供有力的數據證明，提升業務系統的穩健性，減少業務系統出現故障的概率，降低因為網絡帶寬、磁盤空間等環境因素導致業務系統發生問題的風險。

業務運維平臺的歷史回溯功能，可按時間范圍查看在線用戶數、并發連接數、HTTP請求個數、HTTP請求時延、平均流量和流速的趨勢圖。

2.技術原理

業務運維管理系統的流量探針可獲取全量的用戶訪問業務的網絡數據包，經過提取和匯總形成各種時間精度的趨勢圖進行呈現，用戶可根據需要進行鉆取分析，支持展示趨勢統計分析的指標，如：業務負載和用戶體驗類指標、網絡性能類指標和應用性能類指標。

借助業務運維平臺，醫院技術部門發現并成功處理了一起棘手的故障問題。據悉，某醫院電子病歷系統做了版本升級，而數據庫服務器及存儲在這之前也做了更換和升級，但臨床科室仍反映電子病歷系統登錄及使用還是偏慢，體驗感較差。軟件廠商先后仔細排查了組件服務、數據庫并重啟了服務器，均無效果。正當一籌莫展之際，偶然機會下通過該業務運維平臺分析、定位后發現，電子病歷系統大多數層面（如網絡、數據庫、IIS）都顯示正常，唯獨中間層加載運行需要額外消耗較多的時間，后經深入排查，系中間層虛擬服務器部署于一臺SAS存儲的宿主機上，I/O性能不足導致部分連接延時或者超時，進而引起電子病歷系統卡慢。知悉該情況后，醫院技術人員立即將該虛擬服務器遷移至具有高性能SSD存儲的宿主機上，最終問題迎刃而解。

（一）一分鐘內感知業務故障，運維變“被動”為“主動”

業務運維平臺采用撥測方式來定時模擬用戶訪問業務行為，把監控范圍擴大到用戶端。當無人訪問時，能通過撥測點的告警來發現故障并及時修復，讓用戶訪問時做到故障無感知。在有人訪問時，也可以快于用戶報障感知、分析問題，做到及時響應。早于用戶感知問題，盡早修復問題，大幅提升運維效率。

（二）一分鐘定位業務卡慢原因，縮短排查時間，提高處理效率

當故障出現時，很多時候運維人員不確定是網絡問題還是應用問題，是部分用戶問題還是全部用戶問題，不同問題的處理方式和責任人不一樣。而業務運維平臺通過位置（IP分組）、鏈路（DNS、網絡、主機、應用）、指標（延時率、重傳率、可用率等）三個不同維度，定位故障點并給出處理建議，幫助運維人員快速分清責任人。

（三）廣域網流量的精細化管理，清晰掌握網絡質量和流量占比

針對面臨無法精細化分析廣域網流量的難題，對于各分支網段的網絡質量、廣域網流量構成及流量占比往往缺少有力的支撐工具，對于異常流量進行回溯分析時也缺乏數據支撐。

業務運維系統提供了大量的數據存儲能力，可保存一定時間內的原始數據包，同時保存多種協議的數據流、會話等數據，可隨時分類查看及調用任意時間段的數據，當發現問題時提供一定時間范圍內的流量回溯分析，為快速定位問題發生的原因提供了更全面的分析依據和數據分析保障。

（四）故障自愈，簡單故障快速處理，減少業務宕機時間

原先運維人員接到告警信息后，需要制定解決方案并進行下一步動作。在業務運維平臺中用戶可以根據不同業務，使用標準協議（SSH/WIMRM）通過命令或腳本來自定義動作。當產生告警時，自動或手動觸發這些動作，達到自動恢復的效果，從而對繁雜的、有規律的例行操作，釋放運維人員的精力，減少重復性工作量，提升運維工作效率。

（五）為優化方案提供數據支撐，輔助做出決策

業務在不斷地發展變化，對于運行環境的要求也在發生變化。當需要優化業務運行環境時，如擴充網絡帶寬、增加服務器磁盤空間或增加服務器內存等事項，過往較難提供具有說服力的數據依據。而業務運維平臺可提供業務以及支撐業務運行的組件指標進行關聯分析，為優化決策提供強有力的數據支撐。

醫院工作的核心是為病人提供優質的醫療服務，信息技術手段可以通過其在存儲能力、計算能力、傳輸能力等方面的特點和優勢，改善病人就醫體驗，提高醫療效率，改進醫療質量與安全，進而提高醫院的綜合醫療服務水平。近年來，隨著醫改的不斷深入，信息化建設在數字化醫院建設過程中也發生了巨大的變化，信息化建設從醫院業務的“輔助者”逐漸轉變為“引導者”。醫院建設從重“建設”轉變為重“管理”，醫院也借助信息化的手段從“粗放型”管理轉為“精細化”管理。

在數字化醫療的浪潮中，醫院也在不斷尋求增長與突破，借助業務運維平臺實現以用戶訪問體驗為中心，從業務系統故障的感知、分析、定位，再到故障的通知、解決為主線，實時探測業務可用性和網絡抓包分析業務訪問體驗，提升業務系統故障定位效率。充分調動了信息技術人員的工作主動性、積極性，提高信息化工作效率，提升部門團結協作能力和運營管理水平，讓傳統的運維工作煥然一新，讓醫院的IT建設邁向新階段。

作者單位：廈門市兒童醫院

1374500783268