應用軟件運行狀況全掌握

在業務數據和業務處理逐步集中，信息化日益普及的大背景下，軟件系統的大型化和復雜化是必然趨勢，這就對軟件系統的可用性提出了更高的要求。一般而言，軟件系統的高可用性是由軟件的各項技術指標綜合決定的，如軟件系統的穩定性、安全性、可維護性、系統性能等。系統實現了高穩定性、高可維護性、高安全性、高性能，即可以取得高的系統可用性。從應用角度來說，提高這些技術指標的方法可以分為兩大類，一是在問題出現前預警，二是在問題出現后有高效的解決手段，通俗地說就是及早發現和快速解決。

如何為運維人員提供充足、及時的預警，如何為運維人員跟蹤解決問題提供有力的支持呢？孫子說“知彼知己者，百戰不殆”，現代軍事領域也有一個論斷是：“發現即被消滅”，說的都是偵察手段的重要性，如果戰爭一方的行動完全被對方掌握，那他被消滅就是很容易的事情。同樣在應用程序運行維護過程中，如果應用軟件系統的各種運行狀態、各個模塊、各個函數、甚至每個數據的變化都是可知的、可跟蹤、甚至可預測的，也就是說這些信息完全被運維人員所掌握，那么系統正常運行就易于得到保障，即使出現問題解決起來也將不是很難的事情。

本文將應用軟件在運行過程中以多種方式、多層次、多角度將自身運行情況呈現給用戶的能力稱為應用軟件系統的可視性（application visibility）；相應地，具有良好可視性的應用系統稱為可視化應用系統（visual application）。

應用軟件的管理難題

全面掌握應用系統的運行狀況對應用軟件管理員而言非常重要，因為這可以提前發現隱患，一旦出現故障也能及時找到問題之所在。然而，做到這一點并不容易，其中面臨著應用程序監控和系統運維過程的不確定性等諸多難題。

1．應用系統監控之難

與操作系統、中間件等基礎性軟件相比，應用程序的監控要困難得多。比如，中國人壽目前已經建立起來比較完善的基礎平臺監控機制，通過整合利用基礎平臺提供的各種監控接口，統一到監控平臺上，形成一個完整的基礎平臺運行視圖，并增加各種管理功能，取得了很好的效果。其之所以成功，一個很重要的因素是各種基礎平臺，包括硬件、操作系統、數據庫、中間件等都是成熟的通用平臺產品，這些產品自身都包含了豐富的運行監控接口（可稱之為具有良好的可視性），管理者或使用者所做的就是利用和挖掘這些功能，并根據自己的應用特點進行針對性的整合，以統一友好的界面展現給管理人員。

而應用監控雖然也取得了一些非常好的效果，但相比系統監控效果還是有不小的差距，最根本的原因在于應用系統自身沒有提供足夠的、有效的關于自身運行的詳細信息，也就說應用軟件自身不具有很好的軟件可視性。僅從應用程序消耗的公共資源來判斷應用運行情況具有很大的局限性，如跟蹤Tuxedo服務隊列可以判斷某個應用功能的排隊情況，但不能很好地給出進一步的信息。就好像一臺高檔中央空調，僅僅能夠監控它的電壓、電流、溫度這些通用指標是沒法很好滿足監控需要的，要想知道空調運行情況還需要很多指標以反映其內部部件的運行情況。應用程序監控的另一思路是對應用日志的監控，但很多情況下應用程序日志也不能滿足監控要求，需要反過來在源程序中增加針對性的日志輸出。另外，不同應用系統源程序的結構差異使得增加理想日志信息的工作量和風險都具有不確定性，而且這種打補丁的方式缺乏規劃和統一管理。這種狀況其實是反映了程序原有的可視性不能很好滿足應用監控的要求。

2. 系統運維過程的不確定性

目前由于主要應用系統運行文檔、運維文檔不夠完善，系統運維過程中查看源程序仍是最重要的問題定位、問題分析手段。系統運行中出現問題時，界面上和日志文件中的報錯信息是問題定位的切入點，如果報錯信息、日志記錄比較明確、比較完整，運維人員就比較容易跟蹤到出錯前程序的運行軌跡，繼而根據程序上下文邏輯判斷出現問題的根本原因；反之如果日志記錄不明確、不完整。例如，在程序流程跟蹤過程中某個關鍵變量的值變化沒有記錄下來，運維人員判斷和解決起來就困難得多，雖然看得見卻摸不著，這時候問題的解決就需要依靠運維人員的經驗想辦法進行問題重現，有時甚至要修改源程序加入調試信息并模擬運行。這種情況下運維的效率很大程度上依賴程序日志的詳細程度，依賴運維人員經驗的積累，這就導致整體上應用軟件的問題定位效率具有不確定性，直接后果是系統高可用性無法得到保證。

分析其原因，一是目前主要應用系統提供的日志很多是軟件在開發過程中加入的調試信息，并不能稱為軟件系統的運行日志；二是日志側重于記錄出錯現場的異常信息，不注重正常運行信息，而在實際生產環境中，那些在測試環境中從來不出現異常的地方還是會出現異常。

如果解決了目前應用軟件系統的日志不全面的問題是不是就可以適應將來的需要，尤其是大集中系統的需要呢？筆者認為仍然不能滿足。按目前的模式，在源程序中加入全覆蓋的日志，將對系統運行效率、運行日志空間消耗、日志跟蹤效率帶來新的問題，因為對于特大型軟件系統，系統邏輯復雜，程序調用層次多，并發操作量巨大，而且規范的應用軟件維護模式不是以源程序為基礎的，源程序對運維人員是不開放的。

軟件可視性的

兩個特征

要解決應用軟件管理中存在的上述難題，需要從多方面著手，其中之一就是提高應用軟件的可視性。理想的應用軟件可視性應具有以下特性：

1．多角度

可視性良好的應用軟件是一個“白盒”系統。不同類型的用戶可以從各自的角度對其內部進行觀察。用戶可以是前臺操作者、后臺操作者、應用管理者或者系統審計者等。前臺操作者和后臺操作者可以非常直觀地看到自己已經完成、正在進行、將要進行的操作，也可以看到操作對象的全面信息，包括歷史信息、相關信息；應用管理者可以看到權限范圍內系統中正在進行的所有操作員和操作對象的活動信息和歷史信息；系統審計者可以看到權限范圍內所有操作和對象的歷史信息。

2. 結構化

可視性良好的應用軟件可以實現結構化、系統化的觀察（或監控）。如果軟件的監控平臺是軟件的儀表板，應用軟件可視性功能則是儀表板和各運行單元之間以及運行單元內部的傳感器。軟件系統的整體運行狀況、各部件的運行狀況信息可以通過傳感器獲取，并傳遞給儀表板，以方便及時地展現在用戶的面前，給出一個軟件系統運行情況的全貌。這是軟件系統可視性的最基本要求。

在儀表板的基礎上，可以對各個部件的運行情況進行進一步深入的展現，逐層展現部件內部的運行情況，類似于數據倉庫中的下鉆分析。相對于傳統機械設備和模擬電子設備，應用軟件系統作為純數字信息系統，在數據采集、數據管理上具有更大的優勢，應該比空調、汽車更易于實現。

關注可視性

對運行效率的影響

目前，大型應用系統所消耗資源主要分為主機資源和存儲資源兩大方面。要實現應用系統完全的可視性，在主機資源和存儲資源上的開銷都將是十分巨大的，可能會影響系統的運行效率和存儲效率。在運行效率方面，類似的情況如Informix的存儲過程trace模式和非trace模式在效率上的不同，其運行效率有一倍以上的差異；在存儲效率方面，保證良好的可視性特征所需的存儲開銷將隨著業務處理集中程度的提高、業務規模不斷發展而快速增長，如不進行有效管理，數據量可能超過業務數據量甚至存在數量級上的差異。

運行效率方面的問題解決可以采用類似于數據庫的優化策略。這并行操作是關鍵，即將系統可視性方面的資源開銷同程序主業務邏輯處理所占資源獨立分配，如采用物理獨立的數據庫和文件系統以及獨立的內存空間，主程序通過特定方式將可視化信息填寫到這些專用的空間，再由專用的進程或工具進行整理、加工和展示。類似于Oracle 10g的自動負載倉庫 (Automatic Workload Repository)機制。

存儲效率方面問題的解決關鍵是分級管理，根據可視化數據的性質、時效、歷史價值、用戶等屬性不同而采用不同的存儲、轉存、銷毀策略。

筆者認為在主機資源上占用主業務邏輯處理程序的15%#12316;20%；存儲資源上占用主業務數據40%左右是值得的。值得注意的是，特大型應用軟件系統的可視性對系統整體性能的影響。特大型應用軟件系統都是多層結構。通常如果基本的三層結構無法滿足開發效率上的要求，企業還會在公共中間層開發平臺基礎上開發出企業自己的更有針對性的中間層（企業中間件），以提高開發效率。這樣的中間層定位于通用標準中間件和應用軟件之間，其效率高低對整個應用系統的影響是非常敏感的。同時其穩定性、可靠性要求也是更高。對這樣的企業中間件，其可視性要求可以參照通用中間件軟件如Tuxedo、Weblogic等的可視性功能機制，而不納入應用軟件的可視性要求范圍，以減輕應用系統自身的壓力。

應用軟件可視性的動態啟停也是實現可視性過程中值得關注的一個問題，對系統性能的影響也要考慮。應用軟件可視化動態啟停是指應用軟件可視化特性實現邏輯與業務處理邏輯之間保持弱耦合，并支持運行間打開和關閉。目前應用系統普遍采用的日志模式和非日志模式兩個版本程序，即正常情況下使用非日志模式程序，在需要進行程序運行跟蹤的情況下啟動日志模式程序。但這種解決方案是靜態的，對于高可用性要求的應用程序，程序的啟停需要時間窗口，代價和成本是很高的，需要探討更高效的解決方案。

按此思路可以考慮在兩種模式程序之上再包裝一層控制邏輯，在這一層邏輯中動態調用日志模式或非日志模式程序，以實現可視化功能的動態啟停。

有必要指出的是，可視性可能會帶來IT系統安全隱患。為此，可視化特性要保證僅僅是“可視”而已，對主業務邏輯處理流程和業務數據是只讀的，同時要配合進行用戶和權限管理。針對前臺操作用戶、后臺操作用戶、系統管理員、系統審計人員提供不同的可視化界面，保證不會對主業務流程和物理數據造成安全性問題。另一方面，可視性包含了對主業務流程和數據處理的跟蹤，事實上為業務流程和數據安全審計提供了技術支持。

總體而言，可視化特性不是一個具體的技術指標，但仍需要提出總體需求，并針對性地分解落實到業務需求和技術需求的各個模塊中，貫穿系統構架、開發、 驗收的整個過程。而在具體實現上，可視化特性可以繼承和改進公司現有應用中某些效果良好的可視化功能。同時可以參考一些優秀的系統軟件或工具軟件的功能，如可視化開發工具的調試跟蹤機制、Oracle 10g的自動負載倉庫機制等，最終實現應用程序的全面可視、可控、可管以及可預測。