一、前言
數字經濟推動傳統企業數字化轉型,而企業數字化轉型需要完成橫向到邊,縱向到底的信息化系統集成,以實現業務系統之間的數據共享和功能協同,逐步實現企業的業務數字化和數字業務化。集團型企業一般都有多層級的所屬單位,在數字化轉型過程中常常面臨如下問題:在同一個業務條線上,總部與下屬單位的信息化系統各自建設,系統未集成,總部對下屬單位的該項業務管理不可控、數據不可用。在總部和下屬單位的各自內部,不同業務信息系統間未能有效打通,數據無法共享,“部門墻”現象嚴重。如何整合現有的信息化系統,構建適合企業的IT架構至關重要。
二、信息系統的縱向貫通
為及時了解企業整體的經營狀況,集團型企業一般會統一建設人力、財務或供應鏈等信息化系統,根據自身的業務特點,一些企業還會統建OA、科研、投資、合同、審計等管理系統,并在全集團統一部署,取代下屬企業已有的相關系統,實現各業務條線縱向貫通的目的。但往往下屬單位自有的管理系統因與其他業務系統聯系緊密,很難被統建系統取代。
對于業務相對單一且總部管控能力較強的集團型企業,總部可以堅持采用集中統一部署的方式,不惜代價讓下屬企業放棄自有系統,將業務遷移到統建系統上。另外,也可采用比較溫和的“集中 分布”的部署方案,讓集團中規模大、管理成熟、個性化要求高的下屬企業獨立部署自己的業務系統;其他規模較小、個性化不夠明顯的下屬企業與總部共用一套統建系統;下屬企業自有系統的數據需與集團統建系統實現標準化,并同步到集團統建系統中。以上方法既滿足了對業務的統籌管控,又兼顧了各下屬單位的個性化需求。隨著集團總部對下屬業務的了解和管理方式的成熟,統建系統可逐步替代下屬企業的自有系統,最終實現集中統一部署。
集團總部應優先實現各業務條線信息系統的縱向貫通,打通總部到末級子公司之間的信息聯絡,將會給系統間的橫向集成帶來極大的便利。橫向系統集成可集中在總部層面進行,大大減少了系統之間的對接工作量。
三、信息系統的橫向集成
為解決信息孤島問題,企業信息系統之間需完成橫向集成,以便各信息系統像一個整體一樣進行業務處理和信息共享。隨著云計算、大數據、AI等新興技術的發展,信息化集成場景更加多樣、集成范圍更加廣泛,系統集成解決方案也呈現多種形式。根據企業IT架構層次和集成深度,信息系統集成可大致劃分為:數據集成、應用集成和業務過程集成三種形式,而云原生架構已成為集以上三種形式于一體的系統集成架構。
(一)數據集成
數據集成是應用集成和業務過程集成的基礎,主要解決不同應用系統間的數據共享和交換問題。在數據層面,信息系統集成經歷了從傳統數據庫到數據倉庫,再到數據湖和數據中臺的演化路徑,這一過程反映了企業對數據管理和利用能力的成熟和進步。
1.從數據庫到數據倉庫
早期信息系統大多使用數據庫來存儲和管理結構化數據,它適合OLTP類事務處理和運營數據的管理。系統之間的數據集成最原始的方式是共享數據庫,這種方式需要數據庫適應多個應用場景,數據庫性能會受影響,不同的應用可能會同時訪問相同的數據,導致數據訪問沖突。
隨著數據量和數據類型的增加,為了支持復雜的查詢和分析,數據倉庫應運而生。數據倉庫是一個面向主題的、集成的、穩定的、反映歷史數據變化的數據集合,用于匯總和存儲來自不同源(包括內部數據庫和外部數據源)的數據,這些數據經過清洗、轉換和整合,以支持企業的決策支持系統和商業智能(BI)應用[1]。數據倉庫強調的是數據的一致性和穩定性,在結構化數據的管理和使用方面非常有效。
2.從數據倉庫到數據湖
隨著大數據技術的發展,企業面臨更多類型的數據(如非結構化和半結構化數據),這些數據無法有效地存儲在傳統的數據倉庫中,數據湖應運而生。數據湖是一個存儲大量原始數據的集中式存儲解決方案,可存儲結構化、半結構化和非結構化數據。與數據倉庫相比,數據湖的特點是靈活性更高,可以存儲更多類型的數據,更適合大數據處理和分析。數據湖支持數據的低成本存儲和高效查詢,為數據科學和機器學習等高級分析提供了基礎。
3.從數據湖到數據中臺
數據中臺是一種新的數據集成架構理念,通過建立一個中央化、標準化和自治的數據服務平臺,支持前端數據的應用。它將數據視為一種資產,涵蓋了數據的收集、存儲、處理、質量管理和服務化。通過開放、標準化的數據接口和服務化架構,將數據從各種應用中剝離出來,使得數據能夠更好地被共享和重復利用。企業建設數據中臺的最大意義就是實現應用與數據之間的解耦,按需構建滿足業務需求的數據應用[2]。數據中臺一般建立在數據倉庫和數據湖之上,是加速數據到業務價值轉化的中間層。
數據庫、數據倉庫、數據湖和數據中臺代表了數據集成的不同階段和技術趨勢,數據集成的演進過程反映了數據管理從簡單存儲到復雜分析,再到綜合治理和服務化的發展趨勢,以及更加靈活、智能和價值導向的發展特點。
(二)應用集成
應用集成主要是跨平臺應用系統之間的集成,它把多個應用系統間的功能和數據連接起來,實現系統間的協同。如圖1所示,信息系統應用集成架構主要經歷了以下幾個階段:點對點、SOA/ESB、微服務/API網關和云原生。每個階段都在集成效率、靈活性和可擴展方面不斷演進提高。
1.點對點
點對點集成將每個單體應用兩兩連接,實現功能的調用和數據的傳送,應用系統之間的連接方式包括:SOCKET、RMI、RPC、EJB、COM/COM+、HTTP、FTP等,數據庫系統之間常見的連接規范包括ODBC和JDBC。點對點架構是網狀結構,技術簡單,但系統間的耦合度高,可擴展性差,任意一個系統的修改會影響到與它相連接的所有系統。
2.SOA/ESB
SOA(Service-OrientedArchitecture)是一種面向服務的架構風格,是一種方法論,它將應用系統拆分為一系列獨立的、可重用的服務,每個服務都提供特定的功能,并通過標準化的接口被其他應用系統調用。SOA的核心特點就是以松耦合、粗粒度的服務形式來構建軟件。
企業服務總線ESB(EnterpriseServiceBus)是實現SOA的一種技術架構,ESB將應用系統的不同功能單元抽象為服務,使用服務總線形式來管理和協調這些服務,服務之間通過標準的接口協議連接。當出現新的業務需求時,只需將已有的服務進行編排裝配來實現。相較點對點方式,ESB簡化了企業整個信息系統的復雜性,提高了信息系統架構的靈活性,降低了信息共享成本。
3.微服務/API網關
微服務架構是SOA思想的一種演進,是一種軟件架構風格,具有高內聚、低耦合,以業務為中心,自治和高可用的特點。SOA是對異構系統的服務化,而微服務架構專注服務的拆分,強調業務系統徹底的服務化和組件化[3]。微服務架構將應用程序拆分成小型、獨立且自治的服務單元,也就是微服務。每個微服務都專注于完成特定的業務功能,并通過輕量級API接口進行相互通信和調用。API網關發布可訪問的API接口,負責將來自外部的服務請求路由到正確的微服務。API網關是位于微服務架構前端的單一訪問節點,提供身份驗證、請求路由、載荷均衡和緩存等功能,扮演著連接、管理和保護微服務的重要角色。
微服務是一種分布式服務架構,可實現智能化服務編排、自動化運維和系統容錯。微服務架構使得業務功能的開發和維護更加獨立和高效,有利于敏捷開發和彈性部署。微服務架構解決了ESB總線在分布式環境下的局限性,在很多互聯網應用場景中,微服務架構正逐步替代ESB總線架構。微服務架構隨著開源應用容器引擎的興起而快速發展,已成為一種主流的云原生的軟件設計方法。
微服務架構與云原生技術的結合可謂是相得益彰。微服務解決了復雜軟件系統的架構與設計問題。云原生技術解決了軟件系統的運行、維護和治理問題。同時,云原生技術彌補了微服務架構結構復雜、運維難的短板,大大降低了微服務架構實現的復雜程度,促進了微服務架構的落地推廣。
(三)業務過程集成
業務流程集成(BusinessProcessIntegration,BPI)是將業務流程從應用邏輯中剝離出來,集中到業務流程管理工具中進行統一管理和優化調整。企業中一個完整的端到端的業務流程通常是由多個細粒度的業務流程協同完成的,而這些細粒度的業務流程來自各相互獨立的業務應用系統。業務流程集成通過技術手段可以將異構系統的業務流程、應用程序、數據源等連接起來,有效地交換信息和協同工作。這種集成不僅要提供底層應用支撐系統之間的互連,同時要實現應用系統之間的業務流程的管理,包括應用集成、自動化業務流程管理、人工流程管理、企業門戶,以及對所有應用系統和流程的管理等。
20世紀70年代誕生的工作流管理實現了部分或整體業務過程在計算機應用環境下的自動化。在工作流的基礎上,通過賦予流程以表單、組織、監控優化、統計圖表等功能,形成了業務流程管理系統(BPMS),實現了從簡單的任務自動化和信息傳遞,到全面流程優化和管理的演變。BPMS代表了業務流程集成的成熟技術,不僅支持工作流的自動化,還提供了對業務流程的建模、執行、監控和優化的全面解決方案[4]。BPMS支持動態的業務流程調整,能提供圖形化的流程設計工具,支持復雜的決策邏輯和業務規則,使企業能夠靈活應對變化,并持續優化業務流程。BPMS具有強大的流程引擎、集成能力,以及業務流程導向的特點,天然契合業務中臺對多系統集成和業務數據管理的需求,因此,BPMS逐漸成為業務中臺的底層支撐。未來BPMS將進一步與RPA機器人、流程自動化、AI等智能化技術相結合,為企業提供更敏捷、更高效的集成服務。
(四)云原生與云集成
云原生是一種構建和運行應用程序的方法。云原生架構充分發揮云平臺的彈性可擴展、敏捷、分布式、自動化的特點,已形成以容器、微服務、服務網格、不可變基礎設施、DevOps、聲明式API為特點的應用程序方法論,能夠構建容錯性好、易于管理的松耦合系統。云原生應用采用開源技術(如K8S+Docker)進行容器化,基于微服務架構提高靈活性和可維護性,借助DevOps實現快速迭代和自動化部署。作為當前技術領先的IT架構,云原生正逐漸成為企業IT架構的主流選擇。
云集成是一種綜合性的系統集成方式,通過連接和協調不同云服務(包括公有云、私有云和混合云),以及企業內部的傳統IT系統,實現數據、應用和業務流程的無縫協作。云集成的目標是使企業能夠充分利用云計算的優勢(如靈活性、可擴展性和成本效益),同時保持與現有系統的互操作性。云集成包括數據集成、應用集成、流程集成和API集成等多個方面,使用的技術和工具通常包括:集成平臺即服務(iPaaS)、API管理平臺、事件驅動架構和消息傳遞服務等。這些技術和工具幫助企業克服了傳統應用集成中的一些挑戰(如不同云服務之間的兼容性問題、集成復雜性以及數據同步和安全性問題等)。在當今企業日益依賴云計算和多云策略的背景下,云集成為企業提供了一個靈活、高效和可擴展的綜合集成解決方案,而云原生為云集成提供了集成技術和架構基礎。圖2是傳統集成方式演變為云集成的示意圖。
四、結語
從數據庫到數據中臺,從單體應用到云原生,為保持系統架構的靈活性和可擴展性,系統架構沿著分層、解耦、分布式、服務化、組件化的方向不斷演進。從IT架構的視角,系統集成可以劃分為數據集成、應用集成和業務過程集成三種形式,而云原生架構成為三種形式的集大成者。每種信息化系統集成架構的選擇都需要企業具備相應的支撐條件,需要付出的代價也相差巨大,企業在設計和實施系統集成方案時,應充分考慮企業組織機構、管理機制、人員力量和資金投入,選擇適合企業當前和未來需求的集成模式和演進路徑,逐步實現信息化系統共享協同、高效賦能的目標。
參考文獻
[1]王宏志.大數據分析原理與實踐[M].北京:機械工業出版社,2023.
[2]付登坡,江敏,任寅姿,等.數據中臺[M].北京:機械工業出版社,2022.
[3]任波.微服務中臺架構開發[M].北京:人民郵電出版社,2021.
[4]Chang JF.Business Process Management Systems: Strategy and Implementation[M].BocaRaton: CRC Press,2016.
作者單位:中國鋼研科技集團有限公司
責任編輯:王穎振鄭凱津