復雜系統管理中的仿真方法研究:挑戰與機遇

洪 流

(復旦大學 管理學院;大數據學院,上海 200433)

“復雜系統管理”是當下管理學領域的一個重要研究課題。所謂“復雜系統管理”,其本質上是由“復雜系統”和“管理科學”兩者交叉融合而成。

首先,是“復雜系統”。早在20世紀80年代末期,錢學森先生便總結、凝練出了“開放的復雜巨系統”這一概念。隨著工業技術的發展和社會生產力的提高,如今的很多系統呈現出了復雜性和不確定性兩個顯著的特征。復雜性是復雜系統的固有屬性,在互聯網、物聯網和大數據等技術的推動下,系統的復雜性還可以進一步具像化為大規模、網絡化和動態性等。隨著各個行業領域從粗放式走向精細化,從簡單操作走向復雜協同,管理中所面臨的很多系統已經迭代演化為大規模、多層次、關聯緊密的復雜系統。系統內部和外部的關聯關系往往呈現出了網絡化的結構,如金融網絡,供應鏈網絡等。更進一步,網絡和網絡節點狀態是實時變動的,各個網絡節點相互作用,牽一發而動全身。這要求管理者需要具備實時動態決策的能力,提高系統運行的質量和效率,規避網絡帶來的系統性風險。然而,復雜系統的高度不確定性進一步提高了決策的難度:一方面,系統狀態變化和外部沖擊的頻率、方向和強度具有隨機性;另一方面,復雜系統的實際運作機理往往難以徹底理解,部分子系統無法觀察,具有很強的模糊性。所以,復雜系統管理絕非易事。

一般而言,“管理”主要涵蓋了理解、預測和優化3個部分。管理者往往先剖析系統總體趨勢并理解各因素之間的相互作用關系,然后借助預測模型形成更準確的判斷,再針對預測數據進行系統的優化,做出相應的決策。這實質上也對應了管理科學研究問題的基本范式:首先是建模,其次是預測,最后是優化。對此,管理者一般采取定性、定量或兩者結合的方法構建模型,從而推進系統的預測和優化。定性方法通過研究系統的運行規律來判斷系統的特征屬性,定量方法則依賴于數據和實證分析,而兩者的結合能夠促使管理者從更為全面的視角去認識、把握復雜系統。

1 復雜系統的模型與算力

如前所述,復雜系統的預測和優化是基于一個合理的模型開展的。作為管理科學研究范式的第一步,建模顯然是復雜系統管理的基石。然而,由于可獲取信息的不完備性,加上建模過程中所面臨的各種限制,建模人實際上無法構建和現實完全相符的模型。盡管如此,正如統計學家Box所說“All models are wrong,but some are useful”,利用不完備的信息所建立的模型仍然可以為管理提供有價值的洞見。因此,所謂“建模”,從根本上而言就是:針對所研究的問題,利用一切已知信息,加以抽象和總結,形成對對象的一種表示。通常而言,建模所利用的信息主要來源于系統的數據和建模人對系統物理流程的理解。其中,后者要求建模人有深厚的功力去把握、剖析并提煉出復雜系統的本質規律,將系統物理信息轉化為模型中的要素。除了信息的利用和表達之外,模型的構建還應當權衡速度與精度的關系。更高的精度通常意味著更長的計算時間和更高昂的計算成本。值得注意的是,一旦計算能力可以提高,模型便能夠在更短的時間內達到相同的精度,即模型運行的速度和精度本質上都受限于計算能力。計算能力主要由兩種能力構成:一是人腦的分析能力,二是計算機算力。人腦分析能力決定了模型的框架和復雜程度,計算機算力則影響了模型的運行速度和模型結果的精度。隨著計算機算力的快速提升,利用計算機算力的仿真建模方法變得越來越重要,成為了復雜系統管理的利器。

管理領域的傳統數學建模方法可以大致分為微觀建模和宏觀建模兩個層面。微觀建模主要使用數學規劃的建模方法,刻畫系統局部的運行狀況,例如生產調度模型等;宏觀建模則主要使用概念模型(stylized model),關注系統整體的發展規律,例如牛鞭效應模型等。但對于復雜系統而言,單純的微觀或者宏觀建模不足以刻畫系統的復雜性和不確定性。近年來蓬勃發展的數據模型,如機器學習模型等,主要是通過采集、清洗、訓練系統中的海量數據來抽象出具有系統數據特征的模型。雖然大數據技術賦予了數據模型更強的靈活性和精確度,但是數據模型依然存在著可解釋性不足的問題,且僅適用于數據充足的應用場景。相反地,理論模型的可解釋性強,能夠反映系統底層的運行機理,因而有較強的泛化能力。從第谷的天文數據到開普勒的行星運動三大定律,再到牛頓的萬有引力定律,正是從數據抽象至數據模型再泛化至理論模型這一運行機理的表現。

綜上所述,現階段復雜系統的管理者所需要的模型是一種介于微觀和宏觀建模之間,且將數據和理論有機結合的模型。仿真建模無疑是復雜系統管理的最佳建模工具之一。仿真模型一般建立在理論模型或概念模型的基礎上,包含系統運行的更多細節,輔助以數據驅動方法刻畫系統的隨機性,利用計算機算力推動系統演變,從而預測和優化系統運行效果。因此,仿真建模正是管理者所期望的一種中觀建模方法,從微觀出發,研究宏觀問題。其不僅打破了微觀和宏觀建模之間的壁壘,也打通了定性和定量之間的通道,還構建了數據和理論之間的橋梁。對系統內在邏輯的理論分析賦予了仿真模型更強的可解釋性和適應性,對數據的訓練學習則賦予了仿真模型更大的靈活性和精確性。

2 系統仿真建模研究的挑戰

仿真方法是采用微觀定量方法研究系統宏觀行為以支持系統管理決策的理想途徑之一。為實現有效、及時的決策支持效果,仿真方法在建模、預測和優化3個環節都需要保證足夠的速度和精度,在有限的資源下需要在速度和精度兩者之間取得良好的平衡。然而,當管理決策的對象是復雜系統時,傳統的仿真方法往往捉襟見肘、顧此失彼。一方面,復雜系統所具有的高度復雜性使得快速仿真建模、預測、優化都變得異常困難;另一方面,復雜系統蘊含的高度不確定性給仿真建模、預測、優化各環節的精度保證帶來了巨大的挑戰。

2.1 仿真效率與速度

首先,傳統仿真建模工具難以支持復雜系統的高效建模和快速仿真。仿真方法的核心是在計算機系統中構建現實系統的鏡像程序,并運行這一程序。目前流行的支持管理決策的仿真建模工具軟件包括Any Logic、Arena和SIMIO 等,它們集成了離散事件仿真(discrete-event simulation)、基于智能體仿真(agent-based simulation)等多種功能,在物流、生產制造、運輸、倉儲、港口等系統管理中得到了廣泛應用。這些工具開發了良好的用戶界面,提供了豐富的按行業或用途劃分的功能組件,在使用過程中用戶無需撰寫代碼,采用搭積木的方式拖動相應功能組件即可一步步地根據系統運行邏輯構建仿真系統。運行仿真時,這些工具生成面向對象仿真程序,利用2D 或3D 動畫可視化仿真動態過程,并記錄相關的過程數據和仿真輸出。當系統規模較小時,這些軟件能夠極大降低用戶仿真建模的難度。然而,對于復雜系統,其內部組件眾多,關聯邏輯復雜,采用手動方式、搭積木式地構建相應的仿真模型非常耗時。例如,大型制造企業生產系統庫存網絡管理的仿真可能涉及數萬乃至數十萬種物料,且它們之間存在復雜的生產和裝配關系,采用手動方式構建相應的仿真模型幾乎是不可能完成的任務。更重要的是,通過這類軟件構件的仿真模型運行速度慢,難以有效支持復雜系統的實時決策。一方面,傳統仿真建模中的大量運算是串行的,當仿真對象多、邏輯復雜時,仿真效率就會出現瓶頸;另一方面,復雜網絡系統節點和鏈接數量巨大,內存消耗高,也對計算機性能有非常高的要求,這導致仿真建模開發往往成本高昂。對于復雜系統管理,目前急需支持大規模并行計算和存儲的自動化仿真建模工具,以支撐更加便捷、高效、低耗的復雜系統仿真建模。

其次,基于仿真的預測方法在應用于復雜系統時將變得異常緩慢。基于仿真方法進行預測的基本方式是仿真元建模(simulation metamodeling)。仿真元建模包含學習和預測兩個階段。在學習階段,針對單個性能目標(如排隊系統平均等待時間),其需要在多個不同參數組合下運行仿真模型獲得目標值估計,構建仿真數據集,然后通過統計學習方法擬合出該性能目標關于參數組合的預測模型;在預測階段,將特定參數輸入預測模型即可以獲得相應的預測值。這一方法在面對復雜系統時,往往需要巨大的計算資源而難以實現。一方面,復雜系統所具有的大量參數形成了高維度的參數空間,為獲得足以代表整個空間的仿真數據,需要對充分多的點(參數組合)進行仿真采樣,所需采樣點的數量將隨著空間維度的增長而呈指數級增長,從而導致所需計算資源的指數級增長;另一方面,當仿真數據集過大時,預測模型的擬合訓練也將面臨速度上的問題。在這種條件下,需要考慮通過如隨機克里金法(Stochastic Kriging)、實驗設計等手段自適應地選擇采樣參數點,以降低總的采樣點數量。但這些方法也無法克服高維度帶來的問題。除此之外,針對于復雜系統管理,決策者關心的性能目標可能會有多個。一個直接的方法是分別針對每個性能目標構建仿真預測模型。但這一方法不僅存在速度上的問題,還忽視了多個性能目標之間復雜的相關關系。因此,如何在大規模仿真數據集上實現快速高效的高維曲面學習也成為復雜系統管理的仿真方法中一個重要的理論問題。

最后,在基于仿真方法進行大規模復雜系統管理決策的場景中,傳統的仿真優化方法可能過于耗時而不再適用。最近的研究成果表明,在求解大規模的仿真優化問題與小規模的仿真優化問題之間存在著基礎性的差異。一般而言,仿真優化問題具有黑箱、隨機、非凸的特征,求解仿真優化問題需要不斷地運行仿真模型,收集不同參數設定下的隨機樣本。雖然傳統的仿真優化算法如適應性隨機搜索、貝葉斯優化、最優計算預算分配等算法在小規模、低維度的問題上均被驗證是十分有效的,但它們通常只有漸進收斂性,沒有樣本復雜度和收斂速度。而復雜系統仿真模型中的參數維度和問題規模往往十分巨大,使用傳統的仿真優化算法求解可能需要收集龐大的仿真樣本,無法在有限的求解時間內得出合理的解。因此,面向復雜系統管理的最優決策,在理論上有必要研究收斂速率最優、樣本復雜度最低的仿真優化算法;在計算上有必要設計適用于并行計算框架的高效算法。

2.2 仿真精度

首先,傳統的仿真建模方法難以支持構建針對于復雜系統的高精度仿真模型。為保證仿真精度,輸入建模(input modeling)和模型設計(model design)至關重要。輸入建模刻畫仿真模型中的隨機性因素,生成相應的隨機變量驅動后續仿真過程。傳統的輸入建模一般基于獨立性假設、考慮簡單的參數化分布,并利用真實數據估計分布參數。例如,在服務排隊系統中假設顧客到達間隔時間和服務時間服從獨立的指數分布。這種方式在小規模的簡單系統仿真中能夠取得不錯的效果,但在面對復雜系統時可能因為過于簡單而失效。復雜系統中的隨機性可能存在復雜的時空相關結構。雖然已有研究嘗試采用連接函數(Copula)刻畫輸入模型中隨機變量之間的相關關系,但連接函數方法也依賴于固定的結構性假設,難以充分刻畫復雜系統蘊含的隨機性。在模型設計方面,當系統變得復雜時,部分關鍵機理和結構可能難以刻畫,帶來模糊性。例如,在移動通信系統中,用戶終端的信號強度不僅由與通訊基站間的距離以及與基站天線的角度決定,還受到周邊環境(如天氣、是否存在障礙物等)的影響;在對通信系統進行仿真建模時,后者就難以刻畫到仿真模型中。為了應對模糊性給仿真模型帶來的偏差,有必要進一步將專家經驗和數據模型融入到仿真建模過程中,這也是仿真建模中亟待解決的一個重要問題。

其次,復雜系統管理也給基于仿真的預測帶來了精度上的挑戰。一方面,由于復雜系統仿真模型輸入變量中蘊含的高度隨機性,其仿真輸出也帶有高度的隨機性。如何學習多維仿真輸出的聯合概率分布是一個重要的理論問題。另一方面,正如前文所述,面對復雜系統,輸入建模和模型設計不可避免地在精度上做出一定的妥協,從而使得仿真模型與現實系統存在一定的偏差,即引入輸入不確定性(input uncertainty)和模型不確定性(model uncertainty),給仿真預測帶來額外的不確定性。不確定性量化和不確定性縮減是指導輸入建模和模型設計、保證復雜系統仿真精度的關鍵。近年來,關于輸入不確定性量化的研究已經成為仿真研究的熱點之一,但關于模型不確定性的研究較少。除此之外,如何衡量復雜系統仿真模型的有效性(validity)也是一個重要的理論和實踐問題。關于現實復雜系統的真實數據往往是非常有限的,基于其進行仿真模型參數的校準(calibration)可能會出現過擬合,使得仿真模型預測在實踐中與現實系統真實表現偏離較大,預測精度難以保證。

最后,對于復雜系統仿真,由于仿真模型運行時間較長,傳統的黑箱隨機仿真優化算法難以保證求解精度,需要考慮結合仿真模型結構知識的灰箱優化算法。值得注意的是,仿真優化問題的特殊在于,與一般的完全黑箱優化問題不同,決策者雖然不能寫出目標函數的顯式形式,但其擁有關于仿真模型結構的全部信息。因此,有必要考慮將仿真模型的結構信息融入到仿真優化算法設計中實現灰箱優化,以大幅度降低優化求解所需要的仿真樣本數量,提高有限時間內仿真優化算法的求解精度。另外,由于仿真模型存在輸入不確定性和模型不確定性,有必要考慮魯棒仿真優化(robust simulation optimization),保證即使仿真建模與現實系統存在一定偏差,仿真優化的解在現實系統中仍保持較高的性能。然而,對于仿真優化這一隨機、非凸的問題,魯棒優化算法的性能同樣可能受到問題維度和規模的限制。目前已有的魯棒仿真優化算法在大規模、高維度的復雜系統管理應用中的效果如何尚不清楚,亟需開發適用于大規模復雜系統管理的魯棒仿真優化算法。

綜上所述,復雜系統的高度復雜性和不確定性給傳統的仿真方法帶來了巨大的挑戰,受限于計算能力和理論發展,現有的仿真方法在建模、預測和優化3個方面都難以達到復雜系統管理決策所需的速度和精度。所以,復雜系統管理的仿真方法目前在理論和算法上都存在巨大的缺口。

3 復雜系統研究發展新機遇

在面臨諸多挑戰的同時,對于當代的學者而言,復雜系統管理中的仿真方法研究領域也存在眾多發展機遇。

首先,按照“摩爾定律”,集成電路上可容納的晶體管數目約每隔兩年增加1 倍。過去50 余年,在“摩爾定律”的加持下,計算芯片的性能不斷提升。同時,并行計算技術也在不斷發展,以GPU 為代表的高性能計算單元的應用越來越廣泛,這些進步共同助推了計算機算力的大幅提升。如果能夠在相關研究中充分利用大規模并行算力,傳統的復雜系統仿真建模、預測和優化都將得到顯著加速。

其次,伴隨著移動互聯網、物聯網等新一代信息技術的飛速演進,萬物互聯的時代已逐步到來,全球數據量呈現爆發式增長態勢,數據已成為當今時代的關鍵生產要素。在對這些海量數據進行采集、建模、處理和分析之后,通過數據驅動方法,將其融入仿真模型,降低模型不確定性,可以有效提高模型精度。許多過去受限于數據不足的復雜系統管理問題將可能得到解決。

此外,近年來,人工智能技術不斷發展,涌現出的新技術已經在很多領域得到了應用,實現了突破。人工智能技術與復雜系統管理中的仿真方法在底層邏輯上有很強的相似性。人工智能技術也面臨著大數據、大算力帶來的機遇和挑戰。人工智能領域的成熟方法和成功經驗也可以給復雜系統仿真研究帶來很多新的思路。

下面,根據筆者研究團隊之前的研究經驗以及文獻中的一些實踐具體談談大算力、大數據和人工智能技術在復雜系統仿真建模、預測和優化等方面帶來的研究機遇。

在仿真建模方面:①我們發現許多動態系統的仿真和循環神經網絡(Recurrent Neural Network,RNN)有著類似的時序結構,相應的仿真優化問題與RNN 訓練在目標函數和優化算法等方面也有很多相似性。RNN 的規模可以非常大,存在可以利用GPU 等并行算力的高效算法。因此,用于RNN 的許多方法和工具對于大規模動態系統的仿真優化都很有借鑒意義。②輸入建模(input modeling)是仿真方法研究的重要組成部分,輸入模型代表了隨機仿真的不確定性。目前人工智能領域文獻中的對抗生成網絡(generative adversarial networks)、變分自編碼器(variational autoencoder)、分位數回歸神經網絡(quantile regression neutral networks)等生成模型可能在仿真輸入建模方面有很好的應用前景。③傳統研究中一般使用偏微分方程來模擬許多物理系統,近年來,文獻中出現了一些將物理模型與機器學習結合的相關研究(physics-induced learning),這種理論模型與數據模型的結合對于高維問題的解決很有助益。④在建模方面又一個研究熱點是數據驅動的仿真,這種仿真方法使得用戶可以在了解較少領域知識的情況下對多個場景進行快速的探索。

在預測方面,我們提出了“離線仿真-在線應用”(offline simulation online application,OSOA)的框架。該框架以機器學習方法作為橋梁,建立預測模型,有效結合了離線仿真與在線應用,可以應用于許多實時決策問題的求解。此外,我們還在生成元模型(generative metamodeling)方面進行了探索,它本質上是建立“仿真器的仿真器”(simulator of simulator),這對于一些很耗時的仿真而言非常有用。通過生成元模型,實現快速仿真,可以加速后續的預測和優化任務。

在優化方面:①目前計算機CPU 的核數不斷增加,GPU 等高性能計算單元的核數可達上萬個,多臺計算機組成的計算集群也得到廣泛應用,能夠獲得的計算資源越來越豐富。設計高效的并行仿真優化算法,從而更好地利用大規模算力來實現快速優化,這對于研究者而言是個重大機遇。②在人工智能領域,強化學習得到了廣泛的應用,著名的AlphaGo就是基于強化學習訓練而成的。如何將強化學習應用于復雜系統管理的仿真優化問題中來,是個值得關注的理論研究方向。③另一個值得關注的方向是多保真度優化(multi-fidelity optimization)。這種方法可以有效地利用具有不同精度和成本的多個測量/目標函數來提供最大信息量,這對于一些目標函數評估成本很高的應用(例如超參數調諧)而言很重要。④對于高維優化問題而言,降維是一個重要的研究問題。目前已有一些基于隨機嵌入(random embedding)的方法,但相關方法的使用對于目標函數存在一些限制,值得深入探索。⑤在仿真優化問題求解的過程中,往往需要多次運行仿真模型來估計目標函數。如何利用方差減小技術,以更少的計算量得到相同的方差,這對于大規模復雜系統管理的相關仿真優化問題是個值得關注的研究方向。

除了建模、預測和優化這3個傳統的仿真應用場景之外,最近非常熱門的“數字孿生”(digital twin)系統同樣是仿真方法的重要應用場景。數字孿生領域的蓬勃發展也將為復雜系統仿真領域帶來重要機遇。與數字孿生相關的概念有兩個,一個是數字模型(digital model),它本質是一個仿真模型;另一個是數字軌跡(digital trace),主要是針對可視化需求。一個數字孿生系統可以看作是數字模型和數字軌跡的結合,而這種結合需要很多的理論研究進行支撐,例如系統中采集到的實時數據和仿真數據如何融合、如何利用各種數據和仿真模型進行實時的決策以及如何實現實時校準(calibration)等。這些理論問題值得進一步探索和研究。

仿真建模和基于仿真的預測與優化是管理實踐和管理研究中的重要方法。面對越來越復雜的管理系統,仿真方法也面臨著很多挑戰,而大算力、大數據和人工智能技術的發展,也給仿真方法帶來了很多機遇。通過利用大算力,融合大數據,借鑒人工智能技術,仿真方法必將成為復雜系統管理的一大利器,解決很多其他方法無法解決的重要問題。

本文從傳統的運籌學和管理科學視角看待仿真方法,主要聚焦于復雜系統的建模、預測和優化,難免管中窺豹,無法面面俱到。例如,涌現性是復雜系統的一個重要特征,微觀個體通過競爭與合作等交互方式,在宏觀層面上涌現出與微觀行為非常不同的特征。基于智能體仿真(agent-based simulation)則是研究涌現性的一個重要工具。再例如,一般均衡也是復雜系統管理研究的一個重要方向,在宏觀政策制訂領域極為重要。仿真方法同樣也是研究此類問題的重要工具,包括可計算一般均衡模型(computable general equilibrium model)和動態隨機一般均衡模型(dynamic stochastic general equilibrium model)等。隨著系統變得越來越復雜,這些仿真方法也同樣面臨著很多的挑戰與機遇。

最后,筆者想強調,盡管仿真本身是個工程性很強的工具,仿真方法的基礎研究則具有很強的理論性和科學性。例如,離散事件仿真(discreteevent simulation)和攝動分析 (perturbation analysis)的歷史發展歷程就很好地說明了基礎理論對仿真方法的指導意義。因此,仿真方法領域的研究不能只是聚焦在工程應用問題上,也需要回歸基礎理論研究的“象牙塔”,通過理論上的突破助力工程上的飛躍。