一種測量工業控制系統網絡健康與安全性的方法

徐志杰，朱凌云，金鑫

(1. Kenexis咨詢公司，天津 300270；2. 北京上德自動化系統有限公司，北京 102502；3. 遼寧石油化工大學 信息與控制工程學院，遼寧 撫順 113001)

確定性是設計并操作工業控制系統(ICS)的工程師需要考慮的主要內容之一。ICS需要在一定的時間內對網絡發送的信息做出響應，否則系統可能會處于不穩定和/或失效狀態。能夠影響系統確定性的因素有很多，如單一設備性能等。雖然在設計系統時可以考慮其間的某些因素，然而系統內部和系統間的交互以及安全性設置等因素有時難以預先確定。因此，需要在測試和操作期間測量并收集數據，以評估系統的確定性。

目前，中國國內諸多企業在ICS安全方面仍存在誤區： 他們認為ICS只要未與互聯網連接、黑客便無法攻擊ICS。事實上，企業的諸多工業控制網絡均為“開放式”，系統與系統之間也未進行有效隔離。盡管企業內網安裝了防護設施/軟件，并實施了多種網絡安全技術，但隨著信息化的推進以及工業化進程的加速，工廠信息網絡、互聯網，以及其他因素導致的信息安全問題正逐步向控制系統擴散，繼而對工廠生產控制的安全穩定產生了直接威脅。

1 常用的網絡安全監控方法

1.1 設備報告方法

ICS網絡協議[1]是從較為陳舊且基于串行或總線的現場總線網絡發展而來。雖然它們目前可以在以太網和傳輸控制協議(TCP)/用戶數據報協議(UDP)/ 互聯網協議(IP)的網絡上運行，但設備在網絡上交互的大部分方式均基于該類現場總線。當現場總線上的設備需要通過某種形式的總線連接網絡時，則必須要限制通信流的數量、消息的長度以及周期性。如此一來，便催生了一些限制網絡外來流量的不同方法。

一種方法是讓復雜控制器充當網絡上的主機，而輸入/輸出(I/O)設備充當從機。主機可以命令從機執行一些操作，也可以通過網絡向從機請求信息。除非主機發出特別請求，否則從機不會通信。

另一種方法是“定期報告”，它允許I/O設備和控制器以對等的方式交互。控制器和I/O設備在啟動通信流時會例行交換信號，該種交換會為該通信流建立參數，包括通信報文中包含的信息和預計周期。I/O設備和控制器獨立工作并監視通信流中的錯誤。如果通信過程中出現錯誤，大多數控制器均能借助其內部方法重新建立通信流。

第三種方法稱作“異常報告”，它在某種程度上介于主/從報告和定期報告之間。在該方法中，控制器能夠以某種周期性的方式與I/O設備通信，以確保這2臺設備仍然運行，稱為“心跳”(heartbeat)。一般來講，“心跳”通常具有相對低的周期性。I/O設備會在這些“心跳”消息之外基本上保持休眠狀態，以等待某些條件得到滿足。當該條件滿足時，例如： 傳感器測量值超出某個范圍，I/O設備將向控制器發送一條指示異常已經發生的消息。

1.2 積極指標與消極指標的對比

關于指標報告，它可以是積極的，也可以是消極的。積極指標是指被報告為能夠表示某個物理量的特定值(布爾值、整數、浮點數等)指標。積極指標允許數值被另一臺設備和/或系統用作某種流程的輸入(例如： 控制函數)。

對于過程控制周期而言，積極指標通常是輸入控制回路并作為每個周期中被使用的過程變量。在檢查每個控制周期時，除非滿足某些特定條件，否則不會主動使用消極指標。如果出現該類情況，消極指標可能會導致系統進入另一種狀態，或者在主控制回路中執行不同的子回路。然而，在正常操作期間，控制周期通常不會主動使用這些指標。

安全指標通常被報告為消極指標。殺毒軟件不斷地在后臺檢查系統，但在錯誤發生之前通常保持“后臺運行”狀態。如果檢測到已知的病毒簽名，它就會提醒用戶出了問題。除非用戶特意檢查軟件本身的狀態，否則殺毒軟件將始終保持靜默。為了維持態勢感知，無論錯誤或特殊情形是否出現，需要了解整個系統在任意時刻的執行情況。相應的趨勢變化可在達到報警觸發值之前建立。

1.3 網絡安全監控及安全信息/事件管理

網絡安全監控(NSM)是“收集、分析、升級指示和警告，以檢測入侵并對其響應”。NSM表示“一種可以找到網絡入侵者并在其破壞企業之前對其采取措施的手段”[1]。NSM通常涉及從網絡中的不同來源收集所有可用日志和報警信息，并分析其感染指標(IOC)，注意： 該類信息有可能成為流向不法分子的網絡通信流。

NSM對于檢測已知和正在出現的威脅非常有效，因為它并非一種能夠容易被擊敗的單一產品。NSM通常會從多個不同的來源收集信息并整合，從而形成較好的態勢感知。由于NSM更多的是一種監測網絡IOC的方法，因此，其更有可能在攻擊出現時，能夠通過使用單一類型的產品或技術捕捉到攻擊。

1.3.1網絡安全監控的優點

NSM特別適合大型計算環境，在該環境中，傳感器可以布置在關鍵點位上檢測IOC。

ICS網絡結構的上層結構如圖1所示。商業系統和服務器通過企業防火墻連接到因特網，通過另一個防火墻連接到ICS網絡。隔離區(DMZ)用于防止ICS網絡和商業網絡之間的直接通信。ICS服務器與DMZ中的服務器通信，DMZ中的服務器與商業網絡中的服務器通信。

圖1 ICS網絡結構的上層結構示意

上層大多數網絡通信流會跨網絡邊界，所采用的協議是較為常見的IT協議。通常來講，在上層運行的系統是更為常見的硬件和軟件平臺，由于跨區域邊界的通信流可以被監控，因此對于NSM非常重要。在區域邊界部署NSM傳感器可以較為便利地監控網絡通信。由于上層的大部分流量均跨越了區域邊界，因此更容易監控和分析任何可疑情況。

NSM傳感器可以更容易地部署在這些常見的硬件和軟件平臺上。代理軟件可以部署在服務器上，實時監控系統參數，而不需要專業工具或具備ICS經驗的人員。這就使得NSM傳感器可以通過網絡在更多的區域整合[3]，從而能夠更早地發出IOC警報。

1.3.2網絡安全監控的缺點

雖然NSM在網絡結構的上層較為有效，但在下層卻較低。ICS網絡結構的下層結構如圖2所示。在該示例中，有多個能夠在基于以太網的工廠控制網絡和現場總線網絡之間通信的小型工作單元，這些工作單元表示生產裝置中的機撲(robotic)工作單元、單一加工區域中的遠程控制站。圖2所示的工作單元之一位于一個能夠通過無線電線路與主裝置控制網絡通信的遠程站點。工業控制網絡還包括操作員人機界面(HMI)、工程師工作站和專用控制設備。

圖2 ICS網絡結構的下層結構示意

下層網絡中的大多數網絡流量會在每個工作單元中“停留”，與留在工作單元內的通信流相比，只有少量通信流能夠進入或離開工作單元到達主裝置控制網絡，如此則導致在應用常規NSM工具和技術時出現問題。

網絡通信通常會在某一區域內“停留”且從不跨區域邊界，意味著網絡中部署NSM傳感器的典型方式需要更改。此外，為了獲得網絡通信流的態勢感知，需要在網絡中部署專用的NSM傳感器，傳感器需要添加到每個工作單元中，以便在出現問題時進行檢測。

由于該下層網絡中的硬件和軟件平臺更加適合于ICS，因此需要在每個工作單元部署新的系統。在一個擁有大量工作單元的裝置中部署NSM傳感器的成本可能會迅速增加，因為每個傳感器的成本至少為幾萬元人民幣。此外，傳感器需要各自通信回主NSM服務器，該服務器可以圍繞整個網絡收集數據，這意味著工廠控制網絡需要添加大量的網絡通信流，以維持連續監控。NSM傳感器必須是ICS協議感知，以檢測任何有價值的IOC，因此增加了系統的成本和復雜性，同時也限制了工具和技術的可用性。

2 一種更優的網絡可靠性監控方法

2.1 針對下層的網絡可靠性監控

網絡可靠性監控(NRM)的概念在本質上與NSM非常相似。NRM使用多種來源的數據來分析系統的性能，主要區別在于NRM使用網絡性能的主動測量來建立圖像，并不需要實時監控。

NSM的一個問題是能否在網絡通信流中捕獲IOC，如果其中一個NSM傳感器未報告任何信息，則無法提供有關網絡的足夠信息，從而無法確定系統是否運行正常。

通過使用實際網絡通信流的積極指標，NRM可以創建網絡執行方式，它能夠主動測量不同的網絡性能特征，并用它們來確定ICS設備是否按預期運行。

雖然可以實時使用NRM，但通常情況下并非如此。ICS通常維持不變，因此測試是定期進行的，或者在重大變更之后進行。NRM可以在工廠驗收測試(FAT)，現場驗收測試(SAT)和調試期間使用，以建立系統的基線簽名。然后，額外測試期間，可以比較新簽名與基線簽名，如果觀察到變化，或數據集中出現異常，則需要分析根本原因，以確定發生變化的原因。

由于NRM無需通過實時監控來尋找IOC，因此可以減少監控大型網絡所需的傳感器數量。單一捕獲設備或少量設備可以在不同的相對較短的時間(分鐘、小時或天)連接到ICS網絡，這些捕獲設備并不需要通過網絡與服務器通信，因此工廠控制網絡將不受到NRM的影響。

2.2 網絡可靠性監控工具與技術

NRM既簡單又復雜。事實上，有許多可用于開展NRM的工具，Wireshark[4]是一種開源數據包捕獲、解碼器軟件包，它已經成為事實上的標準。許多ICS協議均針對Wireshark開發了數據包解碼器，因此并不需要使用專用軟件。Wireshark軟件能夠生成包含不同網絡數據包字段的簡易電子表格文件。

Wireshark軟件通過某些參數過濾通信流，由于所有的數據包都在單一文件中相互交錯，所以Wireshark軟件具備依據網絡數據包中的某些參數過濾通信流的能力非常重要。所有通信流均應進行分類(廣播通信流、多播通信流，和單播通信流)，以便分析它們的性能和可靠性。雖然生成通信流過濾器的過程通常都很冗長，但如果擁有以前沒有內置到Wireshark軟件的常規數據包解碼器中的專有或未知協議，則該過程可能會變得更加復雜。

由于城鄉規劃工作的開展與政府部門密切相關，因此，在該學科走向計量化過程中需要考慮政府方面面臨的挑戰。具體表現為：

待過濾網絡通信流且生成可用于分析通信流的數據文件之后，即可分析通信流。這些通信流的圖形分析能夠讓工程師識別數據中的異常。周期性抖動的網絡通信流分析如圖3所示。圖3右側所示為測量數據包間隔(MPI)與測試時間的對照散點圖，該圖顯示的是時間增量與時間的關系。MPI表示同一網絡通信流中后續數據包之間的測量時間。由于ICS網絡和系統嚴重依賴于設備之間的確定性通信，因此，網絡通信流需要盡可能地接近“確定性”頻率。周期性抖動表示實際網絡通信流數據包相對于所需數據包間隔的可變性。在圖3中，期望的數據包間隔是10 ms，MPI的平均值為10 ms，最小到最大周期性抖動約為500 μs。

圖3 周期性抖動的網絡通信流分析示例1示意

圖3左側為數據頻率計數圖，它能夠提供頻率分析的某種測量，但并不會像傅里葉分析那樣完整。然而，這足可以幫助工程師理解數據中的可見波段。雖然圖3所示的圖形相當穩定，大多數數據包均出現在中心處，分布較為集中，且無長期事件發生，但并非所有設備皆如此。圖4所示為單獨測試期間另一臺設備的網絡通信流。平均MPI為1 ms，周期性抖動約為210 μs，表明該平均值附近的分布較好。設備分析圖中大約26 s出現一次拍頻圖形。

圖4 周期抖動的網絡通信流分析示例2示意

嘗試理解周期抖動分析圖中觀察到的拍頻圖形或異常的最大難題之一是找到拍頻或異常的根本原因。設備結構問題可能是操作系統垃圾收集、殺毒軟件檢查和更新，以及屏幕操作等問題。另外，網絡基礎設施也可能存在問題，諸如： 電磁干擾(EMI)、信號劣化或腐蝕。ICS環境并不一定總是有利于針對辦公環境的網絡基礎設施接線和設備[5]，有的時候，大量的機械、化學品、顆粒物等因素有可能會影響網絡通信性能。另外，也有可能在實際發生安全事件的情況下，拍頻圖形或異常情形上會呈現出IOC。若缺少可以用于比較的基線通信流，則很難對此加以確定。

2.3 基線測試

尋找網絡簽名異常時，開發良好的比較基線非常重要。由于條件不斷變化，因此采用IT設計良好的基線可能會很困難。然而，在ICS環境中卻很容易。系統在開始運行之前要經過多次測試，包括： FAT，SAT和調試，每次測試期間，均應該捕獲基線簽名，這些基線捕獲可用來與將來的簽名進行比較。

除了系統初始測試之外，ICS一般不會定期變更，除非系統中的某些改變表明ICS設備或程序正在發生改變，否則系統將會按照安裝時的方式運行，這有可能是由于工藝變更，設備更換，程序效率變化，或者其他因素所致，但這些并非正常運行條件。事實上，系統可以在不做任何變化的情況下運行數年，除了靜態環境之外， ICS開展變更管理時必須要一致。最終用戶無法準確地記錄每一次變更，但對系統進行重大變更時，通常會形成文件記錄。捕獲設備簽名應作為變更管理過程的一部分，如此一來，便可依據新配置的需要更新基線簽名。

ICS設備在檢驗和停機期間也要定期測試。測試頻率有可能是每年一次或者幾年一次，但通常在某個固定的時間段進行。在此期間，還應該為系統收集簽名。

3 網絡可靠性監控的測試與數據分析

3.1 實時測試與定期測試的比較

現實當中為了保持態勢感知，有可能需要實時分析這些簽名。實時測試要求在整個網絡中安裝監測傳感器，這些監測傳感器需要有足夠實時捕獲和分析網絡通信流的能力，然后將其報告給相應的監測系統。為了應對監控系統增加的通信流，有時需要調整基礎設施的規模，操作人員必須負責監控分析結果，這是其正常管控職責的一部分。所有這些因素使得可靠性數據的實時監控對操作運行的影響大幅降低，多數情況下，通過應用實時NRM降低成本不一定合理。

使用NRM的更簡單、更有效方法是使用少量臨時部署的NRM傳感器。這些NRM傳感器可以根據環境的臨界性，以不同的頻率在整個系統的選定點收集和分析網絡通信流[5]。

在某些時段，通過使用少量能夠與網絡連接且性能更為優良的傳感器，便可以不必修改網絡基礎設施。通信流可在所期望的網絡基礎設施上就地捕獲，因此不必穿過防火墻、隔離區或其他網絡設備來收集數據。另外，還可以在整個網絡的不同位置收集數據并對數據進行后處理。工程師可以在不同的時間負責簽名比較，而不必在捕獲數據時實時查看簽名。

3.2 自動測試與分析

盡管可能沒有必要連續監視NRM系統，但最好能夠讓捕獲和分析過程自動化。在正常的ICS環境中，數據的采集量和通信流的數量會使得人工分析變得非常困難且極為耗時，對于以小時計的通信流捕獲，可能需要花費數天的時間來分析收集所有通信流(主要取決于分析的難易程度)。因此，在選擇使用NRM時，首先需要考慮其流程自動化，在查看多個捕獲文件時，采用圖像形式的Wireshark等工具進行通信流分析是不可取的。

大部分通信流分析都可以通過編寫腳本來實現。許多電子表格處理程序均有某種形式可以用來導入的文件并自動對導入文件進行一些計算的腳本語言。工程師仍需要對該類腳本文件進行某種形式的分析，但大部分的分析可以由計算機來完成而無需人工交互。

3.3 數據分析與通信流統計

在查看圖4所示的圖形時，有必要知曉圖中所給類型的拍頻圖形為正常運行模式，還是異常運行模式。由于在很短的捕獲時間內通信流捕獲的數據集會非常大，因此有必要將數據轉換為某種形式的數理統計數據，以便能夠隨時間的推移對其監控和比較。

查看數據最簡單和最常見的一類方法是平均值、最小值和最大值，該類型的統計數據作為其維護特征的一部分，很容易從設備本身獲得。然而，它們并不能說明全部情況，為了更好地了解正在發生的情況，需要應用其他統計和數學手段。

另一個需要計算的簡單統計指標是標準差，該指標有助于對通信流的理解。如果通信流正常情況下呈現緊湊分布，但隨著時間的推移開始變寬，表明可能有問題出現。問題的根本原因有可能很難確定，但是對根本原因的調查可能會給出一些影響性能的新因素。

另外，標準差還可用作IOC。針對測試系統進行的“中間人”(MITM)攻擊的周期性抖動分析如圖5所示[6]。在本例中，MPI的平均值保持不變(約10 ms)，但分布有明顯變化，在約8 ms和約12 ms時出現了旁瓣。該類情況在標準差分析期間很容易被發現。

圖5 顯示MITM攻擊的周期性抖動分析示意

其他類型的分析也可以提供更多的信息，諸如： 快速傅里葉變換、卷積，以及相關函數等均可用來更好地理解通信流。鑒于這些算法能夠在中等硬件條件下快速運行，所以應予以考慮。它們在計算時的確需要一些時間，因此可能不太適合首次數據分析，然而卻較適合于更為深入的二次或者三次數據分析。

作為能夠初步了解一些最基本數據集中所包含的各種通信流的均衡且快速的統計數據集[7]，可以使用的基本指標集包括： 平均值、最小值、最大值、標準差。

對于一個正常的ICS網絡而言，這四種統計量能夠在極短的時間內(近乎實時)計算出來。通信流捕獲可按一定的頻率收集，通常是30 s或60 s的周期，在獲得下一個通信流捕獲文件之前，可以計算出該類通信流的統計數據。如此，基本數據分析就可以在近乎實時地條件下進行，如果需要更為深入的分析，則可以使用上文提及的數學和統計方法重新分析通信流捕獲。

統計量的計算除了方便、快速之外，還容易被工程師和操作人員理解。上述指標可以在儀表板上顯示變化趨勢，且隨著時間的推移，很容易比較。如果數據明顯超出范圍，則表明已出現問題需要調查。在許多情況下，僅僅知道狀況正在發生變化就足以提醒操作人員注意ICS環境中的潛在問題。并非所有的指示都會導致重要的報警，但它們可能會表明，應該開展一些維護活動，以便使系統回到其期望狀態。這些統計數據提供了良好的信息集，可以使工程師理解數據，而不會被過多的數據所淹沒。

4 結束語

NSM對于許多系統來說都是一個好辦法，但是它并不是針對ICS環境的下層網絡而設計的，許多現有的簡單工具，均可用于ICS環境的各層來開展某種形式的NRM。然而，本文中討論的工具和技術更適合于網絡結構的下層，在ICS環境中，不需要連續監控NRM。事實上，為了適應連續的NRM有可能需要對網絡結構進行大規模的更改，因此周期性的、本地化的測試可能是一個更好的辦法。

測試和數據分析的自動化對NRM來說非常重要，這是因為隨著網絡變得越來越大，分析通信流數量所需的時間呈數量級遞增。分析通信流所需的工具和算法并不需要非常復雜，就能夠基本了解ICS環境，當發現異常時，可以根據需要進行更為復雜的分析，但在正常運行中通常則不需要。