油氣管道工控系統網絡性能提升與隔離防護

李欣嶸 郭亮 朱同 賈立東 張志鋼 董瓊

1廊坊中油龍慧科技有限公司

2國家管網集團北方管道有限責任公司

3中原油田熱力分公司

近年來，隨著國內油氣管道建設的不斷加速，油氣管道生產運行的安全性、可靠性、智能性等越來越被重視，對油氣管道行業的工業控制系統（以下簡稱“工控系統”）也提出了新的挑戰[1]。工控系統是油氣管道生產運行的“神經中樞”，通過監測油氣管道生產運行過程數據，分析生產趨勢走向，對現場設備下發控制指令，實現油氣管道輸送生產全過程的自動監測與控制。工控系統確保了油氣輸送過程的安全，提升了油氣管道生產的自動化水平。工業控制網絡則是將工控系統各生產流程通過網絡設備組織為一個整體的通信網絡系統[2]，它貫穿于整個工控系統，實現各種網絡設備之間快速穩定的數據通信。

在工控系統發展的過程中，工控系統網絡設備類型及數量不斷增加，各種設備設施接入工業控制網引發網絡風暴等問題也逐漸增多。隨著當前“兩化融合”工作逐步開展，對工控系統網絡搭建也提出了更高的要求?；谟蜌夤艿佬袠I工控系統自動化、智能化、智慧化新要求，著眼于當下油氣管道工控系統易出現的網絡問題，在常規的工業控制網絡部署方式基礎上，提出一種可靠性、安全性、時效性更高的油氣管道工業控制網絡部署方案。

1 通信網絡現狀分析

1.1 常規工控系統網絡部署

常規油氣管道站場工控系統網絡采用設備“單層次模式”，即部署一臺或多臺交換機，但是交換機處于同一網絡連接下，幾乎所有的工控設備都接入到此交換機上，工業控制網絡內所有數據流全在此交換機之間運行，無法保障系統安全性和可靠性，使系統擴展能力受限，易導致安全級別較高的系統與設備遭受攻擊，同時數據交互量太大也加重了交換機的負擔，降低設備使用壽命。

圖1 為一種常規的站場工控網絡配置方案。在該方案中，采用雙交換機配置，過程控制系統Sequence Control System（SCS 系統）、安全儀表系統Safety Instrumented System（SIS 系統）、壓縮機系統、閥室遠程終端（Remote Terminal Unit RTU）以及數據采集監視服務器Supervisory Control And Data Acquisition（SCADA）分別接入到兩個交換機中。該方案雖實現了設備的雙網絡配置，但所有系統與設備全部接入至同一網絡，各系統之間相互透明開放，不同安全等級的系統沒有進行區分，帶來了網絡安全風險。常規網絡配置未搭建網絡設備管理、遠程維護，不具備向地區公司及信息化平臺發布數據的能力，也未部署網絡安全管理設備及軟件，缺乏網絡安全管理功能。

圖1 常規站場工控系統網絡部署方案Fig.1 Network deployment scheme of industrial control system in conventional stations

1.2 問題分析

常規的工控系統網絡部署模式僅實現了站場數據采集、現場設備控制等基本功能，不能保證工控系統數據采集和控制功能的安全性、可靠性及穩定性，其缺點主要體現在以下幾個方面：

（1）SIS 系統相比于其他系統具有更高的安全等級要求，將它們直接部署在同一網絡會降低SIS系統的安全性。

（2）局域網交換機內部未進行隔離規劃，極易出現局域網內設備IP 地址沖突的問題。

（3）各系統網絡不做區分，全部接入局域網，極易引起環網，造成網絡風暴問題。

（4）缺少網絡安全設備，如安全審計、安全終端防護、入侵監測服務器等，增加了網絡入侵風險。

（5）該方案只能夠滿足現場控制，缺少數據發布平臺，未將生產數據與工業信息系統結合，無法實現“兩化融合”的相關功能。

2 方案設計

隨著“工業4.0”“中國制造2025”的提出，我國開始大力推動工業化和信息化深度融合，鑒于目前站場工控系統網絡存在的短板，需要設計一套滿足當前油氣管道行業信息化、智能化、智慧化、高安全性等新要求的新型工控網絡部署方案。圖2 為優化后的工控系統網絡部署方案。

圖2 優化后的工控系統網絡部署方案Fig.2 Optimized industrial control system network deployment scheme

2.1 雙網絡配置

該方案將系統劃分為局域網和控制網兩部分，局域網部署工控系統SCADA 服務器、工程師站、操作員站、閥室RTU、壓縮機系統、遠維數據發布服務器、區域化數據發布服務器及與調控中心通信的主備路由器等設備，并進行了功能分區?？刂凭W主要部署SIS 系統、火氣系統等。SCS 系統則作為局域網與控制網連接的橋梁，負責采集SIS 系統、火氣系統數據并傳輸至SCADA 服務器，進而通過操作員站展示給操作人員；同時接收操作人員下發的緊急命令并傳輸到SIS 系統進行現場設備控制；安全審計系統通過隔離端口連接局域網及控制網交換機，負責采集系統網絡中所有設備的實時運行狀況，當檢測到異常情況時發出報警；工程師站同時連接至局域網和控制網，通過對交換機劃分虛擬局域網（Vlan Virtual Local Area Network）進行端口隔離后，可以登錄SCS 系統及SIS 系統進行組態編程與遠程維護。時鐘服務器具備多個隔離網絡端口，獨立為各網段提供授時服務。

通過對局域網和控制網的劃分，使得兩個網絡內的設備不直接連接，防止兩個網絡中不同安全級別的設備互相影響，提升了系統控制功能安全性，降低了各設備間的耦合性，可避免人為因素對SIS系統的影響（例如工程師臨時通過局域網接入調試電腦易造成SIS 系統IP 地址沖突或程序文件下載錯誤等問題）。

2.2 內網劃分

操作員站是工控系統網絡中現場人員獲取生產數據和下發控制指令最直接的設備，同時也是操作最頻繁的對象。由于操作人員存在安全不確定性，為了避免未經授權的人員訪問受限功能，保證系統安全，需要對操作員站的通信權限進行設置，使操作員站僅能訪問SCADA 服務器與校時服務器，不能訪問其他設備。首先，在局域網交換機上開辟內網端口并分配內網Vlan ID，從而與交換機上其他端口進行隔離。其次，單獨設置一組內網IP 地址，分配給SCADA 服務器、操作員站、校時服務器，并將這些設備通過局域網交換機內網端口進行連接。通過這種規劃及設置，操作員站只能與SCADA 服務器和校時服務器通信，進行讀取數據、下發命令以及校時等，減輕了操作員站的工作負擔，降低了通過操作員站引起的系統故障風險。

2.3 SCS 系統與SIS 系統通信

SIS 系統是現場出現異常狀況時能第一時間進行安全警告及緊急事件自動處理的重要系統，SIS系統需通過SCS 系統將實時數據反饋給用戶，因此SCS 系統與SIS 系統之間的通信狀態影響著現場工控系統正常運行。

在SCS 系統與SIS 系統中各安裝兩塊以太網通信模塊，以太網模塊之間兩兩建立通信，形成四條通信信道（圖3）。相比常規方案中的雙網冗余通信方式，四重信道的通信方式更加安全、穩定。

圖3 SCS 系統與SIS 系統通信信道Fig.3 Communication channel of SCS system and SIS system

為實時監測SCS 系統與SIS 系統的連接是否正常，在SCS 系統及SIS 系統中編寫通信狀態診斷邏輯程序，利用時鐘法進行通信狀態診斷。在SCS 系統內編程設置一個從0～59 s 往復循環變化的時鐘值，并實時寫入SIS 系統中，SIS 系統讀取該值后隔10 s 再傳回SCS 系統，SCS 系統對傳回的數值進行判斷，若連續兩次傳回的數值不一致則表明系統之間通信正常。

四條通信信道在正常情況下按照“一條運行，三條備用”的方式進行工作。當系統正常運行后，激活1#信道，利用SCS 系統與SIS 系統各自第一塊以太網模塊進行通信，并生成該信道通信標志位上傳至上位機顯示，其他三條信道處于備用狀態。當檢測到該信道通信中斷，立即切換至2#信道并發出報警提示，利用SCS 系統第一塊以太網模塊與SIS系統第二塊以太網模塊進行通信，如果2#信道已存在通信故障，則直接跳過該信道，切換到3#信道進行通信。同理其他信道也是如此切換。之前發生通信故障的信道在恢復通信后直接調整設置為備用信道。

通過該方式進行通信連接穩定性極高，提升了系統的通信故障識別度，滿足了SIS 系統的數據傳輸及邏輯控制功能對網絡通信的高要求。

2.4 冗余配置

生產數據是保證油氣管道輸送正常作業的基礎，它反映出生產過程的實時狀況，在整個生產過程中有著極其重要的地位。為了保證數據的安全性、可靠性，在工控系統網絡的關鍵節點均進行冗余配置，主要包括路由器冗余、SCADA 服務器冗余、局域網冗余及控制網冗余等。這些冗余配置組成了一個完整的冗余工控網絡系統。

（1）路由器冗余。不論外部數據通往站場，還是站場數據傳輸至調控中心，均應為數據傳輸設置不同的物理通道，采用“一主一備”甚至“一主多備”的通信方式，以保證數據的可靠性和安全性。本套優化的方案通過規劃四條物理通道，打通站場與調控中心的通信，包括主備光通信鏈路、衛星及DDN 專網鏈路。在站場部署兩臺路由器，對通往主備調控中心的四條通道進行路由轉發配置，每條通道設置不同優先級別，使通道在通信故障時可以有規律的進行通信切換。在正常通信狀態下，主調控中心訪問站場通過主光通信鏈路，備調控中心訪問站場通過備光通信鏈路；主光通信鏈路故障時，主調控中心通過備調控中心的通信鏈路訪問站場；主備光通信鏈路故障時，主調控中心、備調控中心通過DDN 專網鏈路訪問站場；衛星則為優先級最低的通信方式，只有其他通信方式均發生故障時才使用。通過這種添加優先級的冗余配置，保證數據首先通過傳輸速率高、可靠性高的通道進行傳遞，確保了數據通信的時效性、可靠性和安全性。

（2）SCADA 服務器冗余。SCADA 服務器是操作人員控制現場設備的總臺，一方面，它通過SCS系統從現場設備采集數據進行處理、分析，并將結果反饋給操作人員；另一方面，它接受操作人員的指令并轉換為機器語言發送至現場設備執行相關動作，由此實現對現場設備及儀表的監測和控制。因此，SCADA 服務器是工控系統中極其重要的一部分，須保證其長時間穩定的在線運行。本方案部署A、B 兩臺SCADA 服務器，它們互為主備并同步實時采集數據。當主服務器產生故障時，備服務器自動切換為主服務器的角色接管系統的監控功能。雙服務器的部署方式保證了工控系統監控功能持續、穩定、安全的運行。

（3）網絡冗余。在單一網絡的模式下，若控制系統中任何一設備出現故障均會導致整個系統無法正常運行。本文提出優化后的局域網和控制網冗余方案，將局域網設置為A 網和B 網，將控制網設置為1#網和2#網，冗余網絡劃分兩個網段的IP 地址，網絡中的SCS 系統、SIS 系統、壓縮機系統、SCADA 服務器等設備也設置多個不同網段的IP 地址，并保證設備多個網絡端口之間物理隔離，這樣的目的在于既實現了冗余功能，也保證了冗余網絡之間IP 地址沒有沖突，避免形成環網問題。若其中一個網絡發生故障，數據采集及命令下發可通過另一網絡進行，保證了生產過程監控的實時性、可靠性和穩定性。

2.5 網絡安全

油氣管道是國家能源的大動脈，一旦遭受攻擊，輕則對企業利益造成影響，重則造成人員傷亡，甚至威脅到國家能源安全。近年來針對能源行業工控系統的網絡攻擊行為呈上升趨勢，如攻擊伊朗的震網病毒、攻擊烏克蘭電廠的BlackEnergy等[3]。隨著“兩化融合”工作的逐步開展，工控系統的開放、數據在更大范圍內的傳輸是未來工業發展的必然趨勢[4]，油氣管道工控系統的信息化程度不斷加強，對網絡安全的要求也越來越高?；凇暗缺?.0”對工控系統網絡安全提出的通用及擴展要求，在工控系統網絡中部署終端防護、防火墻、安全審計等安全設備及軟件。終端防護軟件主要部署在工控系統中SCADA 服務器、工程師站、操作員站等終端設備上，保證通過終端設備進入系統的數據是安全的。防火墻部署于網絡邊界處，使不同安全等級的區域網絡通過安全可控的方式互相訪問。部署安全審計系統，針對具體項目實施要求配置安全策略，實時對網絡安全設備、服務器、終端應用系統等設備的異常狀態、操作記錄、日志信息進行采集和存儲，對違規操作行為進行記錄，對系統網絡安全的整體狀況做出分析和預測。

通過部署網絡安全設備，可以有效阻隔針對工控系統網絡的攻擊，保護生產數據的安全，提升工控系統工業化與信息化的融合程度。

2.6 區域化數據發布

通過區域化數據發布功能，將工業生產數據傳至信息管理系統中，經過授權的人員直接在辦公電腦或移動終端即可實時查看生產數據；利用遠維數據發布，實現工控系統運行狀態的遠程在線監視與分析、故障診斷與預警，隨時掌握現場生產狀況。本方案部署數據發布專用路由器、服務器及遠維數據和區域化數據上傳調控中心專用通道，將生產數據、設備運行參數等信息實時傳輸至調控中心中間數據庫，中間數據庫再將數據提供給信息管理系統，實現數據的實時發布。

2.7 授時服務

油氣管道生產強調工控系統數據的時效性，只有實時的數據才能及時的反映出當前生產狀況，SCADA 服務器需讀取工控系統網絡中各設備采集的實時數據，操作員站也需讀取SCADA 服務器的實時數據等等，因此要求工控系統網絡內所有產生生產數據、接收調控指令的設備時區相同、時間一致。本設計方案部署一臺與衛星時鐘同步的校時服務器，該時鐘源同時架設在局域網和控制網，通過對交換機端口分配Vlan ID 進行端口隔離，可為工控系統網絡內所有需要校時的設備進行授時，確保所有設備的時間運行一致。

2.8 站場與閥室通信

長輸油氣管道閥室數據分別傳至上下游站場，再通過站場路由器上傳至調控中心。目前閥室按照有無外部市電供應的區別劃分為監控閥室與監視閥室，監控閥室有外電接入，可利用光通信設備將監控閥室局域網絡接入到上下游站場。而監視閥室無外電接入，只能利用太陽能供電，無法保證光通信設備的正常運行，因此通過將各監視閥室的光交換機相互串聯，使監視閥室網絡接入到站場[5-7]，如圖4 所示。

由圖4 可知，上下游站場通過監視閥室與監控閥室連接，有形成環網的風險，從而引起網絡風暴，并且還會造成上下游站場局域網互通的問題。

圖4 站場與閥室網絡連接Fig.4 Network connection between stations and valve chambers

針對此問題，將監視閥室的工業交換機分為兩個區域，分別連接上下游閥室或站場，通過對工業交換機端口分配不同Vlan ID（圖4 中以Vlan 101 和Vlan 102 為例），分別只接收上下游閥室傳遞過來的帶有各自Vlan 標簽的數據。當站場訪問監視閥室數據時，數據流可通過閥室交換機從第一個閥室跳轉至第二個閥室，再從第二個閥室跳轉至第三個閥室，以此類推。但由于分配了不同的VLAN ID，上下游站場最多只能訪問到各自線路最尾端閥室，無法進一步實現站場之間的通信。

通過這種方式，既有效避免了上下游站場與閥室形成環網，也保證了閥室數據可以通過級聯鏈路傳遞至上下游站場，同時也解決了上下游站場間的網絡互通問題。

3 方案的優點

相比常規工控系統網絡設置，經過優化后的網絡部署更能適應當前油氣管道行業的發展，其優點主要體現在以下六點：

（1）對現場劃分兩個網段，實現雙網絡通信，實現網絡冗余功能，提升了安全性及可靠性。

（2）采用三層交換機，并通過對交換機劃分不同的Vlan，有助于控制流量、減少設備投資、簡化網絡管理、提高網絡的安全性，防止同一交換機上不同網段的設備互聯，保證通信安全，避免網絡風暴。

（3）依據等保2.0 要求，部署網絡安全設備及軟件，提升工控系統網絡安全。

（4）與調控中心通信采用多個互相獨立的傳輸通道，并在路由器中建立策略，劃分不同路徑的優先級，提升了數據傳輸可靠性和穩定性。

（5）分開設置局域網和控制網，實現邏輯控制功能與上位機監測功能分開管理，降低了系統耦合性。

（6）通過將區域化數據進行網絡發布，可將生產數據信息化，實現工業生產系統向信息管理系統的邁入。

4 網絡測試

經過優化后的工控系統網絡部署方案，是否能適應當前油氣管道行業的發展，提高工控系統應用能力，滿足現場生產監控要求，需要經過現場測試后方可驗證。方案通過在現有天然氣長輸管道控制站場與閥室進行測試，驗證了其可行性。

4.1 局域網測試

局域網交換機劃分為過程數據采集網端口與SCADA 上位機內網端口兩部分。其中內網端口用于操作員站與服務器的連接，在每臺交換機上都選取4 個端口劃分至同一Vlan 區域。而過程數據采集網則使用每臺交換機剩余的端口，并分為A、B 兩個通信網絡。局域網測試分兩部分，內網測試和采集網測試[8-10]。

4.1.1 內網測試

（1）將兩臺交換機1-4 口均劃分為Vlan 20，并做級聯。

（2）SCADA 上位機兩臺操作員站與兩臺服務器連接到交換機1-4 口上，每臺操作員站與每臺服務器均有2 個端口分別連接到兩臺交換機的Vlan 20端口中。服務器兩個端口配置為bond 接口并設置成冗余非交換接口模式。接口拓撲圖如圖5 所示[11]。

圖5 內網接口拓撲Fig.5 Intranet interface topology

（3）分別切斷主服務器、備服務器以及操作員站一個端口的網絡連接，檢查服務器與操作員站的通信狀況，并檢查兩臺服務器的冗余狀況，此時通信與冗余情況均未受影響。

（4）切斷服務器采集網絡，對采集網絡做端口強制禁用操作以及在采集網絡模擬網絡風暴現象，客戶端與服務器內網未受任何影響，客戶端可正常訪問服務器。

4.1.2 采集網測試

（1）第一臺局域網交換機除內網網口外，其余網口劃分為Vlan 30，為采集網A 網網絡，接入SCS系統1#口通信端口、遠維數據服務器1#口通信端口、SCADA 數據服務器3#口通信端口。

（2）第二臺局域網交換機除內網網口外，其余網口劃分為Vlan 40，為采集網B 網網絡，接入SCS系統2#口通信端口、遠維數據服務器2#口通信端口、SCADA 數據服務器4#口通信端口，如圖6所示。

圖6 采集網接口拓撲Fig.6 Acquisition network interface topology

（3）分別順序切斷SCS 系統、遠維數據服務器與SCADA 數據服務器的A/B 網端口，檢查數據采集與指令下發情況，此時數據采集與指令下發均正常。

（4）切斷服務器與客戶端內網、對內網做端口強制禁用操作以及在內網模擬網絡風暴現象，采集網的數據采集與命令下發未受任何影響，SCS 系統與服務器數據采集監控業務正常。

4.2 控制網測試

控制網內接SIS 系統與火氣系統，與過程控制系統的局域網以及遠維網是相互獨立并且隔離的。每個系統均有兩個端口分別接到控制網的兩臺交換機上，過程控制系統訪問控制網是通過SCS 系統本地機架上的通信模塊實現，通信模塊兩個端口也分別接到控制網兩臺交換機上。因此控制網測試較局域網相對簡單，不劃分Vlan，不做級聯，僅需進行雙網冗余測試即可。經過分別切斷SIS 系統與火氣系統其中一個端口與控制網交換機的連接，各系統之間的數據通信均正常，未受到影響。在局域網中模擬網絡入侵、網絡風暴等現象，也未對控制網造成任何影響[12]。

4.3 遠維網測試

遠維網負責對外發布過程控制系統的數據，如向信息化平臺、中心遠維數據庫等平臺進行數據發布。遠維數據服務器具有多個隔離端口，設置不同端口分別負責數據采集與數據對外發布。遠維數據服務器支持多種工業通信協議，如Modbus Tcp/Ip、IEC104、OPC UA、Snmp 協議等。本次測試采用Modbus Tcp/Ip 協議采集過程控制系統SCS 數據后，再采用IEC104 協議對外發布；采用SNMP 協議采集工控網絡內網絡設備信息后，再采用OPC UA 協議對外發布[13]。

4.4 網絡安全測試

對局域網交換機與控制網交換機設置鏡像口，網絡安全審計設備接入交換機鏡像口，監視網絡流量。網絡安全測試主要分以下幾個步驟進行：

（1）設置網絡流量審計探針IP 地址、上聯設備端口、監聽交換機鏡像接口。

（2）配置網絡安全審計設備為硬件管理平臺和安全管理平臺。

（3）物理連接網絡安全審計設備與工控網絡交換機。

（4）開啟網絡安全審計設備的攻擊策略、防病毒檢測策略、網絡攻擊策略、特征檢測策略、主機監控策略、時鐘同步與日志外發策略等。

（5）測試與中心安全審計總部平臺的數據收發。

（6）導入工控測試包與攻擊測試包，用筆記本本地網卡接網絡流量審計任意工作口，使用數據包播放器回放攻擊包和工控會話包，查看是否有網絡會話和安全事件產生。圖7 為安全審計潛在風險報警。

圖7 安全審計潛在風險報警Fig.7 Security audit potential risk alarm

（7）檢查中心安全審計服務器平臺日志接收情況。中心安全審計平臺能夠正常讀取站場安全審計信息并對信息進行記錄存儲。

5 結論

（1）優化后的工控系統網絡空間層次更加清晰，系統網絡內各子系統間的數據交互穩定性及時效性得到了極大的提高，系統控制安全性得到了進一步加強。

（2）優化后的工控系統網絡提升了工業數據向信息系統傳輸過程中的網絡安全性和可靠性，滿足“等保2.0”對工控系統提出的要求。

（3）該工控系統網絡部署方案能夠更好的適應當前油氣行業的需求，在實用性、安全性、可靠性、智能性等方面比常規工控系統網絡有更大的優勢，這種優勢也順應當前“兩化融合”、“工業4.0”、“中國制造2025”等新概念提出的新要求，對于后續油氣行業的工控系統發展具有一定的指導作用。