煤礦企業數據中心網絡安全服務鏈技術研究

孫磊， 孫淑昕， 王博文， 任賀賀， 彭輝

（1. 中國礦業大學 信息化建設與管理處，江蘇 徐州 221116；2. 中國礦業大學 信息與控制工程學院，江蘇 徐州 221116；3. 兗州煤業股份有限公司 濟南煤炭科技研究院分公司，山東 濟南 272100；4. 中國銀行股份有限公司徐州分行，江蘇 徐州 221116）

0 引言

第四次工業革命促使礦業生產向安全、智能、生態轉型，5G、大數據、人工智能、物聯網、遙感探測等新技術為礦山數字化、智能化運行提供了技術支撐。王國法等[1]針對我國煤礦智能化發展現狀，提出了“一朵云＋一張融合網＋三級平臺＋N個應用模塊”的智能化煤礦建設總體技術架構，通常在大型煤礦集團建設綜合數據交互中心，各礦業公司建設二級數據交互中心，生產煤礦則建設三級數據中心。當前煤礦智能化建設大多關注智能掘進、智能采煤、智能主輔運輸、智能通風、智能排水與供電、智能安全監控等業務模塊，對智能化相關軟件開發、大數據中心建設、智能化綜合管控平臺建設等[1]，特別是工業生產網絡及數據中心的網絡安全問題重視不夠。

震網病毒能破壞礦業、化工、發電等企業的核心生產控制軟件，通過病毒、分布式拒絕服務（Distributed Denial of Service，DDOS）方式攻擊服務器，竊取商業機密、生產信息等，對企業造成網絡安全事故和經濟損失，如2019年3月，委內瑞拉電力系統遭受網絡攻擊，陷入癱瘓。煤炭產業作為我國能源安全的關鍵基礎保障，煤礦企業能否正常生產運行直接關系到國計民生，因此保障煤礦企業數據中心的網絡安全成為當前亟需解決的問題。

煤礦企業數據中心網絡安全設備目前大多采用串行部署方式，存在單點故障、鏈路瓶頸、運維耦合等問題。針對上述問題，本文采用軟件定義網絡（Software Defined Network，SDN）安全服務鏈技術，設計了安全設備并行部署方式，以解決煤礦生產過程中安全設備單點故障問題，實現網絡資源靈活調度、設備升級迭代優化等。

1 煤礦企業數據中心網絡安全設備部署方式

隨著煤礦智能化升級，在云-邊-端協同體系框架下，各類安全監測系統、生產遠控系統和APP管控平臺等上線，其穩定性均依賴于“煤礦大腦”-數據中心的穩定運行和數據安全。為防范網絡攻擊，保證數據中心安全，煤礦企業通常在數據中心出口以串行方式部署相關的網絡安全設備，如防火墻（Firewall）、入侵防御系統（Intrusion Prevention System，IPS） 、Web應用防護系統（Web Application Firewall，WAF）等，如圖1所示。

圖1 煤礦企業數據中心網絡安全設備串行部署方式Fig. 1 Serial deployment mode of network security equipment of data center in coal mine enterprise

煤礦企業數據中心的安全設備串行部署方式存在以下問題：① 當數據中心受到網絡攻擊或安全設備發生單點故障時，會影響整個網絡通信。② 在網絡運行過程中，所有流量需經過每臺安全設備，處理能力不足的設備會成為整個鏈路的瓶頸。③ 網絡設備之間耦合大，擴展設備或更改服務時，需手動調整網絡安全設備的策略，無法進行快速服務調整，至少需中斷2 h才能排除故障。實際上，由于煤礦企業現場信息安全和網絡安全方面的專業人員不足，可能需要更長的運行恢復時間，影響了煤礦正常運行。針對上述問題，本文采用SDN安全服務鏈技術予以解決。

2 煤礦企業數據中心網絡安全服務鏈設計

2.1 SDN安全服務鏈

傳統的安全服務鏈是指網絡流量按照業務邏輯要求的既定順序經過安全設備的路徑，與網絡結構緊密耦合，遇到問題很難快速定位。SDN是一種數據轉發與控制平面分離、集中控制、開放接口的新型網絡架構，可與網絡功能虛擬化（Network Function Virtualization，NFV）緊密結合，實現網絡設備的高效管理和編排。SDN主要特點：① 可編程，為用戶提供全體系的應用程序接口（Application Program Interface，API），使用戶在控制器上編程即可實現對網絡的配置、控制和管理。② 數據轉發與控制平面分離，二者通過OpenFlow協議接口相互通信。③ 邏輯上集中控制，控制器收集和管理所有網絡狀態信息，并根據業務需求進行資源全局調配和優化，為網絡自動化管理提供可能性[2-3]。

SDN安全服務鏈將SDN和NFV緊密結合，為安全服務部署提供了新的模式。NFV將服務功能從專用硬件設備中解耦，網絡服務由虛擬網絡功能完成，通過定制所需的服務鏈，實現動態、靈活的安全服務功能按需組合。根據安全需求管理和控制安全服務功能的行為，將服務功能鏈（Service Function Chaining，SFC）集成到網絡安全功能接口（Interface to Network Security Functions，I2NSF）架構中，指定所需的安全服務類型組合，最終形成并行結構的SDN安全服務鏈。

2.2 煤礦企業數據中心SDN安全服務鏈

采用SDN安全服務鏈后，煤礦企業數據中心網絡安全設備旁路部署在安全服務鏈上，所有的安全設備仍是服務節點，部署方式由原有的串行結構變成并行結構，如圖2所示。物理拓撲上串入1臺SFC交換機，其他服務節點接入SFC交換機。SDN 控制器作為集中控制設備，對所有接入SFC交換機的設備及經過SFC交換機的流量進行控制，通過配置實現與拓撲無關、靈活的SDN安全服務鏈。

圖2 煤礦企業數據中心網絡安全設備并行部署方式Fig. 2 Parallel deployment mode of network security equipment of data center in coal mine enterprise

在網絡安全設備并行部署方式下，SDN安全服務鏈可根據安全設備的健康狀況，靈活地調整服務路徑。當單個或多個安全設備出現故障或無法正常提供服務時，SDN安全服務鏈自動更新一條無故障設備作為服務節點的新安全服務路徑，并發出告警，極大地提高了鏈路的穩定性及可靠性。當安全設備需要升級時，僅需將待升級設備移出服務路徑，完成升級后再納入服務路徑，升級過程中無需改動任何線路。當需要增加新的安全設備時，只需通過SDN控制器下發新的服務鏈策略，即可將新設備加入網絡中。總體來說，網絡安全設備的上下線對用戶來說完全無感知，大大降低了用戶訪問煤礦企業數據中心資源時出現中斷的概率[4-6]。

3 SDN安全服務鏈測試

3.1 測試環境

針對大型煤礦集團典型應用場景，搭建了數據中心SDN安全服務鏈測試環境，在企業園區數據中心出口部署Firewall，WAF等安全設備，如圖3所示。在不改變數據中心和園區網之間雙鏈路部署方式的情況下，考慮到單臺SFC交換機可能會引起單點故障等因素，部署2臺SFC交換機、1臺SDN控制器，其中SDN控制器用于管理、控制SDN安全服務鏈，Firewall和WAF并行部署在2臺SFC交換機之間。

圖3 SDN安全服務鏈測試環境Fig. 3 Test environment for software defined network（SDN）security service chain

數據中心出口的所有流量均經過SDN安全服務鏈進行流量調度，雖然Firewall，WAF分別只有1臺物理設備，但為了防止發生各種單點故障，通過SDN安全服務鏈將Firewall，WAF分別虛擬為2臺物理設備，實現SDN安全服務鏈負載均衡，保證在任何設備或端口出現故障時，園區網訪問數據中心的流量保持暢通[7-9]。

3.2 SDN控制器配置

將2臺SFC交換機定義為左右安全服務鏈，左右安全服務鏈各自通過eth-0-1接口與園區網核心交換機連接，通過eth-0-9接口與數據中心核心交換機連接；2臺虛擬Firewall分別定義為FW[1]，FW[2]，其中FW[1]連接左安全服務鏈的eth-0-3和eth-0-4，FW[2]連接右安全服務鏈的eth-0-3和eth-0-4；2臺虛擬WAF分別定義為WAF[1]，WAF[2]，其中WAF[1]連接左安全服務鏈的eth-0-7和eth-0-8，WAF[2]連接右安全服務鏈的eth-0-7和eth-0-8，如圖4所示。

圖4 SFC交換機定義及設備連線Fig. 4 Definition of service function chaining（SFC） switch and equipment connection

在邏輯上建立2條安全服務鏈策略：① 優先級為6（優先級越高，則越優先）的SFC聚合策略，使流量正常通過FW[1]，FW[2]，WAF[1]，WAF[2]。② 優先級為1的SFC-1NO，SFC-2NO逃生策略，當FW[1]，FW[2]，WAF[1]，WAF[2]同時出現問題時，停用SFC聚合策略，啟用逃生策略（所有進出數據中心的流量不再經過安全設備，直接通過左右安全服務鏈的eth-0-1，eth-0-9轉發）。

安全設備健康檢測配置如圖5所示。SFC交換機通過互聯端口每2 s向FW[1]，FW[2]，WAF[1]，WAF[2]發送健康檢測報文，對其進行狀態檢測，如連續發送5次未獲得某安全設備的回復報文，則判定該安全設備故障、端口故障或線路故障，直接跳過該安全設備，流量從正常回復健康檢測報文的安全設備轉發[10-12]。

圖5 安全設備健康檢測配置Fig. 5 Health inspection disposition of safety equipment

3.3 安全服務鏈策略測試

園區網核心交換機去往數據中心的流量隨機到達左右安全服務鏈，SFC聚合策略下測試流量走向，結果如圖6所示。以左安全服務鏈為例，其先通過eth-0-3接口將流量送至FW[1]的1號接口，經FW[1]檢測后，通過FW[1]的2號接口送至左安全服務鏈的eth-0-4接口；左安全服務鏈再通過eth-0-7接口將流量送至WAF[1]的1號接口，經WAF[1]檢測后，通過WAF[1]的2號接口送至左安全服務鏈的eth-0-8接口；左安全服務鏈最終通過eth-0-9接口把流量送至數據中心核心交換機。右安全服務鏈流量走向與此類似。

圖6 SFC聚合策略測試結果Fig. 6 Test results of SFC polymerization strategy

當SFC聚合策略停用時，自動切換至逃生策略。逃生策略測試結果如圖7所示。此時流量不再經過FW[1]，FW[2]，WAF[1]，WAF[2]，直接經2臺SFC交換機轉發去數據中心。同時，去往數據中心的測試ping包無丟包現象，實現了用戶無感知切換。

圖7 逃生策略測試結果Fig. 7 Test results of aggregation strategy

當SFC聚合策略再次被人工啟用后，安全服務鏈策略自動切換至SFC聚合策略，該過程中測試無丟包，流量恢復從FW[1]，FW[2]，WAF[1]，WAF[2]轉發。

3.4 安全設備異常測試

為驗證SDN安全服務鏈極限異常處理能力，人工關閉左安全服務鏈的eth-0-3接口來模擬FW[1]異常，人工關閉右安全服務鏈的eth-0-7接口來模擬WAF[2]異常，如圖8所示。

圖8 FW[1]，WAF[2]異常模擬Fig. 8 Simulated FW[1], WAF[2] abnormalities

FW[1]異常時左安全服務鏈流量處理過程（①-⑨）如圖9所示。可看出從園區網核心交換機到達左安全服務鏈的流量先通過左安全服務鏈eth-0-23接口的生命線到達右安全服務鏈的FW[2]進行分析處理，之后由右安全服務鏈通過eth-0-23接口的生命線返回左安全服務鏈的WAF[1]進行分析處理，最后轉發至數據中心。

圖9 FW[1]異常時左安全服務鏈流量處理過程Fig. 9 Traffic processing process of left security service chain when FW[1] is abnormal

WAF[2]異常時右安全服務鏈流量處理過程（①-⑧）如圖10所示。可看出從園區網核心交換機到達右安全服務鏈的流量先由右安全服務鏈正常轉發到FW[2]進行分析處理；因右安全服務鏈上的WAF[2]異常，流量經FW[2]處理后，通過右安全服務鏈eth-0-23接口的生命線到達左安全服務鏈上的WAF[1]進行分析處理；之后通過左安全服務鏈的生命線返回右安全服務鏈，最后轉發至數據中心。

圖10 WAF[2]異常時右安全服務鏈流量處理過程Fig. 10 Traffic processing process of right security service chain when WAF[2] is abnormal

因FW[1]，WAF[2]異常，園區網去往數據中心的流量只經過FW[2]，WAF[1]，如圖11所示。在整個測試過程中，FW[2]，WAF[1]轉發流量時無丟包，這對用戶體驗來講，實現了無感知切換。

圖11 FW[1]，WAF[2]異常時FW[2]，WAF[1]轉發流量情況Fig. 11 Forwarding traffic by FW[2] and WAF[1] when FW[1]and WAF[2] are abnormal

4 結論

（1） 針對煤礦企業數據中心網絡安全運行維護方面的實際問題，采用SDN安全服務鏈技術，將生產網絡和數據中心之間的安全設備部署方式由串行轉變為并行，由SFC交換機定期向安全設備發送檢測報文，探測安全設備健康狀況，根據配置自動跳過故障服務，在保障業務正常運行的同時發出告警信息，避免單點故障帶來的問題，實現安全設備無感知上下線。

（2） 通過場景平臺運行測試，驗證了煤礦企業數據中心網絡安全服務鏈技術支持可視化靈活調度安全服務資源，可按需啟用/停用服務鏈上安全服務或配置不同優先級的服務鏈，為煤礦企業數據中心安全防護提供可靠保障。

（3） 隨著煤礦企業數據中心規模化建設推進和各類APP應用上線，煤礦生產、管控各環節的智能化系統和應用將面臨更多的網絡威脅和攻擊。因此，煤礦企業應加大網絡安全設備投入和人員技能培訓，以保障煤礦生產網絡安全。