某特鋼企業MES系統多源異構數據采集架構設計與應用

盛 剛，李 勇，張效華

（冶金自動化研究設計院有限公司，北京 100076）

0 引言

某特鋼企業在建設MES 系統過程中需要集中將不同源的數據進行采集，統一集中后，按照需求供給不同的應用系統使用，實現數據自動集中采集，統一供給，降低數據落地和人為干預，為后續MES 系統的應用打下堅實的基礎。

由于該企業產能小（年產能不到2 萬噸），設備數量少，所以在MES 系統實施過程中并沒有按照嚴格的鋼鐵企業5層架構（一級PCS 層、二級自動控制、三級MES 系統、四級ERP 層、五層商業智能）進行設計和實施，而是直接實施MES 系統，先提升企業生產管理水平，拉通企業產品生產過程信息化，然后再完善一級和二級。所以在實施過程中三級MES 系統充當了很多二級系統功能（傳統方案是二級為三級提供數據，只需和二級進行通訊即可），需要采集底層不同源的數據為MES 系統統計和決策提供支持。

MES 系統采集的數據分布在MES 系統、應用系統、網關、儀器儀表、文件等不同的數據源中，且各數據源的數據交換協議也不相同，設計PLC、OPC、MODBUS、104、102 智能電表協議、應用系統并通過數據庫完成數據交換[1-3]。本文在開發了一兩個數據采集接口后，發現數據采集程序有一些通用的代碼，包括數據鏈接、協議轉換、讀取數據、數據轉換、數據存儲等共同的模塊，其中數據鏈接和協議轉換是所有的接口中不同的部分。系統通過抽象，設計了一套通用的多源異構的數據采集架構。該架構通過對采集鏈接和采集協議的可配置性和可擴展性，實現多協議的適配性，提高了數據采集的效率。

1 MES系統采集數據的多源性和異構性

1.1 數據的多源性

MES 系統是特鋼企業信息化的基石。MES 系統通過聯通ERP 系統將銷售訂單轉換為生產訂單并分解為各工序的生產計劃，通過跟蹤生產計劃、物流運輸、原料庫存、能源消耗，產品質量等信息完成對整個生產的管控。所以，在MES 系統實施過程中需要集成訂單信息、工藝信息、能源信息、設備信息、質量信息、原料庫存信息、生產過程信息和物流信息。這些信息數據源分布在不同的系統中，MES 系統在集成過程中需要與這些數據源通信，才能將這些數據集成到MES 系統中，使MES 系統完成對生產計劃的跟蹤和管控。具體數據源和傳輸協議見表1。

表1 MES系統采集數據多源性Table 1 Multi source of data collected by MES system

本文在MES 系統落地實施過程中，MES 系統需要與參與特鋼生產的各工段、車間和分廠中各種信息系統對接。

其中，對于工段需要集成該工段二級系統中的信號，例如設備事件信號中的啟動和結束來判斷作業是否開始或者結束。此類信息，以Socket 報文信息對外提供信號，或者是直接對接設備控制系統PLC、DCS 系統進行事件類的信號采集；對于某些特殊設備未進行標準化，以串口的形式對外提供信號，如工段中使用天車秤、煤氣表或者水表等老設備，對外的接口一般以串口的形式與外圍系統進行對接。

對于車間，一般由二級管理系統主要管理整個車間的生產任務執行情況。MES 系統要向二級管理系統下發任務，此類信息可以通過數據庫的形式或者Web Api、Web Service的形式進行數據傳遞。

對于廠級間信號傳遞，在MES 系統建設過程中遇到了兩個分廠產線間傳遞原料信息，需要在原料系統中記錄原料表面質量信息，然后將原料的表面質量信息傳遞給MES系統中的質量模塊。此過程中涉及了圖片信息的傳輸，通過Web Api 的形式進行文件信息傳遞。

MES 系統的成功除了要集成各類系統信息，還需要集成其他業務系統的信息，用來實現對整個生產的管理。同時，MES 系統只負責企業的生產管理，其他業務需要在其他系統中體現，也需要MES 系統為其他系統提供接口，將MES 系統的信息發送給目標系統。例如，將MES 系統的生產任務統計信息發給4 級系統ERP 中，在ERP 系統中實現生產成本信息的核算。

1.2 數據的異構性

異構數據（Heterogeneous Data）廣義上是指數據結構、存取方式、形式不一樣的多種數據。在本次項目實施過程中主要為3 種數據：時序數據、業務數據、非結構化數據。

時序數據指數據的產生按照時間的順序產生，一般主要是設備工藝參數（生產過程中產生）和儀器儀表的計量數據。此類數據具備一定的時序性，數據的主要結構為數據唯一標識、數據產生的時間、數據的值。

業務數據，指業務過程的描述信息。如生產計劃，描述了產品生產起始結束時間、所需設備、原料等資源信息。

非結構化數據，指一些無法結構化數據。如圖片信息等，在本次項目中主要是指圖片信息、文件信息，例如物料的質量圖片信息、工藝標準、生產過程參數以及文件存儲的文件信息。

其中，對于本文特鋼MES 系統中，業務數據是數據量最大的種類；其次是時序數據，最后是非結構化的數據。業務數據涵蓋了生產計劃、作業計劃、檢修計劃、生產實績、能源實績、原料信息、產品信息、工藝過程信息、產品質量信息、工藝標準信息、產品質量等信息。而時序數據，主要為生產過程中的生產工藝參數，如產品生產過程中環境的溫度、濕度、設備的電流和電壓信息，產品實時的物理信息，如長度、重量、溫度等變化信息。而非結構的數據，一般為復雜工況識別需要的圖片信息，產品表面質量、產品低倍組織信息，這些圖片需要進行保存分析。還有一些流媒體的信息，如生產過程中的視頻監控信息——電爐中電弧圖像信息有非常重要的價值，目前只能存在設備中，MES 系統需要對這些圖片進行分門別類地存儲，為MES 系統質量分析提供支持。

2 多源異構數據采集系統架構

通過對數據源數據、數據接口協議以及對數據本身的采集要求（采集頻率）的特點分析，整個數據采集的過程可以分為外圍數據源注冊、數據源的鏈接、數據讀取、協議解析和數據轉換和轉發、數據存儲6 個過程。其中，由于數據源不同導致協議解析和數據轉換和轉發不同，此部分根據軟件設計思想可以以插件的方式進行設計，方便后續針對不同源不同協議數據源進行擴展。

2.1 多源異構數據采集系統架構

根據數據采集過程的劃分，構建整個數據采集架構模型如圖1。整個架構分為3 部分，從下到上依次是驅動配置、驅動管理和驅動調用。其中，驅動配置用于整個驅動的形成，包括數據源定義、通道配置、協議選擇、數據采集配置（數據轉換定義及采集規則的定義），配置完成后形成數據采集驅動。驅動管理主要負責對驅動的添加、測試、修改、刪除和保存等操作，完成后將驅動形成數據庫存儲的模型存儲在數據庫中。驅動調用模塊，由MES 系統在數據采集過程中通過驅動調用完成數據采集。圖1中用圈中的數字標明數據采集驅動的配置順序。

圖1 數據采集架構Fig.1 Data acquisition architecture

2.2 多源異構數據采集引擎

完成了數據采集驅動配置之后，需要對數據采集驅動進行控制[5-8]。讓系統通過驅動定時地掃描數據源后，根據采集驅動的定義將數據源的信息按照確定周期將確定要采集的數據采集到目標系統中。如圖2所示，設計了數據采集引擎，通過在引擎啟動過程中將已經配置好的數據驅動讀到系統內存中，形成數據采集隊列。由程序控制數據源隊列的出隊，并判斷是否可以下一次采集，判斷方法為根據不同的數據選擇不同判斷算法，判斷算法以程序接口或者動態鏈接庫的形式存在數據庫中，由程序在使用過程中進行調用。

圖2 數據采集引擎Fig.2 Data acquisition engine

對實時數據的采集根據數據直接進行輪訓采集，對于業務數據需要根據業務系統的數據時間標志位進行判斷是否是當前采集周期內的數據，對于歷史數據（用于補采數據）也根據設置的采集范圍進行數據采集，對于符合進入數據源緩沖隊列開始采集數據，等采集完成后釋放數據源，重新進入數據源隊列進行下一輪的數據采集。

2.3 多源異構數據采集系統特點

該系統具備集中統一采集不同數據源的數據，通過配置的方式完成了不同的數據源的數據采集驅動配置，通過數據采集引擎定周期自動完成對各個系統的數據采集工作。

系統具備驅動的可擴展性，后續可通過添加驅動的形式在其他模塊不用改動的情況下即可完成數據采集。

此外，隨著系統驅動積累的越來越多，項目中涉及數據采集的工作時，由于系統中已積累了很多驅動，項目實施人員只需對系統進行配置，即選擇數據源、配置鏈接方式和數據轉換方式后存儲成驅動，系統就可以自動對目標數據源的數據進行采集，所以后續工程效率會逐漸增大。而且隨著軟件多次使用，軟件的質量也因為驅動種類多帶來系統測試多，軟件質量也會提升。

3 多源異構數據采集系統應用

針對特鋼企業需求，聚焦生產制造環節信息的打通，通過設備技術改造、產品工藝優化、設備自動化升級和信息化系統建設提升企業精益化管理水平，提高產線自動化控制水平，實現銷產銜接，降本增效，節能減排。通過MES 系統的建設，實現銷產轉換、生產計劃和作業計劃編制、產線調度、質量控制、物流跟蹤和質量追溯、能源管理等完整功能，實現該特鋼企業鋼鐵的網絡化、智能化生產。

在MES 系統實施過程中，為實現以上該特鋼企業智能管控功能，需要采集數采網關的自動化設備（PLC、儀器儀表）數據，NC 系統的數據，能源管理系統、質量管理系統、檢化驗系統、物流跟蹤系統、煉鋼二級、鍛鋼二級、連軋二級等系統數據。

通過使用數據采集系統實現在系統中通過配置數據采集驅動，完成以上數據的采集。數據采集系統，完成43 套采集網關的數據采集；業務系統采集3 個，ERP 系統、檢化驗系統和原料庫存系統；計量設備天成吊鉤秤27 套，工藝參數實時文件1 個，視頻流2 個。

采集系統累計完成實時信號8000 多點，業務數據表20多個，工藝文件1 個，視頻監控接入到了系統中實現打開即可看到。實時數據每秒中讀取1 次，業務表每分鐘讀取1 次，工藝文件每30 分鐘讀取1 次。目前系統運行1年多，未出現任何問題。

MES 系統在定時采集各種數據源數據的同時，它自身也可作為數據源通過采集系統的配置反向地將數據發送給指定系統中。本項目中MES 系統通過數據采集系統，將MES 系統中計劃信息、工藝標準、質量標準信息、作業標準信息發給二級系統，指導二級系統生產；同時將MES 系統匯聚統計的數據利用數據采集系統發送給ERP 系統，用于統計生產成本和公司其他財務核算。

4 結論

特鋼現場MES 系統在實施過程中，由于需要集成各類系統的數據，在集成過程中因提供數據源的各種系統的接口方式、數據格式和傳輸協議的不同，呈現出多源、異構的特點。因此，考慮到系統的后續推廣應用，通過對各種數據采集接口進行對比分析，設計了一種多源異構數據采集架構和數據采集引擎，將數據采集過程以插件的形式進行設計，實現了使用一個系統完成多種數據源數據的交換工作，通過MES 系統的使用完成了多數據源的單向和雙向通訊，系統可擴展性強，具有良好的可復用性，避免了適應不同的系統而開發不同的接口，應用效果優秀，實現了特鋼MES 系統的業務要求。