運用大數據平臺推動產品質量管理水平提升

張寶玉

摘 要：本文結合唐鋼近兩年來信息化及智能制造建設的經歷，詳細介紹了大數據平臺的項目實施背景、建設思路和過程、實時數據庫與關系數據庫復合應用、多元異構數據的集成挖掘及產品關鍵工藝參數對應鋼卷具體位置匹配等關鍵性技術、創新點和取得的效果。闡述了鋼鐵企業如何運用大數據平臺推動產品質量管理水平提升的相關經驗及體會，對工業企業如何運用大數據技術推動產品質量管理水平具有較高的參考價值。

關鍵詞：大數據；信息化；質量管理；數據挖掘

中圖分類號：D261.41 文獻標識碼：A 文章編號：1671-2064（2018）23-0023-02

在世界經濟的大數據時代，數據已成為最重要的企業資源。有效利用和開發大數據潛在的價值，是鋼鐵企業走出同質化競爭迷局、擺脫虧損困境的重要途徑。本文結合唐鋼近兩年來信息化建設經歷，簡要闡述了鋼鐵企業如何運用大數據平臺推動產品質量管理水平提升相關的經驗和體會。

1 研究的背景和意義

在大多數制造業企業中，質量管理受制于信息化總體架構、基礎自動化普及程度、質量管理理念等多種因素，往往只能按工序關注產品最終的質量結果，這種質量管理下產品質量過程無法控制，廢品率高，也無法滿足客戶越來越關注產品質量過程和質量可追溯的需求。

通過建立大數據平臺，運用信息化和自動化技術手段將全流程的工藝數據、質量數據、生產數據結合在一起，構成了全工序、全流程的質量追溯數據源，可用于質量分析、決策、研發，此項目在國內外均屬于大數據集成應用于工業生產的成功案例。

本項目旨在公司多年信息化建設取得成果的基礎之上搭建公司全工序、全流程質量管理大數據應用平臺，使過程數據參與質量判定，實現產品全流程質量跟蹤，并通過數據挖掘技術最終生成產品綜合質量分析報告，幫助質量管理人員準確把握產品質量，快速定位質量失控工序及失控原因，不斷優化質量控制工藝參數，最終達到全面提升公司產品質量的目的。

2 研究內容和過程

2.1 總體思路

第一步：通過搭建和不斷完善公司大數據平臺，將公司從煉鋼、連鑄、熱軋、冷軋各工序與產品質量相關的生產實時數據、質量數據、工藝數據采集存儲到公司大數據平臺數據庫中。

第二步：利用全過程質量控制系統TPQC（Through Process Quality Control）進行面向生產流程的質量監控與修正；將過程曲線數據和質量缺陷圖與產品件次信息匹配起來，為質量管理系統QMS（Quality Management System）的產品質量判定提供更加全面的數據支撐。

第三步：運用大數據集成和多維度數據挖掘技術將與產品相關的各工序生產過程數據進行匯總，形成中央質量數據庫，并在此基礎上開發相關的質量報表，為改進產品的生產工藝設計提供數據支撐。

2.2 詳細技術內容

2.2.1 架構搭建

大數據平臺的整體架構分為數據采集平臺，數據存儲平臺和系統應用平臺三層。數據采集平臺結合現場實際情況，采用不同采集方式采集現場實時生產數據；一部分是由實時數據庫PI和關系型數據庫Oracle結合共同搭建，彼此間配合形成數據交互，利用實時數據庫存儲包含鋼卷寬度、厚度等產品質量參數的實時數據，利用Oracle數據庫存儲通過算法規則計算出的產品起止時間、質量參數起止時間等單值數據，二者共同實現對產品參數的位置匹配。另一部分則由TPQC系統處理表檢儀上傳來的缺陷圖片。鋼卷參數曲線數據與缺陷數據共同為QMS系統提供質量判定的依托。系統應用平臺對存儲的大量的生產相關數據進行數據挖掘和二次計算，用以質量管理，指導生產，追溯產品質量，為生產者做出決策提供條件與依據。總體架構，見圖1。

2.2.2 數據采集與存儲

根據各條生產線的實際情況，數據采集的方式分為以下幾種：

（1）Wincc接口機；從Wincc工程師站讀取數據方式，具體實現方式為安裝PI -OPC接口軟件讀取本地的WINCC系統數據，通過以太網把數據傳送到PI接口機，PI接口機另外一塊網卡通過防火墻向PI服務器傳送數據。此種采集方式既能保證數據的實時采集，同時能緩解現場PLC的壓力。（2）網關機：用基于Linux操作系統的智能數據采集網關實現工業現場多種設備的數據采集功能，并以標準協議方式或專用接口將數據實時推送到PI實時數據庫系統。（3）離線文件解析：該類方式有兩種情況，一種是IBA-PDA的數采形式，一種是ODG的數采形式。該種數采方式的主要步驟分為文件的生成、傳輸、接收、數據解析及存儲。此兩種采集方式所行成的打包文件中的數據采集頻率能達到50-100ms，應用于熱軋、冷軋產線，保證質量數據的精確度。

2.2.3 板卷匹配

采集到PI數據庫中的參數都是時間序列的數據，對于連鑄板坯和鋼卷，需要把數據匹配到板坯或者鋼卷位置上，我們主要采用速度積分的方法進行測算，擬合出一條速度方程，根據參數的起止時間計算出長度與參數值的對應關系，然后提供給QMS系統。

2.2.4 中央質量數據庫

利用大數據集成技術整合多元異構數據建立統一的中央質量數據庫。首先在底層的設備級，通過工廠數據庫的大數據平臺獲取不同工序段匹配到板卷的各類生產工藝數據；第二層車間級，將各工序數據以車間為單位存儲并集成來自其它信息化系統的質量相關數據；第三層工廠級，建立公司級數據庫應用即中央質量數據庫，將分布在各工廠各車間的數據以成品件次為單位抽取集成整個生產過程中的質量相關數據，并對數據進行清洗、一致化，形成以件次產品為單位從原料到成品的可追溯數據流。

中央質量數據庫以分散收集、集中處理的方法將數據整合在一起，其中集中處理即收集各產線各工廠的數據后以產品件次為單位將生產過程中的所有工藝、生產、質量數據與產品件次建立維度關系并分類存儲，打破工廠和產線限制以產品件次為索引將數據集中處理。因此中央質量數據庫集成的數據不局限于種類，不受限于地理位置、工廠、產線、設備等。分散收集、集中處理形成橫向最寬縱向最深的數據追溯鏈，實現了大時間跨度、分散存儲、多數據源、復雜異構數據的面向產品統計分析的重新組織，形成了以產品為中心的、全生命周期的、面向分析決策的數據倉庫，有效的集中存儲和管理了龐大的質量信息資源，解決了信息孤島問題，為質量決策提供了完整、精確、高效的數據。

2.2.5 質量報告系統

質量管理報告系統實現大數據系統應用，將中央質量數據庫的數據按照質量分析的主題重新組織，形成既有細節，又有經過統計分析和數據挖掘后的不同維度、不同程度、不同跨度的匯總數據。例如中央質量數據庫將以往不能保存和歷史查看的一二級生產過程單值數據、曲線數據從鋼卷的生產時間軸換到位置軸上，使每米鋼卷的過程數據準確對應。在此基礎上開發的質量管理報告能夠快速響應用戶的復雜查詢和分析計算，統計出產線KPI和SPC，用以協助質量決策分析產線制程能力評估，大大提高了質量管理工作的效率，為企業的生產經營決策提供了科學的依據。

質量報告分為應用類和管理類兩大類型報表。應用類報表用于生產綜合查詢與統計、質量數據查詢與統計、工藝數據查詢與統計、各類KPI統計等，管理類報表則提供了各類指標的計算以及分析功能。各類報表全面、真實的反應了現場生產情況，為優化工藝、評估產線生產能力和新品種開發提供了數據支撐。

2.3 實施效果

2.3.1 實際完成情況

（1）不斷完善數據采集系統，質量管理數據自動采集率達到90%以上；（2）優化數據存儲和服務器系統，系統的無故障運行時間99%以上；（3）優化和完善數據匹配程序，質量數據的自動匹配準確率95%以上；（4）質量數據覆蓋公司全部原料、成品，定制開發各類型管理報告、分析報告，形成統一的可追溯數據管理平臺，有效促進品種開發和質量設計優化。

2.3.2 同類技術比較

國內絕大多數制造業的信息化系統架構主要有兩種類型，一為起源于美國MDES公司的ERP系統架構，二為臺灣中冠推行的面向企業定制開發的大三級架構。在這兩種架構中質量管理被定義為在第三層中與計劃管理、庫存管理同級的模塊。它受制于信息化總體架構往往只能按工序關注產品最終的質量結果。大數據平臺的建立改變質量管理在傳統ERP系統架構中的角色定位，將原來在ERP第三層實現的應用分別在二級與三級、三級與四兩個新中間層實現，使數據的收集與管理不在受限于產線、工廠等，建立起從鐵水到鋼水、到熱軋再到冷軋過程的全流程數據跟蹤管理，實現全流程質量管理的落地，保障生產線上能夠源源不斷地生產出滿足客戶需求、質量過硬、客戶信得過的高端產品，促進企業產品升級，提升企業效益。全流程的工藝數據、質量數據、生產數據有機結合在一起，構成了全工序、全流程的質量追溯數據流。

2.3.3 平臺的其他作用

（1）沿產品制造生產工序，實現全工藝流程的質量數據集成。（2）集成多個系統數據，解決信息孤島。（3）全面真實的反應產線生產情況。（4）一、二級生產過程數據永久保存。（5）大數據分析整合，提供各類分析指標，為優化工藝、評估產線生產能力和新品種開發提供數據支撐。

3 創新點

3.1 實時數據庫與關系數據庫復合應用

該大數據平臺的數據存儲模塊采用實時數據庫與關系型數據庫相結合的方式，關系型數據庫方便查詢，但在大量數據寫入上存在劣勢，而PI實時數據庫正好在大量數據寫入上提現出了明顯的優勢，針對兩類數據庫自身的存儲特點，分別存儲實時數據和單值數據，彼此之間交互關聯，為匹配跟蹤算法提供平臺支撐。

3.2 關鍵工藝參數對應鋼卷具體位置測算

對關鍵工藝參數實現產品位置跟蹤，也就是要將現有的生產實時數據通過對速度擬合方程進行積分的方式，計算出位置關系。同時對一些采集點進行二次計算，轉換為指導生產的關鍵性參數方便管理者決策。

3.3 數據倉庫技術

數據倉庫是一種優化管理、提供決策支持的企業數據解決方案，專門用于存儲和管理海量數據，是在傳統數據庫基礎上對數據的重新組織，是面向主題的、集成化的、穩定的、隨時間變化的數據集合，用以支持管理決策的過程。

3.4 多元異構數據的集成和挖掘

生產數據經歷各道工序，涉及眾多信息化系統，系統間有相互通訊連接也有互為信息孤島的，所應用的存儲和數據技術也各不相同。此平臺的構建對這些數據進行集成存儲，形成可追溯流，為管理者進行生產指標分析、產線生產能力評估、工藝優化、質量優化、新產品研發提供了完善全面的數據基礎。

4 結語

天睿數據公司大中華區首席執行官辛兒倫對新浪科技表示，隨著大數據時代的到來，企業應該在內部培養三種能力。第一，整合企業數據的能力；第二，探索數據背后價值和制定精確行動綱領的能力；第三，進行精確快速實時行動的能力。做到上面的幾點，當大數據時代來臨的時候，面臨大量數據將不是束手無策，而是成竹在胸，而從數據中得到的好處也將促進企業快速發展。

唐鋼通過幾年來不懈的努力在大數據平臺的建設和應用方面已經積累的一些經驗，但這些對支撐企業的發展還遠遠不夠，我們愿意繼續砥礪前行，不斷拓展大數據平臺應用的深度和廣度，為企業發展不斷開采“數據金礦”。