大數據技術在智慧工程中的研究和應用

馬花月，衛 慧，張詩媛，周星妤

(上海勘測設計研究院有限公司，上海 200434)

1 研究背景

隨著工業4.0浪潮的興起，新一輪科技革命和產業變革正重塑全球經濟結構，大數據的發展應用引起了國家和社會的重視。2015年國務院發布的《促進大數據發展行動綱要》指出，“推動產業創新發展，培育新興業態，助力經濟轉型”是大數據發展的主要任務之一。當前，物聯網、云計算、大數據、人工智能、區塊鏈等信息技術不斷向工程領域融合滲透，為工程大數據應用的實施奠定了堅實的技術基礎。

近年來，三峽上海院在三峽集團清潔能源和長江生態環保“兩翼齊飛”戰略指引下，踐行生態優先、綠色發展、數字賦能等發展理念，參與了大量的水電、海上風電、生態環保建設項目，工程規劃設計、施工建設和運營過程中產生了大量多類型數據。由于各類工程特點不同，面臨海量數據難存儲、數據通訊難暢快、信息難共享、信息安全隱患等問題，出現了數據條塊化及孤島現象，數據資產管理能力薄弱等問題日益突出。

針對上述突出問題，上海院開展了智慧工程大數據平臺建設，通過建立縱向聯動、橫向協同、互聯互通的大數據平臺，滿足日益迫切的各類工程數據全生命周期管理的需求。大數據平臺作為工程數據資料庫的信息載體，需具備海量數據統一采集、清洗匯聚、分析計算、存儲和共享服務能力。平臺建設的同時，還需建立有序共享、適度開放、安全可靠的數據共享新機制，探索出一套由“資源”到“資產”再到“資本”的數據管理漸進增值新模式。

2 智慧工程大數據平臺搭建

2.1 技術架構

智慧工程大數據平臺技術架構如圖1所示。根據數據從來源到應用，實現數據傳輸的流程，可將大數據技術架構分為采集清洗層、數據存儲層、數據分析層、數據服務層、平臺管理層。

圖1 大數據技術架構圖

2.1.1采集清洗層

采用批量和實時采集技術，實現物聯網平臺的時序數據、業務系統結構化數據、日志文件等非結構化數據的標準化統一采集和清洗。

2.1.2數據存儲層

運用HDFS、HBase、Hive、Greenplum等技術，構建統一的數據湖平臺，實現數據的統一存儲和管理，為跨庫的數據關聯分析提供基礎。

2.1.3數據分析層

基于大數據計算引擎MapReduce、Spark、Flink，采用開源的統計算法、機器學習算法、深度學習算法，構建開放靈活可擴展的數據分析環境。

2.1.4數據服務層

采用微服務架構，搭建適用于各類用戶的數據共享服務，如查詢服務、數據主題服務、數據訂閱服務、統一數據訪問服務。

2.1.5平臺管理層

采用Yarn作為資源管理調度器，為集群的各類計算框架提供統一的管理和調度，采用Zookeeper解決分布環境下的數據管理問題，采用OOzie工作流調度系統用來管理任務和工作流調度，采用Cloudera Manager監控集群的運行狀態。如圖1所示。

2.2 關鍵技術

2.2.1多源異構數據采集

數據采集主要實現內外部系統的結構化、半結構化、非結構化等不同類型、不同時效的數據的復制與整合。例如將視頻監控、日志文本等對象數據，接入到對象存儲數據庫中；將物聯網平臺采集的時序數據，如光伏組件監測數據、風力發電機組監測數據、升壓站監測數據等，接入到時序數據庫中；將業務系統傳輸過來的業務數據，如計劃、調度、運營等結構化數據，接入到關系存儲數據庫中。

大數據平臺集成MapReduce、Spark、Flink并行計算框架以提供高效靈活的接入，數據采集技術總體設計特點包括：①支持高吞吐量數據的高并發接入；②數據不丟失不重復接入，保證數據高可靠性；③接入數據的事務性，同一批數據要么都接入，要么都未接入；④支持復雜網絡環境下的可靠數據采集；⑤支持跨網段、跨單位的數據采集；⑥支持基于通道、文件的加密傳輸；⑦支持多種數據接口和傳輸協議；⑧支持斷點續傳。

2.2.2數據集成處理

數據集成實現數據的轉換、邏輯判斷、數據質量的檢查、異常處理、數據路由、數據的規范化等處理。數據集成包括數據清洗、數據校驗、數據轉換、數據標準化。

數據清洗目的在于刪除重復信息、糾正存在的錯誤，保證數據的有效性。數據校驗基于數據接入標準，比如數據類型、數值特征等，對數據進行校驗，保證數據的準確性。數據轉換一般包括兩類，第一類：數據名稱及格式的統一；第二類：數據倉庫中存在源數據庫中可能不存在的數據，因此需要進行字段的組合、分割或計算，數據轉換解決數據不一致問題。數據標準化就是對數據的命名、數據類型、長度、業務含義、計算口徑、歸屬部門等，定義一套統一的規范，保證數據定義、理解、使用的統一。

2.2.3數據倉庫設計

數據倉庫是發展數據化管理的重要基礎，具備高效的分層數據組織形式，更加完整的數據體系，清晰的數據分類和分層機制。數據倉庫在邏輯上可以分為ODS層(源系統層)、DWD層(數據明細層)、DWS層(數據匯總層)、DM層(數據集市層)，如圖2所示。

圖2 數據倉庫分層示意圖

ODS層是業務數據流動過程的第一個存儲區，為后續的數據抽取、清洗、轉換過程打下堅實的基礎。DWD層有選擇地集成ODS層緩沖區的數據，以數據主題域為數據集成的基礎，對數據進行分類和組織。DWS層通過概念模型、邏輯模型和物理模型3個階段設計階段，整理得到大量的指標數據，以便業務人員實現數據挖掘和業務分析等功能。DM層將數據匯總成分析某一主題域的服務數據，一般是寬表，用于提供后續的業務查詢，OLAP分析，數據分發等。

2.2.4數據分析

數據分析指數據分析或運維技術人員利用自身經驗知識，使用大數據平臺的案例數據和運行數據，針對要分析的業務對象進行業務理解，理解業務目標、業務目標產生的機理邏輯、篩選與業務目標有關的數據，利用平臺提供的數據挖掘算法進行建模分析，推動業務的智慧化運營。

常用的數據挖掘具如：Mahout、MLlib、TensorFlow。Mahout 是Apache Software Foundation(ASF)開發的一個開源項目，提供一些可擴展的機器學習領域經典算法的實現，旨在幫助開發人員更加方便快捷地創建智能應用程序。MLlib(machine learning library)是Spark提供的可擴展的機器學習庫，MLlib中已經包含了一些通用的學習算法和工具，如：分類、回歸、聚類、協同過濾、降維以及底層的優化原語等算法和工具。TensorFlow是人工智能AI領域的一個重要軟件工具，是谷歌開發的開源軟件，包含了DNN、CNN、RNN等深度學習模型，可以在創建深度學習網絡時對數據進行數值和圖形計算，快速建立數學模型。

2.2.5數據服務

數據服務主要解決以下4個關鍵問題：①不知道數據被哪些應用訪問；②數據接入方式多種多樣，數據接入效率低；③數據和接口沒有辦法復用；④底層數據變更引起表重構，增加額外的開發工作量，造成數據變更進度緩慢。

為解決以上問題，數據服務設計應具備6大功能：①規范化定義接口；②作為網關服務，數據服務必須具備認證、權限、限流、監控5大功能；③維護數據模型到數據應用的全鏈路關系；④利用中間存儲加速數據查詢；⑤構建邏輯模型，實現數據的復用；⑥建立API集市，實現接口復用。

3 大數據技術在智慧工程中的應用

大數據技術在智慧工程中的應用如圖3所示。隨著物聯網、數據挖掘、人工智能等先進的科學技術日益成熟與廣泛應用，工程建設逐漸由機械化、數字化模式向智能化模式發展。以工程應用為導向，通過數據統計、數據挖掘等大數據分析手段，構建典型的應用場景，充分發揮數據資產在工程建設應用中的價值。

圖3 大數據技術在智慧工程中的應用

3.1 智慧水電

大壩建設攸關經濟發展與國計民生，是水利水電工程建設中最為重要的部分[1]。大量工程實踐表明，大壩建設和運行數據中蘊藏了豐富的反映壩體結構形態及水庫運行規律的信息。對大壩建設和運行數據進行處理分析，利用分析結果進行生產管理和輔助決策，有助于快捷科學地管理大壩安全系統中的各個環節，提高大壩工程質量并規避安全風險，為大壩的建設和運行管理提供有價值的科學依據[2]。

目前針對大壩運行數據分析的算法包括回歸模型、頻譜分析、ANN、小波分析、神經網絡、突變理論、灰色系統、Kalman濾波法等，可根據數據量、數據類型、算法優缺點、分析目的選擇合適的算法，例如大壩滲流及變形分析可采用回歸分析法及神經網絡法。由于大壩觀測值與影響因素之間往往存在非線性、非確定性的復雜關系，可能會導致回歸模型的計算結果與實際情況相差較大。而人工神經網絡法將生物特征應用到工程計算分析中，可以解決大數據量情況下的學習、識別、控制和預報問題[3]。

目前針對工程建造數據分析的算法較多，以大壩灌漿為例，灌漿工程涉及到的數據分析應用可分為單位注入量預測及灌后質量綜合評估兩個方面。巖體單位注入量是對巖體可灌性最直接的反映，有助于定量分析巖層吸漿情況，實時調整灌漿壓力、灌漿材料及優化灌漿孔位布置，為巖體的可灌性研究和地質條件分析提供參數指標[4]。此外，灌漿施工過程中會受到地質條件、施工方法、灌漿壓力等多種條件的影響，可能導致灌漿效果無法滿足設計方案的要求，因此需要采用科學有效的方法評價灌漿施工的效果[5]。目前常用的灌漿注入量預測方法包括隨機森林法、神經網絡法、回歸模型法等，常用的灌漿質量評估方法包括云模型、模糊綜合評價法等。

大數據在智能建造中應用范圍廣泛，除了智能灌漿，還可運用于智能碾壓、智能振搗、智能溫控等多個領域。

例如采用粗糙集和神經網絡數據挖掘算法，建立混凝土施工期最高溫度與澆筑施工信息間的關聯規則；采用K鄰近、支持向量機、長短期記憶網絡等算法分析澆筑機械(纜機)的運行規律以及在時空方面的運行沖突情況，并針對不同的沖突情況制定相應的調整機制，優化機械調度方案；基于數據驅動模型評價混凝土振搗及壓實質量，如人工神經網絡、支持向量回歸、隨機森林等模型；基于路徑智能規劃技術的運輸車輛智能調度方法，實現路況信息的智能分析與更新、運輸路徑的智能規劃與車輛智能調度[6]。

3.2 智慧風電

風能作為可再生能源，近年來發展迅猛，裝機容量迅速上升。但是由于風電場所處位置的氣候變化、日照變化、地形因素等原因，發電功率和風速具有不確定性，可能會對發電平衡的保持產生不利影響。對風力發電進行預測，不僅可以指導電力公司應對由于發電不穩定造成的影響，為風電機組的運維和管理提供依據，還有利于降低運營成本，保障風電的穩定輸出。

風力發電的預測分為單臺風電、風電場和區域風電場群的發電預測。在單臺風電機預測中，滑動平均、多元回歸等方法適用于發電較短期平穩的發電預測[7]，指數平滑、主成分分析、NWP等方法適用于長期平穩預測[8]。在風電場發電預測中，上下界估計網絡、成組數據推斷網絡、貝葉斯推斷、神經網絡等方法適用于短期平穩發電的場合[9]，自適應小波網絡、前饋網絡適合長期穩定的預測[10]，小波支持向量機適用于非穩定的情況[11]。NWP、神經網絡、測量關聯預測等適用于風電場群的發電預測[12]。大量研究的計算結果表明，利用大數據算法分析的發電預測與其他常用的預測方法(如：常值法)相比，誤差可以減少2.5%～50%，說明大數據算法的使用有助于提高風力發電預測的準確性。

除發電預測之外，大數據技術還廣泛應用于風力發電運營階段的各項業務應用，如利用設備歷史監測數據和歷史故障數據來分析故障發生前的隱患因素，并在故障發生時進行故障的智能診斷，甚至故障預警；在設備運行期間，利用歷史的設備生產、維修檢修數據，結合實時的物聯網監測數據，分析判斷設備老化趨勢和剩余壽命預估，以此優化設備更新換代的機制，減少運營成本。

3.3 智慧環保

大數據技術在生態環境方面的應用主要體現在實時監測、動態分析、預測預警、調度管理等方面。在實時監測方面，大數據技術增強了監測數據的有效性和精確性，提升了監測數據的分析與評價效率；在動態分析方面，大數據技術通過數據挖掘等分析算法研究了生態環境的影響因素，為各類環境管理提供決策支持；在預測預警方面，大數據技術提高了生態環境模擬的精度和處理速度，并實現了不同時空尺度的污染預報預警；在調度管理方面，大數據技術通過整合生態環境監管機構系統，構建互聯網輿情動態感知數據庫，實現應急事件的快速響應和處置，為調度方案的制定提供數據支撐。

目前常用的水環境數據分析方法包括時間序列分析、決策樹法、聚類分析、支持向量機、神經網絡法等。常用的水質評價方法包括灰色聚類、人工神經網絡、綜合污染指數、模糊綜合評價、主成分分析等。例如董建華[13]等針對三峽庫區監測系統構建了Hadoop Spark混合計算框架，采用基于三元色的可視離散化算法、基于PCA的水質評價方法等，為多指標水質時間序列數據評價提供了算法支持。周曉磊[14]等提出一種基于大數據的水生態承載力模型，利用生態足跡法計算水生態足跡和水生態承載力，實現海量水文數據的存儲及有效計算。

除了傳統的數據分析算法外，現有的生態環境管理系統常采用大數據技術與專業模型相結合的方法，以提升模型模擬的有效性和精度。例如通過大數據平臺提取取水、用水、排水、供水等實時監測數據，對河道監測斷面進行數據動態跟蹤，并采用線性趨勢、累積異常、遷移擴散模擬等物理模型對數據進行分析，研究河道污染物的時空變化，追溯污染源，從而有效促進水資源監督管理和污染源頭控制。

4 結語

隨著工程建設與管理思路的不斷創新，加上新技術與新模式的不斷實踐，應用大數據驅動工程管理實現智能化、智慧化已逐步成為新的共識。通過對數據的規范管理，打通數據堵點，消滅數據壁壘，加快形成跨部門、跨專業、跨領域一體化數據資源體系，推進數據匯集融合共享。同時開展數字創新，提供數據服務及數字產品，構建智慧工程大數據生態圈，培育新動能，助推新業態，以數字化助力工程管理提升，引領業務創新和價值創造。