劉鑫 晏濤 尹蝶 張志亮 段棠少
摘 要 針對當前工業物聯網系統在汽車行業的應用沒有統一通信協議和系統平臺的瓶頸問題,設計并實現了基于物聯網的汽車工業數據挖掘系統,使用上位機云平臺Broad Things,該平臺是一個用于數據收集,處理,可視化和設備管理的開源平臺,兼具可擴展性,容錯性的性能。通過工業標準IOT(Internet of Things)協議(MQTT,COAP和HTTP)實現設備連接,并支持云和內部部署,涵蓋了物聯網系統數據接入、數據處理、數據存儲、數據交換和數據分析等內容,并進行了示范應用?;诖思軜嬻w系開發了汽車性能試驗數據挖掘及監視系統。
關鍵詞 物聯網;遠程監視;IOT協議;云平臺;汽車試驗
前言
隨著科技的快速發展,物聯網技術在汽車行業中的應用越來越廣泛,包括上位機遠程監視技術、無線通信技術、傳感器技術以及GPS導航定位技術等正在不斷完善與創新,信息傳感、數據收集與處理分析技術也越發趨于成熟。在此背景下,工業物聯網大數據平臺在汽車行業的應用被人們開發并更加深入和廣泛的研究。在汽車行業中的應用,涉及的主要技術是數據挖掘與遠程監視,汽車制造正面臨數字化、信息化、現代化的產業升級,在整個產業的生產環節中引入時下最流行的物聯網技術,將對汽車產業鏈的各方面優質資源進行優化整合,全面提升整個汽車制造業的規模和效益。
1 物聯網概述
1.1 物聯網
物聯網指的是運用各種各樣的傳感設備來進行信息傳遞的計算機集群,這是在計算機互聯網之后的再一次飛躍,包括計算機技術、通信技術(移動通信技術、傳感器技術網絡)、上位機遠程監視技術、數據處理與分析技術等,而且還是下一代網絡發展的大方向。物聯網是在互聯網的基礎上通過無線射頻識別(Radio Frequenc Identification) 技術、全球定位系統(Global Positioning System)以及紅外感應器、激光掃描器等信息傳感設備依據相關技術協議將任意物品與互聯網進行連接,開展數據通信以及信息交換最終實現智能化識別、定位、跟蹤、監管等功能。
1.2 云計算
云計算指的是在互聯網支持的基礎上,通過互聯網服務為用戶提供的依據需求而確定服務的計算方式。由于服務資源來源于互聯網,并且互聯網通常使用云狀圖案來表示資源,所以稱之為云計算。云計算有著集群優勢,同時具備高速運算能力和較高的數據存儲能力,因而如今正被廣泛而深刻的應用至IT行業中,具有高容錯性與高伸縮性的特點。目前在云計算平臺搭建中,用戶主要依靠Thingsboard來進行,作為云計算平臺搭建基礎,通過工業標準IOT協議(MQTT,CoAP和HTTP)實現設備連接,并支持云和內部部署,涵蓋了物聯網系統數據接入、數據處理、數據存儲、數據交換和數據分析等內容,可以極為有效的利用集群計算能力與數據存儲能力,從而實現大量數據的分析處理[1]。
2 國內傳統汽車制造企業面臨的問題
與其他制造業不同,汽車的生產是一整套系統工程,數以萬計的細小零件需要經過多條生產線組裝成整車出廠,而基于傳統制造業技術,能夠對整條生產線施加影響的手段卻比較匱乏。同時,汽車的質量是由部件質量和整體質量兩個關鍵指標組成,其關系著人民的生命財產安全,質量在汽車制造環節中有著極其重要的地位,而傳統制造業技術,很難實現對部件質量問題的逆向追溯。因此,掌握生產自動化、質量控制體系以及安全生產的技術就掌握了汽車制造業的核心技術。國內汽車制造業,正逐步由初期的 MIS、CAD/CAM到 MRP/ERP 進行轉變。然而,國內汽車生產過程中信息化水平仍相對落后。例如,信息的孤島問題普遍存在;研發、生產、測試等環節,信息的填報仍主要依賴于技師的經驗和技術,往往信息化管理的引入反而增加了工作量,降低了工作效率;費時費力在生產線上收集和整理出數據,但卻并不精確,造成質量隱患和安全隱患[2]。
3 在云計算平臺下的數據挖掘技術
分析在當前的云計算平臺中,最主要的是以Thingsboard為基礎搭建而成的平臺,通過基于物聯網的信息技術,來規范和控制汽車制造流程,云計算平臺中數據挖掘技術主要分為四大部分,分別為物聯網感知層、物聯網傳輸層、數據層和數據挖掘服務層。
3.1 物聯網感知層
物聯網感知層主要依靠在目標區域范圍內放置極多的數據采集節點來發揮感知作用。具體來說,節點主要是通過傳感器、攝像頭以及其他設備進行數據采集工作,而采集到的數據則會依靠物聯網感知層所具備的網絡通信設備進行匯聚,將所有的數據傳送到節點,而后經過匯總存儲之后再次通過傳輸層輸送到云計算平臺的數據處理中心。
3.2 物聯網傳輸層
物聯網傳輸層主要包括傳感器、無線(有線)網絡等,通過諸多網絡設備搭建的高速度無縫數據傳輸系統,能夠快速將物聯網感知層采集到的數據通過網絡傳送到數據處理中心,從而實現全方位的互通互聯目標,也就是將各種類別的監視處理設備聯網傳輸,實現設備之間網絡信息的傳遞[3]。
3.3 物聯網數據層
數據層是物聯網云計算平臺中數據挖掘技術的關鍵部分,物聯網本身具有異構性和海量性的特征,因而在數據層內將物聯網設備采集到的數據進行存儲處理分析的能力是基于云計算的物聯網數據挖掘平臺的關鍵。數據層中主要包括數據源轉化與存儲兩大部分,其中,數據源轉化主要對物聯網異構性的數據進行轉化,而存儲部分則是使用Hadop搭建的平臺中的HDFS系統進行分布式存儲,從而將海量性的數據完整存儲到數據節點。由于在物聯網平臺中,對于不同的目標會采用不同的數據類型來表現,某種情況下,相同的目標也會采用不同的數據類型來表現,因此數據源轉化的作用主要體現在保持數據的完整,防止異構性的物聯網數據在轉化中出現損毀,從而達到保證數據挖掘目標。數據源轉化在系統中的作用相當于數據層與感知層的連接線,通過數據包的解碼轉換將不同的數據轉換成需要的數據類型,并且分布式存儲到數據處理中心。
3.4 數據挖掘服務層
數據挖掘服務層包含數據準備、數據挖掘引擎以及用戶三大部分。其中,數據準備部分的主要用途是對數據的清零、轉化以及規約等。數據挖掘引擎則主要包含數據挖掘算法以及模式評估,而用戶部分則主要將數據挖掘的內容進行可視化的表現。用戶部分是整個云計算平臺中數據挖掘技術面對用戶的直接體現,因而具有友好性,能夠讓用戶通過操作來對數據挖掘任務進行處理認知[4]。
4 云計算平臺上物聯網數據挖掘技術應用
本文主要介紹在汽車行業的應用,汽車在進行一系列試驗時通過傳感器采集汽車的扭矩、轉速等信息傳送給單片機,單片機通過無線通信技術將采集到的數據發送給云平臺,在云平臺上進行數據整理、分析、計算并在上位機上顯示。用戶可以遠程看到汽車試驗時的相關數據,無須親自去汽車研究所觀看試驗數據。系統總體框圖如圖1.1所示[5]。
分析數據挖掘工作流程為:用戶發出數據挖掘的請求之后,主要控制節點收到用戶請求之后會首先判斷能否進行任務,并且將結果回饋給用戶。若是可以進行,主要控制節點就會調用數據挖掘算法,然后根據算法進行分布式數據挖掘工作。通過挖掘數據任務的劃分之后,將具體內容傳送到眾多節點中,節點再具體進行數據挖掘。本次選擇Hadop搭建云計算平臺,并以此進行模擬實驗。首先,選擇一臺實驗所需要的PC機器,配置基于普通水平的內存,操作系統。然后在PC端安裝虛擬機,虛擬機的操作系統都是Linux操作系統。從而開始部署分布式節點,本次共安裝3個虛擬機。
其次,需要安裝與Linux版本相適應的cEhsPe7.5開發環境,并且于Pc機上安裝SH服務,用于實驗開始之后傳遞實驗數據。3臺虛擬機中也安裝SH服務,以便于Hadop平臺運用。配置安裝完畢后,選擇采用關聯規則算法的數據,將數據依據C++代碼程序轉換成標準的PML文件,文件大小為IG,然后將文件利用HDsF傳人Hadop平臺,采用分布式存儲。接下來,運行ArPioir算法,根據計算結果來判斷能否找到實驗數據集合中所有的項目,然后,選用不同大小的文件再次重復實驗,以此來得到較為準確的結果[6]。
5 結束語
隨著社會經濟與科學技術日新月異的發展,物聯網技術也在不斷趨于成熟。當前物聯網海量的異構性數據也在呈現著飛速增長的態勢,導致物聯網數據挖掘技術越來越顯得困難重重。在此背景下,基于云計算的物聯網挖掘技術與遠程監視技術傳統技術相比,其能夠通過分布式存儲的方式以及分布式并行的計算方法更好地滿足人們對物聯網數據挖掘的要求,并且還能夠實現上位機遠程監視為用戶帶來便利,不僅縮短了數據傳輸的時間,提高了數據傳輸的穩定性和完整性,而且還極大地提高了數據挖掘的效率與質量,有著極大的應用前景。因此,本文所提出的基于云計算的物聯網數據挖掘遠程監視系統對于當前物聯網應用的發展有著深遠的意義,并且經過Hadop平臺進行模擬數據挖掘實驗后,也驗證了這種方案有著極大的可行性。
參考文獻
[1] 張啟亮,韓鍵,姜麗萍.工業物聯網大數據平臺在工程機械行業的應用[J].信息技術與標準化,2017,(4):26-31.
[2] 郭聞博,林泓.基于Hadoop平臺的數據規范化處理研究[J].空軍預警學院學報,2016,(3):65-68.
[3] 王祎菡.基于Web的物聯網應用體系架構和關鍵技術研究[J].硅谷,2014,(12):61,78.
[4] 姜文.基于Hadoop平臺的數據分析和應用[D].北京:北京郵電大學,2011.
[5] 張建奇,黨洪濤,陳江天.工業無線關鍵技術ISA100.11a概述[J].自動化技術與應用,2012,31(11):33-37.
[6] 孫其博,劉杰,黎葬,等.物聯網:概念,架構與關鍵技術研究綜述[J].北京郵電大學學報,2010,33(3):1-9.