基于時(shí)序數(shù)據(jù)庫(kù)的工業(yè)大數(shù)據(jù)應(yīng)用研究

王紅濤，王志超，陳 峰，馮連強(qiáng)，孫思豪

(中國(guó)重型機(jī)械研究院股份公司，陜西 西安 710032)

0 前言

復(fù)雜重型裝備定制生產(chǎn)的設(shè)計(jì)、制造、運(yùn)作管理、營(yíng)銷服務(wù)等過(guò)程中會(huì)產(chǎn)生海量的時(shí)序數(shù)據(jù)[1]，這些來(lái)自產(chǎn)品全生命周期的時(shí)序數(shù)據(jù)是提高生產(chǎn)水平和管理水平的數(shù)據(jù)基礎(chǔ)[2]。獲取生產(chǎn)現(xiàn)場(chǎng)的時(shí)序數(shù)據(jù)，能夠?yàn)楦鞣N設(shè)備監(jiān)控系統(tǒng)、工藝分析系統(tǒng)、管理系統(tǒng)提供實(shí)時(shí)的數(shù)據(jù)服務(wù)，從而打破流程工業(yè)生產(chǎn)過(guò)程中的“數(shù)據(jù)壁壘”，為提高產(chǎn)品質(zhì)量和優(yōu)化設(shè)備調(diào)度計(jì)劃提供依據(jù)[3]。但海量數(shù)據(jù)的處理同時(shí)也面臨著日益嚴(yán)峻的問(wèn)題：存儲(chǔ)容量問(wèn)題，單一設(shè)備的各類傳感器每天的采樣數(shù)據(jù)數(shù)以百萬(wàn)計(jì)，每年的采樣數(shù)據(jù)所需的存儲(chǔ)容量從GB到TB[4]；處理速度問(wèn)題，不斷增加的數(shù)據(jù)量給數(shù)據(jù)的存儲(chǔ)方法和檢索查詢方式帶來(lái)了難度；實(shí)時(shí)數(shù)據(jù)的展示問(wèn)題，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)的采樣周期和采樣方式難以完成對(duì)時(shí)序數(shù)據(jù)的連續(xù)存儲(chǔ)[5]，且無(wú)法通過(guò)折線圖、散點(diǎn)圖等實(shí)時(shí)顯示數(shù)據(jù)的變化趨勢(shì)。

面對(duì)傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)在工業(yè)互聯(lián)網(wǎng)環(huán)境下的不足，本文提出基于時(shí)序數(shù)據(jù)庫(kù)的工業(yè)大數(shù)據(jù)存儲(chǔ)管理系統(tǒng)，首先設(shè)計(jì)以開源的時(shí)序數(shù)據(jù)庫(kù)influxDB為參考的工業(yè)時(shí)序數(shù)據(jù)庫(kù)引擎，實(shí)現(xiàn)應(yīng)用于邊緣計(jì)算的時(shí)序數(shù)據(jù)庫(kù)，再通過(guò)構(gòu)建數(shù)據(jù)圖譜的方式探尋數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系，然后選擇合適的圖表形式將時(shí)序數(shù)據(jù)可視化，為后續(xù)的設(shè)備監(jiān)控、遠(yuǎn)程運(yùn)維等系統(tǒng)提供數(shù)據(jù)支撐，最后提出了基于時(shí)序數(shù)據(jù)庫(kù)的工業(yè)大數(shù)據(jù)存儲(chǔ)管理系統(tǒng)的性能測(cè)試方法。

1 應(yīng)用于邊緣計(jì)算的時(shí)序數(shù)據(jù)庫(kù)

工業(yè)互聯(lián)網(wǎng)的快速發(fā)展帶來(lái)了各種傳感器的廣泛使用和海量工業(yè)數(shù)據(jù)的采集[6]。海量實(shí)時(shí)數(shù)據(jù)的分析需求無(wú)法用傳統(tǒng)的集中處理方式滿足，因此數(shù)據(jù)計(jì)算逐漸走向邊緣端[7]。

1.1 邊緣計(jì)算

1.1.1 邊緣計(jì)算的發(fā)展

邊緣計(jì)算(Edge Computing, EG)指的是接近物理實(shí)體或數(shù)據(jù)源的一側(cè)，匯集了網(wǎng)絡(luò)、計(jì)算、存儲(chǔ)、應(yīng)用核心能力等的開放平臺(tái)[8]。當(dāng)前業(yè)界對(duì)邊緣計(jì)算概念的描述并不統(tǒng)一，但有基本的共性認(rèn)識(shí)：邊緣計(jì)算是在接近終端的網(wǎng)絡(luò)邊緣上提供服務(wù)[9]。

邊緣計(jì)算并不是新興概念，早在2003年，作為全球最大的分布式計(jì)算服務(wù)商之一的AKAMAI就與IBM合作“邊緣計(jì)算”。近年來(lái)，邊緣計(jì)算因其滿足萬(wàn)物互聯(lián)需求的突出優(yōu)點(diǎn)，逐漸受到國(guó)內(nèi)外的廣泛關(guān)注。 2017年，全球性產(chǎn)業(yè)組織工業(yè)聯(lián)盟ICC成立Edge Computing TG，為邊緣計(jì)算指出了參考架構(gòu)；同年11月，中國(guó)聯(lián)通推出了“邊緣云&智能安防”的技術(shù)方案[10]。在標(biāo)準(zhǔn)化方面，國(guó)際電工委員會(huì)(IEC )于2017年發(fā)布了《垂直領(lǐng)域邊緣智能(VEI)白皮書》，指明了邊緣計(jì)算對(duì)于制造業(yè)等垂直行業(yè)領(lǐng)域的重大意義。

1.1.2 裝備制造業(yè)邊緣計(jì)算體系架構(gòu)

裝備制造業(yè)作為向國(guó)民經(jīng)濟(jì)和國(guó)防建設(shè)提供生產(chǎn)技術(shù)裝備的先進(jìn)制造業(yè)，是制造業(yè)的核心組成部分，是我國(guó)工業(yè)發(fā)展的基礎(chǔ)[11]。但經(jīng)過(guò)對(duì)企業(yè)進(jìn)行走訪調(diào)查、閱讀文獻(xiàn)資料等過(guò)程，進(jìn)一步了解了邊緣計(jì)算應(yīng)用于裝備制造業(yè)的現(xiàn)狀和需要，得知裝備制造業(yè)總體的工程建設(shè)程度不一致，普遍面臨數(shù)據(jù)開放性差且工業(yè)協(xié)議標(biāo)準(zhǔn)不統(tǒng)一、數(shù)據(jù)采集種類較少、數(shù)據(jù)采集實(shí)時(shí)性水平較低、數(shù)據(jù)安全存在隱患等問(wèn)題[12]。

依據(jù)邊緣計(jì)算的發(fā)展現(xiàn)狀，結(jié)合裝備制造業(yè)的行業(yè)需求，參考工業(yè)互聯(lián)網(wǎng)平臺(tái)體系中的邊緣層架構(gòu)，提出裝備制造業(yè)邊緣計(jì)算體系架構(gòu)如圖1所示。

圖1 裝備制造業(yè)邊緣計(jì)算體系架構(gòu)

(1)設(shè)備接入。為工業(yè)現(xiàn)場(chǎng)設(shè)備、智能產(chǎn)品/裝備設(shè)置數(shù)據(jù)采集端口[13]，實(shí)時(shí)獲得生產(chǎn)現(xiàn)場(chǎng)的數(shù)據(jù)并進(jìn)行安全傳輸，實(shí)現(xiàn)不同制造商設(shè)備的互聯(lián)互通。

(2)協(xié)議轉(zhuǎn)換。基于OPC UA 設(shè)計(jì)支持多種總線協(xié)議、網(wǎng)絡(luò)接口和網(wǎng)絡(luò)拓?fù)涞墓I(yè)網(wǎng)關(guān)。將各提供數(shù)據(jù)的設(shè)備使用的協(xié)議標(biāo)準(zhǔn)化為OPC UA協(xié)議[14]。

(3)邊緣數(shù)據(jù)處理。通過(guò)設(shè)備部署實(shí)現(xiàn)邊緣端和云端的協(xié)同。基于流式計(jì)算處理邊緣設(shè)備產(chǎn)生的數(shù)據(jù)，實(shí)時(shí)響應(yīng)業(yè)務(wù)需求，并行聚合非實(shí)時(shí)數(shù)據(jù)并傳到云端，實(shí)現(xiàn)邊緣計(jì)算和云計(jì)算的協(xié)同。

1.2 時(shí)序數(shù)據(jù)庫(kù)

1.2.1 時(shí)序數(shù)據(jù)

時(shí)序數(shù)據(jù)就是時(shí)間序列數(shù)據(jù)，即某個(gè)指標(biāo)根據(jù)時(shí)間順序記載的數(shù)據(jù)序列[15]。在以時(shí)間為橫軸的坐標(biāo)系中將時(shí)序數(shù)據(jù)值連成線，可將歷史時(shí)序數(shù)據(jù)做成多維度表，發(fā)現(xiàn)其規(guī)律和異常，也可將時(shí)序數(shù)據(jù)用于大數(shù)據(jù)分析，實(shí)現(xiàn)趨勢(shì)預(yù)測(cè)和異常預(yù)警。

工業(yè)互聯(lián)網(wǎng)環(huán)境下需采集的工業(yè)時(shí)序數(shù)據(jù)量巨大，且具有如下典型特征：數(shù)據(jù)都是結(jié)構(gòu)化的；一個(gè)采集點(diǎn)的數(shù)據(jù)源是唯一的；數(shù)據(jù)較少有更新或刪除操作，一般按到期日期來(lái)刪除；數(shù)據(jù)以寫操作為主，讀操作為輔；數(shù)據(jù)流量平穩(wěn)，可較為準(zhǔn)確地計(jì)算；數(shù)據(jù)都有統(tǒng)計(jì)、聚合等實(shí)時(shí)計(jì)算操作；數(shù)據(jù)根據(jù)指定的時(shí)間段和區(qū)域進(jìn)行查找。

1.2.2 時(shí)序數(shù)據(jù)庫(kù)特性

時(shí)序數(shù)據(jù)庫(kù)即存儲(chǔ)時(shí)序數(shù)據(jù)的數(shù)據(jù)庫(kù)。它允許快速寫入、持久化、多維度地聚合查詢時(shí)序數(shù)據(jù)等操作[16]。該類數(shù)據(jù)庫(kù)不但存儲(chǔ)了此刻的數(shù)據(jù)值，而且保存了全部歷史數(shù)據(jù)，在查詢時(shí)也總會(huì)將時(shí)間作為過(guò)濾條件。

以存儲(chǔ)風(fēng)速傳感器數(shù)據(jù)的時(shí)序數(shù)據(jù)庫(kù)為例(圖2)，時(shí)序數(shù)據(jù)庫(kù)的相關(guān)定義如表1所示。

圖2 時(shí)序數(shù)據(jù)庫(kù)基本概念圖

表1 時(shí)序數(shù)據(jù)庫(kù)相關(guān)定義

時(shí)序數(shù)據(jù)庫(kù)適用于一切有時(shí)序數(shù)據(jù)形成，對(duì)數(shù)據(jù)的歷史規(guī)律、異常變化等有分析需求，或者需判斷時(shí)序數(shù)據(jù)后續(xù)發(fā)展趨勢(shì)的場(chǎng)景。根據(jù)工業(yè)大數(shù)據(jù)特點(diǎn)和實(shí)際需要，將本文使用的時(shí)序數(shù)據(jù)庫(kù)的內(nèi)部架構(gòu)設(shè)計(jì)為圖3所示的架構(gòu)。

圖3 時(shí)序數(shù)據(jù)庫(kù)內(nèi)部架構(gòu)

2 基于influxDB的數(shù)據(jù)庫(kù)存儲(chǔ)引擎

隨著企業(yè)生產(chǎn)規(guī)模的擴(kuò)大和生產(chǎn)工藝的提高，需要采集的現(xiàn)場(chǎng)生產(chǎn)數(shù)據(jù)愈加龐大[17]，常規(guī)采用單計(jì)算機(jī)體系結(jié)構(gòu)的實(shí)時(shí)數(shù)據(jù)庫(kù)產(chǎn)品遇到了單臺(tái)計(jì)算機(jī)體系結(jié)構(gòu)處理能力的限制，無(wú)法有效滿足現(xiàn)場(chǎng)生產(chǎn)數(shù)據(jù)共享的需要。為了便于計(jì)算機(jī)處理，需要將來(lái)自工業(yè)生產(chǎn)現(xiàn)場(chǎng)中連續(xù)變化的工藝參數(shù)等數(shù)據(jù)進(jìn)行離散數(shù)字化取樣，生成持續(xù)的、間斷變化的離散數(shù)字?jǐn)?shù)據(jù)流。

2.1 influxDB時(shí)序數(shù)據(jù)庫(kù)

InfluxDB時(shí)序數(shù)據(jù)庫(kù)起源于服務(wù)器運(yùn)行情況的監(jiān)控領(lǐng)域，較為復(fù)雜的元數(shù)據(jù)模型使除測(cè)點(diǎn)、時(shí)間、取值以外的附加屬性信息得以保存[18]。該數(shù)據(jù)庫(kù)基于日志結(jié)構(gòu)合并樹(Log Structured Merge Tree, LSM)提出了時(shí)間結(jié)構(gòu)合并樹(Time Structured Merge Tree, TSM)，分別優(yōu)化了時(shí)序數(shù)據(jù)的讀和寫。寫入過(guò)程中，數(shù)據(jù)增加到日志文件中，并在內(nèi)存中緩存，當(dāng)緩存至一定容量時(shí)新建日志文件，并運(yùn)行壓縮線程，把數(shù)據(jù)壓縮成TSM數(shù)據(jù)文件。

2013年，influxDB時(shí)序數(shù)據(jù)庫(kù)被Errplane公司開源，經(jīng)不斷優(yōu)化后目前排至開源時(shí)序數(shù)據(jù)庫(kù)的首位。

2.2 數(shù)據(jù)庫(kù)存儲(chǔ)引擎結(jié)構(gòu)

基于influxDB思想設(shè)計(jì)工業(yè)時(shí)序數(shù)據(jù)庫(kù)的引擎，如圖4所示。從上到下包括數(shù)據(jù)庫(kù)實(shí)例、存儲(chǔ)策略、存儲(chǔ)分片幾個(gè)層次[19]。每個(gè)存儲(chǔ)分片里包含一個(gè)內(nèi)存緩存區(qū)、一或多個(gè)日志文件、多個(gè)數(shù)據(jù)文件，以及用于處理寫入、壓縮、讀取的線程。

圖4 時(shí)序數(shù)據(jù)庫(kù)引擎結(jié)構(gòu)示意圖

3 時(shí)序數(shù)據(jù)應(yīng)用

3.1 面向全生命周期的數(shù)據(jù)圖譜

結(jié)合工業(yè)場(chǎng)景中各數(shù)據(jù)和對(duì)象的全生命周期，統(tǒng)一地將當(dāng)前系統(tǒng)和設(shè)備中的數(shù)據(jù)進(jìn)行采集、儲(chǔ)存、處理，探尋數(shù)據(jù)之間的相關(guān)性，加入模型分析、算法預(yù)測(cè)，提高企業(yè)的生產(chǎn)工藝水平，完善企業(yè)的供應(yīng)鏈，提高產(chǎn)品質(zhì)量，從而改善企業(yè)效益。

可將企業(yè)數(shù)據(jù)圖譜看作是有機(jī)融合企業(yè)數(shù)據(jù)的知識(shí)圖譜的延伸[20]。它包含計(jì)算機(jī)視覺(jué)、圖形學(xué)、數(shù)學(xué)等在內(nèi)的多學(xué)科知識(shí)。企業(yè)構(gòu)建數(shù)據(jù)圖譜的主要內(nèi)容如圖5所示。所謂“全生命周期”，指的是按照時(shí)間流分析圖中包括的主體。

圖5 企業(yè)構(gòu)建數(shù)據(jù)圖譜的主要內(nèi)容

3.2 時(shí)序數(shù)據(jù)可視化

數(shù)據(jù)本身是一個(gè)抽象的概念，隨著數(shù)據(jù)量的不斷增大，傳統(tǒng)的數(shù)據(jù)統(tǒng)計(jì)方法很難滿足用戶去理解數(shù)據(jù)本身含義的任務(wù)，而數(shù)據(jù)可視化作為一項(xiàng)新興且蓬勃發(fā)展的技術(shù)，其依賴于本身可視的優(yōu)越性，已經(jīng)在自然科學(xué)、工程技術(shù)、經(jīng)濟(jì)、通信及商業(yè)等領(lǐng)域得到了廣泛的應(yīng)用并取得了很多卓有成效的進(jìn)展[21]。對(duì)數(shù)據(jù)的理解，人們普遍傾向于具體、形象的展示，數(shù)據(jù)可視化方法通過(guò)圖像、表格等視覺(jué)載體“看到”數(shù)據(jù)，因此在用戶對(duì)數(shù)據(jù)進(jìn)行可視分析的過(guò)程中起到了至關(guān)重要的作用。

假設(shè)時(shí)序數(shù)據(jù)的主要信息是數(shù)據(jù)的變化趨勢(shì)，則可從散點(diǎn)圖、折線圖二者中選取能夠最大程度揭示時(shí)序數(shù)據(jù)變化趨勢(shì)的圖表類型，實(shí)現(xiàn)時(shí)序數(shù)據(jù)的可視化。

4 系統(tǒng)性能測(cè)試方法

基于時(shí)序數(shù)據(jù)庫(kù)的工業(yè)大數(shù)據(jù)存儲(chǔ)管理系統(tǒng)的性能測(cè)試主要是檢驗(yàn)其對(duì)常見工業(yè)數(shù)據(jù)的存儲(chǔ)能力[22]。

4.1 存儲(chǔ)性能

存儲(chǔ)海量工業(yè)時(shí)序數(shù)據(jù)時(shí)，通常由若干個(gè)終端一起產(chǎn)生多條存儲(chǔ)指令，該過(guò)程存在較多的風(fēng)險(xiǎn)因素。以在連續(xù)存儲(chǔ)請(qǐng)求下的數(shù)據(jù)存儲(chǔ)速度作為評(píng)估系統(tǒng)存儲(chǔ)性能的指標(biāo),如

Zmax=Qs/T

(1)

式中，Qs為成功存入數(shù)據(jù)庫(kù)的數(shù)據(jù)量;T為消耗的總時(shí)間。

4.2 壓縮性能

壓縮是時(shí)序數(shù)據(jù)庫(kù)非常重要的能力之一。將存儲(chǔ)完成后數(shù)據(jù)庫(kù)文件的大小和原始數(shù)據(jù)大小之比作為評(píng)估數(shù)據(jù)壓縮性能的指標(biāo)，即

R=Sdb/Sr

(2)

式中，Sdb為數(shù)據(jù)庫(kù)文件大小;Sr為原始數(shù)據(jù)大小;R為為壓縮比。

5 結(jié)語(yǔ)

在工業(yè)互聯(lián)網(wǎng)快速發(fā)展的大背景下，工業(yè)生產(chǎn)現(xiàn)場(chǎng)投放了大量的設(shè)備傳感器和監(jiān)控系統(tǒng)[23]，二者提供的實(shí)時(shí)數(shù)據(jù)能夠反映設(shè)備的狀態(tài)和生產(chǎn)的進(jìn)度，其中的大多數(shù)據(jù)都是按照時(shí)間順序形成的實(shí)時(shí)數(shù)據(jù)。這些海量實(shí)時(shí)數(shù)據(jù)有著多樣化的分析需求和重要的參考價(jià)值，此現(xiàn)狀下能夠融入大數(shù)據(jù)生態(tài)并具有良好擴(kuò)展性的時(shí)序數(shù)據(jù)庫(kù)應(yīng)運(yùn)而生。對(duì)企業(yè)而言，設(shè)計(jì)并實(shí)現(xiàn)基于時(shí)序數(shù)據(jù)庫(kù)的工業(yè)大數(shù)據(jù)存儲(chǔ)管理系統(tǒng)，能夠?yàn)楫a(chǎn)品的可視化運(yùn)維、預(yù)測(cè)性維護(hù)、遠(yuǎn)程智能管理等方面提供依據(jù)，降低人員、時(shí)間等成本，同時(shí)加速工業(yè)化與信息化的深度融合，促進(jìn)復(fù)雜重型裝備制造業(yè)的轉(zhuǎn)型升級(jí)，產(chǎn)生社會(huì)經(jīng)濟(jì)效益。