海量MES監(jiān)控?cái)?shù)據(jù)的高效存儲與處理

郝昕+馬超

摘 要：隨著云制造和工業(yè)大數(shù)據(jù)時(shí)代的來臨，傳統(tǒng)的MES監(jiān)控系統(tǒng)正面臨著新的挑戰(zhàn)。海量的工業(yè)數(shù)據(jù)存儲需要更高的性能，日益增多的半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)則需要更加高效的存儲功能。為了解決這一問題，文章研究并實(shí)現(xiàn)了基于Hadoop技術(shù)存儲數(shù)據(jù)的MES監(jiān)控系統(tǒng)，采用物聯(lián)網(wǎng)技術(shù)，通過傳感器網(wǎng)絡(luò)，監(jiān)控網(wǎng)絡(luò)，RFID網(wǎng)絡(luò)來獲取MES監(jiān)控系統(tǒng)有關(guān)設(shè)備，產(chǎn)品，人員的有關(guān)數(shù)據(jù)，數(shù)據(jù)存儲使用Hadoop技術(shù)，將數(shù)據(jù)存儲在遠(yuǎn)端的分布式存儲數(shù)據(jù)庫中，減輕了本地?cái)?shù)據(jù)庫的存儲壓力，提高了存儲能力和存儲速度。最后，文章以MES生產(chǎn)制造中的鉆攻機(jī)為測試用例，驗(yàn)證了海量MES監(jiān)控?cái)?shù)據(jù)的高效存儲與處理。

關(guān)鍵詞：Hadoop；HDFS；HBASE；MES監(jiān)控系統(tǒng)

中圖分類號：TP274 文獻(xiàn)標(biāo)志碼：A 文章編號：2095-2945（2017）19-0031-02

引言

當(dāng)今社會是云時(shí)代，隨著云計(jì)算的發(fā)展，越來越多的云應(yīng)用開始融入到制造企業(yè)生產(chǎn)車間的日常業(yè)務(wù)，從原來僅僅使用本地化車間的制造資源與能力到現(xiàn)在逐漸開始使用云端的虛擬化制造資源與能力，從原來的本地?cái)?shù)據(jù)存儲到現(xiàn)在的云存儲，云計(jì)算不知不覺中已經(jīng)開始慢慢改變制造企業(yè)生產(chǎn)車間的業(yè)務(wù)過程，因此，作為管理生產(chǎn)車間業(yè)務(wù)過程的制造執(zhí)行系統(tǒng)MES正面臨新的挑戰(zhàn)。

在當(dāng)今的大數(shù)據(jù)時(shí)代下，MES監(jiān)控系統(tǒng)也發(fā)生了變革，MES監(jiān)控系統(tǒng)中越來越多的非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)也需要存儲到數(shù)據(jù)庫中，不斷挑戰(zhàn)著以前的關(guān)系型數(shù)據(jù)庫。但是隨著技術(shù)的增進(jìn)，Hadoop的出現(xiàn)可以解決這個(gè)問題，Hadoop的設(shè)計(jì)目標(biāo)是存儲海量數(shù)據(jù)，并為分布在網(wǎng)絡(luò)中的大量客戶端提供高效的數(shù)據(jù)訪問，并且Hadoop提供了HBASE4的機(jī)制，可以為MES監(jiān)控系統(tǒng)中的非結(jié)構(gòu)化數(shù)據(jù)，半結(jié)構(gòu)化數(shù)據(jù)提供存儲。

1 海量多源異構(gòu)的制造車間生產(chǎn)數(shù)據(jù)

在MES監(jiān)控系統(tǒng)中，我們需要實(shí)時(shí)獲取這些信息：

1.1設(shè)備有關(guān)數(shù)據(jù)

1.1.1 設(shè)備運(yùn)行的狀態(tài)參數(shù)

主要指在設(shè)備上安放傳感器和建立傳感器采集網(wǎng)絡(luò)，通過傳感器網(wǎng)絡(luò)來采集反映設(shè)備運(yùn)行狀態(tài)的數(shù)據(jù)，例如設(shè)備的振動，溫度等指標(biāo)，也就是傳統(tǒng)意義上的監(jiān)控?cái)?shù)據(jù)。同時(shí)也是MES監(jiān)控系統(tǒng)中最主要的數(shù)據(jù)。

1.1.2 設(shè)備運(yùn)行的工況數(shù)據(jù)

主要指設(shè)備的工作情況，如負(fù)載，轉(zhuǎn)速，運(yùn)行模式等工作的設(shè)定信息，此類數(shù)據(jù)往往能從控制器內(nèi)獲得，不同設(shè)備的工況數(shù)據(jù)衡量指標(biāo)大不相同。

1.1.3 設(shè)備使用過程中的環(huán)境參數(shù)

指所有可能影響設(shè)備性能和運(yùn)行狀態(tài)的環(huán)境信息，也就是設(shè)備的工作車間信息，如溫度，風(fēng)速，濕度等信息。采集環(huán)境參數(shù)信息能夠幫助我們更好地理解設(shè)備運(yùn)行所受環(huán)境影響的規(guī)律，幫助我們將由于設(shè)備狀態(tài)和環(huán)境變化引起的性能變化區(qū)分開來。

1.1.4 設(shè)備運(yùn)行監(jiān)控視頻

在車間內(nèi)安裝攝像頭，以便攝錄車間內(nèi)設(shè)備的工作情況。用于在設(shè)備出現(xiàn)故障時(shí)，及時(shí)查看設(shè)備工作情況視頻，以便觀察設(shè)備出現(xiàn)故障前的工作狀態(tài)，進(jìn)行設(shè)備故障分析，更好的進(jìn)行設(shè)備維修。

1.1.5 設(shè)備工作計(jì)劃

從MES生產(chǎn)調(diào)度系統(tǒng)中實(shí)時(shí)獲取整個(gè)車間的最新生產(chǎn)計(jì)劃，以便生產(chǎn)車間及時(shí)進(jìn)行生產(chǎn)設(shè)備調(diào)整，更快的應(yīng)對生產(chǎn)計(jì)劃改變。

1.2 產(chǎn)品有關(guān)數(shù)據(jù)

1.2.1 產(chǎn)品工藝圖

指產(chǎn)品的設(shè)計(jì)階段中，產(chǎn)品的工藝流程圖，其記載了產(chǎn)品所需工藝和工藝加工順序，工藝加工時(shí)間，以及產(chǎn)品工藝所需車間設(shè)備。

1.2.2 產(chǎn)品生產(chǎn)流程

指產(chǎn)品在實(shí)際生產(chǎn)階段中，產(chǎn)品的RFID標(biāo)簽記錄的產(chǎn)品的生產(chǎn)流程圖，其流程圖記錄了產(chǎn)品的生產(chǎn)工藝，及工藝所負(fù)責(zé)加工的設(shè)備信息，由于MES車間環(huán)境變化巨大，MES生產(chǎn)調(diào)度系統(tǒng)實(shí)時(shí)根據(jù)車間環(huán)境調(diào)整生產(chǎn)計(jì)劃，故產(chǎn)品的實(shí)際生產(chǎn)流程和產(chǎn)品工藝圖是有一定區(qū)別變化的。

1.3 人員有關(guān)數(shù)據(jù)

1.3.1 人員實(shí)時(shí)位置

通過在車間內(nèi)建立RFID收發(fā)網(wǎng)絡(luò)，生產(chǎn)人員佩戴RFID芯片，通過在不同的車間內(nèi)建立不同的載波信號區(qū)域，人員進(jìn)入到不同的載波區(qū)域，RFID芯片激活，將RFID所記錄的信息傳送到服務(wù)器，以達(dá)到人員的實(shí)時(shí)位置管理。

1.3.2 人員加工計(jì)劃

記錄了加工人員所負(fù)責(zé)的生產(chǎn)設(shè)備的加工計(jì)劃，包括人員所負(fù)責(zé)的工藝，所負(fù)責(zé)的設(shè)備，加工時(shí)段。

2 基于物聯(lián)網(wǎng)技術(shù)的數(shù)據(jù)實(shí)時(shí)獲取

2.1 傳感器采集網(wǎng)絡(luò)

由于MES監(jiān)控系統(tǒng)需要對車間生產(chǎn)數(shù)據(jù)實(shí)時(shí)采集監(jiān)控并且后續(xù)還要對數(shù)據(jù)進(jìn)行分析，所以我們采用無線網(wǎng)絡(luò)技術(shù)結(jié)合傳感器組建成傳感器網(wǎng)絡(luò)，傳感器憑借低廉的成本，以及對溫度，光線，震動，聲音等信息源感知的敏感性和精確性，可作為車間生產(chǎn)加工設(shè)備的感知器官，利用傳感器可以從生產(chǎn)車間獲取所需的環(huán)境參數(shù)，設(shè)備參數(shù)與運(yùn)行狀況等詳細(xì)信息，為MES監(jiān)控系統(tǒng)提供基礎(chǔ)的原始信息。

2.2 監(jiān)控網(wǎng)絡(luò)

在生產(chǎn)車間內(nèi)放置攝像頭和視頻服務(wù)器，攝像頭所記錄的原始視頻信號傳到視頻服務(wù)器，經(jīng)視頻服務(wù)器編碼后，以TCP/TP協(xié)議通過網(wǎng)絡(luò)傳輸管理中心，網(wǎng)絡(luò)傳輸管理中心負(fù)責(zé)所有前段設(shè)備的管理，控制，報(bào)警處理，錄像，錄像回放，用戶管理等工作，并且在網(wǎng)絡(luò)傳輸管理中心為這些服務(wù)搭建專門的服務(wù)器，MES監(jiān)控系統(tǒng)需要實(shí)時(shí)查看車間情況時(shí)，通過向網(wǎng)絡(luò)傳輸管理中心發(fā)送請求，從數(shù)據(jù)存儲的服務(wù)器中調(diào)取數(shù)據(jù)，進(jìn)行遠(yuǎn)程查看。

2.3 RFID網(wǎng)絡(luò)

在生產(chǎn)過程中，我們可以在產(chǎn)品內(nèi)嵌入RFID芯片，來記錄產(chǎn)品的實(shí)際生產(chǎn)流程，我們可以在人員上佩戴RFID芯片，用于實(shí)時(shí)獲取人員的位置。

我們在不同車間內(nèi)安置不同的射頻信號發(fā)射器，將低頻的加密數(shù)據(jù)載波信號經(jīng)發(fā)射天線發(fā)送到不同的車間，這樣佩戴RFID芯片的工作人員在經(jīng)過不同的發(fā)射天線工作區(qū)域后RFID被激活，將加密的載有目標(biāo)識別碼的信息經(jīng)卡內(nèi)高頻發(fā)射模塊發(fā)射出去，接收天線收到RFID卡發(fā)來的載波信號，經(jīng)車間內(nèi)讀寫設(shè)備提取出目標(biāo)識別碼，并傳輸?shù)骄W(wǎng)絡(luò)傳輸管理中心，MES監(jiān)控系統(tǒng)與網(wǎng)絡(luò)傳輸管理中心進(jìn)行信息交互，這樣在MES監(jiān)控系統(tǒng)中可實(shí)現(xiàn)對人員定位的管理。

3 基于HADOOP的MES監(jiān)控?cái)?shù)據(jù)存儲

3.1 HBASE數(shù)據(jù)庫

傳統(tǒng)的MES監(jiān)控系統(tǒng)數(shù)據(jù)庫都是采用關(guān)系型數(shù)據(jù)庫，采用二維的表結(jié)構(gòu)，來存儲著一些結(jié)構(gòu)化數(shù)據(jù)，例如在傳統(tǒng)的MES監(jiān)控系統(tǒng)中，只需不斷采集設(shè)備工作狀態(tài)參數(shù)，設(shè)備環(huán)境參數(shù)等參數(shù)，并且將信息存儲到數(shù)據(jù)庫中就完成了MES監(jiān)控系統(tǒng)的流程。

我們可以用HBASE中的列式存儲和稀疏多維映射表技術(shù)來對MES監(jiān)控系統(tǒng)中海量、多源、異構(gòu)的制造車間生產(chǎn)數(shù)據(jù)進(jìn)行數(shù)據(jù)庫存儲。

HBASE中稀疏多維映射表的技術(shù)是指，表中的數(shù)據(jù)通過一個(gè)行關(guān)鍵字（row key），一個(gè)列關(guān)鍵字（column key），以及一個(gè)時(shí)間戳（time stamp）進(jìn)行索引和查詢定位，通過時(shí)間戳允許數(shù)據(jù)有多個(gè)版本。

{row key，colunmn family ，column name，timestamp}->value

3.2 設(shè)備有關(guān)數(shù)據(jù)存儲

我們在本文中以軸流式水輪機(jī)制造工藝中“鉆攻銑坡口”的所屬設(shè)備：鉆攻機(jī)為例。

鉆攻機(jī)可以批量生產(chǎn)加工小型五金零件，可以鉆孔，攻絲，銑切。適合材料銅鋁件，鑄件，一般鋼件。

設(shè)備運(yùn)行狀態(tài)：

對于鉆攻機(jī)設(shè)備數(shù)據(jù)中的設(shè)備運(yùn)行狀態(tài)參數(shù)，我們可以通過在機(jī)器設(shè)備上的傳感器來采集狀態(tài)參數(shù)，如主軸轉(zhuǎn)速，主軸錐度，設(shè)備的X軸偏移量，Y軸偏移量，Z軸偏移量等設(shè)備狀態(tài)參數(shù)。

在以往的系統(tǒng)中，Hbase的多維映射表技術(shù)如下：

{設(shè)備編號，生產(chǎn)車間，設(shè)備運(yùn)行參數(shù)種類，時(shí)間戳}->設(shè)備運(yùn)行參數(shù)值

HBASE中表結(jié)構(gòu)如表1。

但是對于工件制造加工過程中，主軸轉(zhuǎn)速和主軸錐度是實(shí)時(shí)變化的，反而對于X，Y，Z軸偏移量是很少變化的，并且在工件制造過程中操作次數(shù)較多的只是根據(jù)時(shí)間和設(shè)備型號來查詢主軸轉(zhuǎn)速，所以為了提供高效的查詢能力，我們改變HBASE的表結(jié)構(gòu)，對HBASE中的行健進(jìn)行冗余設(shè)計(jì)，將rowkey和timestamp結(jié)合起來存儲在HBASE中，從兩個(gè)屬性值查詢變?yōu)橐粋€(gè)屬性值的查詢，提高了查詢效率。

4 結(jié)束語

本文在研究與實(shí)現(xiàn)基于Hadoop技術(shù)存儲的MES監(jiān)控系統(tǒng)，綜合運(yùn)用了Hadoop技術(shù)，物聯(lián)網(wǎng)，大數(shù)據(jù)等先進(jìn)信息技術(shù)，設(shè)計(jì)并實(shí)現(xiàn)了包含傳感器采集網(wǎng)絡(luò)，視頻采集網(wǎng)絡(luò)，RFID網(wǎng)絡(luò)的實(shí)時(shí)數(shù)據(jù)采集手段，和基于HBASE技術(shù)的數(shù)據(jù)庫，通過這些模塊來實(shí)時(shí)采集設(shè)備的各項(xiàng)數(shù)據(jù)和產(chǎn)品有關(guān)數(shù)據(jù)和車間加工人員的實(shí)時(shí)位置，將采集到的數(shù)據(jù)通過建立稀疏多維映射表來存儲到分布式文件系統(tǒng)中，便于文件的快速存儲和系統(tǒng)的快速讀取，提高了系統(tǒng)處理數(shù)據(jù)的能力，最后，采用MES生產(chǎn)車間內(nèi)的鉆攻機(jī)的有關(guān)生產(chǎn)數(shù)據(jù)，對MES監(jiān)控系統(tǒng)處理海量數(shù)據(jù)進(jìn)行了測試和驗(yàn)證。

參考文獻(xiàn)：

[1]張華強(qiáng).關(guān)系型數(shù)據(jù)庫與NoSQL數(shù)據(jù)庫[J].數(shù)據(jù)庫與信息管理，2011（20）：4802-4804.

[2]程瑩.基于Hadoop及關(guān)系型數(shù)據(jù)庫的海量數(shù)據(jù)分析研究[J].中國聯(lián)通研究院云計(jì)算專欄，2010（11）：47-50.

[3]劉國靜.基于SOA架構(gòu)的企業(yè)應(yīng)用研究[D].計(jì)算機(jī)應(yīng)用技術(shù)：華東師范大學(xué)，2006.

[4]馬翠云.基于HBase的大規(guī)模數(shù)據(jù)存儲解決方案的設(shè)計(jì)和實(shí)現(xiàn)[D].通信與信息系統(tǒng)：山東大學(xué)，2015.

[5]蘇北并，周小波.基于RFID技術(shù)的煤礦安全追蹤系統(tǒng)[A].全國ISNBM學(xué)術(shù)交流會暨電腦開發(fā)與應(yīng)用創(chuàng)刊20周年慶祝大會論文集：電腦開發(fā)與應(yīng)用編輯部[C].2005：121-122.