家電服務全生命周期多源異構大數(shù)據(jù)集成技術研究

張志強 鄒文杰 陳豪賢

（順德職業(yè)技術學院 廣東省佛山市 528333）

1 引言

隨著互聯(lián)網(wǎng)的普及應用，“互聯(lián)網(wǎng)+家電服務”越發(fā)成為了我國家電行業(yè)的一個新方向，傳統(tǒng)的企業(yè)內(nèi)部信息系統(tǒng)難以滿足家電服務行業(yè)信息資源共享，優(yōu)化服務效率的需要，取而代之的是通過互聯(lián)網(wǎng)技術跨部門、跨企業(yè)、跨平臺的大數(shù)據(jù)集成技術應用[1]。當今，家電行業(yè)產(chǎn)品同質(zhì)化越來越嚴重，企業(yè)的售后服務質(zhì)量成為企業(yè)在同行中獲勝的關鍵，但大部分企業(yè)往往售后服務跟不上，影響到自身品牌的信譽度，其主要原因是家電服務信息網(wǎng)的數(shù)據(jù)比較復雜，應用分散，數(shù)據(jù)結構不一致，數(shù)據(jù)分析十分困難導致的[2]。根據(jù)南方周末的數(shù)據(jù)統(tǒng)計，全國十大城市家電報告中顯示，只有20%的家電企業(yè)建立了售后服務信息系統(tǒng)，不到5%的家電企業(yè)擁有比較完善的售后服務相關機制[3]。因此，解決我國當今復雜結構的海量家電服務數(shù)據(jù)異構問題，建立完善的家電售后服務網(wǎng)絡，對我國家電行業(yè)的發(fā)展和壯大起到至關重要的作用。

2 家電服務的全生命周期數(shù)據(jù)集成方法與技術

2.1 面向家電企業(yè)服務質(zhì)量的大數(shù)據(jù)集成頂層設計

但如果想要使用多源異構大數(shù)據(jù)集成技術來進行相應家電服務模式的改革與完善，就需要進行各個生命周期數(shù)據(jù)信息的進一步收集。然而這些數(shù)據(jù)一般情況下都分散在不同的企業(yè)和部門中，單純從技術上很難集成在一起，更主要是管理上的問題，例如缺乏相應的數(shù)據(jù)管理機制、企業(yè)不愿意分享自己的數(shù)據(jù)、高層對數(shù)據(jù)分享意識薄弱等[4]，因此，首先要對家電服務數(shù)據(jù)集成進行頂層設計，所謂頂層設計，既包括相應數(shù)據(jù)的標準化研究，又包括有關數(shù)據(jù)信息的進一步市場分析和集成。如圖1所示。

圖1：面向家電服務的大數(shù)據(jù)集成頂層設計

大數(shù)據(jù)集成的標準化：我國目前家電服務數(shù)據(jù)結構復雜混亂，沒有統(tǒng)一的標準，因此，制定家電數(shù)據(jù)集成相關標準十分重要，這些標準應包括：知識網(wǎng)絡標準、專利引用標準等，作為頂層設計的技術依據(jù)[5]。

大數(shù)據(jù)集成的市場分析：使用線上和線下相結合的方法，調(diào)研和分析我國家電服務行業(yè)的現(xiàn)狀和存在問題，形成統(tǒng)計數(shù)據(jù)和相關量表，通過對統(tǒng)計數(shù)據(jù)的研究，得出有針對性的解決方案，作為頂層設計的數(shù)據(jù)基礎[6]。

大數(shù)據(jù)集成的關鍵技術：主要研究家電服務大數(shù)據(jù)環(huán)境下多源異構數(shù)據(jù)集成的關鍵技術，有關關鍵技術包括和涵蓋的范圍較為廣泛，諸如數(shù)據(jù)安全技術以及異構數(shù)據(jù)集成技術等都是其中較為關鍵的組成部分，能夠在家電服務過程中起到舉足輕重的作用。

2.2 面向家電服務質(zhì)量的多源異構數(shù)據(jù)集成方法

針對家電服務數(shù)據(jù)的多源異構特征，可以采用數(shù)據(jù)批量離線集成方法，異構數(shù)據(jù)根據(jù)數(shù)據(jù)源的不同，分為面向關系模式的數(shù)據(jù)源和面向其他模式的數(shù)據(jù)源兩種[7]。

2.2.1 面向關系模式的數(shù)據(jù)源數(shù)據(jù)集成技術

對于比較大型或信息化管理比較規(guī)范的家電企業(yè)，一般會具備自己的數(shù)據(jù)庫管理系統(tǒng)，這些數(shù)據(jù)庫管理系統(tǒng)是面向關系模式，使用數(shù)據(jù)源集成的方式而形成的數(shù)據(jù)管理系統(tǒng)。他們能夠通過服務器監(jiān)控的方式，來對各個關系數(shù)據(jù)庫中的數(shù)據(jù)信息變化程度進行深入的了解與分析，并通過相應的數(shù)據(jù)共享和交互來進行一手資料的獲取。在關系數(shù)據(jù)庫的建成與使用過程中，所有的數(shù)據(jù)信息更新操作都能夠通過同步到日志文件中來進行保存。因此在進行關系型數(shù)據(jù)庫使用的過程中，即便是數(shù)據(jù)庫在數(shù)據(jù)記錄和數(shù)據(jù)更新過程中發(fā)生了突發(fā)狀況，相關數(shù)據(jù)也能夠通過日志文件備份的方式進行進一步的集成，倘若此時使用數(shù)據(jù)源B，該數(shù)據(jù)源就能夠通過讀取日志文件的方式來進行數(shù)據(jù)信息的讀取，使得有關信息在兩個不同數(shù)據(jù)源中進行相互間的轉換，與數(shù)據(jù)共享，這是關系數(shù)據(jù)庫較為典型的特征和使用優(yōu)勢。

2.2.2 面向其他數(shù)據(jù)模式的數(shù)據(jù)源的數(shù)據(jù)集成

部分家電企業(yè)使用基于XML 的數(shù)據(jù)集成方法進行集成，基于XML 的多源異構數(shù)據(jù)集成的方法包括異構數(shù)據(jù)源、XML 轉換器、加載器、元數(shù)據(jù)和集成后的數(shù)據(jù)存儲幾部分的內(nèi)容[9]。通過XML轉換器將各種異構的源數(shù)據(jù)轉換為統(tǒng)一格式的XML 數(shù)據(jù)文件。通過XML 加載器將XML 數(shù)據(jù)文件中的數(shù)據(jù)統(tǒng)一到集成后的數(shù)據(jù)存儲。

2.3 面向家電服務企業(yè)的多源異構數(shù)據(jù)集成技術

2.3.1 多源異構數(shù)據(jù)存儲研究

在進行家電服務展開的過程中，其所包含的數(shù)據(jù)涵蓋范圍較為廣泛，不論是結構化數(shù)據(jù)還是非結構化數(shù)據(jù)都涵蓋在其中，并且在進行數(shù)據(jù)存儲和數(shù)據(jù)使用的過程中，只要下達數(shù)據(jù)分析和量化處理的指令，有關數(shù)據(jù)就能夠快速響應。

2.3.2 多源異構海量數(shù)據(jù)計算和分析

家電企業(yè)中有海量異構數(shù)據(jù)，在進行異構數(shù)據(jù)的實時處理過程中，相關技術可以通過進行在線監(jiān)控和分析的方式來進行有關數(shù)據(jù)的持續(xù)性提供，并且通過大數(shù)據(jù)的應用來進行實施的批量計算和儲存，使得異構數(shù)據(jù)能夠通過離線分析的狀態(tài)進行相應分析任務的完成。在進行數(shù)據(jù)處理的過程中，大數(shù)據(jù)挖掘和分析算法能夠有效的保障有關數(shù)據(jù)分析順利進行，并且還可以通過跨業(yè)務的數(shù)據(jù)轉存和共享形式來進行相關數(shù)據(jù)庫的建立，這是大數(shù)據(jù)分析和挖掘模型在使用上的擴展。

2.3.3 多源異構數(shù)據(jù)應用服務接口

包括家電企業(yè)大數(shù)據(jù)所提供的共享服務以及數(shù)據(jù)分析和挖掘等服務。面向家電服務企業(yè)的多源異構數(shù)據(jù)集成技術研究框架圖如圖2所示。

圖2：面向家電服務企業(yè)的多源異構數(shù)據(jù)集成技術研究框架圖

2.4 面向家電服務企業(yè)的多源異構數(shù)據(jù)處理

2.4.1 異構數(shù)據(jù)并行處理技術

有些離線數(shù)據(jù)在處理過程中并不需要進行實時數(shù)據(jù)分析，在這種情況下可以使用mapreduce 框架來進行有關數(shù)據(jù)的處理。進行這一框架進行有關數(shù)據(jù)處理的過程中，可以充分的發(fā)揮相應系統(tǒng)的拓展性使得計算節(jié)點得到進一步的動態(tài)增加進行海量歷史數(shù)據(jù)的計算與存儲，這能夠在一定程度上滿足家電進行非實時性數(shù)據(jù)處理的要求。

但倘若有關數(shù)據(jù)需要在線進行實時處理，那么使用上述框架來進行數(shù)據(jù)分析，顯然是無法達到較為良好效果的，這種情況下有關數(shù)據(jù)研究人員應當嘗試采用storm 來進行數(shù)據(jù)計算。相比較上述框架而言，storm 有較為明顯的分布式特征，能夠通過并發(fā)處理的方式來進行相應數(shù)據(jù)的處理和計算，他也如同上述框架一樣具有較為良好的可拓展性呢，能夠在日常進行實時數(shù)據(jù)的并流處理。

如果在進行相關實時數(shù)據(jù)處理的過程中，數(shù)據(jù)涵蓋量較為廣泛，需要以較強的工作頻率來進行數(shù)據(jù)處理和數(shù)據(jù)記錄，那么就不應當使用storm 來進行有關數(shù)據(jù)的處理，而應當嘗試使用apache Spark來進行有關數(shù)據(jù)的處理。相比較上述框架而言，Apache Spark 在處理過程中能夠進行多線程的計算，這能夠減少不必要的程序，使得有關數(shù)據(jù)處理速度得到進一步的提升，但在這一過程中內(nèi)存消耗的提升也較為明顯，故而有關技術人員應當謹慎使用。

2.4.2 數(shù)據(jù)安全技術研究

家電企業(yè)大數(shù)據(jù)的安全主要存在兩方面的問題：首先，在進行相應的數(shù)據(jù)分析與計算技術使用的過程中，用戶的個人隱私無法得到進一步的保障，在用戶進行有關家電使用的過程中，很可能會出現(xiàn)顯示信息數(shù)據(jù)泄露的情況，這些數(shù)據(jù)一旦遭到泄露，不僅會使得用戶的個人隱私安全受到侵害，還很可能會影響到相應家電企業(yè)的名譽和銷售潛力，最終使得有關家電企業(yè)的口碑受到影響。其次，在進行數(shù)據(jù)處理的過程中，相應數(shù)據(jù)的可信程度也無法得到必要的保障，由于不同企業(yè)在進行家電生產(chǎn)和制作的過程中，處于各個不同的生命周期，因此倘若數(shù)據(jù)處理的可信性無法得到必要的保障，那么很可能會對有關家電企業(yè)的日常業(yè)務活動發(fā)展產(chǎn)生不良影響，導致有關管理人員在活動推進與計劃過程中出現(xiàn)決策失誤，最終讓企業(yè)的經(jīng)濟效益受到影響。

首先有關企業(yè)工作人員應當嘗試建立更為科學合理的權限管理機制，讓普通業(yè)務人員在日常的工作過程中通過大數(shù)據(jù)挖掘和平臺分析訪問的方式，進行核心數(shù)據(jù)竊取的概率得到進一步的控制，有關平臺只有內(nèi)部運營那樣才可以直接進入，并對相應數(shù)據(jù)進行處理和分析，普通業(yè)務人員無法進行相關數(shù)據(jù)的更改和復制，只有如此才能夠從根本上保障相應數(shù)據(jù)的安全性，確保用戶隱私不會遭到泄露。

其次，有關技術研究人員應當對接口的接入進行嚴格的審查，只有如此才能夠進一步的避免沒有得到授權，用戶通過非法接入的方式進行家電企業(yè)內(nèi)部核心數(shù)據(jù)的獲取，確保家電企業(yè)內(nèi)部核心數(shù)據(jù)不會被不法分子盜取，終導致家電企業(yè)的日常發(fā)展和運行遭受到嚴重的損失。最后，在進行日常平臺運營和維護的過程中，有關技術人員應當增加數(shù)據(jù)修改的可追蹤機制，換句話說，有關平臺的核心數(shù)據(jù)一旦遭到了非法篡改，那么相應技術研究人員便可以通過非法篡改的數(shù)據(jù)來進行數(shù)據(jù)追溯，不僅能夠使得非法篡改數(shù)據(jù)回到原始狀態(tài)，還能夠通過相應的數(shù)據(jù)追溯來進行不法分子的查處。確保有關數(shù)據(jù)安全，使得家電企業(yè)的日常數(shù)據(jù)信息安全得到更進一步的維護。

3 家電服務大數(shù)據(jù)挖掘和分析方法

實際上產(chǎn)品服務作為家電企業(yè)日常運行和建設過程中不可或缺的重要組成部分，也是家電制造企業(yè)經(jīng)濟利益的重要來源，不然任何家電制造企業(yè)都不應當忽視產(chǎn)品服務這一環(huán)節(jié)的重要性。為了能夠使得家電服務的日常產(chǎn)品服務質(zhì)量能夠得到進一步的改進與完善，并通過合理的大數(shù)據(jù)挖掘和分析來進行產(chǎn)品服務質(zhì)量的提升，有關家電企業(yè)應當嘗試使用更為先進的大數(shù)據(jù)挖掘和分析技術，來進行相應產(chǎn)品服務方式和理念的革新，具體大數(shù)據(jù)挖掘和分析應用技術，如圖3所示。

圖3：大數(shù)據(jù)挖掘和分析框架

4 結論

本文研究我國家電服務全生命周期多源異構大數(shù)據(jù)集成技術，具有3 個創(chuàng)新點：首先，課題研究成員從離線與在線數(shù)據(jù)從分析處理方面的區(qū)別著手，進行了適宜家電企業(yè)進行多源異構數(shù)據(jù)分析集成模式的提出，它有助于提升有關數(shù)據(jù)的處理安全性和靈活性，并使得相應數(shù)據(jù)集成的效率得到進一步的提升與完善。其次，有關家電企業(yè)很可以嘗試通過綜合考量進行相關計算模型的建設，這有助于進行大數(shù)據(jù)挖掘和分析技術的進一步使用，讓家電制造企業(yè)的日常產(chǎn)品服務質(zhì)量得到更進一步的提升。最后，在進行有關數(shù)據(jù)挖掘和分析模型的建立過程中，技術人員對家電企業(yè)的服務生命周期大數(shù)據(jù)集成進行了全面的考察與分析，這能夠使得未來的數(shù)據(jù)分析涉及到家電企業(yè)日常生產(chǎn)與建設的方方面面。因此，家電大數(shù)據(jù)的多技術整合、數(shù)據(jù)保密性和可信性將是下一步研究的重點。