基于SaaS云平臺模式的行業大數據挖掘應用

張海俊， 徐海洋， 劉 苗

(易聯云計算(杭州)有限責任公司，浙江杭州310000)

1 SaaS云平臺模式下的行業大數據挖掘

1.1 SaaS云平臺價值

作為公用事業行業信息化服務提供商，金卡智能旗下易聯云計算(杭州)有限責任公司(以下簡稱易聯云)通過建立行業大數據平臺，該平臺基于SaaS云平臺模式，將企業各系統遷移到云上，基于統一規范的服務平臺，對外聯接客戶、員工、在線設備及合作伙伴，對內形成企業大數據。最終通過企業統一、真實、有效的數據信息，進行多方位的數據價值轉化。在大數據平臺下，完成各系統和數據的集成，保障各系統間的關聯性和融合性，讓所有業務數據可以歸結到統一的大數據業務分析中；大數據平臺的建設標準規范一致，從管網的設計、實施敷設到巡檢維護操作、到終端用戶設備安裝和收計費服務，都在企業內部各單位各部門推行統一的操作流程，規范的數據標準，確保了數據的可靠性、可用性以及各類信息系統之間的跨平臺融合；有效采集匯總用戶基礎信息數據，并在此基礎上實現用戶數據分析，為用戶的行為分析提供有效基礎信息。

1.2 大數據平臺架構及功能

大數據平臺以華為基礎服務為支撐，基于分布式計算、存儲框架，面向公共事業不同價值的數據源，通過集成、存儲、建模、分析、挖掘等大數據技術，在保障公共事業數據安全前提下，進行整體的大數據技術整合，大數據平臺架構見圖1。

平臺提供全面的數據集成能力、海量數據存儲能力、全面數據批量及實時計算分析能力，并且通過多種途徑、多種方式對外提供數據服務，實現數據的可利用化、價值化，從而達到數據服務于公共事業的每一個場景。

① 數據集成

數據集成支持與多種數據源數據集成，支持實時、增量式的集成，支持海量結構化或非結構化的數據集成。

a.實時數據接入提供云服務外的數據實時傳輸到云服務內的能力，使用華為實時流接入(Data Ingestion Service，DIS)及消息隊列Kafka對接第三方的采集工具，通過API接口把生產者產生的數據實時添加到消息隊列通道中，并讓消費者應用程序獲取并進行實時分析。數據接入服務支持多種數據源格式，如物聯網表采集數據、日志和定位追蹤事件、網站點擊流、社交媒體源等。

b.離線數據遷移(Cloud Data Migration，CDM)提供同構/異構數據源之間批量數據遷移服務能力，可將線下集團、第三方云及其他數據源的數據全量遷移或增量同步至易聯云大數據平臺，利用大數據平臺對海量數據分析處理，將結果數據回流到本地業務系統，實現數據價值的挖掘。數據遷移服務支持近20種常用數據源，滿足數據在云上和云下的不同的遷移場景，讓數據自動流動。

② 數據存儲

提供分布式存儲能力，實現PB(petabyte)級別結構化和非結構化數據存儲，并提供列式數據庫存儲，根據不同的應用場景，采取合理、安全、有效的方式將不同熱度的數據存儲至不同存儲空間，并能保證有效的訪問。大數據平臺數據存儲包括以下兩方面。

a.HBase數據庫是一個分布式的、面向列的開源數據庫，是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統。公共事業可將大量的終端采集數據儲存在HBase數據庫中，以支持PB級別的數據存儲和ms級的數據詳單查詢，實現實時的交互式查詢。

b.對象存儲服務(Object Store Service，OBS)，是華為基于對象的海量存儲服務，提供超大存儲容量的能力，適合存放任意類型的文件，適合普通用戶、網站、企業和開發者使用。OBS提供3種存儲類型(標準、低頻訪問、歸檔)，依據數據不同冷熱程度，提供極致成本控制。易聯云大數據平臺選用OBS存儲，能夠大幅降低企業成本，并根據需求調整規模和提高創新速度，幫助企業簡單便捷地管理大數據。

③ 大數據分析

大數據分析是指對規模巨大的數據進行分析計算的過程，包括實時流分析、歷史數據統計分析及機器學習服務等。

a.實時流分析(Cloud Stream Service, CS)是運行在公有云上的實時流式大數據分析服務，支持大規模集群計算。提供數據實時分析的能力，可編寫Stream SQL，定義數據流入、數據處理、數據流出，快速便捷實現業務邏輯。

b.歷史數據統計分析通過MRS服務(MapReduce Service，MRS)提供的Spark、及MapReduce組件對海量數據進行分析計算。MRS是一個用于海量數據的管理和分析的虛擬化服務，集成了開源的Hadoop、Spark、Hive等大數據組件，可以在集群內進行MapReduce、Spark和Hive作業，對數據進行分析和處理。數據處理完成后，加密傳輸數據至對象存儲服務，保證數據的完整性和機密性。

c.機器學習服務(Machine Learning Service，MLS)是一種數據挖掘分析服務，通過機器學習技術發現已有數據中的規律，從而創建機器學習模型，并基于機器學習模型處理新的數據，為業務應用生成預測結果。

④ 數據接口

通過統一標準的應用程序編程接口(Application Programming Interface，API)，對外部系統提供數據接口服務，如：根據分析結果實現動態調整人力、物力、財力之間的配置，實現移峰填谷、智能維護運營，方便公用行業決策層從漏損率控制、產銷差管理、安全性預防等方面對整個企業的運行進行動態調控。

2 SaaS云平臺模式下行業大數據應用

① 客戶端大數據應用

a.增值服務

公用事業行業在向用戶提供天然氣、自來水、電力等基礎服務過程中，積累了大量的業務數據，包含用戶名、用戶性質、地址、電話、家庭人數、購買燃氣產品類型等用戶基本數據，包含用戶用氣使用量、使用規律、付費關系等用戶行為數據，以及用戶服務申報、安檢、投訴、建議等客戶服務數據等。

這些數據往往有一些局限，但這些數據可以結合企業外部的數據，如用戶微博信息、社交信息、商城訪問信息等，可獲取用戶風險信息、財務信息，進而判斷用戶信用等級、用戶利潤、貢獻度等，可進一步挖潛數據背后的巨大價值。

用戶畫像，又稱人群畫像，是根據客戶人口統計學信息、社交關系、偏好習慣和消費行為等信息而抽象出來的標簽化畫像，用戶畫像旨在通過一系列算法或規則挖掘，把用戶分成彼此相同或不同的人群或個體，進而區別化提供服務并進行觀察分析，如性別比例、品牌偏好、崗位分布、社交偏好、活躍度、大客戶、新裝戶、空房戶、采暖戶、設備類型、設備數量等。

基于用戶畫像標簽可實現精準營銷及服務推送。引入大數據可以根據用戶當前生命周期的重要事件，實現個性化的智慧服務和增值服務。如：通過數據發現某客戶的灶具快到期了，在用戶畫像中了解到客戶家庭收入較高，就可以針對性推送灶具到期更換提醒，并順便推介高檔灶具，對企業來說，既可以增加營收，還可以降低用氣事故風險，另外還可以針對這部分用戶推出個性化的增值服務，包括滾動式安檢、設備維護保養、專人預約上門等。

b.智能客服

在傳統的客服系統中，人力成本大、客服績效考核困難、客戶需求無法及時響應、客服中心工作簡單重復且同質化嚴重。依靠大數據分析和人工智能的智能客服系統，全方位打通了客服的溝通渠道，將客服從簡單同質化問題中解放出來，降低了人力成本，提高了團隊溝通效率。

大數據可以訓練和優化人工智能，一般的客服機器人只能回答最直白的問題，但大數據可訓練和優化人工智能知識庫，除了常規的自然語言理解啟動問答引擎外，通過內部數據和互聯網數據，進行行業知識挖掘以及常見問題模型訓練，可以在一定程度上讓機器猜到用戶的問題，學會如何應對用戶各式各樣的問題，從而建立基于知識庫的問答、基于知識圖譜的問答以及開放式聊天。

智能客服能夠24 h不間斷地為客戶服務，隨時隨地都可進行接待，填補了人工客服在休息、假日期間的空缺，工作量更高；對于客戶的信息掌握得更加精準，可以根據提供的訪客基礎信息以及訪問信息進行預判，為客戶提供更加貼心的服務；同時，可以分析訪客所提出的問題，迅速讀取資料庫，完成共性問題的解答，最大限度地縮短了回復的時間。

c.服務渠道優化

通過大數據搜集各個客戶接觸渠道的客戶行為信息，結合客戶關系管理客戶屬性和分類，對各渠道業務運行狀況和客戶服務消費偏好、熱點進行深入分析挖掘，以改善渠道用戶體驗，提升運營效率。通過分析客戶接觸渠道的客戶行為，有效安排營業廳、微信、支付寶、APP掌廳、網廳等不同渠道的業務形式，如用戶通過微信、支付寶可完成90%的繳費業務，營業廳便可減少現場繳費窗口，節省線下成本。

對于信息化發展相對落后、用戶對于網上繳費的意識還不夠的情況，公用行業大多采用增加線下的第三方代收的模式。通過大數據技術，通過分析代收日常業務、人流量、人口分布，對是否需要設置第三方代收繳費網點、設置位置、數量等進行科學決策。

② 運行端大數據應用

a.異常監控與用量預測

通過有效利用數據采集與監視控制系統數據和已經建設完成的用戶關系管理系統、GIS地理信息系統等，利用云計算和大數據分析技術打通系統之間的屏障，實現數據共享和業務系統集成。

對安全相關設備的狀態、用量趨勢進行監測，對異常行為進行報警。例如，表具一般都標有最大的工作流量，通過實時監控分析，可監測是否存在超負荷使用情況。對階段歷史用量數據，基于機器學習和預測模型進行分析，預測未來一段時間內用戶的用量趨勢，預測未來一段時間內用戶的用量，保證重點服務用戶的燃氣供應，同時，當未來一段時間發生后，可以用實際用量和預測用量進行對比，逐步修正預測結果。

某燃氣公司工商戶用氣監控及預測信息截圖見圖2，整個截圖分3個功能區域，左側列表展示管轄區域內流量計最近10 min流量排行。上側區域直觀呈現各流量計當前流量、溫度、壓力。下側區域則以曲線形式展現用氣量趨勢及預測情況，通過實時監控，對比歷史數據在線分析，及時監測篩選激增、陡減、跳躍等異常行為，進而協助業務分析是設備故障還是非法用氣，同時還展示每天及每月生產高峰，保證重點服務用戶的燃氣供應。

圖2 某燃氣公司工商戶用氣監控及預測信息截圖

b.輸差管理與氣源調度

通過對上游門站進行抄表，對氣源采購量進行登記，實現氣源采購管理，通過手抄表、移動抄表(普表抄表和卡表抄表)，輔以必要的用氣量估算，實現用氣量管理。通過輸差相關數據提供部門對輸差氣量的填報，實現系統自動出具輸差統計報表，完善營銷管理系統，輔助客戶管理。最終實現加強企業管理，規范輸差整治，降低燃氣漏損，提高經濟效益。

管網運行狀況數據監控分析及調整、氣源協調、緊急情況的應急指揮，使輸配系統保持平穩狀態，從而為用戶提供高質量的供氣服務，減少輸配過程中的損失，最大限度延長管網的使用壽命，保障輸配系統安全運行，最終提高企業的運營效益。如：通過對同一管網支路上的工商戶生產用氣數據分析，分析多個工商戶用量在生產過程中，不同生產用氣峰值是否存在重疊。如果多個工商戶生產峰值重疊，可能造成氣量不足，對工商戶造成生產效益較低或產品質量出現問題。通過實時監控或歷史數據分析，調節工商戶投料時間，避開峰值，從而為工商戶生產提供足夠的燃氣。