孫 磊 邵鵬勇 劉 悅
感知城市(天津)物聯(lián)網(wǎng)科技股份有限公司
關(guān)于供熱計(jì)量管理服務(wù)平臺(tái)數(shù)據(jù)頂層設(shè)計(jì)的研究
孫 磊 邵鵬勇 劉 悅
感知城市(天津)物聯(lián)網(wǎng)科技股份有限公司
物聯(lián)網(wǎng)公司供熱計(jì)量管理服務(wù)平臺(tái)的正式發(fā)布,旨在幫助供熱企業(yè)對(duì)戶用熱量表計(jì)量數(shù)據(jù)進(jìn)行管理,參考一段時(shí)間的運(yùn)行情況以及收集用戶反饋意見(jiàn),公司認(rèn)識(shí)到:這些“小數(shù)據(jù)”可以有“大作為”,擁有空間和時(shí)間上的累積,再結(jié)合專業(yè)的大數(shù)據(jù)分析手段,可以發(fā)揮出巨大的價(jià)值。因此,項(xiàng)目組在需求調(diào)研上投入大量精力,深入到各公司、管理處和換熱站,與行業(yè)專家、專工和供熱一線生產(chǎn)人員進(jìn)行深入交流,后期又與部分公司經(jīng)營(yíng)部門(mén)對(duì)接需求,經(jīng)過(guò)多次調(diào)研探討后,公司制定了詳細(xì)的平臺(tái)升級(jí)開(kāi)發(fā)計(jì)劃,將系統(tǒng)架構(gòu)與頂層數(shù)據(jù)結(jié)構(gòu)全部重新設(shè)計(jì),以適應(yīng)新時(shí)代不斷發(fā)展的供熱需求。
供熱計(jì)量;管理
隨著大數(shù)據(jù)分析的發(fā)展與普及,其分析方法和分析效果已經(jīng)被廣泛認(rèn)可,并應(yīng)用于各個(gè)領(lǐng)域,而供熱運(yùn)行數(shù)據(jù)與老百姓生活息息相關(guān),運(yùn)用大數(shù)據(jù)分析原理,挖掘其潛在價(jià)值,指導(dǎo)供熱運(yùn)行,已是大勢(shì)所趨。但各供熱企業(yè)數(shù)據(jù)分散,來(lái)源眾多,數(shù)據(jù)交叉冗余,“數(shù)據(jù)孤島”大量存在,很難形成“大數(shù)據(jù)”統(tǒng)一分析,而如果想對(duì)數(shù)據(jù)進(jìn)行整合歸類,則意味著巨大的工作量與多方面的協(xié)調(diào)工作。物聯(lián)網(wǎng)公司在之前的需求調(diào)研中,發(fā)現(xiàn)其實(shí)類似問(wèn)題也一直讓各供熱企業(yè)的管理人員苦不堪言,而要做到快速準(zhǔn)確的數(shù)據(jù)分析,數(shù)據(jù)結(jié)構(gòu)的頂層設(shè)計(jì)至關(guān)重要,因此平臺(tái)V2.0最終確定,重新進(jìn)行具有前瞻性的數(shù)據(jù)頂層設(shè)計(jì)與系統(tǒng)架構(gòu),并承擔(dān)整合“大數(shù)據(jù)”的工作,這意味著平臺(tái)V2.0將向上邁一個(gè)臺(tái)階,為今后不斷深化的數(shù)據(jù)挖掘工作鋪平道路,具體為:
1.建立統(tǒng)一的編號(hào)規(guī)則
掌握住數(shù)據(jù)的編號(hào),就相當(dāng)于找到了數(shù)據(jù)的“線頭”,無(wú)論怎樣紛繁復(fù)雜的數(shù)據(jù),就都可以歸集整理。因此,本著易用性強(qiáng),擴(kuò)展性高的原則,平臺(tái)V2.0建立了如下編號(hào)規(guī)則:(見(jiàn)圖1)

圖1
2.系統(tǒng)間ID號(hào)兼容匹配
為了確保數(shù)據(jù)的完整性與真實(shí)性,消除“數(shù)據(jù)孤島”的存在,各系統(tǒng)編號(hào)的兼容匹配工作是最為關(guān)鍵的一步,平臺(tái)在這一環(huán)節(jié)做了大量的工作,通過(guò)公共字段兼容各供熱公司生產(chǎn)調(diào)度系統(tǒng),從而完成數(shù)據(jù)互通,而對(duì)于沒(méi)有公共字段的系統(tǒng),則只能采取人工逐戶核對(duì)地址的方式進(jìn)行匹配,為了保證人工核對(duì)的準(zhǔn)確率,項(xiàng)目組成員對(duì)每一條數(shù)據(jù)都進(jìn)行了多次確認(rèn)核查,其工作量也成倍數(shù)增長(zhǎng)。經(jīng)過(guò)長(zhǎng)時(shí)間的匹配工作,目前已經(jīng)完成15萬(wàn)戶左右的用戶匹配工作。
3.統(tǒng)一數(shù)據(jù)庫(kù)和數(shù)據(jù)信息
在平臺(tái)V2.0構(gòu)思之初,由于存在多家供熱計(jì)量相關(guān)的系統(tǒng)遠(yuǎn)傳服務(wù)商,各家遠(yuǎn)傳抄表模式不同,使用的數(shù)據(jù)庫(kù)和數(shù)據(jù)字段也存在較大差異,這就給數(shù)據(jù)管理工作帶來(lái)了一定的困難,而數(shù)據(jù)不統(tǒng)一則更使得數(shù)據(jù)挖掘無(wú)從談起。因此,經(jīng)過(guò)與各家系統(tǒng)商的探討協(xié)商,平臺(tái)V2.0決定統(tǒng)一使用SQLSERVER2012數(shù)據(jù)庫(kù),各家系統(tǒng)商數(shù)據(jù)一律遷移至該數(shù)據(jù)庫(kù),同時(shí)所有數(shù)據(jù)表一律按照標(biāo)準(zhǔn)進(jìn)行字段統(tǒng)一,為后面的數(shù)據(jù)整合工作打下了基礎(chǔ)。同時(shí),針對(duì)同一小區(qū)存在多個(gè)名稱,樓號(hào)與門(mén)牌含有字母等信息不統(tǒng)一的情況,平臺(tái)V2.0也一并進(jìn)行了統(tǒng)一要求,解決了基礎(chǔ)信息的冗余交叉問(wèn)題。
4.數(shù)據(jù)整合與第三方系統(tǒng)商接入
在對(duì)基礎(chǔ)信息做了大量的統(tǒng)一匹配工作后,數(shù)據(jù)整合工作也得以順利開(kāi)展,各家系統(tǒng)商的數(shù)據(jù)已經(jīng)高度融合,因此各家遠(yuǎn)傳DTO統(tǒng)一指向物聯(lián)網(wǎng)服務(wù)器,所有數(shù)據(jù)都統(tǒng)一進(jìn)入一張數(shù)據(jù)表,并接入第三方系統(tǒng)商數(shù)據(jù),經(jīng)過(guò)一年多的整合對(duì)接,目前,接入平臺(tái)V2.0的熱用戶已經(jīng)從8萬(wàn)戶增長(zhǎng)到接近20萬(wàn)戶,徹底終結(jié)了數(shù)據(jù)“分而治之”的時(shí)代。
5.數(shù)據(jù)遷移與數(shù)據(jù)安全機(jī)制
為應(yīng)對(duì)數(shù)據(jù)統(tǒng)一造成的數(shù)據(jù)傳輸量激增與數(shù)據(jù)安全問(wèn)題,平臺(tái)V2.0對(duì)原有網(wǎng)絡(luò)架構(gòu)與服務(wù)器進(jìn)行了升級(jí),服務(wù)器搬遷至新的大型機(jī)房,并增設(shè)專門(mén)的數(shù)據(jù)服務(wù)器與應(yīng)用服務(wù)器,購(gòu)置網(wǎng)絡(luò)安全設(shè)備,同時(shí)建立完善的數(shù)據(jù)保護(hù)與數(shù)據(jù)備份機(jī)制,確保系統(tǒng)整體的運(yùn)行服務(wù)質(zhì)量,網(wǎng)絡(luò)架構(gòu)見(jiàn)下圖:

6.數(shù)據(jù)中轉(zhuǎn)與數(shù)據(jù)互通
數(shù)據(jù)的高度集中統(tǒng)一實(shí)際上是為了更好的疏通分散,在完成了以上諸項(xiàng)的數(shù)據(jù)頂層設(shè)計(jì)后,一個(gè)龐大而詳實(shí)的數(shù)據(jù)中轉(zhuǎn)庫(kù)便形成了,在面對(duì)各家供熱單位的生調(diào)、營(yíng)業(yè)系統(tǒng)不同的數(shù)據(jù)需求時(shí),數(shù)據(jù)中轉(zhuǎn)庫(kù)處理起來(lái)就顯得游刃有余,平臺(tái)可以根據(jù)各系統(tǒng)的數(shù)據(jù)需求,定制化的推送數(shù)據(jù),徹底達(dá)成各系統(tǒng)的數(shù)據(jù)互聯(lián)互通。
物聯(lián)網(wǎng)公司供熱計(jì)量管理服務(wù)平臺(tái)的開(kāi)發(fā)經(jīng)歷了兩年多的時(shí)間,融入新興技術(shù)與緊貼生產(chǎn)需求,建立完善的更新維護(hù)機(jī)制,平臺(tái)逐步取得了供熱單位的認(rèn)可和好評(píng),物聯(lián)網(wǎng)公司在獲得多項(xiàng)自主知識(shí)產(chǎn)權(quán)的同時(shí),積累了很多寶貴的經(jīng)驗(yàn)。