大數(shù)據(jù)技術(shù)在油品銷售企業(yè)的應(yīng)用研究

陸衛(wèi)良

一、引言

隨著工業(yè)互聯(lián)網(wǎng)、泛在電力物聯(lián)網(wǎng)、智能制造、“中國制造2025”戰(zhàn)略規(guī)劃等大型項(xiàng)目的實(shí)施與推進(jìn)，各種新技術(shù)在信息化領(lǐng)域的應(yīng)用與推廣都被加快。人工智能、云計(jì)算、大數(shù)據(jù)等新技術(shù)在各行各業(yè)都有廣泛的應(yīng)用，對人們的生產(chǎn)和生活產(chǎn)生了深遠(yuǎn)的影響。油品銷售業(yè)是我國主要支柱產(chǎn)業(yè)之一，其信息化建設(shè)已取得了很好的成績，隨著人工智能、大數(shù)據(jù)等新技術(shù)的應(yīng)用，將會對我國油品銷售業(yè)的發(fā)展產(chǎn)生巨大的推動作用，從而帶動我國互聯(lián)網(wǎng)和中國制造2025 戰(zhàn)略的發(fā)展。

二、油品銷售行業(yè)大數(shù)據(jù)特點(diǎn)

大數(shù)據(jù)是一種新興的技術(shù)，在各個(gè)行業(yè)范圍內(nèi)都開展了充分的應(yīng)用和融合探索工作。“十四五”期間，國家對油品企業(yè)提出了加快轉(zhuǎn)型升級，增強(qiáng)科技創(chuàng)新能力，深化兩化融合，提高企業(yè)效益的目標(biāo)，為我國進(jìn)入高端制造強(qiáng)國提供堅(jiān)強(qiáng)的動力支撐。油品銷售業(yè)是傳統(tǒng)工業(yè)，我國油品銷售業(yè)在信息化方面的技術(shù)革新，使其在全產(chǎn)業(yè)鏈中的應(yīng)用水平有了很大的提高。

1.數(shù)據(jù)體量大

圖1 油品銷售業(yè)大數(shù)據(jù)平臺

油品銷售業(yè)從上至下，涉及油氣勘探、油氣管道建設(shè)、煉油化工、倉儲運(yùn)輸、銷售管理等多個(gè)方面，這些環(huán)節(jié)彼此銜接，構(gòu)成了一個(gè)完整的產(chǎn)業(yè)鏈。整個(gè)產(chǎn)業(yè)鏈的每一個(gè)環(huán)節(jié)都在快速地進(jìn)行發(fā)展，大量的數(shù)據(jù)被實(shí)時(shí)的生成和更新，這就導(dǎo)致了海量的數(shù)據(jù)的產(chǎn)生，這些數(shù)據(jù)不能用MB、GB 來衡量，而是用TB、PB、EB 來衡量。

2.數(shù)據(jù)類型多

由于信息化技術(shù)的飛速發(fā)展，所收集到的數(shù)據(jù)可以是反映設(shè)備狀態(tài)、化工產(chǎn)品屬性的模擬值等，也可以是反映設(shè)備狀態(tài)的圖像、視頻等多維數(shù)據(jù)。數(shù)據(jù)類型主要是結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)數(shù)據(jù)、半結(jié)構(gòu)數(shù)據(jù)，比如化工裝置的操作參數(shù)，數(shù)據(jù)是結(jié)構(gòu)化數(shù)據(jù)，監(jiān)控生產(chǎn)自動化操作的音頻和視頻等非結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)轉(zhuǎn)換后存入數(shù)據(jù)庫，兩者之間的數(shù)據(jù)屬于半結(jié)構(gòu)化數(shù)據(jù)。

3.數(shù)據(jù)時(shí)效性快

運(yùn)用大數(shù)據(jù)技術(shù)，數(shù)據(jù)的產(chǎn)生、采集、處理、分析、存儲等各個(gè)方面的效率都很高，比如生產(chǎn)和運(yùn)營自動化系統(tǒng)，數(shù)據(jù)的生成和采集周期都在毫秒之內(nèi)，而數(shù)據(jù)處理和分析等方面的效率也極高。

4.數(shù)據(jù)顯性和隱性信息復(fù)雜

對大量收集的數(shù)據(jù)進(jìn)行分析，其中一些能反映出信息的價(jià)值，比如：生產(chǎn)車間的設(shè)備運(yùn)行參數(shù)，能反映出設(shè)備目前的工作狀況，從而為生產(chǎn)的安全運(yùn)行提供可靠的判斷基礎(chǔ)。而對于更多的資料，則要經(jīng)過深入的挖掘與分析，才能得到有用的資料，比如對海洋石油、天然氣的海底生產(chǎn)系統(tǒng)進(jìn)行監(jiān)控，通過水下機(jī)器人或攝影機(jī)進(jìn)行巡檢，通過對視頻、圖片、音頻等進(jìn)行深入的分析，從而得出海底儀器的工作狀態(tài)。大數(shù)據(jù)的隱含和顯性信息是復(fù)雜的，因此，在大數(shù)據(jù)技術(shù)的應(yīng)用中，需要著重解決。

三、大數(shù)據(jù)平臺架構(gòu)

我國的油品銷售企業(yè)在經(jīng)歷了數(shù)年的信息化建設(shè)和現(xiàn)代化轉(zhuǎn)型的過程中，已積累了大量的業(yè)務(wù)銷售經(jīng)驗(yàn)、儲存了大量的客戶數(shù)據(jù)和管理數(shù)據(jù)，但是由于“煙囪式”的發(fā)展方式，造成了系統(tǒng)之間的信息“孤島”，無法有效地整合和挖掘數(shù)據(jù)的價(jià)值。構(gòu)建統(tǒng)一、規(guī)范、共享、服務(wù)化的大數(shù)據(jù)平臺，整合各個(gè)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)，為企業(yè)提供深度服務(wù)，不斷推動業(yè)務(wù)創(chuàng)新，從而促進(jìn)企業(yè)數(shù)字化轉(zhuǎn)型，形成企業(yè)新的核心競爭能力。

1.全局架構(gòu)

本文正是在這樣的背景下，進(jìn)行了系統(tǒng)的頂層設(shè)計(jì)與整體規(guī)劃，并在此基礎(chǔ)上，給出了具有普遍性的油品銷售業(yè)大數(shù)據(jù)平臺的總體結(jié)構(gòu)，如圖1 所示。

該體系結(jié)構(gòu)以數(shù)據(jù)公用層為基礎(chǔ)，由ODS、DWD 和DWS 三層組成。在數(shù)據(jù)底層，通過數(shù)據(jù)源層來訪問原始資料，在結(jié)構(gòu)上與源系統(tǒng)基本一致，保證了原始資料的質(zhì)量。詳細(xì)層是對數(shù)據(jù)底層的數(shù)據(jù)進(jìn)行清理，按照業(yè)務(wù)領(lǐng)域進(jìn)行重組，統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)和規(guī)范，同時(shí)對數(shù)據(jù)進(jìn)行寬表處理，適當(dāng)增加數(shù)據(jù)的冗余，為數(shù)據(jù)應(yīng)用打下堅(jiān)實(shí)的基礎(chǔ)。在數(shù)據(jù)匯總層中，對一些常見的指標(biāo)進(jìn)行了初步的匯總，建立了統(tǒng)一的命名規(guī)范、口徑一致的通用小樣本數(shù)據(jù)，以提高數(shù)據(jù)的檢索和利用效率。

在系統(tǒng)結(jié)構(gòu)中，數(shù)據(jù)算法是一個(gè)很重要的部分，它是建立一個(gè)基于機(jī)器學(xué)習(xí)的系統(tǒng)，對算法進(jìn)行建模，并對其進(jìn)行預(yù)處理，然后利用機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的方法對其進(jìn)行建模，從而達(dá)到對數(shù)據(jù)進(jìn)行深入的分析和科學(xué)的預(yù)測。數(shù)據(jù)應(yīng)用層面，為企業(yè)內(nèi)外用戶提供大數(shù)據(jù)分析工具、大數(shù)據(jù)產(chǎn)品、大數(shù)據(jù)服務(wù)，為企業(yè)內(nèi)部、外部用戶賦能，提高企業(yè)的數(shù)字化經(jīng)營水平。

2.技術(shù)路線

在整個(gè)技術(shù)路線中，本文利用Hadoop、Spark 等大數(shù)據(jù)生態(tài)系統(tǒng)的產(chǎn)品和構(gòu)件，構(gòu)建了以上的平臺體系結(jié)構(gòu)，見圖2。在硬件配置上，可以選擇租借公共云或者私人云，根據(jù)實(shí)際的數(shù)據(jù)量來決定初始的硬件規(guī)模。通過Sqoop、DataX、Kettl實(shí)現(xiàn)數(shù)據(jù)同步，利用Canal 技術(shù)實(shí)現(xiàn)MySQL 的CDC 數(shù)據(jù)同步，利用Kafka 和SparkStream 進(jìn)行數(shù)據(jù)流處理，實(shí)現(xiàn)數(shù)據(jù)的實(shí)時(shí)同步。算法模型采用了基于Hadoop/Spark 的技術(shù)架構(gòu)，支持分類、回歸、預(yù)測等機(jī)器學(xué)習(xí)算法，包括邏輯回歸算法、決策樹算法、隨機(jī)森林算法、XGboost 算法、SVM 算法等。同時(shí)，該框架可以同時(shí)支持Scala 和Python 的開發(fā)。

圖2 平臺體系結(jié)構(gòu)

四、大數(shù)據(jù)應(yīng)用規(guī)劃

1.大數(shù)據(jù)在經(jīng)營決策中的應(yīng)用

市場競爭中，管理人員對數(shù)據(jù)的時(shí)效性和豐富性有更高的要求，不但要能夠?qū)崟r(shí)地獲得現(xiàn)有的數(shù)據(jù)，還要能夠準(zhǔn)確地預(yù)測油品的銷量和效益，以及客戶的購買需求，以此來指導(dǎo)企業(yè)的運(yùn)營決策和規(guī)劃。在對銷售的效益預(yù)測中，利用網(wǎng)絡(luò)爬蟲收集市場價(jià)格變化和競爭對手價(jià)格戰(zhàn)略等關(guān)鍵信息，并將自己積累的商業(yè)和市場數(shù)據(jù)匯總為原始數(shù)據(jù)庫，進(jìn)行數(shù)據(jù)預(yù)處理、深入分析關(guān)鍵信息和數(shù)據(jù)，選取影響最大的幾個(gè)因子進(jìn)行模型化。由于模型具有大量的特征值，因此可以通過比較復(fù)雜的深度學(xué)習(xí)算法如RNN 或者LSTM 進(jìn)行建模。根據(jù)該模型的結(jié)論，提出了一種基于競爭戰(zhàn)略的確定方法，可以為各油站制定最佳的定價(jià)策略，從而對各油站進(jìn)行競爭定價(jià)，從而最大限度地進(jìn)行優(yōu)化。在顧客購油需求預(yù)測中，根據(jù)各顧客以往購油記錄、價(jià)格、優(yōu)惠等資料，并利用現(xiàn)有的油價(jià)、市場活動等資料，運(yùn)用廣義線性回歸、時(shí)間序列等機(jī)器學(xué)習(xí)方法，對下一個(gè)購油時(shí)間階段及購油情況進(jìn)行預(yù)判。

2.大數(shù)據(jù)在客戶營銷中的應(yīng)用

在油品銷售業(yè)領(lǐng)域，由于新零售業(yè)務(wù)的迅速發(fā)展，線上線下的業(yè)務(wù)逐漸融合，應(yīng)用了以網(wǎng)絡(luò)技術(shù)為基礎(chǔ)的App、小程序等客戶服務(wù)平臺，從而導(dǎo)致客戶行為、客戶交易等方面的數(shù)據(jù)量都在快速增長，相較于傳統(tǒng)的線下交易，呈現(xiàn)出幾何式的增長趨勢。具體到企業(yè)的實(shí)際情況，可以從三個(gè)方面來看。首先，通過對客戶基礎(chǔ)信息、消費(fèi)信息、行為數(shù)據(jù)的整合，運(yùn)用規(guī)則定義和機(jī)器學(xué)習(xí)方法建立360 度的客戶畫像系統(tǒng)，通過從顧客的支付習(xí)慣、效用、忠誠度和消費(fèi)偏好等方面來建立顧客的品牌。利用AHP 方法建立用戶活躍度模型，利用決策樹方法建立用戶的預(yù)失率模型，以留住潛在的流失顧客；基于以上的顧客標(biāo)記與模式，利用定制的組合，產(chǎn)生新的目標(biāo)顧客，并進(jìn)行有針對性的市場營銷和顧客分析。其次，從營銷活動設(shè)計(jì)、營銷活動實(shí)施、活動效果評估、營銷戰(zhàn)略優(yōu)化等方面建立以客戶形象為基礎(chǔ)的營銷系統(tǒng)。最后，建立消費(fèi)者的真實(shí)度模型，從顧客的合理需求出發(fā)，對顧客的評價(jià)進(jìn)行分類，針對得分較低的顧客采取市場約束策略，降低市場資源的浪費(fèi)。該平臺包含用戶標(biāo)識生成與定制組合、用戶模型生成、營銷活動配置、營銷效果分析與評價(jià)等核心功能，支持對用戶進(jìn)行精準(zhǔn)營銷。

3.大數(shù)據(jù)在現(xiàn)場管理中的應(yīng)用

如何提高油品銷售的現(xiàn)場管理和服務(wù)質(zhì)量，是油品銷售企業(yè)經(jīng)營管理的基礎(chǔ)和核心，也是油品銷售企業(yè)長期面臨的一個(gè)難題。關(guān)于如何利用物聯(lián)網(wǎng)、人工智能等技術(shù)，構(gòu)建新型數(shù)字化、智能化的現(xiàn)場管理系統(tǒng)，提高油品銷售企業(yè)的數(shù)字化運(yùn)營能力，油品銷售企業(yè)在這方面進(jìn)行了探索與研究，并在實(shí)踐中取得了一定的效果。

在人工智能技術(shù)的應(yīng)用上，將AI 攝像頭、邊緣計(jì)算服務(wù)器配置到加油站，利用計(jì)算機(jī)視覺識別技術(shù)建立智能識別網(wǎng)絡(luò)，對進(jìn)出站的車輛進(jìn)行精確的識別，匯聚車流、交易數(shù)據(jù)、客戶數(shù)據(jù)。運(yùn)用大數(shù)據(jù)挖掘與分析技術(shù)，對加油站的生產(chǎn)效率進(jìn)行數(shù)字化處理。該系統(tǒng)既能準(zhǔn)確地進(jìn)行道路及進(jìn)站車輛的準(zhǔn)確統(tǒng)計(jì)，又能對進(jìn)站率與銷售的變動趨勢進(jìn)行分析，從而提高進(jìn)站率，同時(shí)還能對加油站服務(wù)時(shí)間的變化進(jìn)行數(shù)字化分析，找出問題的根源及解決辦法，從而提高車輛的通過率。進(jìn)一步的數(shù)據(jù)挖掘技術(shù)，可以將牌照作為用戶的唯一識別，對加油站的新老顧客進(jìn)行動態(tài)分析，并根據(jù)當(dāng)期的市場活動對營銷戰(zhàn)略的合理性進(jìn)行分析，從而提高顧客的回頭率。最后，利用人臉數(shù)據(jù)庫對員工的工作狀況進(jìn)行分析，提出合理的排班方案，從而提升油品銷售企業(yè)的管理水平。

4.在大宗油品銷售數(shù)據(jù)分析中的應(yīng)用

在互聯(lián)網(wǎng)大潮下，傳統(tǒng)零售企業(yè)紛紛涉足電子商務(wù)，利用互聯(lián)網(wǎng)拓展銷售，強(qiáng)化供應(yīng)鏈管理，聚集行業(yè)資源，提升企業(yè)地位。按照成品油從煉廠到最終消費(fèi)者的流通環(huán)節(jié)，我國成品油銷售主要包括批發(fā)和零售兩大市場。成品油批發(fā)環(huán)節(jié)從煉廠買入成品油，再銷售給零售企業(yè)；成品油零售則主要通過加油站等零售網(wǎng)點(diǎn)向千家萬戶供應(yīng)成品油。此外，中石油和中石化還向終端用戶和大型用戶直接銷售部分成品油。成品油銷售產(chǎn)業(yè)鏈如圖3 所示。

五、結(jié)語

圖3 成品油產(chǎn)業(yè)鏈

綜上所述，在油品銷售企業(yè)中，廣泛地使用大數(shù)據(jù)技術(shù)能夠提高油品銷售企業(yè)的管理效率、準(zhǔn)確地進(jìn)行市場營銷、做出科學(xué)的決策。未來，依托強(qiáng)大的技術(shù)與人才系統(tǒng)，油品銷售企業(yè)可以通過大數(shù)據(jù)驅(qū)動業(yè)務(wù)和應(yīng)用創(chuàng)新，催生新場景、新體驗(yàn)，通過分析所得數(shù)據(jù)預(yù)測業(yè)務(wù)發(fā)展趨勢，讓數(shù)據(jù)能夠成為預(yù)測權(quán)威，應(yīng)用大數(shù)據(jù)可以更好地實(shí)現(xiàn)油品銷售企業(yè)的預(yù)期目標(biāo)，提升人們對油品銷售企業(yè)的業(yè)務(wù)滿意度，使得大數(shù)據(jù)技術(shù)真正賦能業(yè)務(wù)，從而推動企業(yè)的數(shù)字化轉(zhuǎn)型，提升企業(yè)的綜合競爭力。