基于大數據的油品交易營銷與服務體系創新關鍵技術研究與應用

朱海洋 江濤 汪如朗 楊軍杰 王寅宇 李政澤

摘要

本文針對油品全產業鏈建設過程中的現貨貿易交易營銷與服務體系創新進行了深入研究，提出了基于標準化BMP流程配置管理框架技術、Velocity模板引擎技術、大數據（Big Data）技術和Redis緩存技術的關鍵技術解決方案，并詳細介紹了關鍵技術具體實現過程。經實踐應用檢驗，采用新一代信息技術開展油品化工等大宗商品現貨交易的營銷與服務體系創新研究與應用，推進油品貿易交易數據中心建設，分析和挖掘會員企業的經營數據，將數據轉化為可供創新決策目標支持的有效知識或信息，實現關鍵數據信息的自動生成和移動端推送，提升交易中心的核心競爭能力，具有重要的應用價值。

【關鍵詞】大數據 Big Data 油品全產業鏈服務創新 營銷創新 現貨交易

1 引言

中國（浙江）自由貿易試驗區（以下簡稱浙江自貿區）自2017年4月掛牌成立以來，一直致力于以制度創新為核心，推動油品全產業鏈投資便利化和貿易自由化，提升以油品為核心的大宗商品全球配置能力。

世界500強浙江省屬國企物產中大集團旗下浙江石油化工交易中心有限公司（以下簡稱浙油中心）是省政府批準設立的全省唯——家專業從事石油化工類大宗商品現貨交易的高技術服務平臺。成立三年來，始終爭當浙江自貿區建設系列國家戰略實施推進排頭兵，通過采用大數據等新一代信息技術，開展油品化工等大宗商品現貨交易的營銷與服務體系創新研究與應用，推進油品貿易交易數據中心建設，推動油品企業貿易交易集聚，為打造浙江自貿區油品價格指數奠定基礎，取得了良好的成效。

2 關鍵技術研究與應用

2.1 應用功能簡介

大數據（Big Data）技術是繼云計算、移動互聯網、物聯網后出現的新一次信息技術浪潮，在各類管理創新中得到了廣泛的應用。浙油中心堅持立足現貨貿易、服務實體經濟，深入挖掘市場各類需求，準確把握油品貿易交易市場的痛點與難點，依托工商、稅務、安監、商務、統計等政府職能主管部門及銀行金融機構，調研梳理油品企業注冊、監管、數據等流程及需求，推進基于大數據的油品化工等大宗商品現貨交易的營銷與服務體系創新，研發具有市場營銷創新、企業注冊創新、會員服務創新、分析決策創新等主要功能模塊的“會員客戶全生命周期智慧管理系統”，打造油品貿易交易數據中心，構建能為政府主管部門加強油品行業監管、踐行“最多跑一次”改革數字化、打造油品價格指數奠定基礎的管理信息系統。系統應用功能設計如圖1所示。

通過系統的產品報價功能，以報價和成交兩項數據作為參考，將中石油、中石化等主營企業的當日價格作為補充，并通過采用大數據技術來提升創新方法、思維體系與管理模式，建立大數據模型，可形成該產品的當日價格。同時，通過深入分析和挖掘會員企業的經營數據、信息，及時掌握會員企業的整體運營狀況，實現關鍵數據信息的自動生成和移動端推送，將數據轉化為可供創新決策目標支持的有效知識或信息，幫助企業實現精準營銷與提高服務管理水平，最大程度地降低創新過程中的不確定性，提升企業參與細分市場競爭的核心能力。

2.2 關鍵技術特點與方案設計

在關鍵技術特點方面，采用了標準化BMP流程配置管理框架技術，用戶UI界面方面采用Velocity模板引擎技術，在此基礎上大量使用Ajax技術來提高用戶的體驗度;在大數據技術環境下，通過采用數據挖掘方法和數據可視化技術，對海量數據進行采集、處理和分析，形成可提供技術創新目標決策支持的有效信息或數據;通過分布式處理和集群，利用Redis二級緩存技術，系統優先查詢緩存數據，大大提高了服務器處理海量數據的能力，為系統提供大數據服務的技術支撐。

2.2.1 標準化BMP流程配置管理框架技術

系統以SpringMvc多層架構為基礎，設計開發了標準化的BMP流程配置管理模塊，可實現業務流程配置化開發管理，配置范圍涵蓋業務流程所需使用到的數據庫表、頁面表單、流程節點、節點權限等。通過可視化的界面，將必要參數進行采集和管理，后臺程序通過一定規則的解析，生成對應SQL，Velocity模板、權限記錄等。配置業務數據表時可通過解析數據表生成頁面布局需要的字段控件;配置布局控件時既支持拖拽操作，同時也支持手動編寫;配置流程時可通過拖拽流程節點控件、條件控件完成，并對其進行權限設置，每個節點都支持根據不同權限選擇不同布局。部分核心轉化代碼如下：

localSteplnfol.setWorkflowid（paramWorkflow.getId（））;

local Steplnfo1.setName（（（MxCell）localObject2）.getValuc（））;

if（（Ioca1JSONObject ！= null）&&（！localJSONObject.isEmptyo））

{localObject3=localJSONObject.getJSONObject（（（MxCell）localObject2）.getId（））;

if（（localObject3卜null）&&（！（（JSONObject）localObject3）.isNullObject（））&&（！（（JSONObject）localObject3）.isEmptyU））

{local StepInfol.setActionText（（（JSONObject）localObject3）.getString（"actionText"））;

localSteplnfol.setCounterSign（Integer.value0f（StrUtils.object2int（（（JS ONObject）localObject3）.get（"counterSign"），0）））;

localSteplnfol.setLayoutView（StrUtils.nu112string（（（JSONObject）localObject3）.get（"layoutView"）））：localSteplnfol.setLayoutEdit（StrUtils.nu112string（（（JSONObject）localObject3）.get（"IayoutEdit"）））;

localSteplnfol.setLayoutPrint（StrUtils.nu112string（（（JSONObject）localObject3）.get（"IayoutPrint"）））;

{local StepInfol.setPreConnect（（（JSONObject）IocalObject3）.getString（"preConnect"））;

{local StepInfol.setPostConnect（（（JSONObject）localObject3）.getString（"postConnect"））;

IocalStepInfol.setStepType（Integer.value0f（StrUtils.object2int（（（JSONObject）localObject3）.get（"stepType"），0）））;}}

this.wf saveOrUpdate（localStepInfol）;

2.2.2 Velocity模板引擎技術

Velocity是一個基于Java的模板引擎，通過使用功能豐富的模板語言，引用后臺Java代碼中定義的對象，實現Java代碼與網頁分離。由于SpringMVC不限定模板框架，所以Velocity與系統完美兼容。SpringMvc的前端控制器（DispatcherServlet）收到頁面提交的請求，交給處理器映射器（HandlerMapping），可以根據請求路徑找到相應的處理器適配器 （HandlerAdapter），處理器適配器處理完業務后再返回ModelAndView對象，最后由視圖解析器（ViewResolver）解析返回的對象，將對象數據渲染到頁面上。通過配置spring-servlet.xml的VelocityViewResolvervia標簽集成velocity。部分配置代碼如下：

UTF-8

UTF-8

<！--VelocityViewResolver視圖配置-->

<property name-suffix"value=".vm">

2.2.3 大數據（Big Data）技術

大數據技術是從各種類型的數據中快速獲得有價值信息的新一代信息技術，能夠將隱藏于海量數據中的信息挖掘出來，為企業的經營管理提供決策依據，從而提升企業的核心競爭能力。大數據處理關鍵技術一般包括：大數據采集、大數據預處理、大數據存儲及管理、大數據分析及挖掘、大數據展現和應用。其中，數據挖掘是大數據應用的重要技術手段。通過數據挖掘，可以從系統沉淀、積累的大量數據中挖掘、分析出未知的、隱含的、對決策有潛在應用價值的模式、關系和趨勢。同時，通過利用這些挖掘出來的知識、關系和規則，構建用于數據分析、提供預測性決策支持的數據模型。一般來說，先要確定挖掘目標，然后再進行數據預處理，最后是通過分類法、回歸分析、特征分析等進行數據挖掘。系統的日常運行過程中記錄、沉淀了用戶大量的行為數據，這些數據可能存在一些質量問題，比如說，數據中可能包含了不正確的值，必須在數據清理后才能為模型所用。技術上，Oracle Data Mining組件可以高效的從海量數據中提取信息，供應用程序開發員快速提取、分析數據。ODM數據挖掘組件對分類、預測、回歸、聚類等方法提供了數據支持。部分核心實現代碼如下：

public void clipData（OraClippingTypeclippingType，String xformResult）throwsJDMException

{String schema=（m_dmeConn.getConnectionSpec（）.getName（））.toUpperCase（）;

OraClippingTransform oct=m_xformFactory.createClippingTransform（）;

oct.setTransformInputData（schema+"."+"MINING_DATA_BUILD_V"）;

oct.setTransformOutputData（schema+"."+，xformResult）;

String[] excludedList=new String[]{"CUST_ID"，"CUST_GENDER"};

oct.setExcludeColumnList（excludedList）;

oct.setClippingType（clippingType）;

oct.setTailFraction（0.03）;

ArrayList xformList=newArrayListn;

xfonnList.add（oct）;

OraTransformationSequencexformSeq=m_xformFactory.createTransfonnationSequence（

schema+"."+"MININGDATA_BUILD_V"，

xformList，schema+"."+xformResult）;

String xfonnSeqName="clp_"+clippingType.name（）+"_xfSeq";

m_dmeConn.saveObject（xfonnSeqName，xformSeq，true）;

OraTransfonnationTask xfonnTask=m_xformTaskFactory.create（xfonnSeqName，false）;

executeTask（xformTask，"xfromClip_jdm"）;

displayClippingResults（schema，xfonnResult，"AGE"，clippingType）;}

2.2.4 Redis緩存技術

采用分布式集群的技術，可以實現多節點完成一個任務，并且每個節點都具備擴展性，保證了系統的高效、穩定、易維護。同時，采用高性能的Redis緩存技術，為系統服務提供大數據的技術支撐。Redis是一種高性能的Key-Value存儲系統，其遵守BSD協議、支持網絡、可基于內存，也可以持久化。為了保證效率，數據都緩存在內存中，Redis會周期性的把更新的數據寫入磁盤中或把修改操作寫入文件，并且在此基礎上實現了Master-slave同步。Redis常與數據庫結合使用，當用戶訪問系統時優先到Redis中查詢，如有結果就迅速返回。若Redis中查無結果，再到數據庫中查詢，在返回的同時也在Redis中存放一份，以便下次查詢。調用Redis的部分配置文件代碼如下：

刀獲取數據源

private Jedis getJedisResource（Stringkey）{

Jedis myjedis=null;

try {lock.lock（）;

JedisPoolsinglePool=getpool（）;

myjedis=singlePool.getResource（）;

myjedis=getRedisDB（key，myjedis）;}

catch（Exception e）{

logger.error（"獲取jedis resource異常"）：}

finally{lock.unlock（）;）

return myjedis;}

//從redis獲得數據

public String getValue（String key）{

String value=null;Jedismyjedis=null;

try{myjedis=getJedisResource（key）;

value=myjedis.get（key）;}

catch（Exceptione）{retumBrokenResource（myjedis）;

logger.error（"操作redis getValue異常"）;

return"0";）

finally{//返還連接池

returnResource（pool，myjedis）;}

return value;}

3 取得成效和未來展望

3.1 經濟效益和社會效益顯著

系統自2017年上線運行以來，截止目前已集聚油品化工貿易交易類會員企業950余家，2018年1-10月會員企業累計實現貿易交易額1001.54億元，同比增長187.15%;實現貿易交易量1740.75萬噸，同比增長138.34%;為地方政府稅收貢獻1.53億元，同比增長169.34%，經濟效益和社會效益顯著。被中國石油流通協會評價為油品化工交易核心平臺，處于國內石油化工交易行業領先地位。

3.2 有望在全國其他自貿試驗區復制推廣

經第三方國際知名權威評估機構評價認為，該創新成果圍繞市場主體實際需求，集合了流程手續簡化、監管模式創新、大數據應用等多重舉措，打造資源統籌優化配置的綜合服務平臺，是推進油品全產業鏈打造的有力舉措，適合在全國其它自貿試驗區進行推廣，被列入浙江自貿區向國家商務部報送推薦的第二批創新成果之一。

3.3 探索與政府主管部門管理系統進行數二艇集成

探索推動工商、稅務、安監、商務、統計等政府主管部門向“會員客戶全生命周期智慧管理系統”開放部分數據接口，探索與金稅三期系統進行數據的高度集成，打破“信息孤島”，實現各項數據、信息互聯互通，以及業務流與信息流的實時同步，進一步提升數據信息的實時性、準確性、權威性。

3.4 為打造油品價格指數莫定大數據基礎

通過建立大數據中心，可以形成浙江自貿區任意時段所有油品化工類貿易企業貿易交易品種的最高價、最低價、加權平均價以及價格趨勢曲線圖，探索形成若干油品品種貿易交易價格指數為主的市場價格標桿，逐步建成全國性、全球性的石油化工產品定價中心，為打造浙江自貿區“油品價格指數”奠定大數據基礎，為企業經營和決策提供支持。

3.5 構建與新一代信息技術結合應用的智能化交易生態系統

省政府已批示同意以浙油中心為基礎打造浙江自貿試驗區國際油品交易中心。未來，計劃采用大數據、云計算、人工智能、物聯網、區塊鏈、量子信息、虛擬現實等新一代信息技術推進科技創新，搭建供應鏈金融、智能倉儲物流等數字化集成服務體系，推進浙江自貿區油品全產業鏈大數據中心建設，構建與新一代信息技術結合應用的數字化、智能化交易生態系統。

4 結束語

采用大數據等關鍵技術，推動油品化工等大宗商品現貨交易的營銷與服務體系創新研究與應用，推進會員客戶全生命周期智慧管理系統建設，打造國際化油品貿易交易企業服務平臺，對于落實浙江自貿區系列國家戰略、保障國家能源安全，爭取我國在國際油品市場的話語權、定價權，推進人民幣國際化，具有重大戰略意義

參考文獻

[1]國務院關于印發中國（浙江）自由貿易試驗區總體方案的通知[R].國務院文件國發[2017]16號，2017-3-15.

[2]朱海洋.基+Spring MVC的石油化工現貨交易結算倉儲一體化系統構建[J].電腦編程技巧與維護，2017（12）：6-11.

[3]曹志雷，教穎輝，馮力.基于大數據的智能化城市管理技術的研究與應用[J].中國安防，2018（03）：55-57.

[4]朱東華，張嶷，汪雪鋒.大數據環境下技術創新管理方法研究[J].科學學與科學技術管理，2013，34（04）：172-180.

[5]李鵬鵬，鄭揚飛，劉玉龍.Redis在即時通訊系統中的應用[J].軟件，2017，38（01）：115-119.

[6]中國（浙江）自由貿易試驗區一周年制度創新成果第三方評估報告[R].畢馬威企業咨詢（中國）有限公司，2018-4.

[7]浙江省人民政府金融工作辦公室關于上報浙江自貿區國際油品交易中心建設實施方案（送審稿）的請示[R].浙金融辦[2018]59號，2018-8-20.