基于大數據技術的鐵路貨運價格策略應用研究

伍 峰

(中國國家鐵路集團有限公司 貨運部，北京 100844)

0 引言

隨著鐵路貨運價格市場化改革不斷推進，國家逐步擴大鐵路貨運市場價格調節范圍，形成了政府指導與市場調節相結合的鐵路貨運價格體系。鐵路企業取得國家賦予越來越多價格調整權限的同時，也面臨著諸多挑戰。一是面對貨運市場的供需情況，如何精準制定價格策略，實現企業效益最大化；二是針對競爭對手的復雜變化，如何及時調整價格策略，保持企業競爭力；三是對于制定實施價格策略的各環節，如何全過程留痕，有效開展廉政風險防控。鐵路貨運價格策略研究方面，張小強等[1]考慮容量約束設計了鐵路貨運競爭性定價雙層規劃模型；胡悅秀等[2]基于期權理論提出鐵路貨運定價三叉樹模型；黃健[3]立足于上海地區貨運實際，探討了價格策略運用的有效性、合理性和公平性等。

目前關于價格策略的研究主要集中在模型設計和運用實踐等方面，對通過信息技術輔助決策方面的探索較少。而以數據為基礎、以預測為核心的大數據技術可以為鐵路貨運價格策略提供新思路和途徑。因此，基于大數據視角，從鐵路貨運價格策略業務需求分析出發，結合大數據技術對鐵路貨運價格策略應用進行研究，通過價格策略效果預測、價格策略輔助制定、價格策略監控預警等功能的設計，為鐵路企業依據市場變化靈活運用價格杠桿，促進提升整體效益，防范廉政風險等提供可靠手段。

1 鐵路貨運價格策略大數據應用需求分析

大數據采用分布式存儲以及大規模并行協同處理的方式，可以基于數據直接獲得有價值的信息和潛在規律，用以幫助用戶提升決策能力[4]。大數據的印記遍布金融、物流、電信、能源等諸多領域，助推各領域企業提高核心競爭力。鐵路貨運行業經過多年發展，貨運價格管理業務需求明確，客戶、貨物、車輛、收入等數據信息積累龐大，信息技術儲備成熟。因此，開展鐵路貨運價格策略大數據應用研究已經具備可行條件。

價格策略是企業控制成本并取得利潤，以及關系企業在市場競爭中成敗的關鍵。鐵路企業的價格策略應以客觀規律為依據，以實踐經驗判斷為輔助，在均衡社會責任和實現效益的前提下，根據市場變化靈活反應。鐵路貨運價格策略大數據應用基于鐵路貨運價格形成和調整機制，結合貨源、成本、運力、效益、競爭對手、宏觀經濟形勢及天氣等眾多因素統籌分析，實現鐵路貨運價格策略決策、實施、評價和監控整個過程的閉環管理。

（1）貨物運輸市場信息挖掘。鐵路企業既要全面掌握自身在市場中所處的地位，又要充分了解競爭對手的情況。應用大數據技術可以深度挖掘分析全社會貨運市場，以及鐵路、公路、水運、航空、管道等運輸方式的貨運數據，對貨運市場從貨物流向、運輸方式構成、貨運量、周轉量、價格水平及歷史變化趨勢等方面進行多層次的數據信息分析，主要包括全社會貨運市場運行情況、各區域貨運市場情況、各運輸方式貨運情況、各品類貨運情況等維度。

（2）價格策略訂制。面對瞬息萬變的市場壞境，鐵路企業應主動適應，積極實施價格策略，實現企業效益最大化。運用大數據技術，可以對未來貨運市場供需形勢進行預測，結合鐵路企業經營目標、運輸能力、成本及競爭對手等信息的深度挖掘，建立并分析各種信息的關聯關系，根據用戶設定的偏好和目標，制定與之相適應的價格策略，從而輔助貨運價格管理業務。

（3）價格策略效果預測。鐵路企業對價格策略產生效果需要進行定量預判，對相同目標的不同價格策略需要比較擇優。應用大數據技術，通過掌握其他運輸方式貨運信息，結合貨運市場客戶需求、相關貨源流向以及鐵路運輸能力等數據，建立分析模型，對價格策略實施后的效果進行定量預測，并模擬不同價格策略下貨運市場的運行狀況，實現價格策略的效果評價和比較。

（4）價格策略監控預警。影響貨運市場的因素眾多，鐵路貨運價格策略實施過程中，應根據實時變化的外部環境，及時對價格策略進行內部調整和優化。運用大數據技術，建立鐵路貨運信息與宏觀經濟形勢、客戶需求、貨運流向、大宗商品價格、競爭對手運力和運價水平及天氣等信息之間的聯系，深度挖掘分析，實時監控價格策略的實施效果，對效果不明顯的策略及時預警并提出優化建議。

2 鐵路貨運價格策略大數據應用架構設計

2.1 整體架構思路

鐵路貨運價格策略大數據應用既要滿足批量處理海量歷史數據形成精準價格策略，又要實時處理分析新增數據實現價格策略的實時監控，需要具備高容錯、低延時、可擴展等特性。鑒于以上特點，參考Lambda架構[5]思想，將批處理與實時處理結合起來，即整合離線計算[6]和流式計算[7]，對鐵路貨運價格策略大數據應用進行架構設計。

（1）核心結構。根據Lambda架構思想，設計批處理層和快速處理層。批處理層基于全量數據并形成批處理視圖；快速處理層基于新增數據并形成實時視圖。2種視圖在數據服務層結合后，對外提供服務。

（2）處理過程。大數據應用接入數據后，由于新增數據量級小，在快速處理層快速完成計算并生成實時視圖，同時新增數據并入全量數據集，經過批處理后生成批處理視圖。因此，大數據應用同時具有低延遲實時處理能力和離線大數據處理能力。

（3）架構構成。大數據應用架構主要分為數據采集、數據計算、數據存儲、數據服務、數據應用、輔助功能等部分。各部分工作流程如下：大數據應用首先進行數據采集，采集的數據經過離線計算和實時分析后，開展數據挖掘，對于有價值的數據和信息存儲在數據倉庫中并提供數據服務，從而實現各種數據應用。鐵路貨運價格策略大數據應用整體架構如圖1所示。

圖1 鐵路貨運價格策略大數據應用整體架構Fig.1 The framework of big data application for railway freight pricing-policy making

2.2 邏輯架構設計

根據鐵路貨運價格策略大數據應用的整體架構思路，設計了可以滿足大流量、高并發、易擴展的邏輯架構，包含數據采集層、數據接入層、數據計算層、數據存儲層、數據服務層、數據應用層和任務調度管理層等。鐵路貨運價格策略大數據應用架構設計如圖2所示。

圖2 鐵路貨運價格策略大數據應用架構設計Fig.2 Structure of big data application for railway freight pricing-policy making

（1）數據采集層。大數據應用的數據來源有2個部分，一是來自鐵路內部信息系統，包括中國鐵路95306網、貨票系統、收入系統、調度系統、集裝箱系統、貨運站系統、票據電子化項目、運輸集成平臺等；二是來自鐵路外部，包括公路、水運、航空等貨運信息、宏觀經濟信息、大宗商品價格信息、港口物流信息、天氣預報、物流園信息、相關大宗品類消耗企業原材料需求及產量信息等[8]。采集的信息首先進入到Nginx服務器，負載均衡之后傳輸至基于Finagle框架的數據接收器。

（2）數據接入層。主要負責數據的清洗、轉化處理以及與大數據系統的同步。具體過程如下：使用2個Kafka集群承擔數據接入功能，一個用于實時計算，另一個用于離線數據計算。數據接入時先利用Kafka策略配置進行數據清洗，之后根據負載情況進入其中一個Kafaka服務器，2個Kafka集群之間通過Kafka的Mirror功能進行同步，以避免離線部分過大的IO請求影響到實時計算部分，實現IO的負載分離。

（3）數據計算層。主要由離線計算層和實時計算層組成。離線部分針對全量數據，包括海量歷史數據與新增實時數據，利用基于HadoopMapreduce框架開發的一系列MR任務進行計算，同時使用Hive建立數據倉庫，使用Pig和Spark進行數據挖掘。實時部分主要針對新增數據以及用戶實時請求的在線數據，使用Storm進行流式計算。

（4）數據存儲層。主要負責將計算層處理的結果存儲至對應的區域，具體如下：實時部分的計算結果存儲至MongoDB，離線部分的計算結果存儲至HDFS，離線分析的結果存儲至HBase，并引入Elastic Search為HBase相關表提供索引查詢功能，以補充HBase缺少的二級索引相關功能。

（5）數據服務層。大數據唯有通過服務投射給用戶才能體現價值，根據鐵路貨運價格策略大數據應用的特點，為滿足靈活、快速的響應訴求，此部分選擇統一的REST Service對外提供數據服務。

（6）數據應用層。主要基于大數據分析結果，通過訪問對外數據服務，實現貨運市場分析，貨運需求預測，貨運價格策略的訂制、評價擇優、監控預警等一系列具體應用。

（7）任務調度管理層。主要負責大數據應用各個部分的調度管理，實現最優的資源利用，如不同的數據何時同步，Mapreduce，Spark任務何時執行等。

2.3 關鍵技術分析

鐵路貨運價格策略大數據應用通過數據可視化、統計模式識別、數據描述等數據挖掘模式幫助價格管理工作者更好地理解運用數據，并通過預測性價格策略建議實現輔助決策，主要有以下關鍵技術。

（1）數據采集。數據是大數據生命周期的第一個環節，是大數據知識服務模型的根本。鐵路貨運價格策略大數據利用網絡爬蟲、高速數據全映像等技術從鐵路內部網絡、移動互聯網絡、傳感器、RFID射頻器等環節獲得結構化、半結構化及非結構化的海量數據，并利用高速數據解析、轉換與裝載技術實現大數據的整合。

（2）數據分析挖掘。數據分析的目的是把隱藏在一大批看來雜亂無章的數據中的信息集中起來，進行萃取、提煉，從而找出所研究對象的內在規律[9]。鐵路貨運價格策略大數據應用從挖掘任務和挖掘方法角度，利用以下4個方面技術。一是可視化分析技術。數據圖像化可以讓數據自己說話，讓用戶直觀的感受到結果。二是數據挖掘算法優化技術。大數據應用的分割、集群、孤立點分析等算法支持海量數據，同時具備很高的處理速度。三是預測性分析技術。通過預測性分析為鐵路價格管理工作者提供前瞻性判斷。四是數據質量和數據管理技術。透過標準化流程和機器處理確保分析結果的高質量。

3 鐵路貨運價格策略大數據應用功能設計

基于鐵路貨運價格策略大數據應用的需求，設計核心功能包括貨運市場運行情況分析、貨運價格策略訂制、貨運價格策略比較、貨運價格策略監控預警等 4 個模塊。鐵路貨運價格策略大數據應用核心功能設計如圖3所示。

圖3 鐵路貨運價格策略大數據應用核心功能設計Fig.3 Core functions of big data application for railway freight pricing-policy making

3.1 貨運市場運行情況分析

通過大數據的挖掘分析，以圖表、統計表等方式展示貨運市場運行情況，為貨運價格管理人員提供決策依據。

（1）貨運市場運量構成及運價情況分析。利用餅狀圖、柱狀圖、趨勢線等圖表方式分析貨運市場各種運輸方式運量、運價水平及發展變化趨勢。

（2）分方向分品類運價情況分析。對不同去向、不同品類的貨運情況進行分析，包括不同運輸方式的運量和運價水平等情況，形成以圖表為主的相關信息綜合查詢功能，為不同品類和去向的價格策略提供基礎。

（3）重點企業的運輸情況分析。對重點企業的原材料需求量、商品產量、貨運運量構成及運價水平情況進行分析，形成以圖表為主的相關信息綜合查詢功能，為每個企業的價格策略提供基礎。

（4）自定義運價水平查詢。提供自定義查詢功能，用戶可以根據自定義的時間范圍、起訖點、品類等條件，查詢鐵路、公路、水路等運輸方式的全程運價水平和運量占比。

3.2 貨運價格策略訂制

根據用戶偏好和設定的目標，利用大數據建模和算法技術，生成一定條件下的最優價格策略，為貨運價格管理人員提供參考。

（1）全局類型價格策略訂制。根據用戶設定貨運總指標的預期目標，結合用戶偏好從多種品類、區域、去向等層面出發，綜合統籌形成覆蓋范圍較大的全局價格策略。

（2）局部類型價格策略的訂制。根據用戶指定的品類、地區、線路、季節、企業等條件，結合貨運市場信息挖掘，訂制專屬的局部價格策略。

（3）價格策略模型管理。根據用戶設定的影響價格策略因素，利用大數據建模技術，設計不同偏好的價格策略模型并形成模型庫，以供價格策略的訂制使用，同時提供模型庫的編輯修改操作。

3.3 貨運價格策略效果預測

為用戶提供評判價格策略預期效果的工具，用戶可以根據預測結果選擇更適合的價格策略。

（1）價格策略效果評價。根據用戶選擇的價格策略效果預測模型，對指定價格策略的實施效果進行預測，并比照用戶設定的標準，對價格策略做出評價。

（2）價格策略比較評優。通過預測價格策略的實施效果，結合用戶偏好對不同的價格策略進行比較，并向用戶推薦更優秀的價格策略。

（3）預測模型管理。提供價格策略效果預測模型庫，包括預測因子設計、預測參數配置及用戶偏好設定，如占領市場優先、收入最大化、運力最優配置等，用戶可以選擇適用的模型進行價格策略的效果預測和評價比較。

（4）預測方法管理。提供預測算法庫，主要是大數據常用分析算法與鐵路貨運價格策略業務的適應性結合，用戶可以選擇需要的算法來計算相應的預測模型結果。

3.4 貨運價格策略監控預警

（1）預警閾值管理。提供預警閾值配置工具，用戶可以根據實際情況，設定貨運價格策略預警各項參數的閾值。當貨運市場的相關參數達到或超過閾值，如發生鐵路貨運市場份額大幅下降、鐵路收益急劇下滑或價格策略未實現預期目標等情況，表示存在風險，大數據應用實時將預警信息推送給用戶。

（2）貨運價格策略監控。實時監控價格策略的實施效果，使用圖表和統計表等方式為用戶展示價格策略實施后帶來的貨運指標變化。

（3）貨運價格策略預警。檢測設定指標超過閾值時，自動預警并調用價格策略訂制模塊，形成可扭轉當前局面的建議性價格策略供用戶決策。

4 結束語

價格機制是市場機制的核心和載體，運用價格策略可以提升企業市場競爭力。隨著鐵路貨運價格市場化進程的持續深入和大數據產業的快速發展，鐵路企業應將大數據技術應用到貨運價格策略中。研究基于鐵路內外部數據，借鑒主流大數據架構思想建設應用于鐵路貨運價格策略大數據平臺，利用大數據技術更準確地分析貨運市場運行情況，更及時地制定貨運價格策略，更精準地預測貨運價格策略效果，更全面地保障貨運價格策略執行質量，從而為貨運價格策略的制定和管理提供支撐，為廉政風險的防范提供手段，為實現貨運價格數字化管理提供基礎。