基于K-Means和XG-Boost算法的“兩步式”船型分類映射

王紹函, 韓 懿, 王翔宇, 任飛揚

1.上海船舶運輸科學研究所有限公司, 上海 200135;2.中遠海運科技股份有限公司, 上海 200135;3.上海交通大學 船舶海洋與建筑工程學院, 上海 200241)

0 引 言

當前水路運輸已成為國際貨運的主導力量,承擔了世界貨物運輸量的80%以上。據統計,2022年國際海運貿易總量為226.54億t,全球集裝箱運輸總量為2.01億TEU[1]。海上貿易量在全球生產總值中所占比例不斷增大,該變化引發了消費者需求的轉變。同時,航運業必須將目光投入到船舶、港口、內陸的穩定和長期可持續發展中。由于船舶具有載貨量大和面臨的航行海況復雜等特點,保障船舶安全航行和提升航運成本管理水平受到了船公司和政府的高度重視。然而,無論是船舶安全管理還是航運成本管理,大多都是以船隊為單位進行的,因此對船隊中姊妹船的分類很大程度上決定著對船舶行為進行分析的基本。對于單船而言,包括能耗在內的航行成本往往取決于主機功率、額定轉速等船舶基本屬性和船舶航行時的實際海況。因此,在對某船的行為進行研究時,往往會將其姊妹船當作同一類型船舶考慮。

隨著智能交通的迅速發展、計算機算力的不斷提升和物聯網技術的逐漸普及,采用大數據挖掘技術對姊妹船進行分類,進而對船舶行為進行分析的方法得到了學術界的廣泛關注。很多學者都采用船舶自動識別系統(Automatic Identification System,AIS)作為區分船舶行為的依據,然而這種方法缺乏對船舶的清晰分類[2-4]。以上方法均需對船舶AIS數據進行長期監控,并從中找到相似規律;同時,需要較高的數據質量、較大的數據量和相對類似的航行海況。為解決這些問題,研究人員考慮到不同船型之間存在的建造差異會影響船舶的表現,開始研究在分析航線數據之前對船舶進行分類的方法。SILVEIRA等[5]、GOERLANDT等[6]和MASCARO等[7]提出將船舶類型作為識別AIS行為前的船舶分類標準,但未考慮船體尺寸等基本屬性,因此該方法缺少對同類型船舶的細致分類。DE BOER[8]提出將船舶載重量作為分類屬性,該方法能對同類型船舶進行區分,但需設定閾值,一方面無法從數據的角度證明閾值設定的準確性,另一方面在處理同類型的多種船舶時會造成分類困難。此外,SHU等[9]和XIAO等[10]采用船舶總噸代替載重噸作為分類依據,MOU等[11]采用總船長配合船舶最近點(Closest Point of Approach,CPA)作為船舶分類和行為識別的依據。這些方法雖然將船舶屬性作為分類特征,但采用的屬性過少,同時缺少用于驗證方法有效性的數據。因此,提出一種基于船舶自身屬性的,能對同類型船舶進行細致劃分的方法對于基于AIS的船舶行為研究而言具有重要意義。

本文以中國遠洋海運集團有限公司(以下簡稱“中遠海運集團”)的干散貨船、集裝箱船和油船為研究對象和訓練集,采用無監督學習方法對包括主機功率在內的9個重要船舶屬性進行分類,從數據的角度確定分類數量。在此基礎上,采用監督學習方法再次對這些屬性進行分類訓練。經過2次分類訓練,分類模型將具有以下特征:

1) 從數據的角度對同一船型的不同船舶屬性進行分類,采用肘部法則計算分類數量,避免人工設定閾值;

2) 合理建立已有標簽的數據集與目標數據的映射關系,為未來進行基于船舶分類的船舶行為識別打下基礎;

3) 模型具有普遍性和處理數據缺失問題的能力,可應對目標船屬性數據不完整的問題;

4) 針對已有數據集可能無法涵蓋目標船類型的問題,給出量化的分類映射結果,方便人工改善分類成功率低的情況。

1 研究方法

首先采用K-Means算法對船舶的9個主要屬性進行分類。在這9個屬性中,主機功率、載重量和排水量等3個屬性是在對船舶油耗與船舶屬性的相關性進行分析時得到的高相關性屬性,另外6個屬性是通過整理以往的研究并將其與數據庫中的船舶屬性字段相匹配得到的。K-Means算法在處理大數據集時具有良好的可擴展性和分類效果,且復雜度較低。針對每種船型分類情況不一和船舶數量不等的特點,K-Means算法先基于肘部法則確定每種船型的分類數量,再給分類的船舶打上分類標簽,接著根據標簽,采用XG-Boost算法對訓練集內的船舶進行訓練。利用有監督學習方法能處理數據缺失的問題,建立已知船舶與目標船舶的映射關系。

1.1 肘部法則

在分類分析中,肘部法是一種啟發式方法,用于確定數據集中的分類數。該方法將解釋的變化繪制為簇數的函數,選擇曲線的彎頭作為要使用的簇數,可用于選擇其他數據驅動模型中的參數數量。在應用該方法時,先在數據集上對K的一系列值運行K均值分類,然后為K的每個值計算所有分類的平均得分(誤差平方和),最后計算失真分數,即從每個點到其指定中心的平方距離之和。K值與誤差平方和的關系曲線見圖1,其中誤差平方和表現為分類的平均畸變程度。

圖1 K值與誤差平方和的關系曲線

當繪制每個模型的總體指標時,可直觀地確定K的最佳值。若折線圖看起來像一個臂,則“肘部”(曲線上的拐點)是K的最佳數值。“臂”既可是向上的,又可是向下的,若有1個強拐點,則表明基礎模型在該點最適合。

1.2 K-Means分類

均值分類是一種矢量量化方法,最初來自于信號處理,旨在將n個觀測值劃分為K個簇,其中每個觀測值屬于具有最近均值的簇(簇中心或簇質心),作為簇的原型。這種方法將數據空間劃分為Voronoi單元,以實現對簇的定義和分類。K均值分類使分類內方差(平方歐幾里得距離)最小化,但不使正則歐幾里德距離最小化。

(1)

式(1)中:μc(i)為第i個分類的均值。

設定輸入為D={x1,x2,…,xm},分類的簇數為K個,最大迭代次數為N次,K-Means分類算法流程(見圖2)可大致歸為4個步驟:

圖2 K-Means分類算法流程圖

1) 從數據集D中隨機選擇K個樣本作為初始的K個質心向量,將分類中心作為初始化均值點{u1,u2,…,um};

4) 監測這些質心是否發生變化,若無變化,則輸出簇劃分為C={C1,C2,…,Ck},否則重復步驟3),直至質心不再發生變化為止。

1.3 XG-Boost分類

XG-Boost是梯度增強樹算法的一種流行且高效的開源實現。梯度提升算法是一種監督學習算法,試圖通過組合多上弱學習器形成一個強大的集成模型。當采用梯度提升算法進行回歸時,弱學習器是回歸樹。

XG-Boost最小化正則化目標函數,該函數結合了凸損失函數(基于預測與目標輸出之間的差異)和模型復雜性的懲罰項(回歸樹函數)。訓練以迭代的方式進行,添加用于預測先前樹的殘差或誤差的新樹,然后將其與先前樹組合,以進行最終的預測。XG-Boost被稱為梯度提升,因為其通過采用梯度下降算法使添加新模型時的損失最小化。

圖3為XG-Boost原理結構圖,其中:αi和ri分別為第i棵回歸樹計算的正則化參數和殘差;hi為第i棵回歸樹采用數據集X訓練預測殘差ri的函數。

圖3 XG-Boost原理結構圖

2 “兩步式”船型分類映射

本文基于訓練集內的船舶結構和動力數據較為完整的特點,以訓練集內的船舶為基礎,根據船舶屬性建立船舶自動分類模型,并通過類別映射將全球商船映射至訓練集內的船舶種類上。以中遠海運集團的干散貨船、集裝箱船和油船為研究對象和訓練集,結合船舶多維特征,基于K-Means算法選取主機額定功率、運營航速、載重量、二級船型、總船長、船深、吃水、排水量和主機額定轉速等9個船舶屬性,通過肘部法則計算分類后簇內平方差之和,確定分類數量,為訓練集內的船舶設置分類標簽。經過人工修訂之后,結合船舶屬性和分類標簽,采用XG-Boost算法對全球船舶進行分類映射,生成全球8萬艘商船與中遠海運集團內部船舶的映射關系,并根據相關算法計算分類成功概率。圖4為“兩步式”船型分類映射流程圖。

圖4 “兩步式”船型分類映射流程圖

2.1 分類個數閾值確定

在采用K-Means算法對船舶吃水和宣載量進行分類之前,需采用肘部法則,分別針對集裝箱船、干散貨船和油船遍歷簇的數量,這里假設每艘船都要單獨分成1類,從而確定針對每種船型的最合適的簇數。

圖5～圖7分別為基于肘部法則對集裝箱船、油船和干散貨船進行分類的結果。根據圖5～圖7,集裝箱船的分類數量為91類,油船的分類數量為87類,干散貨船的分類數量為90類。

圖5 集裝箱船的肘部法則分類結果

圖6 油船的肘部法則分類結果

圖7 干散貨船的肘部法則分類結果

2.2 訓練集數據標簽

下面采用K-Means算法和2.1節確定的K值分別對集裝箱船、干散貨船和油船進行分類,并根據分類結果打上分類標簽,見表1～表3。

表1 訓練集集裝箱船分類結果

表2 訓練集油船分類結果

表3 訓練集干散貨船分類結果

2.3 基于XG-Boost算法的二次分類訓練

基于表1～表3所示訓練集分類結果,采用XG-Boost算法,分別對3種船型進行二次訓練。XG-Boost算法考慮了訓練數據為稀疏值的情況,能為缺失值或指定的值指定分支的默認方向,從而大大提升算法的效率。此處采用XG-Boost算法的原因是,K-Means算法作為無監督學習算法,無法有效應對船舶屬性(字段)數據缺失的問題。因此,將采用K-Means算法訓練的數據(含標簽)放入XG-Boost算法中訓練,使其具有識別船舶分類的能力,采用XG-Boost算法對無法準確獲取船舶屬性或油耗報告不可知的船舶進行分類,以形成訓練集與測試集之間的映射關系。算法中采用的決策樹深度為10,學習率為0.3。根據訓練好的模型對目標船(收集到的全球船舶)分船型進行預測,并形成預測概率。表4～表6分別為全球集裝箱船、油船和干散貨船的分類結果及分類映射概率;圖8為全球目標船舶分類映射概率與船舶數量柱狀圖。

圖8 全球目標船舶分類映射概率與船舶數量柱狀圖

表4 全球集裝箱船分類結果及分類映射概率

表5 全球油船分類結果及分類映射概率

表6 全球干散貨船分類結果及分類概率

根據表4～表6和圖8的結果,綜合比較本文建立的“兩步式”分類映射概率在60%以上的船舶占船舶總數的77%以上。雖然仍有10%的船舶的分類映射概率在30%以下,但在其中9種屬性的缺失率高達50%以上(即缺少4種或4種以上屬性數據)。數據缺失是造成分類映射概率偏低的主要原因。解決該問題的方法是:

1) 通過尋找更好的數據源補全船舶屬性;

2) 增加訓練集內船舶的種類數量,以涵蓋更多船舶分類標準;

3) 通過AIS行為分析等船舶識別技術對分類的準確性進行驗證,從而根據驗證結果反向優化分類模型。

通過對測驗的47 122艘船舶的油耗表現進行對比可知,船舶分類結果相對細致,可用于對無法獲取準確油耗報告的船舶的油耗進行估算。在分類結果中,對于字段缺失嚴重的船舶,其主機功率、載重量和排水量等對分類結果影響較大的屬性會通過與同類船型建立線性擬合關系補齊,最后人工校對。該方法的劣勢在于,分類模型無法對數據集中不存在的船舶類型進行有效分類,給出的分類可信度不高,該問題在后續研究中可通過強化學習等深度學習算法解決。

3 結 語

本文采用K-Means算法和XG-Boost算法對訓練集中船舶屬性較為完整的數據進行分類映射訓練,從而由訓練集內的船舶出發,建立這些船舶與全球所有商船的映射關系,主要得到以下結論:

1) 根據訓練集內船舶的屬性建立其與全球船舶的映射關系,便于監控全球商船的燃油消耗和碳排放等;

2) 提出了一種解決目標船型信息缺失、數據不完整問題的方法。

本文所述船舶分類模型不僅能對數據缺失的船舶進行分類,而且能提供量化的分類概率,應對訓練集中船舶種類不足以覆蓋目標船舶的情況,方便從業人員人工調整。