基于隨機森林模型的船員選擇培訓機構影響因素分析

袁玉峰,郁曉紅,鄭彭軍*

（1.寧波大學 海運學院,浙江 寧波 315832;2.浙江省2011 港口經濟協同創新中心,浙江 寧波 315832;3.國家道路交通管理工程技術研究中心寧波大學分中心,浙江 寧波 315832;4.現代城市交通技術江蘇高校協同創新中心,江蘇 南京 210096）

船員是一種專業技能要求很高的職業,船員適任資格的取得和維持都要求船員參加相應的培訓,船員通過海事主管部門的考試才能取得和保持相應的證書.80%以上的海難事故都涉及人為因素[1],加強船員教育與培訓是提高船員素質,減少人為失誤,保護海上生命、財產安全和海洋環境的主要途徑.目前我國共有234 家培訓機構開展56項項目的船員培訓,2018 年培訓量達191 371 人次,船員培訓的重要性日益突出.然而,目前無論是培訓機構的布局還是培訓計劃的制訂都還沒有建立統籌機制,與船員對于培訓質量和便利性的要求還存在較大差距[2].為了厘清影響船員選擇行為的關鍵因素,從而優化船員培訓資源配置,提高培訓質量,科學制訂培訓計劃,開展影響船員選擇培訓機構影響因素的研究十分必要.

目前,有關船員培訓的研究主要集中在培訓過程中存在的問題以及如何提高船員培訓質量兩個方面,而對于船員培訓選擇行為的影響因素鮮有涉及.在影響因素研究領域,多位學者應用非集計模型[3]、多元回歸模型[4]、決策樹[5-6]、隨機森林模型[7]、支持向量機模型[8]、K 近鄰模型[9]、BP 神經網絡模型[10]、Adaboost 模型[11]等方法開展了研究.例如,劉炳恩等[3]利用非集計離散選擇模型結合2003 年北京居民出行調查數據,對影響居民出行方式選擇的因素進行了分析,并將出行者個人特性引入模型,提高了模型的精度和實用性.Meng等[4]利用多元回歸分析了逆溫、大氣邊界層高度、風向和相對濕度等不同氣象因子對北京市冬季PM2.5濃度的相對貢獻.王文富[10]研究了影響企業人力資源結構的因素,采用人工神經網絡理論建立了預測模型.柳本民等[12]以美國公路2013～2015年所有的追尾事故數據為樣本,建立了基于SVM的雙車追尾事故與連環追尾事故二分類模型,得到了導致連環追尾事故發生的關鍵影響因素.

應用機器學習進行影響因素的分析具有傳統方法不具備的優勢,部分學者開展了一些有益的嘗試,但也存在只關注機器學習模型的擬合精度,缺乏對模型本身的解釋[13]等不足,而應用機器學習對船員選擇培訓機構影響因素分析尚未有報道.隨機森林模型無需進行變量選擇,可借助特征重要性排序方法進行因素分析,從而提高模型的可解釋性[14].因此,本研究采用隨機森林模型,應用特征重要性排序增強模型的可解釋性,來辨析各影響因素對選擇行為的相對重要性.其次,利用模型驗證集的擬合精度(R2)量化影響因素對船員選擇培訓機構的解釋力度.

1 材料與方法

1.1 數據來源

選取2015～2019年浙江省6 家船員培訓機構船員培訓考試的數據,其中杭州1 家、寧波2 家、舟山2 家、溫州1 家,共73 894 條記錄.每條記錄包含船員姓名、身份證號、培訓機構、考試科目、成績等內容.通過對原始樣本數據整理分析,考慮到本文研究的對象為影響船員選擇培訓機構的因素,剔除只參加過1 家機構培訓的船員的記錄,篩選出參加過1 家以上機構培訓的船員樣本,得到23 521條樣本數據.

1.2 特征變量選擇

通過對現有研究的分析,影響選擇行為的因素主要包括兩個方面:(1)參與對象的個人屬性,如年齡、性別、職業等;(2)被選擇對象的社會屬性,如地理位置、公眾滿意度、培訓質量等.特別是年齡這一特征變量,在眾多關于選擇行為的研究中都顯示了舉足輕重的作用.如張榮花等[15]在研究汽車共享條件下居民選擇出行方式的影響因素時,證明了年齡會對汽車共享服務選擇行為產生顯著影響;王慧芬等[16]在探究影響汽車共享換乘地鐵選擇行為的因素時,得到年齡、性別、職業等因素對汽車共享換乘地鐵影響顯著;練勝等[17]在研究居民的自行車選擇行為影響因素時同樣也得到了年齡是影響居民自行車選擇行為的因素之一.因此,本文以船員訪談為基礎,根據船員選擇培訓機構時會考慮的因素,并結合國內外相關學者的研究,選取船員年齡(AG)、所在地(HT)、參培次數(EXN)作為代表船員個人屬性的特征變量以及培訓機構的地理位置(GL)、許可培訓項目數(TRN)、服務質量(SQ)作為代表培訓機構社會屬性的特征變量,見表1.其中年齡和所在地從船員身份證號中提取,培訓機構的服務質量根據培訓機構的開班頻率、培訓人數、平均合格率及當地海事部門服務水平確定[18].

表1 特征變量

1.3 方法

決策樹算法是Quinlan[5]提出的,決策樹模型中最常用的算法是基于信息熵的決策樹學習算法—–ID3 算法[6],它的屬性選擇標準是信息增益,通常選擇信息增益最大的屬性作為它的“最佳”分裂點.其原理如下:設S為一個包含s個樣本的集合,類別屬性可以取m個不同的值,對應于m個不同的類別Ci,i∈{1,2,3,…,m}.若屬性A選為測試屬性,A有v個不同的值{a1,a2,a3,…,av},A將集合S劃分為v個子集{S1,S2,…,Sv},設Nij為子集Nj中屬于Ci的樣本數.劃分當前樣本集合所需要的信息可按下式計算:

對給定的子集sj,其信息為:

對每個屬性的信息進行計算后,選擇增益最大的屬性作為給定集合S的測試屬性,并由此產生相應的分支結點.

隨機森林模型是Breiman[7]于2001年提出的一種基于決策樹的集成算法,它使用bootstrap 重采樣技術進行采樣,從原始訓練樣本集中提取并生成訓練樣本子集,將提取到的訓練樣本子集生成決策樹,由這些決策樹組成的集合構成隨機森林,最后取所有決策樹的預測平均值作為最終預測結果.隨機森林回歸是由很多弱回歸器(決策樹)集成的強回歸器.

在建立隨機森林模型之前,需要先確立參數.從隨機向量(X,Y)中隨機抽取n個訓練集(通常訓練集所占比例為0.7),且這些隨機向量均為獨立同分布.其中X為輸入向量,Y為輸出向量.

設隨機參數向量為θ,對應的決策樹為T(θ).記Q為X的域,且Q?RP,其中P?N為自變量的維度.決策樹的每一個葉節點都對應一個矩形空間(Q),記Rl且Rl?Q.對任意x∈Q,當且僅當一個葉節點l滿足x∈Rl,記決策樹T(θ)的葉節點為l(x,θ).隨機森林的建模過程如下[19]:

(1)利用bootstrap方法重采樣,隨機產生k個訓練集θ1,θ2,…θk;利用每個訓練集生成對應的決策樹 {T(x,θ1)},{T(x,θ1)},…{T(x,θk)}.

(2)假設所有特征的維度為M,從中隨機抽取m個特征作為當前節點的分裂特征集合,選擇最佳的分裂方式對該節點進行分裂(通常,m的值在整個森林的生長過程中不會發生變化).

(3)隨機森林中每個決策樹都盡量以最大限度的方式增長,不需要進行剪枝.

(4)在新的數據中,通過葉節點l(x,θ)的觀測平均值可以得到單棵決策樹T(θ)的預測值.假如一個觀測值Xi屬于葉節點l(x,θ)且不為0,令權重ωi(x,θ)為:

式中權重之和等于1.

(5)根據因變量觀測值Yi(i=1,2,…,n)的加權平均得到單棵決策樹的預測.單棵決策樹的預測值的計算式為:

(6)通過對決策樹權重ωi(x,θt)(t=1,2,…,k)取平均得到每個觀測值Yi∈(1,2,…,n)的權重ωi(x):

則隨機森林回歸的預測值可記為:

本文基于23 521 個匹配樣本數據,將所有影響因素作為解釋變量,船員選擇的培訓機構作為因變量,構建隨機森林回歸模型,將訓練集和測試集按7:3劃分,計算出模型精度(R2),并以此衡量影響因素對船員培訓選擇的影響大小.

2 結果分析

2.1 隨機森林模型適用性評估

將影響因素作為自變量,船員培訓機構(機構A～F 分別賦值1～6)作為因變量,構建多元線性回歸模型、K 近鄰回歸模型、AdaBoost 回歸模型和隨機森林模型,擬合結果見表2.隨機森林模型的擬合精度(R2)最高,誤差(RMSE)和殘差平方和(RSS)都最小,因此,選用隨機森林模型分析船員培訓選擇行為的影響因素.

表2 模型擬合結果

2.2 影響因素重要性分析

本文提出的隨機森林模型可以量化單個因素對船員選擇的影響程度.分別將各影響因素作為輸入變量,以船員選擇的機構值作為輸出變量,訓練隨機森林模型,模型擬合結果如圖1 斜對角線所示:按影響程度大小排序,地理位置、服務質量、許可培訓項目數、參培次數、所在地和年齡分別能解釋58.7%、43.8%、4.1%、1.0%、0.5%和0.1%的船員培訓選擇行為.地理位置和服務質量對船員培訓選擇行為的影響程度最高.

同理,影響因素兩兩組合作為隨機森林模型的輸入變量,可以量化雙因素交互作用對船員培訓選擇行為的影響,從圖1 可見,地理位置與服務質量交互能夠解釋81.2%的船員培訓選擇行為,地理位置與許可培訓項目數能解釋64.7%的船員培訓選擇行為.

圖1 船員選擇培訓機構各因素的影響程度

2.3 影響因素的區域差異分析

為進一步探索船員選擇行為影響因素的區域化差異,按船員所在地,分別對沿海地區船員人數較多的舟山、寧波、臺州、溫州的船員數據進行了分析,結果如圖2 所示.隨機森林模型的擬合精度對所有地區船員均較高(R2>0.85).

圖2 不同地區船員選擇培訓機構的影響因素的解釋力度

從結果可以看出,影響不同地區船員選擇行為的主要因素排序十分相似,寧波、舟山和溫州、臺州均為地理位置和服務質量,而且培訓機構的地理位置影響遠遠大于其他因素,說明船員有就近選擇培訓機構的特點.

對于寧波和舟山的船員,地理位置可以解釋80.4%和82.9%的選擇;對于臺州和溫州的船員,服務質量可以解釋28.9%和28.0%的船員選擇.船員培訓選擇行為的最主要因素地理位置的影響存在一定區域差異,其解釋率在不同地理分區的排序為:寧波>舟山>溫州>臺州.這主要是因為寧波和舟山的船員培訓機構規模較大,許可培訓項目較齊全,本地船員基本可以選擇就地培訓.溫州地區雖然有一家培訓機構,但規模很小,培訓項目有限(僅有2 項培訓資質),而臺州沒有本地培訓機構,因此大多數培訓需要選擇其他地區的培訓機構,考慮了較多的培訓質量因素,地理位置的解釋力度就相對減少了.不同地區的年齡、籍貫以及考試次數對船員培訓選擇的地區差異性解釋力度均很小,說明船員選擇行為的區域差異化與這三者的相關性不顯著.

3 結論

(1)地理位置對船員培訓機構選擇行為的影響最大,可解釋58.7%的船員培訓機構選擇行為;年齡對船員培訓機構選擇行為的影響最小,解釋率僅為0.1%.因素交互顯著提高了影響因素對船員培訓機構選擇行為的解釋力度.

(2)船員培訓機構選擇行為與影響因素間的關系存在地區差異性,同一影響因素對不同地區的船員培訓機構選擇行為的影響力度存在區域差異.地理位置對寧波、舟山地區船員培訓機構選擇行為的影響較大;溫州、臺州地區由于缺少本地培訓機構,服務質量對本地區船員選擇行為的影響較大.

(3)影響船員選擇培訓機構的最主要因素是培訓機構的地理位置和服務質量.如果有本地培訓機構,大多數船員會優先選擇本地培訓機構,服務質量的影響會相對較小,說明合理布局培訓機構對船員培訓服務非常重要.在選擇本地機構受限時,服務質量對船員選擇培訓機構的影響會增加,因此,培訓機構也可通過提高培訓服務質量來擴大服務范圍,增強培訓機構的影響力.