基于知識的神經網絡在出行方式選擇中的應用研究

摘 要：針對神經網絡和決策樹方法在算法上的本質聯系和互補優勢，將C4.5決策樹提取規則的基于知識的神經網絡（knowledgebased neural network，KBNN）用于出行方式預測。對居民通勤出行方式選擇數據的分析表明，KBNN相比于決策樹方法、普通前饋神經網絡和多項Logit模型（MNL）有更高的預測精度，方法不僅提高了網絡的可解釋性，且易于構造、收斂速度更快，實用性較強，為出行方式選擇預測提供了新的思路。

關鍵詞：出行方式選擇；神經網絡；決策樹；基于知識的神經網絡；多項Logit模型

中圖分類號：TP183 文獻標志碼：A

文章編號：1001-3695(2008)09-2651-04

Research of travel mode choice with knowledgebased neural network

XIANYU Jianchuan，JUAN Zhicai

(College of Antai Economics Management， Shanghai Jiaotong University， Shanghai 200052， China)

Abstract:Based on the similarity between neural network and decision tree， the method of knowledgebased neural network (KBNN) combined the rule induction of decision tree and the accurate approximation of neural network.This research showed how to construct a neural network based on rules from a decision tree generated by C4.5 method. A network built by this method and models based on decision tree， neural network and multinomial Logit (MNL) were specified， estimated and comparatively evaluated. The prediction results show that decision tree and neural network models offer slightly better performance than MNL model and the KBNN model demonstrates highest performance. The analysis of actual investigation data shows that the model has fast convergence and high precision， which is of great importance for travel mode choice prediction.

Key words:travel mode choice; neural network; decision tree; knowledgebased neural network; multinomial Logit(MNL)

出行方式選擇預測方法一直是出行行為研究領域的重要課題，預測結果直接影響到交通需求管理和交通控制策略的有效實施。自19世紀70年代MNL模型出現以來^[1]，基于效用最大化理論的離散選擇模型，因其數據利用率高、可移植性強、能夠完成對不同出行者群體的政策影響評價等優點而在方式選擇分析中得到了廣泛應用^[2~4]。然而研究人員也發現離散選擇模型有其自身的弱點：模型的固定結構往往忽略了解釋變量之間以及對特定群體分析中選擇方案之間的相互關系，模型的線性效用函數不能全面地表征解釋變量之間、解釋變量和被解釋變量之間的相互聯系^[5]。

近年來，人工智能和機器學習領域的研究成果為出行行為研究提供了新的思路。研究表明決策樹

(decision tree，DT)^[6~8]和神經網絡（neural network，NN）^[9，10]等數據挖掘方法能夠靈活地表征方案屬性和選擇結果之間的相互關系，從樣本數據中學習、識別和提取模式特征，并且能夠通過計算過程提高對噪聲數據的自適應能力，在出行行為預測中，相對于傳統的Logit類模型有明顯的優勢。

1 基于知識的神經網絡

神經網絡是構成KBNN的基礎。然而NN的層數、各層節點數、網絡權值和閾值等參數的確定，目前還沒有一個通用的方法，網絡的學習結果易受初始參數的影響，不利于對具體問題的分析解釋^[11]。針對上述問題，國內外不少學者就如何從神經網絡中抽取規則進行了探討^[12~14]。其中KBNN在提高神經網絡計算性能方面效果頗為顯著，已成為一種較好的神經網絡構造方式^[15]。KBNN最早由Towell等人提出，是一種根據已獲得的知識規則構造的神經網絡，而規則的獲取主要有兩種方式：來自專家系統的經驗和從數據中提取的規則^[15]。從數據中提取規則方面，借助前饋網絡和分類決策樹在功能上的互補性，利用決策樹來確定網絡結構、隱層數、隱層節點數及網絡參數的初始化方法能有效構建網絡結構，并能提高網絡學習速度和泛化能力^[16]。針對上述背景，本文首先利用決策樹方法提取規則構造KBNN，然后以通勤出行方式選擇為例，通過KBNN與普通前饋神經網絡、決策樹算法和MNL模型在預測精度和模型可解釋性方面的比較，分析方法用于出行方式預測的優勢。

2 基于決策樹的KBNN的構造

決策樹的生成是從根節點開始，自上而下的遞歸過程。其分類的實質是對數據樣本屬性特征進行測試，選擇其中信息增益最大的屬性對樣本進行劃分，并以這些屬性及其相應取值形成分類邊界，得到從根節點到葉節點的不同路徑。每條路徑對應一條分類規則，而整棵樹則對應一組析取表達式規則。多層前饋神經網絡與決策樹方法在本質上的對應關系^[15]（表1）為利用決策樹抽取規則研究神經網絡學習過程提供了有利條件。下面以一個異或問題為例（圖1），結合具有連續屬性神經網絡設計的超平面方法^[18]，說明決策樹規則下基于知識的神經網絡的構造方法。

a）根據進入決策樹規則集的屬性變量的個數預設網絡輸入層節點數。本例中，feature1、feature2、feature3三個屬性特征與神經網絡輸入層的三個節點相對應。

b）將以if A≥a ∧…∧B≤b then class is I形式表示準則的條件改寫為(A-a)≥0 ∧…∧(B-b)≤0的形式。其中(A-a)為簡單超平面。選擇改寫后的條件中互不重復的簡單超平面表達式，以表達式個數為節點數構造網絡第一隱層。本例中的三個超平面為feature1-2≥0，feature2-0.3≥0，feature3-0.5≤0，與網絡第一隱層（超平面層）的三個節點相對應。

c）由決策樹的葉節點和分類類別數確定神經網絡第二隱層和輸出層節點數。本例中有四個葉節點，對應神經網絡第二隱層（規則層）四個節點；三個分類類別對應神經網絡三個輸出節點。

d）以Towell等人^[15]提出的兩條定理為依據，設定神經網絡各參數的初值。

定理1 按下面的公式選擇權值和閾值的神經網絡能夠映射前提數充分小的合取決策規則：ωp=-ωn=ω＞0(1)

θ=-(2P-1)ω/2(2)

其中：ωp為與決策規則中肯定前提對應的連接權；ωn為與決策規則中否定前提對應的連接權；θ為神經元閾值；P為神經元連接中肯定前提的個數。

定理2 按下面的公式選擇權值和閾值的神經網絡能夠映射前提數充分小的析取決策規則：ωp=ω＞0(3)

θ=-ω/2(4)

其中各參數的含義同定理1。

輸入層與第一隱層神經元間的初始連接權重對應超平面與各屬性的連接，有連接關系的為1，否則為0。第一隱層神經元的閾值初始化為超平面的常數項；第二隱層起到“與”的作用，每個神經元對應決策樹中的一條分類規則。由定理1，前提條件為肯定判斷的，連接權初始化為ω；前提條件為否定判斷的，連接權初始化為-ω。第二隱層神經元的閾值初始化為-(2P-1) ω/2；輸出層神經元起到“或”的作用，對應各種決策類別。由定理2，連接權初始化為ω，神經元的閾值初始化為-ω/2，而ω的取值需要試探^[16]。

這一參數的初始化方法比隨機分配的權重和偏置的初值更利于網絡的訓練，能夠提高網絡收斂速度。按上述規則，圖1中的異或問題就映射到了圖2中的神經網絡。圖2中的實線表示有非零初始連接權，虛線表示初始連接權為零。

構造決策樹時，有部分屬性未使用，其中可能有對分類決策有效的屬性，所以需要增加構造決策樹時未使用的屬性特征，擴展網絡隱層節點。這些新增輸入節點連接權的初值和閾值可隨機設定。

e）網絡訓練。根據各種經典的神經網絡訓練方法，完成對所構造KBNN的訓練，用于對未知樣本數據的預測。

3 KBNN用于出行方式選擇

3.1 建模數據

以某市2004年人口出行調查數據庫為數據來源，研究被調查的上下班通勤出行者對步行、自行車、助動車、公共交通、小汽車五種方式的選擇情況。用于建模的通勤者數據共1 391人，首先按出行方式歸類。每一類的80%作為訓練樣本，另20%作為測試樣本。合并后的訓練集中，不同出行方式樣本作隨機排列。樣本數據的方式劃分情況如表2所示。

表2 樣本統計表

出行方式訓練集測試集

步行(M1) 134 (12.04%)33 (11.87%)

自行車(M2)322(28.93%)81(29.14%)

助動車(M3)84(7.55%)21(7.55%)

公共交通(M4)527(47.35%)132 (47.48%)

小汽車(M5)46(4.13%)11 (3.96%)

合計1 113(100%)278 (100%)

通勤出行方式選擇主要受到出行者及其家庭的社會經濟屬性、運輸系統屬性、通勤出行自身特性等因素的影響。為此模型選擇12個變量作為輸入，如表3所示，輸出層五個節點與五種通勤方式對應。采用傳統的BP算法進行訓練，輸出類別采用勝者為王的方式確定，輸出值最大節點對應的類別為輸出類別。

表3 輸入變量表

變量名定義類型

性別(xb) 0—女；1—男名義變量

年齡(nl)周歲數值變量

教育程度(edu)1—小學及以下；2—初中；3—高中；

4—專科；5—本科；6—研究生及以上名義變量

職業(zhy)1—單位負責人；2—專業技術人員；

3—辦事人員；4—商業服務人員；

5—農林牧漁水利生成人員；6—生成運輸設備操作人員；名義變量

人均自行車(rjzx)擁有自行車臺數與通勤成員數之比名義變量

人均助動車(rjzd)擁有助動車臺數與通勤成員數之比名義變量

人均小汽車(rjxq) 擁有小汽車臺數與通勤成員數之比名義變量

通勤成員數(tq)0—通勤成員數為1； 1—通勤成員數大于1名義變量

人均收入(ainc)家庭總收入（元）與家庭成員數之比數值變量

月均收入(minc)通勤者月平均收入（元）數值變量

公休日(gxr)0—有固定公休日；1—無固定公休日 名義變量

通勤距離(dis)家到單位距離/km數值變量

3.2 網絡結構

將表3中的12個屬性變量作為KBNN的輸入，利用C4.5算法生成規則選擇適當的精度和規模生成的經過裁減的決策樹如圖3所示。根據構造KBNN的規則，提取其中互不重復的10個簡單超平面表達式，即rjzx0.5、rjzd0、rjzd1、rjxq-0、xb1、ainc1500、minc-3500、dis1、dis-2.5、dis-8。然后構造一個輸入層有12個節點、超平面層（第一隱層）有10個節點、規則層（第二隱層）有12個節點、輸出層有5個節點的神經網絡。按前述方法初始化連接權重和閾值，得到用于預測通勤出行方式選擇的KBNN。為驗證所構造KBNN的預測精度，將相同的訓練集和測試集分別用于C4.5算法決策樹、BP神經網絡和MNL模型。

3.3 出行方式的識別與分類

下面通過KNBB模型與決策樹方法、普通前饋神經網絡和MNL模型對出行方式預測效果的比較，分析KNBB模型用于方式選擇分析的特點和優勢。

建立用于出行方式預測的決策樹模型。訓練集用C4.5算法構造并裁減得到如圖3所示的決策樹，其預測結果如表4所示。從表中可知，決策樹無論是對訓練樣本還是測試樣本的預測精度都比較有限。

表4 四種方法結果比較

方法超平面節點數 規則層節點數 隱層節點數 訓練次數訓練精度測試精度

C4.579.2%82.7%

BP22 5 00073.5%81.3%

MNL 70.1%74.4%

KBNN10122 10082.66% 85.6%

普通前饋神經網絡采用單隱層BP神經網絡。為便于比較，設定隱層神經元為22個，對應于KBNN超平面層和規則層神經元數之和。BP網的傳遞函數也采用式(7)所示函數。BP網的連接權重和閾值的初始化隨機完成。

用于出行方式預測的MNL模型以步行方式為基準，以出行者家庭和個人的社會經濟屬性為解釋變量。用訓練集樣本數據對模型參數的標定如表5所示。其中變量定義同表3。

表5 MNL模型參數標定結果

選擇方案固有常數參數估計值t statistic

M21.139 47.157

M31.045 56.217

M41.167 16.500

M50.912 57.198

M2影響變量

dis-0.000 2-2.816

ainc-0.000 2-3.110

age0.027 12.427

edu1/edu2/edu3高中以下學歷0.252 81.938

M3影響變量

rjzx+rjzd+rjxq0.825 63.314

age0.039 72.032

M4影響變量

zhy4商業服務人員-0.553 4-1.970

edu1/edu2/edu3高中以下學歷-0.323 8-2.469

gxr-0.272 9-5.017

rjzx+rjzd+rjxq-0.163 9-4.515

M5影響變量

zhy1單位負責人0.997 43.472

edu3高中學歷-0.904 3-2.003

rjzx+rjzd+rjxq1.167 12.216

Number of cases=1 113；LL(0)=-1 791.304 4

LL(c)=-930.198 8；LL(β^)=-826.944 2

-2[LL(0)-LL(β^)]=1 928.720 4

-2[LL(c)-LL(β^)]=206.409 2；ρ20=0.538 4

從四種模型方法預測結果（表4）的比較可以看出，KBNN的訓練精度和預測精度是四種方法中最高的，而C4.5決策樹和BP網絡都較MNL模型有更高的訓練和測試精度。相比于BP網絡，KBNN不僅訓練精度有所提高，而且訓練次數大大減少。由于BP神經網絡的初始連接權重和閾值都是隨機選取的，需要訓練多次才能得到一個訓練精度和測試精度都比較高的網絡。即使訓練次數較大、預測精度較高的BP神經網絡的預測能力也與KBNN有一定差距；相比于C4.5決策樹，KBNN方法通過增加輸入特征變量、調整已獲得的超平面、調整各層之間的連接方式、連接權重和閾值得到了對訓練集和測試集的更高預測精度；相比于MNL模型，KBNN方法的訓練精度和預測精度也都有明顯提高。

表6和7分別列出了KBNN對訓練集和測試集的預測結果。無論是測試集還是訓練集，網絡對助動車、公共交通和小汽車方式有更好的識別能力；而步行和自行車方式的相似性比較大，網絡對這兩類方式的識別能力較弱。對助動車、公共交通和小汽車三種方式的樣本，其錯誤預測的結果也都分布在這三種方式內部。這種預測結果是合理的，因為相對于步行和自行車方式，助動車、公共交通和小汽車方式都屬于機動出行方式，在出行距離和出行時間消耗特征上更為相似。網絡對全體樣本的個體預測率為83.25%，對五種方式的群體預測率分別為91.6%、105.96%、115.24%、96.81%、91.23%。從群體預測率看，網絡對自行車和助動車的預測率偏高，而對另三種方式的預測率則偏低。

表6 KBNN對訓練樣本預測結果

M1(120)M2(346)M3(100)M4(506)M5(41)

M1(134)1096710081.3489.55

M2(322)10257456079.81107.45

M3(84)0237410088.10119.05

M4(527)1020440183.4996.02

M5(46)00004086.9689.13

表7 KBNN對測試樣本預測結果

樣本預測結果

M1(33)M2(81)M3(21)M4(132)M5(11)

M1(33)27500081.82100

M2(81)465010080.25100

M3(21)002170100100

M4(132)2110115187.12100

M5(11)00001090.91100

4 結束語

決策樹規則下基于知識的神經網絡，首先利用C4.5決策樹方法確定神經網絡的各層神經元數目、神經元之間的連接方式、網絡連接權重和閾值的初始化參數，然后用一般BP網絡的訓練算法完成網絡的學習過程。這一方法既利用了決策樹能夠產生規模較小的規則集的能力，又利用了神經網絡較強的容錯能力和精確的逼近能力，能夠在一定程度上彌補決策樹裁減所損失的預測精度，又能為網絡結構設定、網絡參數的初始化提供更多的指導，同時還提高了網絡的可理解性。城市居民出行方式選擇是一個復雜的非線性系統，KBNN具有很好的非線性映射能力，在通勤出行方式選擇中的應用表明，構造的網絡在個體預測和群體預測上都比普通的決策樹、BP神經網絡和MNL模型更為準確，實用性較強。更為重要的是，KBNN更加易于構造，學習速度和泛化能力更好。

然而，由于決策樹算法自身的特點也造成了所提出的KBNN構造方法的一些缺陷：a）當樣本類別較多、分類問題較復雜時，決策樹過于龐大，網絡超平面層和規則層神經元過多，這時需要按一定精度和網絡規模選擇超平面和分類規則得到合理的網絡結構。b）在輸入屬性特征中有一部分可能是對分類結果有影響而在構建決策樹時沒用到的，為此需要擴展從決策樹規則中得到的隱層節點，探討這些節點與輸入層、輸出層節點的連接方式和初始連接參數的選取。c）將KBNN方法與離散選擇建模思想結合，增強模型的行為學基礎。為了提高KBNN算法的預測能力和預測結果的可解釋性，還需要在上述幾個方面作進一步的研究。

參考文獻：

［1］DANIEL L，FADDEN M C.Conditional Logit analysis of qualitative choice behavior[C]//Frontiers in Econometrics.New York:Academic Press，1973.

[2]CAO L.A model for travel mode switching[R].New Jersey:New Jersey Institute of Technology，1998.

[3]SASCHA H，ROB V N，SERGE H，et al.Homeactivity approach to multimodal travel choice modeling[C]//Proc of the 85th Transportation Research Board Annual Meeting.Washington DC:National Academy Press，2006:180187.

[4]ERIC J M，MATTHEW J R，JUAN A C.A tourbased model of travel mode choice[C]//Proc of the 10th International Conference on Travel Behavior Research.Netherlands:Springer，2003：399-422.

[5]XIE Chi，LU Jinyang，EMILY P.Work travel mode choice modeling using data mining: decision trees and neural networks[C]//Proc of the 82nd Transportation Research Board Annual Meeting.Washington DC:[s.n.]，2003:50-61.

[6]GEERT W，KEON V，THEO A，et al.Identifying decision structure underlying activity patterns: an exploration of data mining algorithms[J].Transportation Research Record，2000，1718:1-9.

[7]THILL J C，AARON W.Tree induction of spatial choice behavior[J].Transportation Research Record，2000，1719:250-258.

[8]YAMAMOTO T R，KITAMURA R，FUJI J.Driver’s route choice behavior: analysis by data mining algorithms[J].Transportation Research Record，2002，1807:59-66.

[9]ABOLFAZL M，ERIC J M.Nested Logit models and artificial neural networks for predicting household automobile choices: comparison of performance[J].Transportation Research Record，2002，1807:92100.

[10]DAVID A H，TU T T.A comparison of the predictive potential of artificial neural networks and nested logit models for commuter mode choice[J].Transportation Research Part E，2000，36(3):155172.

[11]王文成.神經網絡及其在汽車工程中的應用[M].北京：北京理工大學出版社， 1998.

[12]張麗平，閆德勤，張鳳梅.一種基于神經網絡規則提取的新方法[J].計算機工程與應用，2006，42(29)：180183.

[13]王濤，孟慶春，殷波，等.神經網絡規則提取及其在特征帶識別中的應用[J].數據采集與處理，2003，18(1)：1216.

[14]LI Renpu，WANG Zhengou.Mining classification rules using rough sets and neural networks[J].European Journal of Operational Research，2004，157(2): 439-448.

[15]TOWELL G G，SHAVLIK J W.Knowledgebased artificial neural networks[J].Artificial Intelligence，1994，70(1-2):119165.

[16]李愛軍，羅四維，黃華，等.基于決策樹的神經網絡[J].計算機研究與發展，2005，42(8)：13121317.

[17]SON N H，SZCZUKA M S，SLEZAK D.Neural networks design: rough set approach to continuous data[C]//Proc of the 1st European Symposiam on Principles of Data Mining and Knowledge Discovery.London:SpringerVerlag，1997:359-366.