競爭型徑向基過程神經網絡時序分類器

葛利，印桂生

(1.哈爾濱工程大學計算機科學與技術學院，黑龍江 哈爾濱150001;2.哈爾濱商業大學 計算機與信息工程學院，黑龍江哈爾濱150028)

基于過程神經網絡的廣泛應用背景及徑向基函數神經網絡在各領域的成功應用，文獻［1］提出了徑向基過程神經元網絡的概念和模型，該模型在保留徑向基函數神經網絡優勢的基礎上，引入了過程神經元的概念，因此具有二者的優勢.時序問題在客觀實際中普遍存在，許多分類問題具有時序背景，即這些系統的輸入是依賴于時間變化的函數，其歸屬類別的確定既依賴于輸入函數的空間聚合，又與時間累積效應密切相關.依據以上背景，本文在徑向基過程神經元網絡的基礎上，提出了一種競爭型徑向基過程神經網絡時序分類器，將時間累積效應充分考慮到時序分類器設計中，給出了競爭過程神經元單元的定義，網絡拓撲結構和學習算法.

1 競爭型徑向基過程神經網絡模型

1.1 競爭過程神經元單元

競爭過程神經元單元結構如圖1所示，由聚合運算、模式匹配、激勵運算和競爭4部分組成.圖1中，X(t)=［X1(t)X2(t) … Xn(t)］T為競爭過程神經元單元在某一時間延遲區間［0，T］上的輸入函數，∫為聚合算子，K(·)為競爭過程神經元單元核函數，φ為競爭算子，其輸入為所有徑向基過程神經元的輸出，其輸出依據式(1)原則［2］，即當神經元被激活時，只有一個競爭神經元有較大輸出，而其他神經元都被抑制.最大輸入對應的神經元輸出為1，其它所有神經元的輸出均為0.

圖1 競爭過程神經元單元圖Fig.1 Competition process neuron unit

競爭過程神經元單元的輸入、輸出關系如下:

式中:y代表競爭過程神經元單元的輸出，Oj為過程神經元j的輸出:

式中:‖·‖為某一范數，Xj(t)為徑向基過程神經元j的核中心函數［1］.

1.2 競爭型徑向基過程神經網絡模型

競爭型徑向基過程神經網絡為一種4層前向結構，輸入層有n個節點，第2層為徑向基過程神經元隱層，單元的變換函數是徑向基核函數，第3層為競爭層，由第2、3層組成復合徑向基過程神經元隱層，各層節點數均為m個，第4層為輸出層，節點個數為k個，對應不同分類類別.網絡拓撲結構如圖2所示.

圖2 競爭型徑向基過程神經網絡拓撲結構Fig.2 Competitive radial basis process neural network topology structure

其中，X(t)=［X1(t)X2(t)…Xn(t)］T為網絡的輸入，由復合徑向基神經元隱層完成對時變輸入時空特征的抽取和分類功能為所識別問題的m個標準模式函數，取Xj(t)為徑向基過程神經元j的核中心函數［1］.競爭型徑向基過程神經網絡中，競爭過程神經元單元通過測量輸入時變向量X(t)到所代表聚類區域的距離來決定時變向量X(t)屬于哪個子類聚類.輸出層的神經元標記代表模式樣本的類別，其值由競爭過程神經元單元計算獲得，無須計算所有競爭過程神經元單元輸出的線性連接權值.

2 競爭型徑向基過程神經網絡的學習算法

競爭型徑向基過程神經網絡中需要優化的網絡參數有:核函數個數、中心及寬度.給定一個訓練樣本集K={(Xm，n(t)，ωm)，1≤m≤k，1≤n≤numberm}，Xm，n(t)表示屬于第m類的第n個時變樣本輸入，numberm表示第m類的樣本個數，ωm為對應輸出類別標記.

訓練樣本Xm，n(t)在同類樣本中的密度估計函數的定義為

式中:rm，n表示樣本Xm，n(t)與異類樣本的最小距離.若一個訓練樣本周圍有較多相同類別的樣本點，則具有較大的密度值.

競爭型徑向基過程神經網絡時序分類器的訓練算法如下:

1)首先將競爭型徑向基過程神經網絡輸入時變函數和核中心函數展開為C［0，T］上的同一組標準正交基的展開式，依據數學分析理論及正交基性質，有式(5)成立［1］:

式中:L為在滿足逼近精度的前提下，X(t)各分量標準正交基展開項數的最大值，n為X(t)的分量個數(即輸入層節點個數)，ail、分別為X(t)和Xj(t)標準正交基展開項系數.

2)初始化所有訓練樣本標記設置為0，表示該訓練樣本沒有被任何子類聚類包含，計算所有訓練樣本的密度.

3)對于每類樣本，在未被包含的樣本中選擇具有最大密度值的樣本作為聚類中心μi(t).計算中心到異類樣本的最小距離，將其作為聚類半徑ri.為每個聚類設置參數αi(0＜αi＜1)，用于調整每個聚類的大小.

4)依據式(5)計算每個樣本到聚類中心的距離，依據式(6)標記樣本

即樣本到該中心的距離小于αi×ri，則將該樣本輸出值置為對應類別輸出值，并標記為已被包含的樣本.

5)重復4)，直到所有樣本均被包含為止.

參數αi(0＜αi＜1)用來調整相鄰2個子類聚類的重疊區域.所有聚類樣本采用統一聚類參數顯然不符合實際情況，因此針對各聚類樣本訓練的實際情況，根據樣本到各聚類中心距離，動態調整各聚類的大小，最終得到最優的聚類參數，可提高分類器的泛化能力.

3 實驗與分析

實驗1 采用 UCI中的Japanese Vowels數據集.該數據被用來檢驗多維時間序列分類器的性能.分析對象為3個類別對應3個日本女性的元音發聲，由12個LPC離散頻譜系數指標描述每個話語的特征.訓練樣本總數為90個，每個類別30個樣本.所選數據集96個樣本分為3類，C1:31、C2:35、C3:30.使用以上數據驗證時序分類器的有效性.

經訓練和計算，確定網絡結構參數選擇如下:12個輸入節點(對應12個LPC系數)，3個復合徑向基過程神經元單元，輸出層對應k個類別標記的節點，只有1個被激活.標準正交基函數取為勒讓德多項式，基函數個數為6個;取12個LPC在連續時間點上的離散采樣數據擬合為12個輸入時變函數，作為網絡的過程式輸入.為提高網絡的泛化能力，經多次分析比對，確定參數αi(0＜αi＜1)的值為0.09，0.116和0.113(多系數方法)，為進一步驗證該算法的性能，依據相同的訓練和測試樣本，采用單一聚類系數(αi= 0.1，i=1，2，3)的網絡輸出對比結果如表1所示.

由表1可見，在多系數方法對訓練樣本的識別率略低于單系數方法的前提下，多系數方法對應的測試樣本識別率高于單一系數方法的測試樣本識別率，其原因在于相對于單一系數方法，多系數方法更加精確地調整了各聚類的大小，因此具有相對較高的測試樣本識別正確率.可見，采用多系數方法提高了時序分類器的泛化性能.

實驗2 應用與實驗1相同的訓練樣本和測試樣本，測試本文算法與文獻［1］算法在相同樣本下的分類正確率.本文算法與文獻［1］算法對于96個測試樣本的分類結果如圖3和表2所示，文獻［1］算法為比較算法.本文方法的測試樣本的分類正確率為97.92%，文獻［1］方法的測試樣本分類正確率為90.625%.

圖3 分類正確率比較Fig.3 Comparison of classification accuracy

表2 不同方法下的分類正確率Table 2 Classification accuracy of different methods

從圖3及表2可見，本文算法的分類正確率高于文獻［1］算法，其原因在于本文算法依據樣本密度計算聚類中心及半徑，改進了文獻［1］的學習算法，并使用多系數方法調整各聚類的大小，針對每類樣本的實際訓練情況，依據樣本到各聚類中心的距離，調整各聚類的中心寬度，提高了算法的分類正確率.

實驗3 應用與實驗1相同的訓練和測試樣本，測試本文算法與文獻［1］算法在不同樣本數量下的分類正確率.變換訓練數據的數量，從90－800，測試兩種算法的正確率(如圖4所示)，文獻［1］算法為比較算法.從中可見，本文算法在不同訓練樣本大小下的分類正確率均高于文獻［1］算法，同時在該數據集上2個算法受訓練樣本數量影響不大，基本處于穩定水平，分析其原因在于，2種方法均屬于應用領域知識的分類方法，因此，在各類樣本能充分反映其分類特征且不存在過擬合的情況下，其對應的樣本分類正確率相對穩定.

實驗4 應用與實驗1相同的訓練樣本和測試樣本，測試本文算法與文獻［1］算法在不同樣本數量下的執行時間.變換訓練數據的數量，從90～800，2種算法在不同訓練樣本數量下的運行時間如圖5所示.從中可見，在不同訓練樣本數量下，本文算法的計算速度均高于文獻［1］算法，其原因在于本文算法將時序分類的過程轉化為過程式輸入與核中心函數的比較距離測量問題，省去了所有徑向基過程神經元輸出線性連接權的計算，由復合競爭過程神經元單元完成對過程式輸入信息的時空聚合和模式匹配工作，簡化了網絡結構和訓練過程，因此本文算法在不同訓練樣本數量下的計算速度均高于文獻［1］算法.

圖4 訓練樣本大小對算法的影響Fig.4 The effect of training sample size on algorithm

圖5 執行時間比較(仿真數據集)Fig.5 Comparison of runtime(synthetic dataset)

4 結束語

時間序列分類是時間序列數據分析中的重要任務之一，它比一般分類問題困難的原因在于待分類時序數據不等長的特征，使得一般的分類算法不能直接適用［3－10］.本文將徑向基過程神經網絡引入到時序分類中，對徑向基過程神經網絡進行改進，提出一種基于競爭型徑向基過程神經網絡的時序分類方法，簡化了網絡結構和訓練過程，將時間累積效應納入其中，同時突破了時序數據不等長的限制.實驗結果表明，本文方法能夠有效地提高時序分類正確率和泛化性能，并且隨著訓練樣本數量的增加，本文算法在分類正確率和計算速度上均表現出很好的性能.

［1］許少華，何新貴.徑向基過程神經元網絡及其應用研究［J］.北京航天航空大學學報，2004，30(1):14-17.

XU Shaohua，HE Xingui.Research and applications of radial basis process neural networks［J］.Journal of Beijing University of Aeronautics and Astronautics，2004，30(1):14-17.

［2］黃國宏，劉剛.新的C2 RBF神經網絡分類器的設計與實現［J］.計算機應用研究，2008，25(3):709-711.

HUANG Guohong，LIU Gang.Design and realization of new C2 RBF neural networks classifier［J］.Application Research of Computers，2008，25(3):709-711.

［3］RICARDO B C P，TERESA B L.A modal symbolic classifier for selecting time series models［J］.Pattern Recognition Letters，2004，25(8):911-921.

［4］楊一鳴，潘嶸，潘嘉林，等.時間序列分類問題的算法比較［J］.計算機學報，2007，30(8):1260-1265.

YANG Yiming，PAN Rong，PAN Jialin，et al.A comparative study on time series classification［J］.Chinese Journal of Computers，2007，30(8):1260-1265.

［5］KEOGH E，KASETTY S.On the need for time series data mining benchmarks:a survey and empirical demonstration［C］//Proceedings of the 8th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.Edmonton，Canada，2002:102-111.

［6］JORGE C，NUNO C.A period gram-based metric for time series classification［J］.Computational Statistics＆Data A-nalysis，2006(50):2668-2684.

［7］WENG Xiaoping，SHEN Junyi.Classification of multivariate time series using locality preserving projections［J］.Knowledge-Based Systems，2008(21):581-587.

［8］ORSENIGO C，VERCELLIS C.Combining discrete SVM and fixed cardinality warping distances for multivariate time series classification［J］.Pattern Recognition，2010(43): 3787-3794.

［9］王曉曄，肖迎元，張德干.時間序列部分周期模式的更新算法［J］.哈爾濱工程大學學報，2011，32(11):1484-1488.

WANG Xiaoye，XIAO Yingyuan，ZHANG Degan.Partial periodic pattern updating technology in time series databases［J］.Journal of Harbin Engineering University，2011，32 (11):1484-1488.

［10］付永慶，宋寶森，吳建芳.邊緣分類SIFT算法［J］.哈爾濱工程大學學報，2010，31(5):632-636.

FU Yongqing，SONG Baosen，WU Jianfang.An improved scale invariant feature transform algorithm［J］.Journal of Harbin Engineering University，2010，31(5):632-636.