基于部分連接神經(jīng)網(wǎng)絡的序列數(shù)據(jù)分類算法研究

張素莉

摘 要： 研究梳理了序列數(shù)據(jù)的定義，并且分析了5種類型的序列數(shù)據(jù)，結合局部連接神經(jīng)網(wǎng)絡的特點，研究了基于局部連接神經(jīng)網(wǎng)絡的序列數(shù)據(jù)的分類算法。使用該算法進行計算，學習與收斂速度較快，對于自適應建模與控制十分適用，利用方形基函數(shù)進行計算，在網(wǎng)絡輸出過程中注意只能利用方形函數(shù)來逼近光滑函數(shù)。由于序列數(shù)據(jù)分類運算在數(shù)據(jù)挖掘中存在巨大的優(yōu)勢，因此對序列數(shù)據(jù)算法的研究具有很高的理論與應用價值。

關鍵詞： 部分連接神經(jīng)網(wǎng)絡； 序列數(shù)據(jù)； 分類算法； 方形基函數(shù)

中圖分類號： TN915?34 文獻標識碼： A 文章編號： 1004?373X（2016）09?0111?03

Abstract： The definition of sequence data is studied. The 5 kinds sequence data is analyzed. In combination with the cha?racteristics of the partially connected neural network， the classification algorithm of the sequence data based on partially connected neural network is studied. The algorithm used to calculation has fast learning and convergence rate， and is especially suitable for adaptive modeling and control. When the square primary function is used to calculate， the square function can be only used to approach the smooth function in network output process. The sequence data classification operation has great advantage in data mining， so the research of the sequence data classification algorithm has the high theory and application value.

Keywords： partially connected neural network； sequence data； classification algorithm； square primary function

0 引 言

計算機科學技術的發(fā)展，豐富和發(fā)展了數(shù)的概念，見圖1。數(shù)據(jù)類型在數(shù)據(jù)結構中的定義是一個值的集合以及定義在這個值集上的一組操作。序列數(shù)據(jù)就是其中一種非常重要的數(shù)據(jù)類型，它應用的領域也十分廣泛，如計算機科學文本中的單詞（word）序列、互聯(lián)網(wǎng)技術中網(wǎng)頁日志中的用戶訪問事件（Access Event）序列以及在生物科學中的DNA序列和蛋白質序列等。通過對序列數(shù)據(jù)進行分類運算，可以發(fā)現(xiàn)大量無規(guī)律數(shù)據(jù)的內在結構，從而獲得關于這些數(shù)據(jù)深層次的內涵知識，例如，大型電商平臺每日都產(chǎn)生大量的交易數(shù)據(jù)，對這些數(shù)據(jù)中的交易序列數(shù)據(jù)進行分類運算，就可以對平臺購物的用戶進行細分，進而根據(jù)不同類型的用戶制作有針對性的市場廣告，并且點對點的推送，這樣就會大大提高廣告投放的效率；在生物學領域，對生物體蛋白質序列進行分類運算，就能夠找出各個簇中序列共享的子結構，進而可以推測共有的生物學功能。序列數(shù)據(jù)通常由兩個部分組成，這兩個部分是值元素和對應的序關系，這兩個部分缺一不可，正是由于序列數(shù)據(jù)具有非數(shù)值類型、高維且長度不一以及特有的序關系等特征，使得對其進行分類運算成為一個研究難點。

1 序列數(shù)據(jù)的基本概念

序列數(shù)據(jù)的分類運算具有如此重要的作用，首先要清楚序列數(shù)據(jù)的概念。序列數(shù)據(jù)最主要的特點就是具有序關系信息，這一信息通過元素的空間位置或時間先后來體現(xiàn)。序列數(shù)據(jù)的概念是序列數(shù)據(jù)分類運算的基礎，因此需要著重討論。

1.1 序列數(shù)據(jù)的定義

1.2 序列數(shù)據(jù)的類型

根據(jù)數(shù)據(jù)產(chǎn)生的領域不同，序列數(shù)據(jù)包含五種類型：

（1） 文本型序列數(shù)據(jù)，日常使用的電子郵件，天天瀏覽的網(wǎng)頁新聞以及各種文字類的信息等，這些海量的各種語言的文本就是一類序列數(shù)據(jù)，它們都是單詞序列的集合；

（2） 生物序列數(shù)據(jù)，目前最基本的兩種生物序列數(shù)據(jù)就是細胞中的DNA（RNA）和蛋白質。DNA是由核苷酸排列組成的，蛋白質是由氨基酸排列組成的，因此DNA和蛋白質都可以看作是很長的“單詞”，生物序列中有一定生物學功能的序列片段就相當于一個個“字母”，可以用來表征“單詞”；

（3） 事件序列數(shù)據(jù)，我們平時看電視或者聽廣播，這些視頻流和音頻流就是事件序列，此序列所隱含的序信息是時間序，且各序列元素值是某時刻所發(fā)生事件的描述信息；

（4） 時間序列數(shù)據(jù)，其在銀行金融和天氣預測等與人們日常生活息息相關的地方中廣泛存在，該類型序列數(shù)據(jù)的序信息也是時間序，但是與事件序列不同，時間序列數(shù)據(jù)的各個元素一般是數(shù)值類型，這樣就可以進行各種運算和變換，產(chǎn)生的數(shù)據(jù)價值會更大；

（5） 數(shù)據(jù)流序列數(shù)據(jù)，是指高速到達的數(shù)據(jù)和信息，由于其傳遞的速度極快，因此需要處理的速度也很快，一般對到達數(shù)據(jù)處理時只是掃描一遍，并且沒有機會和時間把數(shù)據(jù)保存在本地，但同時，在處理的過程中要保持序信息在數(shù)據(jù)流中。

1.3 序列數(shù)據(jù)分類的應用

（1） 廣告精準投放。如今網(wǎng)購在年輕人中已經(jīng)十分普遍，一些大型的網(wǎng)購平臺，如天貓、京東等，每日都會產(chǎn)生大量的交易數(shù)據(jù)，平臺可以在后臺對這些數(shù)據(jù)中的交易序列數(shù)據(jù)進行分類運算，對平臺購物的用戶進行細分，進而根據(jù)不同類型的用戶制作有針對性的市場廣告，并且點對點的推送，這樣就會大大提高廣告投放的效率，提高網(wǎng)購的平臺銷量，增加收益；

（2） 推測生物學功能。在生物學領域，生物細胞中的DNA（RNA）和蛋白質，DNA是由核苷酸排列組成的，蛋白質是由氨基酸排列組成的，因此DNA和蛋白質都可以看作序列數(shù)據(jù)，對生物體蛋白質序列進行分類運算，就能夠找出各個簇中序列共享的子結構，進而可以推測共有的生物學功能，對生物多樣性的保護可以做出很大的貢獻。

2 部分連接神經(jīng)網(wǎng)絡結構及性能

20世紀80年代以來，神經(jīng)網(wǎng)絡的發(fā)展取得了很大的進步，這給數(shù)據(jù)發(fā)掘帶來了巨大的利益，在理論上形成了一大批可以實際應用的模型和算法，并把它應用在一些自動控制系統(tǒng)、指揮系統(tǒng)中。現(xiàn)階段，神經(jīng)網(wǎng)絡可分為部分連接神經(jīng)網(wǎng)絡與全連接神經(jīng)網(wǎng)絡兩大類，但是在使用部分連接網(wǎng)絡時，對于每組輸出/輸入數(shù)據(jù)只能列出少數(shù)甚至是一個權值進行調整。目前，神經(jīng)網(wǎng)絡在數(shù)據(jù)模式識別與分類、非線性建模的分析、方案數(shù)據(jù)的優(yōu)化、知識的聯(lián)想記憶以及非線性建模的自動化控制設計等方面有著突出的貢獻。

2.1 部分連接神經(jīng)網(wǎng)絡結構特點

圖2是一個3層神經(jīng)網(wǎng)絡結構圖，[q]組[r]維輸入向量[Xl=x1，x2，x3，…，xr，l=1，2，…，q，]數(shù)據(jù)首先通過輸入層，隨后進入含有[m]個節(jié)點的隱含層內，經(jīng)過預先設定的特定基函數(shù)的運算后，形成隱含層的數(shù)據(jù)輸出，隨后與訓練數(shù)據(jù)后的權值相乘，最終得到網(wǎng)絡值數(shù)[s]維。

通過函數(shù)式（1）可以看出，在部分神經(jīng)網(wǎng)絡中，隱含層內的所有節(jié)點對輸出層內相對應的節(jié)點都有影響，但是通過合理的預設對基函數(shù)進行選擇，或者通過設置部分連接神經(jīng)網(wǎng)絡的主要結構參數(shù)獲得不同的網(wǎng)絡連接形式，假設施加一個輸入值，可以使[αj（xi）]中不是零的元素達到極少數(shù)，也就是說絕大部分的元素都是零。因此，在實際的運算過程中，對任何的初始輸入值，在輸出過程中通常只會對隱含層內部分非零節(jié)點的輸出采用加權求和的方式獲得數(shù)值，因此屬于局部神經(jīng)網(wǎng)絡的局部連接。

2.2 基于部分連接神經(jīng)網(wǎng)絡的序列數(shù)據(jù)分類算法

在對部分連接神經(jīng)網(wǎng)絡進行設定時，在輸入層到隱含層的間隙處設定一個類似于查表結構的特定映射，其對應關系要根據(jù)具體網(wǎng)絡設計情況進行預定。通過這樣的設計能使上部輸入層中的輸入矢量根據(jù)序列串數(shù)據(jù)之間的空間距離或時間長短來進行計算，最終產(chǎn)生影響，實現(xiàn)將映射輸入到隱含層當中。隱含層是一個類似“黑箱”的計算處理器，是由一族攝化感知器組成，這些感知器用于對數(shù)據(jù)的分類和分析，可以感知序列數(shù)據(jù)在時間距離和空間距離上的相似度，因此在輸入層中每輸入一個矢量值都會計算出一個閾值與之匹配，也可以理解為與隱含層中的[C]個感應器相互對應，這個[C]也叫做感知野，感知野是算法的一個重要參數(shù)。輸入的每一個矢量值只會對隱含層當中的[C]個感應器造成影響，并且使它的輸出值為1，其他感應器的輸出值數(shù)是0，因此在設計時只需要考慮與[C]個感知器相對應的權值進行預設。

在網(wǎng)絡調試過程中，設計者只需考慮對輸出層的局部連接權值進行調整。與其他計算方法相比，利用這樣的運算方式進行計算，學習收斂速度較快，在自適應建模與控制中很實用，除此之外，本算法選擇較為簡單的方形基函數(shù)進行函數(shù)預設，在網(wǎng)絡輸出過程中只能利用方形函數(shù)來逼近光滑函數(shù)，雖然局限性較強，但是精確度很高，在計算過程中如果設計者想要提高分辨率，可以利用增大[C]值的方式計算。

2.3 算法訓練結果分析

本文提出的基于部分連接的神經(jīng)網(wǎng)絡序列數(shù)據(jù)分類算法，在對序列數(shù)據(jù)進行分類計算時存在兩點優(yōu)勢：一是速度快，二是結果精確度高。為了驗證算法的可靠性，設計了算法的訓練。通過利用樣本數(shù)據(jù)，進行分析，對上面兩個標準進行衡量。

訓練分為監(jiān)督式和無監(jiān)督式兩種，監(jiān)督式就是在訓練的過程中有人員的隨時調整，無監(jiān)督式就是完全自動的訓練。從對樣本數(shù)據(jù)訓練的過程中可見，這兩種方式的訓練模式，對序列數(shù)據(jù)的訓練結果都是相近的，在不同的時刻，兩種模式都會出現(xiàn)網(wǎng)絡在對序列數(shù)據(jù)分析快速的響應結果，有部分的耗時極大值，在監(jiān)督式的訓練情況下，通過對數(shù)據(jù)反復多次地反復輸入，使得算法對樣本十分熟悉，這樣一來，使用該算法進行計算，可以快速而穩(wěn)定的達到要求。

若進行無監(jiān)督訓練，在對應較大文本的序列數(shù)據(jù)時，對于新的數(shù)據(jù)分類運用將會采用對某種已經(jīng)產(chǎn)生結果的典型矢量進行修改來實現(xiàn)，這樣就會自動對已有的分析結果進行修正，修正的結果不會對舊的結果加以記錄學習，分類的結果一直是最新有效的。

3 結 語

本文研究梳理了序列數(shù)據(jù)的定義，并且分析了5種類型的序列數(shù)據(jù)，結合局部連接神經(jīng)網(wǎng)絡的特點，研究了基于局部連接神經(jīng)網(wǎng)絡的序列數(shù)據(jù)的分類算法，通過以上分析，不難看出利用本算法進行計算，學習與收斂速度較快，若將其運用到自適應建模與控制當中，利用方形基函數(shù)進行處理，其網(wǎng)絡輸出也只能用方形函數(shù)來逼近光滑函數(shù)，雖具有一定的局限性，但是準確度高。由于序列數(shù)據(jù)分類運算在數(shù)據(jù)挖掘中存在巨大的優(yōu)勢，因此對序列數(shù)據(jù)算法的研究具有很高的理論與應用價值。

參考文獻

[1] 朱揚勇，熊赟.DNA序列數(shù)據(jù)挖掘技術[J].軟件學報，2007，18（11）：2766?2781.

[2] 朱揚勇，戴東波，熊赟.序列數(shù)據(jù)相似性查詢技術研究綜述[J].計算機研究與發(fā)展，2010（2）：264?276.

[3] 叢爽，鄭毅松.幾種局部連接神經(jīng)網(wǎng)絡結構及性能的分析與比較[J].計算機工程，2003，29（22）：11?13.

[4] 程起才，王士同.基于模糊系統(tǒng)的新型CMAC神經(jīng)網(wǎng)絡及學習算法[J].江南大學學報（自然科學版），2005，4（1）：27?32.

[5] 劉曉軍，閻朝鼎.一種新型的CMAC神經(jīng)網(wǎng)絡[J].中國科技信息，2005（14）：45.

[6] 王明玥，高渠，陳婷婷.基于神經(jīng)網(wǎng)絡的DNA序列分析[J].通訊世界，2015（13）：55?56.

[7] 戴東波，湯春蕾，熊赟.基于整體和局部相似性的序列聚類算法[J].軟件學報，2010，21（4）：702?717.

[8] 韓忠明，陳妮，樂嘉錦，等.面向熱點話題時間序列的有效聚類算法研究[J].計算機學報，2012，35（11）：2337?2347.

[9] 于世英，袁雪梅，盧海濤，等.基于序列聚類的相似代碼檢測算法[J].智能系統(tǒng)學報，2013（1）：52?57.

[10] 劉曉平，季浩，沈冠町.非線性系統(tǒng)規(guī)律的動態(tài)可視化方法[J].系統(tǒng)仿真學報，2012，24（6）：1287?1292.