基于SVM的我國區域創新能力的甄別技術研究

摘要:文章采用基于統計學習理論的小樣本分析方法——支持向量機(SVM)，構建了我國區域創新能力甄別的SVM模型，對我國區域創新能力進行了甄別。研究表明，各組檢驗樣本的平均正確甄別率都在90%以上，證明支持向量機對區域創新能力具有良好的識別能力，特別是表現出對小樣本的適應性，為我國區域創新能力評價提供了新的方法和思路。

關鍵詞:區域創新能力;甄別技術;支持向量機

一、 引言

區域創新能力是區域經濟增長和競爭的決定性因素，其強弱是衡量一個區域技術創新實力的重要尺度。一個國家、一個地區、一個企業能否在市場競爭中取得優勢，在相當大的程度上取決于技術創新能力的大小。如何科學地甄別我國區域創新能力，有利于研究我國區域創新系統的演化規律和落后地區借鑒創新能力較高地區的發展經驗，從而促進區域經濟協調發展。

目前，對我國區域創新能力的定量測定一般局限于參數估計方法(如因子分析法、聚類分析法和主觀加權評分法等)。如:侯風華和趙國杰將區域創新能力分為當前創新能力和潛在創新能力，建立了包含22個指標的區域創新能力評價指標體系，對我國東部地區10省市的創新能力進行了評價。孫銳和石金濤以及周立和吳玉鳴運用因子分析法和聚類分析法對2004年中國區域創新能力的數據結構進行深入分析，并得出了基于因子分析法和聚類分析法的排序結果。何亞瓊等采用二次相對評價模型對中國31個省市區域創新能力增長效率進行測算，并通過理論分析與實證研究，比較CCR模型與BCC模型的計算結果在衡量增長效率方面的適用性。任勝鋼和彭建華運用因子分析法對中國31個省級地區進行分析，對比東、中、西部區域創新能力，將區域創新能力與經濟發展水平進行相關分析，并提出相關政策建議。事實上，由于我國省級行政區只有31個(基本上屬于小樣本范疇)，同時因為區域創新能力的影響因素眾多、關系復雜，因此，采用這些方法得出的分析結果的可靠性和準確性還有待進一步提高。

基于此，本文采用基于統計學習理論的小樣本分析方法——支持向量機，構建了我國區域創新能力甄別的SVM模型，對我國區域創新能力進行了甄別，為我國區域創新能力評價提供了新的方法和思路。

二、 區域創新能力甄別的SVM模型

1. 樣本集線性可分情形。支持向量機是利用最大間隔思想來降低分類器的VC維，以實現結構風險最小化準則。假定訓練樣本(xi，yi)，i=1，2，…，n為樣本數，輸入集xi∈Rm，m為樣本維數，本文代表信息甄別指標的個數;輸出集yi∈{-1，0，+1}，yi=-1，0，+1為分類標號，本文分別代表基于輸入集xi的區域創新能力高低的信息甄別標號，如“領先型區域”(綜合因子得分在29分以上)的省市創新能力強，則我們取+1;“追趕型區域”(綜合因子得分介于13分~29分之間)的省市創新能力一般，則我們取0;“落后型區域”(綜合因子得分在13分以下)的省市創新能力弱，則我們取-1。學習目標在于構造一個判別函數g(x)=w·x+b(wx表示向量w∈Rm與x∈Rm的內積)將訓練樣本盡可能地正確分類，以實現對空間X×Y的正確劃分，在此基礎上尋找最優分類超平面。該平面不但可以將訓練樣本正確分開，而且使兩類分類間隔最大(實現對推廣能力的控制)，最優分類超平面方程為wx+b=0。

通過等比例縮放w和b，對分類超平面做歸一化處理，則有:

由此可見，非線性支持向量機由訓練樣本集和核函數完全刻畫，構造和選擇合適的核函數K(xi，xj)是確定支持向量的重要內容，目前主要常用4類核函數:

(1)線性核函數(Linear):K(xi，xj)=xiTxj;

(2)多項式核函數(Polynomial):K(xi，xj)=(?酌xiTxj+r)d，?酌>0;

(3)徑向基核函數(Radial Basis Function，RBF):K(xi，xj)=exp(-?酌||xi-xj||2)，?酌>0;

(4)兩層神經網絡核函數(Sigmoid):K(xi，xj)=tanh(?酌xiTxj+r)。

其中，?酌、r、d是對應核函數的參數，可以根據測試要求進行調試。

三、 實證研究

1. 指標選擇與樣本設定。

(1)樣本輸入集{xi}的信息甄別指標選擇。基于實證研究結果的可比性和對區域創新能力進行甄別的要求，本文選擇《中國區域創新能力報告》中的知識創造能力、知識獲取能力、企業創新能力、創新環境以及創新績效等5個方面來作為區域創新能力高低的信息甄別指標。

(2)樣本輸出集{yi}的區域創新能力高低的甄別標號確定。基于輸入集xi的區域創新能力高低甄別標號的選擇:“領先型區域”(綜合因子得分在29分以上)的省市創新能力強，則我們取+1;“追趕型區域”(綜合因子得分介于13分~29分之間)的省市創新能力一般，則我們取0;“落后型區域”(綜合因子得分在13分以下)的省市創新能力弱，則我們取-1，所以我國31個省(市、自治區)創新能力甄別的輸出標號見表1。

(3)樣本設定。由于本文是對我國31個省(市、自治區)區域創新能力的高低進行甄別考察，所以樣本容量為 i=31。為了實驗對比的研究需要，本文選擇了訓練樣本和預測樣本相互交換的兩組樣本:第一組樣本的訓練樣本為2005年~2006年的知識創造能力、知識獲取能力、企業創新能力、創新環境、創新績效等5個識別指標組成的輸入集(輸入集維數m=5)和對應區域創新能力高低的甄別標號形成的輸出集來組成的樣本，預測樣本為2005年~2006年的對應輸入集和輸出集;第二組樣本的訓練樣本為2006年~2007年的輸入集(輸入集維數m=5)和輸出集，預測樣本為2005年~2006年的輸入集和輸出集來組成的樣本。

2. 支持向量機的核函數及其對應參數選擇。

(1)最優核函數選擇。本文運用的支持向量機實驗軟件是Li- bsvm-2.8。基于各個核函數都與懲罰因子C有關，所以我們先固定C=100，反復調試各個核函數中的其它對應參數，來對比不同核函數對年報信息的甄別效果，從而選擇最優核函數。表2中列出了兩組樣本的實驗對比結果。

同時，CV過程能夠解決對訓練樣本的“過擬合”問題，從而提高預測樣本對分類識別的準確度，圖2顯示了CV過程對預測樣本兩分類效果的改善過程:以上實驗對比結果顯示:在固定共有懲罰因子(C=100)的前提下，由于選擇不同核函數導致SVM對年報信息甄別的效果差異，兩組樣本的徑向基核函數的平均正確識別率最高(82.99%和80.99%)，線性核函數的平均正確識別率最低(37%和37.35%)。因此，本部分選擇識別能力最強的徑向基核函數(RBF)作為最優核函數。

(2)最優核函數(RBF)的最優參數選擇。在徑向基核函數中涉及兩個最重要參數:一是懲罰因子C，一是參數?酌，求解最優懲罰因子C和參數?酌有多種方法可以選擇。我們可以利用交叉比對過程(Cross Validation，CV)來實現最優參數的自動搜索。對于v層(v-fold)交叉比對過程，首先將訓練樣本等容量地分成v個子集，第i個子集通過已經被余下的(v-1)個子集訓練過的分類器進行反復測試，選取測試正確識別率最高的(C，?酌)組合作為最優參數。

交叉比對過程可由網格搜索法(Grid-search Appr-oach)來實現。網格搜索法是按指數(Exponential)成長方式增加或減少參數數值來進行試算(如C=2-5，2-3，…，215、?酌=2-15，2-13，…，23)，將C和?酌分別取N和M個值，用N×M個(C，?酌)組合來訓練不同的SVM，在N×M個(C，?酌)組合中選取最高推廣識別率的(C，?酌)組合作為最優參數。富有效率的網格搜索過程分兩步來實現:第一步是粗搜索(在所有網格中近似搜索識別精度最高的(C，?酌)組合);第二步是精搜索(在搜索到的識別精度最高的(C，?酌)組合的鄰域內進一步搜索精度更高的(C，?酌)組合)。

3. 研究結果。確定最優核函數及對應最優參數后，運行預測子模塊(Svm Predict)得到最優預測結果。本文列出了兩組樣本中對預測樣本的實際結果和預測結果對比表3，以便考察支持向量機對區域創新能力進行識別的能力。

四、 結論

支持向量機是一種最新機器學習方法，它利用靠近邊界的少數向量構造最優分類超平面，使學習機器與有限訓練樣本相適應，實現良好泛化能力。目前，國外對支持向量機的研究方興未艾、發展迅猛，已經成功應用于人臉識別、語音識別、醫療診斷、數據挖掘等方面。本文通過支持向量機對區域創新能力的識別進行了實證研究，得出以下結論。

1. 支持向量機在區域創新能力識別中的實證研究效果良好，兩組樣本的正確識別率都為93.55%，表現出支持向量機對有限樣本的良好泛化能力(特別是對小樣本的適應性)，證實支持向量機對區域創新能力評價指標信息具有良好的甄別能力。同時，也證實本文所采用的區域創新能力評價指標體系具有一定的合理性和科學性。

2. 支持向量機在區域創新能力識別預測中存在著一定的誤識率(兩組樣本均為6.45%)，證實了所采用的區域創新能力指標體系存在著一定程度的問題，干擾了支持向量機對相關信息的甄別能力。

3. 通過訓練樣本和預測樣本實驗結果的對比分析發現，訓練樣本正確識別率(100%)均高于預測樣本正確識別率(93.55%)，說明支持向量機的推廣能力有待進一步改善。支持向量機的識別效果取決于核函數及其最優參數的選擇，因此應針對自主創新應用領域對支持向量機作進一步深入研究(包括:核函數的構造與選擇、懲罰函數的改進、優化算法的實現過程，以及優化支持向量機的分類性能和信息甄別能力)，進一步提高支持向量機對區域創新能力的識別能力。

4. 通過少數錯誤識別結果的信息甄別指標與絕大多數正確識別結果的信息甄別指標的對比分析發現，錯誤識別結果的信息甄別指標存在著一定的異常值，這些異常值往往是由地區的相關經濟政策變化等影響因素(如重慶設立直轄市)造成的。因此，建立更全面、更科學并且考慮動態變化的區域創新能力的信息甄別指標體系，會進一步改善支持向量機的識別效果。

參考文獻:

1. 侯風華，趙國杰.我國東部省市的區域創新能力評價研究.科學管理研究，2008，26(2):21-23.

2. 孫銳，石金濤.基于因子和聚類分析的區域創新能力再評價.科學學研究，2006，24(6):986-990.

3. 周立，吳玉鳴.中國區域創新能力:因素分析與聚類研究——兼論區域創新能力綜合評價的因素分析替代方法.中國軟科學，2006，24(8):96-103.

4. 何亞瓊，秦沛，蘇竣.中國31省市區域創新能力增長效率評價研究.哈爾濱工業大學學報，2006，38(1):101-104.

5. 任勝鋼，彭建華.基于因子分析法的中國區域創新能力的評價及比較.系統工程，2007，25(2):87-92.

6. Cortes C， Vapink V. Support Vector Networks. Machine Learning，1995，20(3):273-297.

作者簡介:孟衛東，重慶大學經濟與工商管理學院教授、博士生導師;陽舉謀，重慶大學經濟與工商管理學院博士生。

收稿日期:2009-12-10。