基于大數(shù)據(jù)架構(gòu)的國家海洋創(chuàng)新指標及其預測方法研究

劉大海，李曉璇，王春娟，李先杰

(國家海洋局第一海洋研究所 青島 266061)

?

基于大數(shù)據(jù)架構(gòu)的國家海洋創(chuàng)新指標及其預測方法研究

劉大海，李曉璇，王春娟，李先杰

(國家海洋局第一海洋研究所 青島 266061)

基于國家創(chuàng)新體系理論和大數(shù)據(jù)思想，探討國家海洋創(chuàng)新體系定義和范圍；根據(jù)國家海洋創(chuàng)新體系的具體內(nèi)容，選取對外海洋技術(shù)依存度、海洋儀器設(shè)備國有化率、海洋關(guān)鍵技術(shù)自主化率、海洋科技進步貢獻率、海洋科技成果轉(zhuǎn)化率等作為國家海洋創(chuàng)新預測指標；在Bigtable+MapReduce框架內(nèi)討論適用于海洋創(chuàng)新指標的預測方法，探索國家海洋創(chuàng)新指標預測技術(shù)思路，為建立支撐海洋創(chuàng)新戰(zhàn)略制定的預測體系做了有益嘗試。

海洋創(chuàng)新指標；大數(shù)據(jù)架構(gòu)；預測方法

黨的十八大將創(chuàng)新驅(qū)動作為國家發(fā)展的主要目標，提出“實施創(chuàng)新驅(qū)動發(fā)展戰(zhàn)略，到2020年進入創(chuàng)新型國家行列”，《中共中央關(guān)于全面深化改革若干重大問題的決定》明確提出要“建設(shè)國家創(chuàng)新體系”。海洋創(chuàng)新是建設(shè)創(chuàng)新型國家的關(guān)鍵領(lǐng)域，也是國家創(chuàng)新體系的重要組成部分。習近平總書記在中共中央政治局第八次集體學習時強調(diào)要“著力推動海洋科技向創(chuàng)新引領(lǐng)型轉(zhuǎn)變”，突出體現(xiàn)了中央對海洋創(chuàng)新領(lǐng)域的高度重視。

為貫徹落實黨和國家的重要戰(zhàn)略部署，國家海洋局積極推進國家海洋創(chuàng)新工作。在工作扎實推進的同時，也遇到一些困難：①尚未形成系統(tǒng)的海洋創(chuàng)新體系，難以深入分析我國海洋創(chuàng)新發(fā)展的現(xiàn)狀和問題；②尚難實現(xiàn)對我國海洋創(chuàng)新領(lǐng)域發(fā)展趨勢的定量化預測；③缺少對未來海洋創(chuàng)新戰(zhàn)略重點的布局。出現(xiàn)問題的原因在于：海量多源的海洋創(chuàng)新數(shù)據(jù)、難以預測的海洋創(chuàng)新行為、高度復雜的海洋創(chuàng)新環(huán)境，使得傳統(tǒng)海洋創(chuàng)新預測體系面臨嚴峻挑戰(zhàn)。當前，我國海洋創(chuàng)新數(shù)據(jù)應用局限于簡單的報表，海洋創(chuàng)新領(lǐng)域預測仍主要依賴“專家咨詢”和“問卷調(diào)查”等定性方法，缺乏對海洋創(chuàng)新大數(shù)據(jù)的深度挖掘，更缺乏系統(tǒng)的指標預測研究，給我國海洋創(chuàng)新領(lǐng)域發(fā)展趨勢的定量化預測和未來海洋創(chuàng)新戰(zhàn)略重點的有效布局造成一定的困難。

因此，有必要基于大數(shù)據(jù)思想，盡快探索構(gòu)建海洋創(chuàng)新指標預測方法體系：以分布式數(shù)據(jù)存儲系統(tǒng)Bigtable支持下的海量多源海洋創(chuàng)新數(shù)據(jù)為基礎(chǔ)，以基于國家海洋創(chuàng)新體系理論確定的海洋創(chuàng)新指標為對象，在MapReduce計算框架下探索預測海洋創(chuàng)新領(lǐng)域未來發(fā)展的整體趨勢、重點領(lǐng)域和關(guān)鍵技術(shù)的方法體系，為海洋創(chuàng)新總體規(guī)劃和海洋科技政策中的預測信息提供方法支撐。

1 國家海洋創(chuàng)新體系的構(gòu)建

國外對國家創(chuàng)新體系理論的研究始于20世紀80年代中期，隨后，該理論在發(fā)達國家的政策部門和學術(shù)界的影響迅速擴大。Niosi等[1]認為國家創(chuàng)新體系是指以促進本土科學技術(shù)創(chuàng)造為目標，由企業(yè)、大學、政府機關(guān)等主體相互作用構(gòu)成的一個體系。我國2006年出臺的《國家中長期科學和技術(shù)發(fā)展規(guī)劃綱要(2006—2020年)》將國家創(chuàng)新體系界定為：以政府為主導、充分發(fā)揮市場配置資源的基礎(chǔ)性作用、各類科技創(chuàng)新主體緊密聯(lián)系和有效互動的社會系統(tǒng)。

將國家創(chuàng)新體系理論引入海洋領(lǐng)域，國家海洋創(chuàng)新體系[2]是指通過政府、科研機構(gòu)、高校、企業(yè)等創(chuàng)新主體相互合作，進行促進全社會海洋創(chuàng)新資源合理配置和有效利用的活動，涵蓋涉海的科學研究、人才培養(yǎng)、產(chǎn)業(yè)發(fā)展、創(chuàng)新服務與管理等一系列內(nèi)容的系統(tǒng)。也就是說，其范圍主要包括：①創(chuàng)新主體，包括涉?？蒲袡C構(gòu)、高等學校和企業(yè)；②創(chuàng)新活動，包含海洋科技成果、結(jié)題課題、論文、專利、企業(yè)效益、社會效益、環(huán)境效益等；③創(chuàng)新環(huán)境，涵蓋宏觀社會制度環(huán)境與微觀個體觀念環(huán)境。

2 國家海洋創(chuàng)新指標研究

海洋創(chuàng)新是國家創(chuàng)新的關(guān)鍵領(lǐng)域，有效評估海洋創(chuàng)新以反映國家海洋創(chuàng)新的發(fā)展問題，對于實現(xiàn)創(chuàng)新型海洋強國具有重要的戰(zhàn)略意義和現(xiàn)實意義。海洋創(chuàng)新評估指標的選取是海洋創(chuàng)新評估工作的關(guān)鍵，對海洋創(chuàng)新評估的結(jié)果影響重大。

結(jié)合定義，為全面有效地反映海洋創(chuàng)新領(lǐng)域發(fā)展狀況，根據(jù)國家海洋創(chuàng)新體系的具體內(nèi)涵，選取擬預測的海洋創(chuàng)新指標見表1。

3 國家海洋創(chuàng)新指標預測方法研究

可將國家海洋創(chuàng)新指標預測方法分成傳統(tǒng)海洋創(chuàng)新預測方法和基于大數(shù)據(jù)思想的預測方法。

3.1 傳統(tǒng)海洋創(chuàng)新預測方法研究

傳統(tǒng)海洋創(chuàng)新預測方法主要應用于傳統(tǒng)指標預測和技術(shù)預見兩方面[3]。

在傳統(tǒng)指標預測方面，通常運用趨勢外推法進行預測[4]。其預測需基于指標測算結(jié)果，指標具體包括海洋科技進步貢獻率[5]、海洋科技成果轉(zhuǎn)化率[6]和海洋科技投入產(chǎn)出效率[7]。在測算方法上，科技進步貢獻率主要運用時滯灰色生產(chǎn)函數(shù)[5]和索洛余值法等[6]；科技成果轉(zhuǎn)化率主要運用綜合評價法和主成分分析法等[7-8]；科技投入產(chǎn)出效率主要運用數(shù)據(jù)包絡(luò)分析和柯布-道格拉斯生產(chǎn)函數(shù)等[9-10]。

表1 擬預測的海洋創(chuàng)新指標

在技術(shù)預見方面，主要方法是德爾菲法、情景分析和專家會議等[11]。

傳統(tǒng)海洋創(chuàng)新預測方法在實際工作中的局限性包括：

(1)定量難。我國海洋經(jīng)濟統(tǒng)計數(shù)據(jù)在完備性和銜接性上存在不足，無法為海洋創(chuàng)新指標的定量測算提供結(jié)構(gòu)化數(shù)據(jù)支撐。

(2)契合度低。由于創(chuàng)新領(lǐng)域的特殊性，海洋創(chuàng)新數(shù)據(jù)大多呈暴發(fā)性無序增長，而傳統(tǒng)預測方法只適用于有明顯趨勢性的數(shù)據(jù)。

(3)研究重點定位難。傳統(tǒng)預測得出的結(jié)果僅顯示相應數(shù)據(jù)的趨勢性增長規(guī)律，無法確定海洋創(chuàng)新的研究前沿和研究熱點，在對海洋創(chuàng)新發(fā)展戰(zhàn)略提供決策服務方面有效性不足。

3.2 基于大數(shù)據(jù)思想的預測方法研究

與傳統(tǒng)數(shù)據(jù)模式不同，大數(shù)據(jù)不再采用隨機樣本數(shù)據(jù)，而是全體數(shù)據(jù)。也就是說，大數(shù)據(jù)不用抽樣調(diào)查方法，而是對所有數(shù)據(jù)進行分析處理，大量、高速、多樣和價值被公認為大數(shù)據(jù)的四大特點。隨著大數(shù)據(jù)時代的到來，海洋創(chuàng)新數(shù)據(jù)類型和數(shù)量量級均發(fā)生巨大變化，對傳統(tǒng)的預測方法提出了挑戰(zhàn)。為解決此類問題，一些新技術(shù)、新方法應運而生，其中MapReduce以其良好的擴展性、容錯性和大規(guī)模并行處理的優(yōu)勢成為大數(shù)據(jù)處理領(lǐng)域的代表技術(shù)。MapReduce可以定義為一種用于大規(guī)模數(shù)據(jù)集并行運算的編程模型，分為Map(映射)和Reduce(規(guī)約)兩步。

(1)關(guān)于Map函數(shù)算法的研究。Map函數(shù)將數(shù)據(jù)映射到預先定義好的群組成類，主流算法有：決策樹，Bayes分析、神經(jīng)網(wǎng)絡(luò)、支持向量機等[12-15]。其中，神經(jīng)網(wǎng)絡(luò)主要處理數(shù)值型數(shù)據(jù)，Bayes分析主要用于基于已知先驗概率的情況下進行決策和推理，支持向量機更適用于小樣本。決策樹算法相比于以上算法，在處理非數(shù)值型數(shù)據(jù)上擁有顯著優(yōu)勢，可以在相對短的時間內(nèi)對大型數(shù)據(jù)源計算出可行且效果良好的結(jié)果。

(2)關(guān)于Reduce函數(shù)算法的研究。Reduce的算法主要有聚類分析、主成分分析、BP神經(jīng)網(wǎng)絡(luò)等[16-18]。其中，主成分分析是將多個變量通過線性變換以選出較少個數(shù)重要變量，BP神經(jīng)網(wǎng)絡(luò)能學習和存貯大量的輸入-輸出模式映射關(guān)系，聚類分析在處理大量的、不完全的、含有噪聲的數(shù)據(jù)中具有強大優(yōu)勢。

需要說明的是，實現(xiàn)MapReduce還需要HBase、Cassandra、Bigtable等非關(guān)系型數(shù)據(jù)庫支持。其中，Bigtable是Google開發(fā)的分布式數(shù)據(jù)存儲系統(tǒng)，在適用性、擴展性和計算性能方面具有較強優(yōu)勢。

4 國家海洋創(chuàng)新指標預測技術(shù)思路

在對我國海洋創(chuàng)新發(fā)展狀況深入分析的基礎(chǔ)上，確定擬預測的海洋創(chuàng)新指標，收集整理海洋創(chuàng)新數(shù)據(jù)，構(gòu)建Bigtable分布式數(shù)據(jù)存儲系統(tǒng)+MapReduce技術(shù)的大數(shù)據(jù)架構(gòu)，對海洋創(chuàng)新指標的預測方法及其應用進行研究(圖1)。

圖1 技術(shù)路線圖

技術(shù)路線可分為4個階段：①進行我國海洋創(chuàng)新發(fā)展現(xiàn)狀和問題研究，定義國家海洋創(chuàng)新體系，確定擬預測的海洋創(chuàng)新指標；②收集海洋創(chuàng)新指標所需數(shù)據(jù)，完善健全現(xiàn)有數(shù)據(jù)；③對數(shù)據(jù)進行整理和預處理，建立Bigtable分布式數(shù)據(jù)存儲系統(tǒng)；④綜合運用合適算法對海洋創(chuàng)新數(shù)據(jù)進行Map處理和Reduce處理，形成完善的海洋創(chuàng)新指標預測方法體系。

技術(shù)路線的核心在基于大數(shù)據(jù)思想的海洋創(chuàng)新指標預測方法研究部分，具體分成兩個方面：①數(shù)據(jù)收集整理與Bigtable數(shù)據(jù)庫構(gòu)建。收集海洋創(chuàng)新指標所需數(shù)據(jù)，并對數(shù)據(jù)進行整理和預處理，建立Bigtable分布式數(shù)據(jù)存儲系統(tǒng)，對海洋創(chuàng)新數(shù)據(jù)進行存儲和管理；②基于MapReduce計算框架的指標預測方法研究。針對各類非結(jié)構(gòu)化、非線性、無因果關(guān)系數(shù)據(jù)，基于MapReduce計算框架，形成一套系統(tǒng)的海洋創(chuàng)新指標預測方法，具體包括Map處理和Reduce處理兩方面。運用設(shè)定決策樹的最大高度來限制樹的增長或者設(shè)定每個節(jié)點必須包含的最少記錄數(shù)對決策樹算法進行改進，并通過改進的決策樹算法對海洋創(chuàng)新數(shù)據(jù)進行Map處理。根據(jù)數(shù)據(jù)類型不同，綜合運用BP神經(jīng)網(wǎng)絡(luò)和不同類別的聚類算法，對海洋創(chuàng)新數(shù)據(jù)進行Reduce處理，為海洋創(chuàng)新指標的預測奠定基礎(chǔ)。

Bigtable+MapReduce架構(gòu)下海洋創(chuàng)新指標預測最優(yōu)方法的實現(xiàn)是研究的難點。具體表現(xiàn)為：如何基于大數(shù)據(jù)思想，運用Bigtable分布式數(shù)據(jù)存儲系統(tǒng)有效地管理海量多源海洋創(chuàng)新數(shù)據(jù)？如何在MapReduce計算架構(gòu)下綜合運用合適算法對海洋創(chuàng)新數(shù)據(jù)進行Map處理和Reduce處理，實現(xiàn)并尋找到最優(yōu)算法？若能實現(xiàn)，將能為海洋創(chuàng)新總體規(guī)劃編制和海洋科技政策制定提供全面準確的預測信息，實現(xiàn)對我國海洋創(chuàng)新領(lǐng)域發(fā)展趨勢的定量化預測和未來海洋創(chuàng)新戰(zhàn)略重點的有效布局。

5 結(jié)束語

基于大數(shù)據(jù)架構(gòu)開展國家海洋創(chuàng)新指標預測有雙重意義。一是在學術(shù)方面，將MapReduce技術(shù)與海洋創(chuàng)新數(shù)據(jù)結(jié)合，探索海洋創(chuàng)新指標預測方法，可以建立起一套支撐海洋創(chuàng)新戰(zhàn)略制定的預測體系。二是在應用方面，通過Bigtable分布式數(shù)據(jù)存儲系統(tǒng)對海洋創(chuàng)新數(shù)據(jù)進行存儲和管理，深入分析多源數(shù)據(jù)，進行科學合理的海洋創(chuàng)新指標預測方法研究，實現(xiàn)對我國海洋創(chuàng)新領(lǐng)域發(fā)展趨勢的定量化預測，可以為海洋創(chuàng)新戰(zhàn)略和政策的制定提供決策輔助服務。

[1] JORGE N, SAVIOTTI P, BELLON B， et al.National systems of innovation: in search of a workable concept[J].Technology in Society，1993(15): 207-227.

[2] 劉曙光，丁麗君.海洋創(chuàng)新體系建設(shè)國際經(jīng)驗與借鑒[J].海洋開發(fā)與管理，2012，29(3)：63-66.

[3] Hajime Eto.The suitability of technology forecasting/foresight methods for decisionsystems and strategy A Japanese view [J].Technological Forecasting & Social Change, 2003：231-249.

[4] 王元地，潘雄峰，劉鳳朝.科技進步貢獻率測算及預測實證研究[J].商業(yè)研究，2005(5)：28-31.

[5] 魯亞運.基于時滯灰色生產(chǎn)函數(shù)的我國海洋科技進步貢獻率研究[J].科技管理研究，2014，32(12)：55-59.

[6] 趙蕾，林連升，楊寧生，等.綜合評價方法在中國水產(chǎn)科學研究院科技成果轉(zhuǎn)化率研究中的應用構(gòu)想[J].科技管理研究，2011，29(6)：42-45.

[7] 呂晨，曾明彬.基于DEA的中國區(qū)域科技投入產(chǎn)出相對效率研究[J].科學管理研究，2014，32(2)：101-104.

[8] 徐士元，何寬，樊在虎.基于浙江面板數(shù)據(jù)的海洋科技進步貢獻率研究[J].海洋開發(fā)與管理，2013，30(11)：111-116.

[9] 王黎明.福建省科技成果轉(zhuǎn)化評價研究[D].福州：福建農(nóng)林大學，2014：33-34.

[10] 孟慶軍，許蓮艷.基于C-D函數(shù)的高新技術(shù)產(chǎn)業(yè)科技投入產(chǎn)出效率分析[J].河北工業(yè)科技，2015，32(1)：17-21.

[11] 中國未來20年技術(shù)預見研究組.中國未來20年技術(shù)預見(續(xù))[M].北京：科學出版社，2007：27.

[12] 曹寧，高瑩，徐根祺.決策樹方法的研究[J].科技視野，2014(20)：72.

[13] 祝翠，劉煥彬.Bayes方法在學習效果評價上的應用[J].科技論壇，2014(1)：138-139.

[14] 孔玉靜，華爾天.基于神經(jīng)網(wǎng)絡(luò)的無線傳感器網(wǎng)絡(luò)數(shù)據(jù)融合算法研究[D].杭州：浙江工商大學，2013.

[15] 丁世飛，齊丙娟，譚紅艷.支持向量機理論與算法研究綜述[J].電子科技大學學報，2011，40(1)：3-10.

[16] 郭紅建，陳一飛.采用K-means聚類算法提高審計分析質(zhì)量[J].中國管理信息化，2015(1)：9-10.

[17] 張杰.基于主成分-聚類分析法的管道風險評價方法[J].油氣儲運，2014(2):139-143.

[18] 崔東文.多隱層BP神經(jīng)網(wǎng)絡(luò)模型在徑流預測中的應用[J].水文，2013(1)：68-73.

On the National Marine Innovation Index and Marine Innovation Forecasting Method Based on Big Data Architecture

LIU Dahai，LI Xiaoxuan，WANG Chunjuan，LI Xianjie

(The First Institute of Oceanography，SOA，Qingdao 266061，China)

Based on the theory of National Innovation System and the theory of big data, this paper explored the definition and scope of national marine innovation system. According to the specific contents of national marine innovation system, it put forward the national marine innovation forecasting indexes including foreign dependence of marine technology, marine equipment nationalization rate, the autonomization rate of marine key technology, the contribution rate of marine science and technology progress, marine science and technology transfer rate and so on. In addition, in the framework of Bigtable+MapReduce, it discussed the forecasting methods that were suitable for marine innovation index and explored the thought of national marine innovation index forecasting technology, which made attempts to establish the forecasting system for better marine innovation strategy-making.

Marine innovation index，Big data architecture， Forecasting method

海洋公益性行業(yè)科研專項經(jīng)費項目“海洋強國建設(shè)的評價體系研究及應用”(2014418029)；國家海洋局項目“海洋科技創(chuàng)新評估與預測研究”(A201547)；基本科研業(yè)務費專項資金項目“海洋科技創(chuàng)新戰(zhàn)略研究”(GY0214T08)；基本科研業(yè)務費專項資金項目“我國海洋創(chuàng)新評估體系及預測技術(shù)研究與應用”(2015T09)；國家海洋局項目“海洋科技創(chuàng)新指數(shù)及企業(yè)創(chuàng)新能力研究”.

劉大海，助理研究員，博士，研究方向為海洋創(chuàng)新政策研究，電子信箱：liudahai@fio.org.cn

李曉璇，碩士研究生，研究方向為海洋創(chuàng)新政策研究，電子信箱：lixiaoxuan@fio.org.cn

F204 ；P7

A

1005-9857(2016)03-0009-05