基于大數據分析的技術轉移平臺①

張 穎,管 震,蔣 浩

1(江蘇省生產力促進中心,南京 210042)

2(太倉中科信息技術研究院,太倉 215400)

3(中國科學院計算技術研究所,北京 100190)

1 引言

技術轉移平臺是一種用于輔助科技成果轉移落地的公共服務平臺,平臺以技術集成為主體,同時集成信息、資金、中介服務等多種技術成果轉移相關信息.技術轉移平臺實現了資源、資訊的聚集與服務的共享,同時通過企業和市場的需求來指導技術的發展和方向.“十三五”規劃以來,我國一直在深入貫徹落實《促進科技成果轉化法》等一系列的相關法律法規,我國經濟的發展以及科技與經濟的結合都離不開科技成果的轉移轉化[1].

目前,我國的技術轉移平臺主要分為民營性質平臺和國家、地方支持的公益平臺.截止2016年底,我國30個省(自治區、直轄市(除西藏))、新疆生產建設兵團和5個計劃單列市已經開始布局建立技術轉移示范機構,其中江蘇是擁有創新資源最豐富、技術轉移最活躍的省市之一,已建成45家技術轉移平臺[2].雖然擁有了大量的技術轉移平臺,但是平臺上的供需匹配卻并不高,文獻[3]中指出目前所有平臺上的供需數據只有約20%可以做到比較好的匹配,如何提升平臺供需數據的匹配率成為了各個技術轉移平臺的進一步建設方向.對此有許多新的技術轉移轉換的平臺建設方案被提出,如采用云服務環境建立技術轉移平臺[4],但是目前技術轉化率不高的問題依然存在.

近年來國內外對基于大數據分析的技術平臺進行了一些研究,基于大數據分析技術的平臺在各個領域得到的成功的應用,如文獻[5]中將大數據分析技術應用于氣瓶生產的安全進行管理.基于大數據分析技術的平臺其特點在于對數據的獲取、清洗、集成、分析和可視化等多個模塊通過松耦合的方法進行組裝[6,7],并實現傳統關系型數據庫無法解決的海量數據在線查詢的問題[8,9],從而讓平臺與業務更加的契合.因此,通過大數據分析技術設計并建立一個針對技術轉移轉換相關數據的數據管理平臺,可以有效地解決當前技術轉移轉率不高的問題.

2 需求與現狀

目前,大部分技術轉移平臺主要提供簡單的數據存儲以及查詢展示,并沒有將平臺上的海量數據的價值充分的發揮,科技成果的提供方與需求方之間的信息障礙仍然存在,并且嚴重阻礙了技術的轉移.以2016年為例,江蘇省全省高校專利授權19 848件,專利技術轉讓只有687件,僅占專利授權的3%[10].通過對多個技術轉移平臺的分析發現存在以下幾個問題:

1)大部分的技術轉移平臺的檢索條件都比較簡單,只是實現了常見的模糊查詢,并沒有對查詢條件以及各類資源信息準確的語法和語義上的分析,導致查詢結果不太容易準確匹配用戶需要.

2)技術轉移平臺中存儲的海量數據并沒有被充分利用起來,數據中存在的潛在價值需要被深入挖掘,例如用戶的瀏覽記錄、咨詢記錄等數據可以從中挖掘出用戶關心的資源信息,從而提高用戶查詢數據的效率,降低供需雙方間的信息壁壘.

3)沒有考慮到地理環境因素對技術轉移的影響.在實際的環境中技術的對接在很大程度上受到區域政治、經濟和地理位置等地理環境因素的影響[11].但是當前大部分的平臺中在資源匹配時并沒有考慮到這個因素.

此外當前各級區縣、地級市建立了大量的技術交易平臺,但相互之間的數據并不互通,導致數據分散、冗余,管理分析困難.為此江蘇省政府2018年提出要加強科技成果交匯[12]的政策,希望通過對科技成果數據的統一匯總、分析,實現科技成果的轉移效率的提升,加快地方科技與經濟的發展.

總結上述問題,新的技術轉移平臺系統需要滿足以下幾點需求:

1)搭建一個技術轉移相關資源的發布、展示、查詢和對接的平臺,能夠讓專家、企業、高校在平臺上發布各類與技術轉移相關的資源信息,包括技術成果、技術需求、專家團隊、技術專家等.對于這些資源系統能夠提供條件豐富的檢索功能,從而滿足用戶各個方面的查詢需求,此外能夠提供如智能提示等功能,對用戶的查詢進行一定的幫助和指引.

2)對系統中的資源數據實現數據深度挖掘,通過數據挖掘分析用戶行為和資源信息,分析用戶的相似性和資源信息的相似性,實現對用戶的定制化信息推薦,幫助用戶快速定位其需要的技術轉移資源,提高技術轉化的成功率.

3)對于所有的資源信息綁定其地區與位置信息,給用戶提供地區查詢功能,同時結合手機APP的實時定位功能,讓用戶能夠方便的查詢其附近的資源信息,解決地理環境因素對技術轉移的影響.

4)建立一個數據中心,通過Web API的方式實現數據互通.各級區縣、地級市的平臺數據可以通過Web API 將其平臺上的所有資源信息上傳至數據中心的數據庫中.同時各級區縣、地級市的平臺數據也可以通過Web API 獲取數據中心的數據挖掘結果以及數據查詢結果,從而降低各級區縣、地級市搭建平臺的復雜度.最終讓數據能夠統一匯總、分層下發.

5)數據采集與發布,使用數據采集工具從互聯網上采集各類與技術轉移相關的信息,如國家政策、新聞資訊等提供給各類用戶進行查看.數據采集完成之后能夠對采集到的數據進行智能化的清理,將數據整理成符合平臺數據庫格式要求的數據并自動入庫提供給用戶查看.

3 系統總體設計

目前常見的系統體系結構有C/S結構和B/S結構.B/S架構(Browser/Server,瀏覽器/服務器模式),是Web 興起后的一種網絡結構模式.采用B/S結構的系統其核心功能都集中在服務器上,用戶只需要通過瀏覽器即可與系統進行交互,十分符合本系統用戶分散的特點,因此本系統采用B/S結構.

隨著智能手機的普及,用戶越來越希望能夠通過智能手機來訪問系統,因此本系統除了像傳統B/S結構通過客戶端的瀏覽器與系統進行交互的方法外也提供了通過APP與系統進行交互的方式.

此外系統還提供Web API 給其他區縣、地級市的技術轉移平臺與本系統的數據進行互通,實現數據的統一匯總和分層下發.

數據采集服務器實現數據的采集并錄入數據庫服務器中.文件分布式服務器用于存儲系統的所有文件,如圖片、附件、全文索引等,從而實現邏輯業務與文件讀取的分離,提高平臺的吞吐量和可擴展性.大數據服務器提供大數據分析服務.系統物理結構圖如圖1所示.

圖1 系統物理結構圖

4 系統設計與關鍵技術

根據對技術轉移轉換平臺業務分析的結果技術轉移平臺系統整體被劃分為4個子系統,分別是業務子系統、采集子系統、Web API子系統和大數據分析子系統.在數據存儲方面平臺系統有3個數據存儲模塊,分別是關系數據存儲模塊采用MySQL數據庫,全文檢索引擎和大數據存儲管理.軟件結構示意圖如圖2所示.

圖2 軟件結構示意圖

4.1 業務子系統

業務子系統主體以微軟的.NET Framework 4.0為平臺,采用ASP.NET MVC 4的框架,將底層數據、業務邏輯與展示頁面進行有效的分離,從而降低系統的耦合性.此外,本系統在MVC的三層架構的基礎上采用面向接口的設計,通過控制反轉的方式實現系統中各個部件之間的解耦與動態調用.

數據訪問驅動層采用開源的ORM (Object Relational Mapping)框架petapoco.相比于其他的ORM框架,petapoco的優勢在于輕量級、高性能、低耦合、易擴展[13].但是原生的petapoco 并不支持對全文檢索引擎和大數據存儲的讀寫操作,為此平臺通過AOP的方法設計了一個數據轉換分發層,實現對petapoco的橫向擴展,從而實現對全文檢索引擎和大數據存儲的讀寫功能.

4.2 采集子系統

數據采集器采用網絡信息資源采集技術對互聯網上的數據進行采集,主要采集政策新聞類和科技成果類數據.

數據被采集后將先存入高速隊列中,然后由數據處理引擎對數據進行異步的處理然后入庫.數據處理引擎對數據進行兩個方面的處理:(1)除去多余的數據如html標簽;(2)根據數據庫結構提取每個字段的數據.

采集系統采集的數據不會直接進入業務子系統的數據庫中,而是存入采集子系統的臨時庫中,然后由人工對采集數據進行最終的篩選并轉入業務子系統的數據庫中.

4.3 Web API子系統

Web API子系統采用RESTful架構設計實現.RESTful架構的優勢在于其架構遵循CRUD 原則,可以通過統一資源標識符(Universal Resource Identifier,URI)來識別和定位資源,并且針對這些資源而執行的操作是通過 HTTP規范定義的,從而可以簡化開發[14].而返回的狀態和數據是通過HTTP 響應碼和JSON 這樣的統一規范來實現,因此能夠方便的給第三方系統進行調用.

在API的入口和數據庫查詢前分別設置了安全校驗層和SQL處理器.安全校驗層是為了保證Web API 請求的安全性,對于每一個申請Web API的用戶系統都會通過文獻[15]中的方法生成一個Token 用于驗證訪問的合法性,此外通過解析Token的方式定位本次請求的用戶身份,然后通過IOC (Inversion Of Control)的方式自動地去調用SQL處理器,通過對SQL的二次處理實現對該用戶數據訪問的權限控制.

4.4 大數據分析子系統

大數據分析系統定時從大數據存儲系統中提取數據并進行分析.分析操作主要分析文本相似性和用戶相似性兩種數據.

文本相似性分析是分析當前數據庫中所有文本數據的相似度并將計算所得的相似的數據寫回大數據存儲系統中,后期查詢相似數據時只要通過相似值進行排序查詢即可.

用戶相似行分析是通過用戶瀏覽信息、對接信息等操作信息對用戶的相似性進行分析,將用戶的相似性結果記入大數據存儲系統中.后期將相似的用戶間瀏覽的數據推薦給用戶.

4.5 關鍵技術分析

大數據分析:大數據分析采用TF-IDF算法[16]和協同過濾算法[17]來實現相似性推薦和用戶行為分析.具體步驟是首先通過TF-IDF算法從資源數據中提取出若干個關鍵字組成關鍵字向量,然后使用協同過濾算法計算兩個文獻關鍵字向量的余弦值得出兩個向量的相似度,超過指定閾值的將被判斷為相似.而當用戶瀏覽某個資源時,系統會顯示與其相似的其他資源.用戶喜好分析通過分析用戶最近的瀏覽記錄、對接記錄和查詢記錄來計算用戶的相似度,將相似用戶中的熱點數據推以郵件、短信和APP 通知的方式向用戶推送.

Lucene 搜索引擎:Lucene是一款高性能的、可擴展的信息檢索工具庫,其內核通過倒排索引的方式實現高效的全文檢索,此外通過配置分詞器和過濾器的方式可以方便地實現復雜的定制化功能,如同義詞檢索、智能提詞等[18].

SPATIAL索引:MySQL5.7 開始支持SPATIAL索引,通過這種索引模式可以實現對地理空間位置的查詢,能夠幫助手機端實現查看當前地理位置附件的信息的功能.

數據分區:MySQL的數據分區是將數據按照給定的規則分配在不同的數據文件中,這樣當查詢同一個分區的數據時可以提升查詢效率.平臺通過定時任務定時地對對接記錄、訪問記錄等數據量大的數據進行按時間的分區操作,這樣當用戶查詢最近的相關數據時能大大提升查詢的效率.

移動端技術:系統的移動端應用開發采用了Google的MVP (Model-View-Presenter)框架,從而實現模型與視圖完全分離,解決傳統移動端應用開發中Activity 代碼臃腫、耦合度高的問題[19].此外在移動端程序中還采用了Glide框架實現異步加載各類圖片文件以及RxJava框架優化HTTP 請求代碼和步驟,從而提升移動端程序的響應速度.

5 系統功能設計

根據需求設計出符合需求分析的系統,系統的主要功能模塊包括:用戶管理、對接管理、大數據分析、Web API 管理和系統管理五大模塊,系統整體功能結構如圖3所示.

圖3 系統整體功能結構示意圖

用戶管理模塊除了登錄、注冊外主要實現了用戶的角色申請和審核功能,用戶通過申請可以獲得不同的角色,每一個角色擁有不同的平臺權限.平臺中主要有7類角色,分別是專家、企業、高校、科技局、第三方服務機構和管理員.其中專家、企業和第三方服務機構是平臺的主要角色,可以上傳各類技術轉移資源并與資源申請對接.而高校、科技局和管理員是平臺的管理類角色,高校負責專家的審核管理,科技局負責企業的審核管理,而管理員負責對所有角色的用戶進行審核管理.

對接管理模塊實現了各類技術轉移資源信息的發布、查詢和對接的功能,平臺內將技術轉移資源分為了科技成果、技術專家、專家團隊、研發需求、技術服務五類.用戶可以向需要的資源發起對接請求,資源所有人收到請求并同意后就完成了一次技術轉移的對接.

基于大數據的技術轉移服務平臺對比其他相似的技術轉移平臺最大的區別有兩個方面:第一,通過大數據分析的方法將存儲在系統中的龐大數據信息充分的利用,通過系統分析加快對接目標的定位;第二,通過建立數據中心,采用Web API的方式匯總數據,解決數據冗余、分散的問題,并為大數據分析系統提供足夠的數據.

Web API 實現數據的統一匯總和分權查詢.匯總功能提供的插入和修改兩個接口,第三方系統調用接口可以實現數據的插入和修改.分權查詢功能提供了一個查詢的接口,當第三方系統調用接口時,接口將根據第三方提供的查詢條件返回查詢結果.第三方調用Web API 前需要提前注冊,系統會為其分配校驗的TOKEN,同時建立其數據訪問權限所對應的數據庫視圖.當調用查詢接口時,系統通過分析TOKEN 確定當前調用的第三方身份,然后調用其對應的視圖進行查詢,從而實現數據的分權查詢.

系統管理模塊實現系統日志記錄和消息推送功能.系統日志包括用戶的操作日志和異常日志.消息推送功能包括郵件發送、短信發送和APP 推送,并且為了提升消息推送的響應速率,系統采用消息隊列的方式實現消息的異步推送.

6 系統實現及應用

本系統采用C#語言開發,在.NET框架下完成系統功能開發,服務器采用Windows Servers 2012+IIS8,數據庫采用MySQL數據庫,整體采用B/S架構,客戶端向下兼容至IE8 瀏覽器,方便用戶跨平臺使用.

本系統目前已部署在江蘇省運行,為江蘇全省提供技術轉移對接服務,平臺各參與方可以自主完成技術需求和技術成果的對接,同時還能通過多種方式參與各種產學研活動、及時了解產學研資訊信息,通過移動端APP 用戶還可以隨時隨地參與產學研對接各環節.Web端的頁面展示效果如圖4所示,移動端APP的展示效果如圖5所示,其中右圖展示了基于地理位置的查詢和地圖展示效果.

圖4 Web端功能界面

基于大數據分析系統,用戶可以方便地進行智能檢索,且能根據用戶活動推薦其可能感興趣的數據資源,通過多種方式幫助用戶高效的實現技術需求和技術成果的對接.如圖6所示,在用戶進行檢索時,平臺會智能提示可能需要的查詢詞,檢索操作會同時對數據資源的正文和標題進行全文檢索,無需人工標引即可對信息源的完整內容進行匹配.如圖7所示,平臺可以根據用戶正在瀏覽的資源,提供與其相似的數據資源并推薦,還能根據用戶的查詢和瀏覽記錄分析其可能感興趣的數據資源并加以推薦,引導用戶發現自己所需的數據資源.

圖5 移動端APP功能界面

自平臺上線至今3年內已累計注冊了用戶5萬多人,其中專家有1萬多人,企業近2萬家,發布科技成果、技術需求等信息約6萬多條,有效對接次數8千余次,促使江蘇省的技術轉移對接率得到了大幅的提升.

圖6 全文檢索與智能提詞界面

圖7 相似推薦以及基于用戶興趣的推薦

7 總結

技術轉移困難是一個長期存在的問題,本系統依托于大數據分析,通過大數據挖掘充分分析用戶行為和資源數據,挖掘出系統中的資源和用戶的相似性信息,從而為用戶提供精確的信息推薦,幫助用戶快速定位其需要的資源信息,提高技術成果的轉化率.同時,通過全文檢索、智能提詞、地區位置檢索等查詢方式使用戶能夠更加方便地對技術轉移資源信息進行查詢.此外,通過Web API的方式實現平臺數據與各級區縣、地級市平臺數據的上下互通,從而讓數據能夠統一匯總、分層下發,從而解決技術轉移數據分散和冗余的問題.平臺自上線運行以來,目前在平臺上持續轉移落地技術成果并取得了一定的成效,從江蘇省的實踐可以看出,平臺對于技術轉移的促進以及對接效率的提升有著較大的幫助.