數據驅動模式下的科技資源生態系統精準服務

文/方少亮

1 數據驅動的背景

大數據是信息化發展的新階段，隨著信息技術和人類生產生活交匯融合，互聯網快速普及，全球數據呈現爆發增長、海量集聚的特點，對經濟發展、社會治理、國家管理、人民生活都產生了重大影響。IT時代的技術發展，降低了信息處理成本，事務處理更有效率。互聯網時代，主要解決了空間問題，降低了交互成本。大數據時代，聚焦在如何解決信息爆炸問題，如何降低尋找知識的成本。馬云在世界互聯網大會曾說過：第一次技術革命釋放了人的體力，第二次技術革命釋放了人的距離，這次技術革命將會釋放人的大腦。在信息時代，主要的模式為業務驅動，也就是通過業務特征→專家驅動→以人為主，屬于業務經驗型,關鍵的瓶頸就是人。而在數據時代，主要的模式為數據驅動，數據驅動意味著以數據為核心，將數據資產梳理清楚，對之進行集成、共享、挖掘，從而發現問題，驅動創新。數據是最客觀的，是最清晰的，數據能夠幫助管理者化繁為簡，透過復雜繁蕪的流程看到業務的本質，更好地優化決策。數據驅動的表現主要是數據特征→數據驅動→以數為主，核心解決的就是如何從數據中挖掘知識，降低尋找知識的成本。

2 科技資源生態系統

科技資源是指從事科技活動的人力、物力、財力以及組織、管理、信息等硬、軟件要素的總稱，它不僅包括儀器、設備等，還包括實驗材料、實驗方法、科學實驗數據和科技人才。科技資源生態系統指在一定的空間內，科技資源與各種創新主體構成的統一整體，在這個統一整體中，科技資源與各創新主體之間相互影響、相互制約，并在一定時期內處于相對穩定的動態平衡狀態。創新主體可以包括科技資源的擁有方、服務方、需求方等，具體可以是高等學校、科研院所、企事業單位、創新創業團隊、孵化器等主體。隨著我國科技創新投入不斷增加，科技資源總量不斷增長，科技資源的分布也逐漸出現分布不平衡、利用不充分、供需不對接等問題。如果能通過數據衍生新的業務模式，可以提高科技資源利用率，科技資源需求方能更精準找到擁有方，科技資源生態中各創新主體，如科研人員、科技資源、平臺、企業，可以通過數據來驅動主體之間的協同。然而，現階段科技生態系統還尚未形成相互促進、相互繁榮的局面，生態系統內的數據鏈并未真正連接，生態化水平還有待提高。主要體現在：

（1）數據量過于雜亂龐大，無法從眾多數據中挖掘有效數據，進行數據與業務的相關性分析。

（2）生態系統內數據未經梳理，各領域跨度較大，難于促成供需雙方的有效銜接，導致科研成果轉化困難、專家人才與資源相互脫節等問題出現。

（3）各數據鏈接弱關聯，數據過于分散不適合中心化，各服務平臺相互獨立，數據驅動過程較為困難。

3 建立科技資源數據工廠

針對上述問題，本文引入數據工廠的概念和方法，將從事科技活動的人力、物力、財力以及組織、管理、信息等硬、軟件要素和儀器、設備、實驗材料、實驗方法、科學實驗數據和科技人才等復雜龐大的數據進行數據精煉，形成統一的數據場景，包括數據模型、指標體系、數據標簽和算法特征。科技資源數據工廠為用戶提供一站式的科技資源生態系統精準服務，讓用戶通過實時數據匯聚、智能數據精煉、數據服務三個步驟輕松完成科技資源數據資產沉淀和對外服務，幫助用戶降低尋找科技資源的成本、挖掘科技資源數據價值、提高科技資源的利用率。

3.1 科技資源數據工廠設計

科技資源數據工廠的設計，主要包括數據對象設計、數據對象開發、元數據獲取和管理、數據質量管理、基于元數據血緣圖進行數據處理任務調度等模式和內容。

數據對象設計。通過將開發過程中共性化的、技術化的操作固化在數據工廠中，將個性化的、業務化的信息開放給開發人員填寫，從而構建數據處理過程從數據輸入（外部表）、數據加工、到數據輸出（明細數據、報表）各環節的開發模板，并且能夠根據業務變化進行動態調整；系統管理員可制定管理規范、技術規范，將規范固化在開發模板中。

數據對象開發。通過可視化的標準IDE環境進行數據對象開發，開發模板由數據對象設計后自動生成，開發人員只需按模板填充相關的業務元數據和技術元數據即可完成開發，技術代碼由平臺統一實現。

元數據獲取和管理。模板化的開發使得開發過程即為填寫元數據的過程，如果元數據未填充或填充不完整，平臺可以不允許開發人員提交，達到元數據強制前向獲取。

數據質量管理。通過開發框架提供的數據對象設計功能，在設計階段即對數據在哪個階段需要進行哪些質量檢查進行定義，設計好的數據質量檢查要求會固化在開發模板中，可強制開發人員必須填寫，并作為開發的一部分并落實到數據處理過程，規則出錯可中斷調度運行。

基于元數據血緣圖進行數據處理任務調度。通過可視化的標準IDE環境，開發人員開發生成了程序任務和元數據信息，平臺可通過任務的元數據信息自動生成任務的元數據血緣分析圖，并將此元數據血緣圖的依賴關系作為調度的邏輯，形成基于元數據血緣圖的調度。

3.2 建立實時試錯的數據探索環境

基礎數據準備完成之后，數據分析師可基于已有的數據進行數據探索，探索的結果如果滿足需求，可固化為數據生產線，進行日常調度加工。數據分析師在數據探索過程中缺乏的數據加工能力，可自行進行數據加工能力的設計，并提交給IT技術人員進行實現，主要包括數據語義化、數據加工組件化、數據探索的實時試錯、探索結果固化等環節。

數據語義化：從數據申請開始，提供數據申請能力，數據分析師可在數據工廠中選擇需要進行數據分析或探索的數據。對于待分析的數據，可通過查看數據或其他用戶對該數據的定義，理解數據的作用，并定義自己的數據語義。數據語義化之后，數據分析師在做數據探索時，可通過搜索功能，直接找到自己需要的數據。

數據加工組件化：加工組件采用業務模型驅動的設計和開發方式，組件為數據加工的具體能力，將加工能力組件化之后，不懂技術的用戶，只需填寫相關業務信息，便可完成指定的數據加工。組件通常由數據分析師進行設計，IT技術人員進行開發實現。組件設計完成后，通過數據工廠，直接轉換成開發模板，開發人員根據模板，完成組件開發，數據分析師可在數據探索過程中，直接使用該組件。

數據探索的實時試錯：數據語義化和加工能力組件化之后，數據分析師可在數據工廠提供的數據探索設計區，通過拖拉、配置的方式，進行數據的探索。組裝數據生產線后，可直接進行數據的加工分析，并進行數據結果查看。

探索結果固化：對于數據探索的結果，如果滿足業務需求，可固化為生產線，進行日常調度生產。

4 生態系統精準服務

通過建立科技資源數據工廠，有效對數據進行整理和分析，但對于科技資源生態系統來講，還存在各領域跨度較大、難于促成供需雙方的有效銜接的問題。通過混合數據源融合檢索，面向公眾提供全面深入的檢索服務；研究供需對接技術，面向交易主體提供對接服務；研究精準推薦技術，從信息層面實現精準推送。從而多方面促進生態系統服務的精準高效化，促進科研成果轉化、解決各科研人才、企業與資源精準對接和服務等問題。

4.1 混合數據源融合檢索方法

基于混合數據源融合的資源檢索方法將不同來源的科技資源數據通過數據清洗、歸一化處理、特征提取等方式進行多源數據集成，然后根據不同的特征維度進行分層次的相似度排序，最后根據用戶行為進行混合排序，最終達到智能檢索的目的。在具體實現方面，首先構建資源庫，將資源庫由各地區資源共享平臺所匯聚的NOSQL與SQL數據庫資源和通過網絡爬蟲所獲取的深網數據構成。針對深網數據源，進行ICTCLAS分詞，去停用詞，形成文本組合，每項文本具有來源類型標識。針對數據庫資源，進行字段內分詞、多字段組合、去停用詞，形成文本組合。然后將兩類數據存入二次數據庫，以供后續的檢索，提交檢索效率，當最新數據添加時，進行增量存入二次數據庫。根據檢索詞與文本相關性進行分層排序，按領域、地域、行業等特征維度進行分層計算，分別得到各層面的排序后文本集合，進行特征維度分層檢索。將各層次的排序結果列表進行智能混合排序，根據用戶行為，分析各維度的重要性，按權值比重進行，基于cookie的混合排序，得出最后的檢索結果。

4.2 供需對接技術

基于用戶數據（用戶行為、用戶需求、用戶類型特征）的科技資源供需對接技術，重點在于供需雙方的需求內容分析。首先通過科技資源供需雙方基本特征實例建立科技資源語義分析索引，該索引運用了科技語義分析方法，該方法遵從一般的學科分類方法，以學科類別為基礎，對應用領域、硬件條件、成果轉化能力等描述性信息用自然語言處理方法，將表面的研究方向、領域類別與深層的科技資源數據信息相對應，將深層信息關聯起來建立一套科技資源語義分析索引；然后，根據科技資源語義分析索引及供需雙方特征數據模型分別對供需雙方建立經驗模型，該模型旨在構建供需需求數據庫并對科技資源語義分析索引進行深度優化，同時，隨著供需雙方基礎的不斷擴充，科技資源語義分析索引不斷完善，需求經驗模型深度不斷增大，使得模型更加符合供需用戶的需求思維習慣。

除了用戶需求內容之外，還需針對用戶類型進行分析，完成用戶在科技資源供需對接中的角色定位。首先，根據用戶基礎數據對用戶進行分類，將用戶基礎數據按照數據屬性進行分類，對不同屬性的數據進行聚類分析，得到用戶數據特征值，對聚簇進行線性回歸分析得到不同特征值對應權重，根據特征值及權重構建用戶基礎分類模型；其次，對用戶的行為進行分析，用戶行為分析方法是一種基于互聯網的日志抓取分析方法，分析的結果反饋給用戶數據庫，通過多元模糊評價方法對特征進行細分，并對不同用戶的特征權重進行調整，增強用戶數據庫的伸縮性。這樣通過兩方面分析得到的結果建立用戶特征模型，該模型包括科技資源分析索引、需求特征匹配模型、用戶角色定位方法、用戶習慣分析模型等。在實際應用中，可以根據應用場景、業務類型為每個用戶定向構建用戶畫像，以便快速完成供需用戶匹配。通常，在科技資源供需對接中，需要了解供需雙方的基本信息及資源供求匹配度，根據用戶角色類型分別為供需雙方進行定位，其次再進行資源對接。比如，供需雙方用戶發起資源對接請求，從用戶特征庫及日志特征庫中查詢相關用戶信息，查詢成功則完成用戶特征匹配進而完成供需資源對接；若查詢失敗，則請供需雙方提供用戶信息以查詢相似用戶特征，進而完成用戶匹配及供需資源對接工作。

4.3 精準推薦技術

基于上述用戶特征模型及科技資源語義分析方法構建供需對接索引，該索引是以用戶特征為核心，將供需雙方的特征關系相匹配，以此為基礎，根據需求經驗模型得到科技資源與供需用戶特征的關系，從而建立供需對接索引。為了更好的完成科技資源搜索與推介，首先，根據供需對接索引、用戶類型特征庫、用戶需求特征庫、科技資源關鍵詞庫、科技資源特征庫建立科技資源搜索方法，該搜索算法在進行資源查找時首先要進行需求匹配及用戶角色定位，根據用戶角色及需求匹配度完成用戶特征與科技資源匹配，完成科技資源搜索。同時根據用戶搜索行為及匹配結果建立供需匹配評價模型，用于優化供需對接方法。其次，根據用戶行為特征及用戶類型建立科技資源推介算法，用于科技資源定向推介。

5 應用前景

從科技生態系統中數據產生與匯聚層、數據組織與管理層、數據分析與發現層、數據應用與服務層進行關鍵技術的研究，以數據驅動為核心，采用工廠化數據處理和管理模式，采用工具化、流程化、自動化的手段開展數據處理和管理活動，推動傳統的技術基礎設施平臺向生態系統精準服務平臺轉變；采用精準推薦技術和供需對接技術促進生態系統的精準高效化。本文的研究將服務于國家大數據戰略，研究成果主要應用于科技創新與服務領域，科技行業的發展與眾多領域、行業息息相關，科技創新將各行業主體緊密關聯，通過科技+人才/企業主體+科技金融構成了創新服務的生態系統。研究成果將有效促進我國科技資源擁有方與科技資源需求方的精準對接，降低科技創新活動中尋找科技知識與需求的成本，精準快速的實現科技資源的供需對接。研究成果應用于科技資源共享服務平臺，有助于資源平臺更好地為中小微企業科技創新活動提供資源與技術服務，為青年科技工作者、科研院校等的科研工作提供基礎支撐，為政府科技資源配置提供數據支撐，為社會民生發展提供科技資源專題化服務。