蘇 文 劉 昂 劉 峰 郭學兵 唐新齋 何洪林
1(中國科學院地理科學與資源研究所生態系統網絡觀測與模擬重點實驗室 北京 100101)2(中國科學院計算機網絡信息中心 北京 100190)
基于云服務的生態臺站科技資源管理與服務系統研究
蘇 文1劉 昂2劉 峰2郭學兵1唐新齋1何洪林1
1(中國科學院地理科學與資源研究所生態系統網絡觀測與模擬重點實驗室 北京 100101)2(中國科學院計算機網絡信息中心 北京 100190)
針對國家生態系統觀測研究網絡原有臺站信息系統存在的問題,綜合考慮系統的先進性、可維護性、可擴展性和云服務特點,提出一個以云服務端與本地端相結合方式構建系統的臺站科技資源管理與服務信息化解決方案,構建了一個集信息發布、資源服務、系統管理等功能于一體的臺站資源管理與服務系統。詳細論述系統的總體架構、功能設計、數據庫設計以及實現的關鍵技術等。該系統已在國家生態系統觀測研究網絡的51個臺站進行了應用,提高了臺站科技資源管理與服務的水平和效率,促進了臺站科技資源管理與服務能力的提升。
云服務 生態臺站 科技資源 國家生態系統觀測研究網絡
國家生態系統觀測研究網絡CNERN(Chinese National Ecosystem Research Network)由51個國家生態臺站、1個國家土壤肥力站網、1個國家種質資源圃網和生態網絡綜合研究中心(簡稱綜合中心)組成[1],2011 年通過科技部、財政部組織的績效考核與認定后,由以資源建設為主轉向以運行服務為主,從服務科研創新向全面服務科技、經濟和社會發展轉變[2-3]。在過去的幾年中,CNERN主要通過加強信息化建設來提高服務能力和水平,建成了CNERN 門戶網站和分布式數據資源共享信息系統[4],包括綜合中心數據信息系統和臺站數據信息系統。臺站是開展生態學長期定位監測、試驗和研究的基本平臺[5],是CNERN對外提供服務的主體。部署在CNERN臺站的臺站數據信息系統是臺站主要的對外服務窗口,主要實現了臺站觀測、研究數據的集成、管理與共享服務,對提高臺站科學數據的共享程度發揮了一定作用。隨著整合資源和用戶數量的不斷增加,對臺站信息系統的服務功能、方式、質量與效率等提出了更高的要求,需要為用戶提供更加精準、便捷、持續、有效的服務[6]。原有臺站信息系統在服務資源、服務能力、服務效率等方面存在一些亟待解決的問題,主要體現在以下方面:
1) 服務資源單一
臺站信息系統一直以來主要關注科學數據的共享,服務內容限于長期觀測數據和部分科學研究數據。除了數據資源,臺站還擁有實物資源、科技成果資源、人才資源等,這些科技資源對于開展聯網觀測、研究具有廣泛的用途及重大的價值,一直未進行系統地管理與服務,沒有充分發揮其功能與作用。
2) 系統功能不夠完善
服務內容的有限性決定了系統的功能主要集中在科學數據的存儲、管理和檢索,缺少臺站服務業務流程化必需的一些功能,包括各類資源展示、訂單管理、用戶評價、服務信息登記、宣傳與科學普及等。
3) 系統運維技術支撐相對薄弱
目前負責臺站信息管理與服務工作的人員主要具有生態研究、觀測與試驗等方面的專業背景,缺乏計算機、網絡、數據庫管理方面的專業知識與經驗。由于臺站普遍缺乏專業軟件開發和硬件維護人員,技術支持不到位,在系統因計算機病毒、網絡攻擊等出現故障時不能及時排除,在一定程度上難以保證系統持續、穩定運行,提供不間斷的資源服務。
4) 與其他相關信息系統融合度不足
CNERN綜合中心在過去的幾年中針對不同的業務需求建立了不同的信息系統,以解決臺站信息收集、元數據收割等問題,但由于缺乏統一規劃,臺站系統與綜合中心的系統多為獨立的系統,彼此間缺乏有效聯動,存在用戶重復登錄、數據多處填報、發布信息不一致等問題,用戶體驗不夠友好、資源利用共享率較低,也造成了一些“信息孤島”。
當前云計算和面向服務的體系結構SOA等新興技術快速發展,信息系統的硬件資源與軟件資源越來越多地以服務的形式,按照用戶需求,可靠、高效地動態提供給用戶[7]。云計算的興起與云服務的發展,為解決上述問題提供了全新的思路。本文借鑒“云+端”的思想,采用云—端結合的方式設計臺站信息系統,使系統功能從“數據的管理與服務”提升到“資源的管理與服務”,全面支撐臺站科技資源管理與服務的各項業務需求,提高臺站科技資源管理與服務的能力與效率。
1.1 系統總體設計
基于“云服務”的臺站資源管理與服務系統改變傳統信息系統建設模式,利用綜合中心私有云,充分考慮系統的先進性、安全性和可擴展性,基于簡單化、模塊化、松耦合的構建原則,采用云—端結合的構建方式,將本地端和云服務端的功能和資源集成在統一平臺上,實現臺站各類科技資源的整合與共享。建立集信息發布、資源服務、系統管理等功能于一體的“一站式”、“自助式”綜合管理與服務系統,既滿足臺站提升科技資源管理水平、服務質量的需求,又滿足相關行業、社會公眾等對臺站各類資源的廣泛需求。系統總體設計架構如圖1所示。

圖1 臺站資源服務系統總體技術架構
1.2 云服務端設計
在云端,立足CNERN科技資源的全生命周期管理, 以提升資源利用效率為目的,面向科技資源的整合、管理、服務等環節,將可用的基礎設施資源、數據資源、軟件資源等資源進行整合,形成統一管理的資源池。當有業務系統需要上線時,只需提出需求,便可以從資源池中獲取所需的各種資源[8],從而實現IaaS、PaaS和SaaS等多種服務。
云端主要提供的服務資源包括:
1) 核心數據資源
以CNERN的資源標準規范體系為基礎,每年通過CNERN信息匯交系統(http://dc.cern.ac.cn)統一收集實物資源信息、成果資源信息、人才資源信息和元數據,形成規范化的信息資源。這些信息資源既是CNERN主要對外服務資源的統一描述信息,也是臺站績效考核的基礎數據。
2) 通用功能資源
將用戶認證、信息采編、訂單管理、服務信息管理等關鍵業務應用以進行封裝或提供公共程序接口的方式實現功能共享,支撐相關業務系統的快速部署,減少開發與維護成本。
其中,用戶認證服務提供統一用戶管理,實現單點登錄,并對外提供標準接口,允許其他應用程序調用。信息采編服務實現信息的錄入、編輯、發布一體化、自動化,支持采編信息的獨立審核與管理。訂單管理服務主要實現對各類資源訂單的查看、審核、處理等功能。服務信息管理服務主要提供對各類資源服務信息的查看、修改和刪除等功能。
3) Web服務器資源
通過虛擬機技術,構建功能齊全,可像“真實”計算機一樣運行的虛擬機[9]作為臺站的Web服務器,部署臺站資源管理與服務系統。每個虛擬機具備完整的硬件環境,包括CPU、內存、I/O 設備等,具有自己的操作系統和應用程序。臺站用戶能夠運行相關應用程序而不需要管理任何基礎設施。
1.3 本地端設計
臺站資源管理與服務系統本地端主要實現與系統獨立性、個性化相關的功能,并建立本地數據庫,存儲臺站系統各項功能所涉及的數據。
1.3.1 功能設計
本地端主要實現資源服務、成果展示、資源信息管理、權限管理、界面定制等功能。
資源服務主要提供實物資源、數據資源的瀏覽和多方式查詢與檢索功能。
成果展示功能實現科研成果、在研項目等信息的發布。
資源信息管理包括元數據管理、字典管理和數據管理三個子功能。元數據管理主要對元數據表進行查詢、輸入和刪除等操作;字典管理主要實現字典模板下載、數據字典添加與刪除、字典表內容導出等功能;數據管理主要提供通過頁面填寫或Excel導入方式進行數據添加;對已入庫數據進行查詢、修改、刪除、導出等功能。
用戶管理主要是對經過統一認證的用戶進行權限分配,基于不同的角色,賦予用戶對本系統相關功能的操作和數據獲取的權限。
界面定制主要通過樣式管理,包括整體風格、頂部樣式、底部樣式等的設置和修改,實現系統界面的個性化設定。
1.3.2 數據庫設計
根據數據種類、來源,綜合考慮數據維護、應用等方面需求,系統數據庫由元數據庫、觀測與研究數據庫和資源數據庫組成。
1) 元數據庫
由元數據表、數據字典表和采編信息表構成。
元數據表主要是依據生態學元數據標準創建,包括數據分類表、實體分類表、實體信息表等,用來存儲觀測與研究數據的類型名稱和類型編碼信息,數據實體的類型、概要描述、詳細描述等。數據字典是描述數據庫中各數據屬性與組成的數據集合[10],數據字典表記錄存儲在本地數據庫中數據實體的字段描述信息。這兩部分數據在本地端添加。
采編信息表包括采編欄目表和采編內容表,存儲欄目名稱、級別等系統欄目相關信息和采編文章的標題、內容、發布時間等信息。這部分數據通過實時數據同步從云端信息采編服務中獲取。
2) 觀測與研究數據庫
主要包括臺站按照CNERN監測指標體系和操作規范進行觀測和分析獲取的水分、土壤、大氣、生物等學科的聯網觀測數據,臺站獲取的長期觀測調查與試驗數據,以及臺站開展各類科研項目產生的研究數據等。數據通過本地端數據導入功能入庫。
3) 資源數據庫
分為實物資源、科技成果資源、人才資源三類。實物資源表主要包括樣地信息表、樣品(包含土壤樣品、植物樣品、其他樣品)信息表、標本(包含植物標本、動物標本、土壤剖面標本、其他標本)信息表、儀器設備信息表、觀測設施信息表、基礎設施(包含建筑類設施、線路類設施、車船類設施)信息表等。科技成果資源表包括科研項目信息表、成果(包含專著 、專利、標準、咨詢報告、獎項、軟件著作權、示范模式等)信息表、合作交流(學術互訪、承辦會議、科普教育等)信息表。人才資源表包括高級人才信息表、人才培養信息表、臺站人員信息表等。數據通過定時數據同步從云端保存到本地。
1.4 云—端結合的功能設計
通過整合本地端和云服務端的功能與資源,構建完整的系統功能框架,以實現信息發布、資源服務與系統管理等功能。
1.4.1 系統功能結構
臺站資源管理與服務系統面向四類用戶:系統管理員、數據管理員、注冊用戶和普通用戶,提供前臺、后臺兩部分功能。前臺是臺站對外宣傳與服務的窗口,全面展示臺站觀測、研究、示范等各方面的進展和成果,為注冊用戶和普通用戶提供多樣化的資源服務;后臺則是數據管理員、系統管理員進行信息管理、系統管理的平臺,幫助臺站信息管理人員方便、靈活地完成各項管理工作。系統功能模塊結構如圖2所示。

圖2 系統功能結構圖
1.4.2 系統功能特點
(1) 統一的用戶身份認證。用戶登錄后,可以直接訪問綜合中心和其他臺站的系統,有效解決了用戶“多個網站,多個帳號”的問題。
(2) 靈活的欄目管理。欄目管理功能模塊采用欄目內容樹的形式將所有欄目信息列出,直觀且便于管理。欄目分為統一規劃欄目和自定義欄目兩類,統一規劃欄目由CNERN設定,便于有關信息的采集。這類欄目不能刪除和修改,可以通過“禁用”方式,使其不在前臺顯示。自定義欄目由臺站根據本站情況自行添加、修改、刪除。這樣既能體現CNERN統一規劃的思想,又能體現臺站的個性化。
(3) 可定制的信息自動推送。通過添加、修改本系統欄目與綜合中心的網站或其他相關網站欄目的對應關系,實現發布信息自動推送到相應網站,從而實現信息的“一次采編,多處使用”。
(4) 多樣化的資源服務。通過“訂單式”服務模式,進行數據資源“線上申請,線上服務”、實物資源“線上申請,線下服務”。用戶可以先將感興趣的資源加入資源車,再根據需求生成訂單。
(5) 便捷的數據入庫方式。數據管理模塊提供了一個基于工作流的Excel數據導入功能,方便將數據存入數據庫。具體流程為:上傳文件、設置輸入數據范圍、檢查輸入數據有效性、導入臨時庫、根據設置的檢驗規則對臨時入庫數據進行檢驗、導入正式庫。
2.1 云-端數據同步
云-端數據同步可以保證臺站資源服務與管理系統和核心數據資源庫內數據保持一致,便于統一對外提供服務。云端與本地端的數據同步主要通過Hessian 協議實現。Hessian協議是一種基于Http 的遠程調用技術,使用二進制協議進行通信。與現在常見的RMI、Burlap、Httpinvoker 等遠程處理技術相比,它具有精簡輕便、數據傳輸快、帶寬利用率高、跨平臺集成等優勢[11-12]。
在具體的實現中,將臺站系統端的數據輸入接口封裝為Hessian服務,當進行數據同步時,云端提取核心數據資源庫中臺站的相關數據,調用臺站系統端的Hessian服務,發送數據。臺站系統端得到數據后,寫入本地數據庫,如圖3所示。

圖3 基于Hessian協議的數據同步與推送模式
云端數據提取與封裝流程:
提取臺站的站代碼,獲取數據最新更新時間;
根據站代碼、數據更新時間讀取核心數據資源庫;
順序讀取數據庫內各個數據表;
為每條數據生成一條SQL語句,發送給臺站端服務接口。
本地端數據同步過程:
接受到云端發送的SQL語句后,判斷是否是新數據;
如果是新數據,記錄最新更新時間;
執行SQL語句進行插入,并返回執行結果。
2.2 數據字典驅動的數據管理功能實現
系統面向臺站信息管理員,采用數據字典技術,開發操作靈活、簡單的數據管理工具,使使用者不需要掌握過多的數據庫專業知識,只要了解自己的數據,便可以實現相應的數據管理目標。
系統基于傳統數據字典的設計思想,采用數據驅動的方法進行相應功能的設計,通過對數據字典模型的改造,將數據管理所需要各種信息匯總到一張表中,使數據與以數據操作為核心的功能聯系起來。數據字典表結構如表1所示。

表1 數據字典表

續表1
該數據字典表由16個字段組成,主要反映數據表兩個方面的內容:① 表的基本信息,包括表名、字段名稱、字段類型、字段長度、字段小數位、必填項、主鍵、填報說明或備注等;② 表的顯示信息,包括概要顯示項、查詢項、排序項等。
通過構建基于數據字典的數據管理功能驅動引擎,以數據字典模版為輸入,最終實現數據管理各項功能的高度定制化。實現的整體邏輯結構如圖4所示。

圖4 數據字典驅動的數據管理功能實現模型
數據字典模版與數據字典表結構相對應。
數據字典驅動引擎包括數據字典設置器和數據字典控制器兩部分,其中數據字典設置器負責分類存儲數據字典模版相關數據結構信息和控制信息,詳見表2所示;數據字典控制器負責根據設置器的設置完成相關信息展示及功能的控制,詳見表3所示。

表2 數據字典設置項分類說明

續表2

表3 數據字典控制項分類說明
用戶只需下載數據字典模板(Excel文件),根據數據的實際情況,按照要求填寫字典相應內容,再將數據字典上傳到系統,系統能夠自動實現以下數據管理功能:創建各個數據表;Excel文件導入時進行表頭對比與數據自動入庫;自動生成數據錄入、瀏覽與檢索的Web頁面等。
依據上述設計與關鍵技術,選用SQL Server作為后臺數據庫, Tomcat為服務器,基于Spring MVC+Spring+Spring Data技術框架,通過Java、Jsp開發了基于云服務的CNERN臺站資源管理與服務系統,并在51個臺站進行了應用。用戶通過Internet 可以訪問系統。系統部分頁面見圖5、圖6和圖7所示。

圖5 系統首頁

圖6 信息自動推送

圖7 后臺管理子系統功能頁面
圖5以桃源站為例展示了臺站資源管理與服務系統的首頁。首頁主要展現系統的主體內容,包括:通知公告、綜合新聞、科研動態、服務動態等各類信息;實物資源、數據資源、示范模式等服務鏈接;論文、專利、科研項目等科研成果以及臺站自然風光等。從首頁可以看出,臺站資源管理與服務系統為一綜合性系統,具備表現多類型信息、提供多元化服務的功能。
圖6顯示,貢嘎山站在本站系統發布的一條新聞自動推送到CNERN綜合門戶、中國森林生態系統觀測研究野外站聯盟門戶等不同的網站上展示,表明系統實現了與多個相關系統的互聯互通,增強了系統間的自動化交互。
圖7是禹城站資源后臺管理子系統頁面。該子系統集成云端和本地端的各項管理功能,實現了信息管理、系統管理與服務管理等功能,為用戶帶來便捷、實用的應用體驗。
(1) 臺站資源管理與服務系統在整體設計上,綜合考慮了系統的先進性、可維護性、可擴展性和云服務的特點,提出了一個緊扣臺站資源管理與服務需求、以云服務端與本地端相結合方式構建系統的臺站科技資源管理與服務信息化解決方案。在實現資源和功能的最大化共享、重用的同時,保證了系統的獨立性和個性化。
(2) 在系統開發上,采用云計算Paas、SaaS模式,構建基于互聯網的通用功能應用服務,方便解決相關功能管理、應用、升級等方面的問題,同時支持未來多項業務應用的快速搭建與部署。
(3) 在功能實現上,系統不只局限于科技資源的展示與服務,還兼顧信息采編、數據管理、訂單管理等功能,并以用戶統一認證、數據同步與推送等功能為依托,實現了臺站各類信息的“一次采編/匯交,多處使用”。
(4) 在系統建設與維護上,利用虛擬機為臺站提供Web服務器,臺站不再需要購置服務器,節約了硬件資源投入,同時也使臺站人員能夠從繁瑣的系統日常維護工作中解脫出來,專注于科技資源的收集、管理、分析與服務。
基于云服務的臺站資源管理與服務系統采用一種非傳統的信息化方案,解決了以往CNERN臺站信息系統服務內容單一、與其他應用系統交互與融合度差、基礎設施維護成本高等問題,全面支撐了臺站科技資源管理與共享、信息發布與傳播等各項業務需求,提高了臺站科技資源管理與服務的效率,促進了臺站科技資源管理與服務能力的提升。
[1] 中華人民共和國科學技術部.國家生態系統觀測研究臺站網絡建設項目通過驗收[J].北京農業,2009(30):45.
[2] 劉潤達,褚文博,諸云強.國家科技基礎條件平臺運行服務階段關鍵問題探析[J].現代情報,2012,32(11):51-53,57.
[3] 許東惠,呂先志,袁偉,等.國家科技基礎條件平臺運行服務績效考核指標體系研究[J].中國基礎科學,2013(1):40-43.
[4] 中國生態系統網絡綜合研究中心.中國科學院生態系統網絡觀測與模擬重點實驗室CERN綜合研究中心研究成果與發展[J].自然資源學報,2010,25(9):1458-1467.
[5] 黃鐵青,牛棟.中國生態系統研究網絡(CERN):概況、成就和展望[J].地球科學進展,2005,20(8):895-902.
[6] 王宏起,李力,李玥.區域科技資源共享平臺集成服務流程與管理研究[J].情報理論與實踐,2014,37(8):69-73.
[7] 馬斌,馮波.海云協同環境下服務運營環境關鍵技術的探討[J].網絡新媒體技術,2015,4(2):1-9.
[8] 王健偉.一種全新的IT建設架構——統一資源池[J].數據通信,2011(5):10-12.
[9] 李馥娟.虛擬機技術在復雜網絡實驗中的應用[J].實驗技術與管理,2009,26(12):79-83.
[10] 楊圣偉,汪新慶.數據字典在煤炭數據發布平臺中的應用[J].煤田地質與勘探,2008,36(6):17-19.
[11] 王汀,邸瑞華,梁毅.工程結構網格遠程實驗遙現系統設計[J].計算機工程與設計,2011,32(1):82-84,235.
[12] 孫欣,覃華,鄧海.用Hessian協議實現3G終端接入圖書館系統的研究[J].圖書館理論與實踐,2013(6):90-94.
RESEARCH ON SCIENCE AND TECHNOLOGY RESOURCES MANAGEMENT AND SERVICE SYSTEM OF ECOLOGICAL FIELD STATION BASED ON CLOUD SERVICE
Su Wen1Liu Ang2Liu Feng2Guo Xuebing1Tang Xinzhai1He Honglin1
1(KeyLaboratoryofEcosystemNetworkObservationandModeling,InstituteofGeographicSciencesandNaturalResourcesResearch,ChineseAcademyofSciences,Beijing100101,China)2(ComputerNetworkInformationCenter,ChineseAcademyofSciences,Beijing100190,China)
Aiming at the problems existing in the original station information system of national ecosystem research network of China, considering the advancement, maintainability, expansibility and characteristics of cloud service, this paper proposes a solution of station science and technology resource management and service information solutions based on the combination of cloud service end and local end, which builds a set of information publishing, resource services, system management functions in one of the station resources management and service system. This paper discusses the overall architecture, functional design, database design and implementation of key technologies. The system has been applied in 51 field stations of the National Ecosystem Research Network of China, which has improved the level and efficiency of station resources management and service, and promoted the management and service ability of the stations.
Cloud service Ecological field station Science and technology resources National ecosystem research network of China
2016-03-07。國家科技部國家科技基礎條件平臺項目(2005DKA10300);中國科學院科研信息化“科技領域云”項目(XXH12503-05-03-02)。蘇文,高級工程師,主研領域:生態信息學。劉昂,助理工程師。劉峰,高級工程師。郭學兵,副研究員。唐新齋,工程師。何洪林,研究員。
TP39 Q143
A
10.3969/j.issn.1000-386x.2017.04.010