基于Drupal的政府開放數據平臺構建

李盼 翟軍 陳燕

〔摘要〕開放政府數據能夠促進政府透明和社會創新，已成為國內外研究和實踐的熱點。本文針對我國地方政府開放數據門戶網站在元數據規范和數據格式上的不足，設計并建立基于Drupal的政府開放數據平臺。在分析平臺核心功能的基礎上，引進W3C的通用元數據標準DCAT。重點說明平臺建立元數據模式的映射過程，并介紹如何為關聯數據集提供Sparql端點。以來自浙江省開放數據網站的一個具體數據集的發布為例，表明該平臺支持機器可讀的通用元數據格式，為我國各類開放數據網站的建設和升級提供借鑒和參考。

〔關鍵詞〕Drupal；政府開放數據；開放數據平臺；元數據；DCAT；關聯數據

DOI：10.3969/j.issn.1008-0821.2016.08.007

〔中圖分類號〕G25073〔文獻標識碼〕A〔文章編號〕1008-0821（2016）08-0037-07

〔Abstract〕As a hot topic，Open Government Data provides a new way for promoting the construction of the transparent government and innovations between different social organizations.This paper designed and established a platform based on Drupal in order to resolve the problem about datasets metadata and data formats existing in open data portals of local government in China.Metadata providing can permit interoperability between different systems and the use of machine-readable，non-proprietary electronic data formats can reduce technical barriers to data access for users.Based on the basic analysis of the core functions of the platform，this paper introduced a common metadata standard DCAT，which was announced by W3C.Then the clear description was given to explain how to process mappings between DCAT vocabularies and fields of Drupal，which aimed to provide metadata for datasets.Publishing linked data is always difficult for the study of open data.There fore，the paper presented a simple solution on how to provide a Sparql endpoint for publishing data formats of linked datasets using Drupal.Finally，taking a dataset from Zhejiang governments Open data platform as an example to show the whole process about how this platform publishes datasets and provided machine-readable metadata formats.And this paper also made a detailed introduction about the important Drupal modules used in this platform，including RDFx module，Sparql endpoint module，DKAN related modules，which is a complimentary offering to CKAN with a full suite of cataloging，publishing and visualization features，and so on.This paper provided references for the construction and upgrading of all types of open data platform in our country.

〔Key words〕Drupal；government open data；open data platform；metadata；DCAT；linked data

大數據時代，“數據”的重要性被提到了前所未有的高度，通過對海量數據的交換、整合、分析和利用，能夠發現新知識、創造新價值[1]。在全社會中，政府數據起著核心與樞紐的作用。各國的研究與實踐表明，開發和利用信息資源的前提是信息公開和數據開放，而數據開放的核心則是“開放政府數據”（Open Government Data，OGD）[2]。全球范圍興起的“開放政府數據運動”始于2009年美國奧巴馬政府推動的“開放政府行動計劃”（Open Government Initiative）[3]。2011年9月20日，美國、英國、巴西、印度尼西亞、墨西哥、挪威、菲律賓、南非八個國家在紐約集會，宣布成立“開放政府合作組織”（Open Government Partnership，OGP），到2016年4月其成員國已從8個發展到69個。目前，世界各國已有超過250個政府（中央政府、地方政府或城市）實施“開放數據”的行動計劃[4]。“開放數據”為政府機構、社會組織和個人的創新及協作提供了新的途徑。世界銀行總結的OGD的益處主要包括：①促進政府的公開透明和公共服務質量及辦事效率的提升；②為社會創新和經濟增長提供數據資源和推動力[5]。

在開放政府數據運動中，為了集中管理大量的開放數據和方便用戶進行數據查找，關鍵的舉措之一是發布“開放數據目錄”（Open Data Catalogs）的門戶網站（Portals）[3，6]。以2009年美國政府的“一站式”數據門戶Data.Gov為先河，到2016年4月，DataPortals.org收集的數據門戶網站已達519個。數據門戶所依托的“開放數據平臺”（Open Data Platform）也成為這一領域的研究熱點之一[6]。

在我國，從2012年開始，北京、上海、浙江、青島、深圳等地方政府在大數據戰略和智慧城市建設中率先推出了政府開放數據門戶網站[7]。理論上，一些學者也開始關注“開放數據平臺”的技術、管理與評價問題。鄭磊等對國內各開放數據平臺的數據導引、數據獲取、界面體驗、互動交流等方面進行了評估[7]。徐慧娜等通過13個指標，比較了紐約和上海兩大城市政府開放數據平臺的有用性、易用性和用戶數據利用效果，指出了國內開放數據平臺發展的不足[8]。錢曉紅等論述了“開放數據平臺”的技術特征：發布和管理數據、檢索和查找數據、元數據建設、可視化處理等[9]。周志峰等對美國、英國、加拿大、澳大利亞和新加坡五國的政府開放數據門戶的數據管理、檢索與用戶參與功能進行了分析，對我國政府信息公開工作提出了諸多建議[10]。

研究表明，我國的開放數據實踐正處于萌芽和發展狀態，與發達國家存在著較大的差距[11]。當前的開放數據平臺對數據文件格式的支持有限[7-8]、沒有采用通用的元數據規范和機器可讀的元數據格式[6]等都影響到了數據開放的效果[7]。為此，本文在借鑒國際先進國家經驗的基礎上，構建基于Drupal的政府開放數據平臺，引入W3C的數據目錄元數據標準DCAT，并支持開放數據格式的5星模型，為我國地方政府開放數據平臺的建設和升級提供部分解決方案。

1開放數據平臺發展現狀

各國數據門戶使用的基礎平臺可以分為開源的和商業目的兩種[12]。Junar（junar.com）和Socrata是基于云服務的SaaS（Software as a Service）開放數據平臺，屬于商用范疇；而CKAN（Comprehensive Knowledge Archive Network）、DKAN和ODPL等則是構建開放數據平臺的開源軟件（Open Source Software）。

目前，使用最廣泛的基礎平臺是CKAN和DKAN[13-14]。CKAN適用于大型數據門戶的構建，如美國（Data.Gov）、英國（Data.Gov.UK）的國家開放數據門戶[10]。但是CKAN的部署和實現過程較為復雜，對于人員的專業素質要求較高[13]。DKAN（Drupal+CKAN）是基于Drupal的用于實現數據目錄服務的一種方式，能夠兼容CKAN且實現更多的功能，如對關聯開放數據的支持等。DKAN和CKAN的主要技術對比見表1。

作為一個開源的內容管理系統（Content Management System，CMS），Drupal的所有功能的增減可以通過模塊的啟動和關閉來實現，易于開發和維護。截至2016年4月，Drupal站點上的模塊已達33 728個，吸引了100 654個用戶來貢獻模塊。Drupal已經廣泛應用于圖書館各類門戶網站的建設[15-16]以及教學資源管理中[17]。越來越多的政府數據門戶也在采用Drupal，例如非洲近1/3的政府開放數據平臺利用了DKAN[14]。本文的關注焦點則是Drupal在我國地方政府開放數據門戶的應用。

2開放數據平臺的核心功能分析

開放數據是指數據可以被任何人自由免費獲取、利用和再發布，而不受版權、專利或其他機制的限制[11]。開放數據的本質是促進數據在最大范圍上的再利用，為實現這一目標各國的最佳實踐是在基于Web的開放數據平臺上以“機器可讀”（machine-readable，即數據能被程序自動處理）的格式發布各種高價值的數據[6]。為促進開放數據的機器可讀性，政府數據開放的積極推動者、W3C主席蒂姆·伯納斯-李于2010年在華盛頓特區的Gov20博覽會上首次提出了開放程度（Openness）的“5星評級模型”（5 star rating scheme）[2，18]：

（1）1星（★）級別：以“開放許可”將數據發布到Web上，格式不限，可以是紙質文件的掃描件或PDF文檔等，其特征簡記為OL（open license）；

（2）2星（★★）級別：發布為機器可讀的結構化數據，如一個Excel電子表格，其特征簡記為RE（readable）；

（3）3星（★★★）級別：發布為非專有格式，如CSV，其特征簡記為OF（open format）；

（4）4星（★★★★）級別：采用W3C的開放標準，如RDF、Sparql等，其特征為通過URI來標識事物，簡記為URI；

（5）5星（★★★★★）級別：將數據鏈接到其它數據集，即“關聯數據”，其特征簡記為LD（Linked Data）。

在模型中，星★是累加的，即高級別的開放涵蓋低級別的所有特性。該模型關注開放數據的兩個主要方面：法律和技術，即法律上要有開放許可、技術上要以機器可讀的格式發布數據。模型指出了數據格式的升級路線：從專有格式到非專有格式、從開放標準到關聯數據（即數據萬維網），見表2。

國際上已有越來越多的5星級別的開放政府數據被發布出來[2]。如紐約市開放政府數據網站（data.cityofnewyork.us）提供的關聯數據已經達到了5星水平[8]，2014年“開放數據指數”冠軍-英國，在國家數據網站（Data.Gov.UK）上已經發布了150個5星數據集。與此相對照，我國地方政府的開放數據還沒有5星級別的，如上海市（www.datashanghai.gov.cn）、浙江省（data.zjzwfw.gov.cn）提供的數據格式仍處在2星、3星水平[7-8]。

在開放數據平臺中，一組數據文件組織在一起形成數據集（Dataset）[9]，數據集的列表就是數據目錄（Data Catalog），而數據目錄管理的是數據集的元數據[6]。為此，數據平臺的核心功能是各種格式數據集的元數據管理和數據訪問的API服務，見圖1。數據平臺的其他功能，諸如數據查找、數據存儲、數據可視化、用戶交互等[9]，都是為核心功能服務或者建立在核心功能基礎之上的。

3元數據管理

31元數據模式

隨著開放數據門戶和數據集數量的快速增長，對于應用者而言，尋找適當的數據集就越發具有挑戰性，特別是跨多個數據目錄的搜索[2]。為此，需要對數據集進行適當描述，即需要提供“元數據”（Metadata）。元數據是“數據的數據”（Data about Data）或“信息的信息”。開放數據集的元數據管理是政府數據目錄的最基本功能，采用的元數據正在向結構化、標準化、語義化和機器可讀的方向發展[6，10，19-20]。數據目錄詞匯表DCAT（Data Catalog Vocabulary）是W3C發布的支持數據目錄之間互操作（Interoperability）的通用元數據標準[21]，已經被英國、美國、歐盟的國家數據門戶網站及datahub.io等采納。在我國，對地方政府開放數據狀況調查的結果顯示[7-8]：各地方政府數據門戶采用了不同的元數據模式，元數據的格式以HTML為主、不是機器可讀的，這些都阻礙了開放數據集的可發現性和可用性[6]。

Drupal的最大特點是通過“內容類型”（Content Type）組織和管理結構化數據。內容類型可以理解為具有特定結構的數據模式，等價于數據庫的表結構或類概念，符合模式定義的一條具體數據記錄在Drupal中則以結點（Node）的方式存在。DKAN將數據集處理為一種“內容類型”，并通過映射建立 DKAN字段/屬性與DCAT詞匯/元素之間的對應關系，從而形成描述數據集的元數據模式，詳情見表3。

32元數據實例

當在DKAN平臺添加一個數據集即創建一個實例結點（Node）后，系統會自動為該數據集生成元數據文件，目前提供了rdf和json兩種格式，它們均是機器可讀的。圖2與其下的文件是由平臺自動生成的浙江省開放數據網站（data.zjzwfw.gov.cn）上的“師資庫數據集”的元數據實例文件，而現有的元數據格式是HTML，很難被應用程序自動處理。在DKAN平臺上發布數據集的詳細過程請見下文“應用實例”小節。圖2RDF格式的元數據json格式的元數據文件如下所示：

{″help″：″Return the metadata of a dataset（package） and its resources.：param id：the id or name of the dataset：type id：string″，

″success″：true，

″result″：[{″id″：″cd1be547-7fae-4d91-bbae-ef37661a1bc4″，

″title″：″師資庫信息″，

″publisher″：″省安全生產監管局″，

″licensetitle″：″http：∥opendefinition.org/licenses/odc-by/″，

″notes″：″安全培訓師資庫信息，包括姓名、性別、工作單位、學歷、職稱、聯系電話、狀態″，

″url″：″http：localhost：8088/drupal/dataset/師資庫信息″，

″private″：″Published″，

″url″：″http：manager.zjsafety.gov.cn″，

″description″：″通過提供API接口發布浙江省--師資庫信息數據集。″，

″state″：″Active″，

″revisiontimestamp″：″Wed， 04＼/27＼/2016-11∶25″，

……}]}

在數據目錄平臺上，這兩個元數據文件的訪問地址分別為/node/nodeid.rdf和/api/3/action/packageshow？id=cd1be547-7fae-4d91-bbae-ef37661a1bc4。平臺通過程序處理提供json格式的元數據，將元數據封裝為一個result集合，并為該集合提供惟一的標識符，用戶可以通過該標識符來訪問具體的數據集所對應的元數據。無論是rdf格式，還是json格式，用戶的應用程序都能夠通過讀取和解析這些元數據而了解數據集的詳細信息，這提高了開放數據平臺與用戶應用程序之間的互操作性[6]。

4關聯數據集的API發布

2011年1月發布的Drupal 7正式版已把RDF和關聯數據的相關模塊作為Drupal的核心部分[22]。通過Drupal創建5星級（參見表2）的關聯數據得到了學者的關注和研究[22-23]，而本文則關注開放數據平臺如何為5星級的關聯數據集提供API服務（參見圖1）。

關聯數據的獲取方式主要有3種：批量下載、REST接口和Sparql端點[24]。前兩種方式與普通的數據集一致，后一種方式是關聯數據所獨有的，目前還沒有得到我國地方政府開放數據門戶網站的支持。

Drupal的Sparql模塊支持Sparql端點的發布，Sparql模塊又包含SPARQL Endpoint和SPARQL Registry兩個子模塊。SPARQL Endpoint模塊為本地站點的RDF數據向Web開放提供標準化接口；SPARQL Registry模塊提供其它站點的Sparql端點注冊功能。在Drupal 7x中可以結合Sparql View和Views模塊進行關聯數據集的消費和使用。

在啟用Sparql模塊之前，需要引入ARC2 Library包，將其放入sites/all/modules/rdfx/vendor/arc目錄下。該包用于存儲系統自動生成RDF數據，并支持Sparql查詢語句的執行。成功啟用Sparql模塊后，站點就擁有相應的Sparql端點，默認的URL為：http：∥域名：端口號/站點名稱/sparql，本文的例子為：http：∥localhost：8088/drupal/sparql。應用程序通過HTTP協議向Sparql端點發送Sparql查詢請求，便可獲取關聯數據集中的數據[2，23]。

5平臺構建

在建立DKAN平臺前，需要安裝Drupal站點。Drupal依賴于Windows+Apache+Mysql+PHP或者Linux+Apche+Mysql+PHP開發環境，可以手工搭建該集成環境，也可以直接下載wamp（https：∥sourceforge.net/projects/wampserver/）或者lamp集成包進行安裝。DKAN依賴于Drupal 7x及以上版本的Drupal，推薦使用Drupal 741（https：∥www.drupal.org/drupal-7.41-release-notes），因為該版本目前是Drupal 7x最穩定的版本。Drupal的DKAN模塊托管在gitHub（https：∥github.com/NuCivic/dkan）上，下載其相關模塊進行安裝即可。也可以選擇直接安裝嵌入DKAN的Drupal站點（https：∥github.com/nucivic/dkan-drops-7），步驟與安裝普通的Drupal站點相同。

安裝Drupal模塊時，需要在/modules/install new module下選擇模塊所在的路徑，然后加載模塊。DKAN.info文件列出了DKAN所依賴的所有模塊，包括Drupal核心模塊（如block、file、image、rdf、path、taxonomy等），和眾多的第三方模塊（如restserver、restws、views、rules、services、facetapi、feeds等），另外還需要open data和DKAN features相關模塊。需要注意的是，成功啟用DKAN模塊前，站點必須提供并啟用這些依賴模塊。表4列出了DKAN的核心模塊，其中DKAN Dataset模塊將數據集處理為結點，結點內容包括數據集元數據信息和數據資源信息；DKAN Datastore模塊提供數據文件的上傳、數據解析和保存功能；RDFx模塊是Drupal構建語義數據所依賴的核心模塊，在DKAN中為字段添加DCAT詞匯表的元數據配置信息。表4DKAN的核心模塊

核心模塊描述DKANdistro包含了DKAN默認的主題，并且定義了塊和導航條目，對DKAN所需的文件或者模塊進行聲明。DKAN Dataset將數據集和資源文件以內容類型方式定義，并且提供了數據集注冊的個性化流程。DKAN Datastore將完成解析的數據文件存入數據庫。recline一個js庫文件，提供數據文件的預覽視圖。FeedsFlatstoreProcessor該模塊用于將CSV文件解析為二維數據表文件。NuBoot RadixDKAN的默認主題基于Radix。RDFx為各字段添加DCAT詞匯表的元數據描述信息。

6應用實例

下面以浙江省開放數據網站上的教育科技大類中的“師資庫數據集”為例，利用DKAN平臺實現該數據集的發布。

61在平臺上添加數據集

在Content->Add content中選擇“內容類型”為Dataset，然后添加該數據集的描述信息——元數據。數據集的“字段”值取自浙江省開放數據網站（data.zjzwfw.gov.cn），實例地址為：http：∥data.zjzwfw.gov.cn/catedetail.action？resid=210562/20150619105946000432&catecode=SJLY006。容易發現，該數據集描述網頁并未提供“開放許可”信息。而DKAN提供了17種開放許可，如OGL、ODbl、PDDL等，并且每種開放許可都能鏈接到相應的說明頁面。

62為數據集添加數據資源

添加數據集后，需要為其添加具體的數據資源。DKAN同樣也將數據資源作為一種“內容類型”，這種低耦合方式有利于平臺實現結構化數據的高效管理。一個數據集可以對應多個數據資源文件，通過數據集的標識字段將數據集和數據資源文件連接起來。DKAN提供了注冊數據資源的3種方式：API、數據文件上傳和鏈接到數據資源文件的URL。本例采用API方式發布數據資源文件。DKAN能夠有效管理數據集中的多種格式的數據文件，用戶可以根據需要訪問或下載它們。

完成上述操作后，平臺中該數據集的展示頁面如圖3所示。該頁面的左側包含有數據集的開放許可（License），及機器可讀的兩種格式（RDF和JSON）的元數據文件的下載圖標，其詳細內容見本文32；頁面右側列出了數據集中的數據文件信息，右側下方的Dataset Info部分以HTML表格列出了所有的元數據。圖3DKAN平臺上的數據集展示頁面

比較該數據集在浙江省公共平臺的展示與圖3可知，DKAN平臺在開放數據集的元數據管理上有著明顯的優勢：既為人的閱讀提供了HTML格式的元數據，也為程序自動處理提供了機器可讀的元數據文件。

7結語

近年來，開放政府數據已經成為信息管理、電子政務、圖書情報等領域的研究熱點。如何設計和建設一個高質量的開放數據平臺從而促進數據集的發現和有效利用，對處于發展階段的我國各級政府開放數據工作具有重要的現實意義。

Drupal的開源特性、模塊化特點及DKAN等模塊為構建開放數據平臺提供了技術基礎。本文表明，基于Drupal的DKAN平臺支持通用的元數據標準和機器可讀的元數據格式，并為各種格式的數據集（特別是5星級的關聯數據集）提供API接口，能有效克服國內開放數據網站的一些不足。下一步工作的重點將是在平臺核心功能的基礎上增加數據查找和導航、數據存儲、數據可視化、用戶交互、統計分析等功能。

參考文獻

[1]涂子沛.大數據：正在到來的數據革命，以及它如何改變政府、商業與我們的生活（第3版）[M].桂林：廣西師范大學出版社，2015：345-351.

[2]翟軍.關聯政府數據原理與應用——大數據時代開放數據的技術與實踐[M].北京：電子工業出版社，2016：4-12.

[3]張涵，王忠.國外政府開放數據的比較研究[J].情報雜志，2015，34（8）：142-146.

[4]World Bank.Open Data in 60 Seconds[EB/OL].http：∥opendatatoolkit.worldbank.org/en/open-data-in-60-seconds.html.

[5]World Bank.Benefits of Open Data[EB/OL].http：∥opendatatoolkit.worldbank.org/en/starting.html.

[6]Attard J，Orlandi F，Scerri S，Sren Auer.A systematic review of open government data initiatives[J].Government Information Quarterly，2015，32（4）：399-418.

[7]鄭磊，高豐.中國開放政府數據平臺研究：框架、現狀與建議[J].電子政務，2015，（7）：8-16.

[8]徐慧娜，鄭磊.面向用戶利用的開放政府數據平臺：紐約與上海比較研究[J].電子政務，2015，（7）：37-45.

[9]錢曉紅，胡芒谷.政府開放數據平臺的構建及技術特征[J].圖書情報知識，2014，（3）：124-129.

[10]周志峰，黃如花.國外政府開放數據門戶服務功能探析[J].情報雜志，2013，32（3）：144-147.

[11]馬海群，汪宏帥.我國政府開放數據戰略的SLEPT分析及戰略部署[J].情報科學，2016，34（3）：3-8.

[12]Zuiderwijk A，Janssen M，Parnia A.The complementarity of open data infrastructures：An analysis of functionalities[C].Proceedings of the 14th Annual International Conference on Digital Government Research，ACM，2013：166-171.

[13]World Bank.Technical Assessment of Open Data Platforms for National Statistical Organisations[EB/OL].http：∥documents.worldbank.org/curated/en/2014/10/20451797/technical-assessment-open-data-platforms-national-statistical-organisations，2014-10.

[14]Bello O，Jolayemi O，Akinwande V，A Ibrahim.Open Data Portals in Africa An Empirical Analysis of Open Government Data Initiatives[C].Conference：4th iSTEAMS Research Nexus，2015：595-606.

[15]董智鵬，劉靜羽.基于Drupal的項目網站建設——以“開放資源建設”網站為例[J].現代圖書情報技術，2016，（1）：81-86.

[16]周宇，魏太亮，廖思琴.基于Drupal的圖書館知識交流共享平臺構建[J].現代情報，2016，36（3）：53-60.

[17]孫榮.基于開源軟件Drupal構建高校數字化教學資源門戶[J].現代情報，2012，32（12）：52-57.

[18]Tim Berners-Lee.Linked Data[EB/OL].http：∥www.w3.org/DesignIssues/LinkedData.html，2009-06-18.

[19]Zuiderwijk，A.，Helbig，N.，Gil-García，JRA.，& Janssen，M.Special issue on innovation through open data：Guest editors introduction[J].Journal of Theoretical and Applied Electronic Commerce Research，2014，9（2）.

[20]Zuiderwijk A，Jeffery K，Janssen M.The potential of metadata for linked open data and its value for users and publishers[J].JeDEM-eJournal of eDemocracy and Open Government，2012，4（2）：222-244.

[21]W3C.Data Catalog Vocabulary（DCAT）[EB/OL].http：∥www.w3.org/TR/vocab-dcat/，2014-01-16.

[22]夏翠娟，劉煒，趙亮，等.關聯數據發布技術及其實現——以Drupal為例[J].中國圖書館學報，2012，38（1）：49-57.

[23]任瑞娟，濮德敏，王劍宏，等.基于Drupal實現多類型學術資源的語義化組織與關聯化聚合[J].情報科學，2015，33（5）：63-67.

[24]王思麗，馬建玲，李慧佳，等.關聯數據集中開放資源的自動獲取研究[J].圖書館學研究，2015（18）：49-54.

（本文責任編輯：郭沫含）