多館協(xié)作開發(fā)的機(jī)構(gòu)知識庫建設(shè)

韋成府+聶華+崔海媛

摘要 首先簡要介紹機(jī)構(gòu)知識庫的三大系統(tǒng)平臺（EPrints、Fedora、DSpace）和國內(nèi)外機(jī)構(gòu)知識庫建設(shè)項目的情況，然后闡述CALIS三期機(jī)構(gòu)知識庫建設(shè)及推廣項目首創(chuàng)和建立的“示范館+參建館（1+4）”建設(shè)機(jī)制、建設(shè)思路、建設(shè)成果，最后分析在建設(shè)過程中碰到的困難及其解決辦法。

關(guān)鍵詞 機(jī)構(gòu)知識庫 CALIS CHAIR 多館協(xié)作 示范館 參建館

1 背景

1.1 國內(nèi)外建設(shè)情況與面臨問題

2002年起，世界各國大學(xué)已開始陸續(xù)建設(shè)機(jī)構(gòu)知識庫，不同的研究機(jī)構(gòu)、組織針對信息用戶的一站式獲取信息服務(wù)的需求，通過自開發(fā)或合作的方式，提出了相應(yīng)的解決方案并開發(fā)出不同的應(yīng)用系統(tǒng)，其中比較流行的三大機(jī)構(gòu)知識庫系統(tǒng)平臺分別為EPrints、Fedora、DSpace。

EPrints是由英國南安普頓大學(xué)開發(fā)的一個通用免費軟件，用于建立基于網(wǎng)絡(luò)的檔案系統(tǒng)。它是GNU（一個類似于UNIX的操作系統(tǒng)）的一部分，采用Perl語言開發(fā)，可運行在GNU/LINUX或UNIX系統(tǒng)上，但不能在Windows系統(tǒng)上運行，其缺省配置是構(gòu)建機(jī)構(gòu)知識庫，具有高度的可定制性。

美國康奈爾大學(xué)早在1997年就開始了一項主要由圖書館員使用的軟件工具開發(fā)計劃，這一開發(fā)計劃被命名為“靈活可擴(kuò)展的數(shù)字對象庫架構(gòu)”（Flexible Extensible Digital Object Repository Ar-chitecture，F(xiàn)edora）。之后康奈爾大學(xué)與弗吉尼亞大學(xué)合作，在美國梅隆基金會的支持下以Fedora模式率先建立起一個綜合性數(shù)字圖書館技術(shù)平臺，并在2003年5月發(fā)布了1.0版本。

DSpace系統(tǒng)由美國麻省理工學(xué)院圖書館和美國惠普公司實驗室合作開發(fā)，經(jīng)過兩年多的努力于2002年10月開始投入使用，是以內(nèi)容管理發(fā)布為設(shè)計目標(biāo)，遵循BSD協(xié)議的開放源代碼數(shù)字存儲系統(tǒng)。

國外利用以上三大平臺建設(shè)起來的機(jī)構(gòu)知識庫已有上千家，其中有不少是通過機(jī)構(gòu)知識庫項目來維持的，如DSpace Federation；澳大利亞的ARROW；英國的eBank UK項目，荷蘭的DARE項目，加拿大的CARL機(jī)構(gòu)知識庫試驗項目，日本的JAIRO計劃等等。

機(jī)構(gòu)知識庫在中國的發(fā)展相對比較晚。香港地區(qū)起步最早，香港科技大學(xué)于2003年初首先建設(shè)國內(nèi)第一個機(jī)構(gòu)典藏項目。但香港地區(qū)機(jī)構(gòu)典藏的建設(shè)缺乏整體規(guī)劃，主要以機(jī)構(gòu)單獨建設(shè)為主。2006年6月，臺灣地區(qū)“教育部”委托臺灣大學(xué)圖書館執(zhí)行“建置機(jī)構(gòu)學(xué)術(shù)成果典藏計劃”，以臺灣大學(xué)為機(jī)構(gòu)典藏的營運范例，采用DSpace 1.4 Betal作基礎(chǔ)開發(fā)機(jī)構(gòu)典藏軟件NTUR，作為全臺灣地區(qū)各大學(xué)院校建置機(jī)構(gòu)典藏的參考。大陸地區(qū)，中國國家科學(xué)院于2007年度啟動機(jī)構(gòu)知識庫項目，由國家科學(xué)圖書館蘭州分館負(fù)責(zé)基于DSpace開發(fā)研究所機(jī)構(gòu)知識庫建設(shè)平臺CAS-IR，并在這一年度完成了力學(xué)研究所IMECH IR和國科圖LAS IR的試點建設(shè)工作，后續(xù)逐步在中科院研究所進(jìn)行建設(shè)推廣。

1.2 CALIS機(jī)構(gòu)知識庫建設(shè)及推廣項目

截至目前，我國大陸共有3000多所高校，每年都生產(chǎn)海量的學(xué)術(shù)成果，包括期刊論文、會議論文、圖書專著、研究報告、手稿等等數(shù)字化的資料。為了加強對它們的管理，提高這些學(xué)術(shù)資源的利用率，CALIS三期確立了建立面向高校等學(xué)術(shù)機(jī)構(gòu)的機(jī)構(gòu)知識庫管理與服務(wù)系統(tǒng)的任務(wù)。2011年8月，CALLS三期機(jī)構(gòu)知識庫建設(shè)及推廣項目由項目承建館北京大學(xué)圖書館牽頭啟動，期望以此促進(jìn)機(jī)構(gòu)知識庫在我國高校范圍內(nèi)的建設(shè)、發(fā)展和應(yīng)用，利用項目建成的機(jī)構(gòu)知識庫系統(tǒng)管理、保存和展示我國高校的學(xué)術(shù)資源和學(xué)術(shù)成果。項目預(yù)期就中國高校機(jī)構(gòu)知識庫（China Academic Institutional Reposi-tory，CHAIR）的建設(shè)進(jìn)行全方位的嘗試和實踐，通過項目建設(shè)初步探索形成一套符合我國高校現(xiàn)狀和發(fā)展趨勢的機(jī)構(gòu)知識庫建設(shè)及服務(wù)機(jī)制，最終建立“分散部署、集中揭示”的中國高校機(jī)構(gòu)知識庫。而在機(jī)構(gòu)知識庫系統(tǒng)平臺方面，項目需要至少建設(shè)一套完整的、開源的機(jī)構(gòu)知識庫本地系統(tǒng)，以幫助高校發(fā)布、共享和保護(hù)既已形成的知識、科學(xué)和文化遺產(chǎn)的數(shù)字化資源。

2 建設(shè)思路與實施

2.1 總體思路

基于前文的介紹，筆者發(fā)現(xiàn)國外的機(jī)構(gòu)知識庫項目基本是側(cè)重于已建成機(jī)構(gòu)知識庫的維護(hù)和增強；而我國港臺地區(qū)、中科院則是以機(jī)構(gòu)知識庫的推廣建設(shè)為主，并在平臺建設(shè)方面享有很多共性，比如都采取由一個機(jī)構(gòu)（圖書館）作為示范和主導(dǎo)，推動和帶領(lǐng)整個地區(qū)的機(jī)構(gòu)知識庫建設(shè)，且大部分均使用DSpace作為基礎(chǔ)軟件平臺并進(jìn)行大幅度的本地化改造，使之適應(yīng)地區(qū)的使用特點和使用習(xí)慣等。先進(jìn)機(jī)構(gòu)的示范作用能夠帶來很好的推廣效果，但對于CALLS三期機(jī)構(gòu)知識庫建設(shè)及推廣項目來說，由于成員館的數(shù)量眾多，而且單個機(jī)構(gòu)缺乏足夠的技術(shù)和人力資源，所以僅由一個機(jī)構(gòu)作為示范和主導(dǎo)進(jìn)行推廣實施，缺乏實際的可行性。同時，由于項目經(jīng)費的限制，也無法考慮委托公司或者成立小組進(jìn)行集中開發(fā)。此外，考慮到CALLS三期機(jī)構(gòu)知識庫項目未來的發(fā)展，尤其是將在全國高校范圍內(nèi)廣泛推廣，需要借助多方力量。最終，項目確定了由多家圖書館聯(lián)合建設(shè)的思路，目標(biāo)是：需求統(tǒng)一，適當(dāng)兼顧個性化，開發(fā)分散，成果集中。基于此，CALLS三期機(jī)構(gòu)知識庫建設(shè)及推廣項目首創(chuàng)和建立了“示范館+參建館（1+4）”機(jī)制，并由五個示范館協(xié)作開發(fā)機(jī)構(gòu)知識庫平臺和推廣中國高校范圍內(nèi)的機(jī)構(gòu)知識庫建設(shè)。根據(jù)建設(shè)目標(biāo)以及參建館的建設(shè)需求和基礎(chǔ)條件，項目將以示范館組織參建館共同參與建設(shè)的模式進(jìn)行建設(shè)。項目的總體思路如圖1所示。

2.2 具體實施

2011年7月，項目選擇在機(jī)構(gòu)知識庫建設(shè)方面有意向、有投入、有經(jīng)驗也有成果的數(shù)家高校圖書館，進(jìn)行意向征求和需求研討。項目承建館和項目管理組確定5家有基礎(chǔ)、有能力、有意愿承擔(dān)組織建設(shè)責(zé)任，并在機(jī)構(gòu)知識庫平臺開發(fā)方面卓有成效和成果的圖書館作為示范館，由它們共同承擔(dān)通用機(jī)構(gòu)知識庫平臺系統(tǒng)的開發(fā)任務(wù)。這5家示范館為北京大學(xué)圖書館（項目承建館）、北京理工大學(xué)圖書館、重慶大學(xué)圖書館、清華大學(xué)圖書館和廈門大學(xué)圖書館，它們以區(qū)域或者學(xué)校類型為參照召集4到5個參建館形成一個建設(shè)小組，如表1所示。其中重慶大學(xué)入選示范館，是由于該校機(jī)構(gòu)知識庫系統(tǒng)是一個自開發(fā)的系統(tǒng)平臺，給出了一個除DSpace系統(tǒng)之外的選擇，這對于項目建設(shè)推廣是一個很好的特例，可以在平臺的多樣化上有所貢獻(xiàn)。endprint

在此基礎(chǔ)上，項目于2011年8月正式啟動，并成立了技術(shù)實施組。技術(shù)實施組確定項目的技術(shù)方案、任務(wù)分工、管理協(xié)調(diào)制度，開始項目的建設(shè)實施。

首先，為了讓各示范館和項目組成員能夠很好地進(jìn)行交流溝通和資源共享，技術(shù)實施組搭建了項目管理系統(tǒng)、ftp，并建立了項目組成員QQ群。

其次，項目技術(shù)路線的一個重要內(nèi)容是確定構(gòu)建IR軟件平臺的方案。方案選擇包括兩個遞進(jìn)的層次：第一層次是考慮選擇商業(yè)軟件還是開源軟件。開源軟件較之商業(yè)軟件，在協(xié)同開發(fā)、修改擴(kuò)展的靈活性等方面具有顯著的優(yōu)勢。第二層次是在DSpace，F(xiàn)edora和EPrint等幾個全球范圍內(nèi)應(yīng)用最為廣泛的IR開源軟件平臺之間的斟酌。項目組經(jīng)過考察調(diào)研并結(jié)合實際情況，最終選用Dspace1.8作為軟件二次開發(fā)平臺。因為軟件平臺開發(fā)設(shè)計的步驟一般包括：設(shè)計軟件的功能和實現(xiàn)的算法、軟件的總體結(jié)構(gòu)設(shè)計和模塊設(shè)計、編程和調(diào)試、程序聯(lián)調(diào)測試以及提交程序。而采用DSpacel.8版本進(jìn)行二次開發(fā)和改造，技術(shù)實施組不僅在CALLS機(jī)構(gòu)知識庫平臺建設(shè)上可以省略一些步驟，如設(shè)計軟件的功能、總體機(jī)構(gòu)等；而且以后的兼容和版本升級也更容易，當(dāng)然需要做到盡量不對DSpace核心代碼做修改。

再次，為了適應(yīng)中國人的使用習(xí)慣，增加一些實用性和個性化的功能，技術(shù)實施組以及其他參建館的專家經(jīng)過數(shù)次會議（包括視頻會議）研討，并根據(jù)DSpace最新版本的功能特點廣泛地征集需求，列出了CALLS機(jī)構(gòu)知識庫通用平臺需要開發(fā)的任務(wù)方案，以盡可能地覆蓋更多圖書館的需求。開發(fā)需求明確后，再分配各示范館的任務(wù)，分工原則為：1）根據(jù)任務(wù)難易程度，平均分配開發(fā)任務(wù)量；2）功能相同或相近的開發(fā)模塊分配給同一示范館；3）根據(jù)各館之前的開發(fā)基礎(chǔ)與經(jīng)驗，發(fā)揮各自優(yōu)勢，將相關(guān)功能模塊分配給已有開發(fā)基礎(chǔ)與經(jīng)驗的示范館。分工確定后（如表2所示），各示范館需要提交一份詳細(xì)的功能設(shè)計，即整理功能設(shè)計與實現(xiàn)的思路，這既可以作為開發(fā)人員的編碼指南，還可據(jù)此進(jìn)行任務(wù)分配的再次協(xié)調(diào)或提出建議。

最后，在示范館完成各自任務(wù)（包括功能的實現(xiàn)、測試和開發(fā)文檔編寫）后，所有功能的整合和調(diào)試就變得相當(dāng)關(guān)鍵。因為各示范館都是直接在辦公設(shè)備上進(jìn)行開發(fā)，而且DSpace本身是由多個網(wǎng)絡(luò)應(yīng)用組成的系統(tǒng)，配置文件繁多，編碼環(huán)境可能也不一致，所以給功能整合帶來了諸多困難。在功能整合測試方面，項目組要求每個示范館測試其他示范館的功能模塊，并撰寫測試報告，以保證整個CALIS機(jī)構(gòu)知識庫通用系統(tǒng)平臺的良好運作。根據(jù)項目“示范館+參建館（1+4）”的建設(shè)機(jī)制，每一個示范館在建設(shè)完成本校機(jī)構(gòu)知識庫系統(tǒng)平臺的部署和建設(shè)之后，還要負(fù)責(zé)為本建設(shè)小組的各參建館提供系統(tǒng)平臺搭建的技術(shù)支持和其它方面的咨詢，幫助參建館完成本機(jī)構(gòu)的機(jī)構(gòu)知識庫構(gòu)建，以期在短時間內(nèi)盡可能地推廣項目成果、擴(kuò)大項目影響，促進(jìn)高校機(jī)構(gòu)知識庫的發(fā)展。同時，各示范館后期也大力幫助和支持有建設(shè)意愿的非參建館構(gòu)建機(jī)構(gòu)知識庫，包括需求調(diào)研、系統(tǒng)平臺選擇、內(nèi)容建設(shè)、服務(wù)推廣等等。

3 建設(shè)成果

經(jīng)過不到一年的時間，由項目示范館北京大學(xué)圖書館、北京理工大學(xué)圖書館、清華大學(xué)圖書館和廈門大學(xué)圖書館聯(lián)合開發(fā)的CALIS機(jī)構(gòu)知識庫本地系統(tǒng)（CHAIR Local版本）和由項目示范館重慶大學(xué)圖書館開發(fā)的CALLS機(jī)構(gòu)知識庫本地系統(tǒng)（CHAIR Rise版本）已經(jīng)在28個示范館和參建館完成了安裝部署，并開始提供服務(wù)。項目組提供完整的本地系統(tǒng)平臺和安裝使用手冊，供CALIS成員館免費使用，并由項目承建館（北大館）與示范館（北理工，清華，廈大和重大館）向參建館提供技術(shù)支持與服務(wù)。在CALLS三期機(jī)構(gòu)知識庫建設(shè)及推廣項目完成驗收后，項目管理組陸續(xù)收到多家圖書館參與項目建設(shè)的反饋。截至2014年3月11日，已有超過30家中國高校圖書館有意向加入CHAIR項目，并在該項目的支持和協(xié)助下，陸續(xù)開始機(jī)構(gòu)知識庫的平臺建設(shè)和內(nèi)容建設(shè)。

在CHAIR Local版本中，項目技術(shù)實施組對DSpace的多項功能進(jìn)行了優(yōu)化，簡化了提交流程，提高了用戶體驗效果。而自主開發(fā)的CHAIR Rise版本則更多地融入了Web2.0理念，增強了多媒體管理和Web2.0元素，提供了個人中心、標(biāo)簽、評論、RSS等功能，旨在有效提升用戶體驗，吸引讀者使用機(jī)構(gòu)知識庫。值得一提的是，CHAIR Local系統(tǒng)實現(xiàn)了與CALLS聯(lián)合認(rèn)證的對接，基于開源軟件Solr和IK實現(xiàn)了分面檢索和中文分詞功能，以及基于免費開源的輔助軟件實現(xiàn)了全文檢索與在線瀏覽的功能。

4 困難與解決辦法

在項目（主要是本地系統(tǒng)CHAIR Local版本）的建設(shè)過程中，技術(shù)和內(nèi)容建設(shè)方面都遇到了一些困難：

1）批量條目查重

一篇文章可能有多個作者都來自同一單位，通過作者名與學(xué)校名獲取到的元數(shù)據(jù)和全文，難免會有重復(fù)，批量導(dǎo)人數(shù)據(jù)就需要考慮查重的問題。如果采取人工排查，將非常耗時耗力，因此技術(shù)實施組另外開發(fā)了一個基于題名和作者名的接口，在生成DSpace批量導(dǎo)人數(shù)據(jù)包前進(jìn)行查重。當(dāng)然這只是理想的做法，實際情況可能比較復(fù)雜。比如同一篇文章可能存在題目不一樣的情況，那就需要根據(jù)額外的字段來進(jìn)行判斷查重，這些額外的字段可以是出版社、出版時間、關(guān)鍵詞等。

2）OAI收割

對于愿意加入CHAIR項目但不支持OAI協(xié)議的機(jī)構(gòu)知識庫平臺，項目中心網(wǎng)站就無法收集該機(jī)構(gòu)知識庫內(nèi)的元數(shù)據(jù)，而且還可能存在數(shù)據(jù)字段名稱不一致的情況。為此，技術(shù)實施組單獨開發(fā)了元數(shù)據(jù)轉(zhuǎn)換和導(dǎo)人工具，暫時以離線的方式將元數(shù)據(jù)導(dǎo)人項目中心網(wǎng)站。

3）刪除條目

如果發(fā)現(xiàn)有重復(fù)記錄或者操作失誤，就需要刪除對應(yīng)條目。由于條目被系統(tǒng)接受以后會在Solr中建立索引，所以將條目刪除后，從Solr中返回的檢索結(jié)果中仍然包含此條目，但是該條目的頁面已經(jīng)無法訪問。刪除和重建索引可以解決這個問題，但是如果條目量增大索引文件就會變大，重建索引將需要很長一段時間。為了徹底解決這個問題，技術(shù)實施組單獨開發(fā)了一個接口，在刪除條目之后自動提交請求到Solr應(yīng)用，刪除對應(yīng)的索引項，這樣操作后檢索結(jié)果中不會再出現(xiàn)已刪除條目。

4）字符編碼

一般情況下，數(shù)據(jù)的處理和批量導(dǎo)人包的生成都是在Windows環(huán)境下操作完成，如果直接上傳至Linux或Unix服務(wù)器導(dǎo)入機(jī)構(gòu)知識庫系統(tǒng)，將會出現(xiàn)亂碼。經(jīng)過多方排查，項目組發(fā)現(xiàn)是由于編碼不一致造成。解決辦法就是先將Linux或Unix服務(wù)器環(huán)境編碼改為與Windows一樣，如GB18030。但是導(dǎo)人完成后必須再改回為UTF-8，否則機(jī)構(gòu)知識庫系統(tǒng)頁面某些數(shù)據(jù)展示將會出現(xiàn)亂碼。

5 總結(jié)

CALIS機(jī)構(gòu)知識庫建設(shè)及推廣項目是個預(yù)研性質(zhì)的項目，項目建設(shè)只有不到一年的時間，卻取得了豐富的成果。由此可見，項目首創(chuàng)的“示范館+參建館（1+4）”的多館協(xié)作開發(fā)機(jī)制是非常成功的，它有效地提高了項目建設(shè)的效率，各示范館之間得以進(jìn)行需求和技術(shù)等層面的密切交流，提高了成果的可用性并更好地滿足了通用需求。也是得益于該機(jī)制，項目在人力、物力、財力上節(jié)約了很多資源，同時也積累了寶貴的建設(shè)經(jīng)驗，為圖書館業(yè)界聯(lián)合力量、整合資源進(jìn)行機(jī)構(gòu)知識庫系統(tǒng)平臺以及其他項目的建設(shè)提供了有益的參考。

當(dāng)然，這僅僅只是一個良好的開端，后續(xù)的建設(shè)任務(wù)還非常繁重。未來希望能夠在全國高校機(jī)構(gòu)知識庫的建設(shè)進(jìn)程中進(jìn)一步探索多館協(xié)作機(jī)制，吸引更多的圖書館參與，并且能夠形成統(tǒng)一良好的合作建設(shè)規(guī)范。endprint