暗數據對圖書館應用大數據的影響分析

崔小宜

（西北政法大學行政法學院 陜西 西安 710012）

暗數據對圖書館應用大數據的影響分析

崔小宜

（西北政法大學行政法學院 陜西 西安 710012）

數據挖掘、數據分析等大數據應用是大數據時代圖書館拓展和升級服務的必然選擇，但大數據中不容忽視的暗數據會對其應用造成影響，圖書館必須認識到其存在和影響，并采取一定的措施來提高數據應用效率。

暗數據；大數據；數據服務；圖書館

毋庸置疑，大數據是當下社會最熱的詞匯，其不僅被學術界所研究，也被政府所重視，更被商界所追捧，全社會已然進入到了一個開口必言“大數據”的時代，數據也似乎成了可以推動社會發展的最強驅動力，但實際是否如此？所有的大數據都真如一些研究所言可以分析與利用，是“金礦”、是推動社會發展的新動力嗎？帶著這些問題，筆者通過引進、介紹了占大數據比例較高、價值巨大但難以收集、分析和應用的暗數據，重點分析了暗數據對應用大數據的影響和圖書館應用暗數據的方式與途徑。

1 暗數據概述

目前，業界對“暗數據”的定義還不豐富和完善，相關討論也都主要引用國際著名咨詢公司Gartner公司對“暗數據”的定義：“企業在開展正常業務活動期間采集、處理和存儲，但通常無法用于其它目的（如分析、商業關系和直接獲利）的信息”。大數據智庫則將其定義為：“暗數據”是深藏于海量數據之中、在商業應用上可能發揮重大作用的關鍵隱含數據。結合上述兩種定義，我們可以理解為，“暗數據”是人類沒有掌握和收集但已產生影響的數據+人類沒有開發挖掘的大數據，具有不易收集與分析、隱匿性較高等特征。

相較于大數據，暗數據的社會關注度就遜色不少。筆者以主題為“暗數據”檢索了國內收錄研究文獻最為齊全的中國知網（檢索日期：2015年3月30日），結果顯示只有2015年初蔣報永發表在2015年1月12日《中國計算機報》上的“點亮‘暗數據’的五種方式”一文，可見國內學者對其的研究之匱乏接近于空白。但需值得注意的是，有一篇網絡博文則受到了業界極大的關注，那就是上海圖書館館長吳建中先生2015年2月22日發表于其博客“建中讀書”的“暗數據”一文，該博文不但對暗數據的GARNER定義、國內外圖情界對其的關注與實踐進行了介紹，也介紹了博主對暗數據的理解與發展展望。

根據上述兩篇僅有的中文文獻資料，我們知道：國際知名的開放出版機構生物醫學中心（BioMed Central，簡稱BMC）與全球最大搜索引擎谷歌Google，分別于2008年及其后，各自致力于藥物開發或科技領域的暗數據研究；從2012年開始，美國眾多企業都在信息發布或微信等媒體上透露將關注暗數據信息；惠普、美國慷孚系統公司（CommVault System，Inc）等IT公司正致力于研究和推廣點亮“暗數據”的信息治理策略研究和智能歸檔解決方案。此外，Facebook面對數量龐大的互聯網社群，為了使生成的內容既吸引一批忠實的品牌倡導者，也可以喚醒那些“潛水粉”，于是通過在社交虛擬社區測定“潛水粉”的點擊率、變動率和一段時間內的參與度，以此來“激活”“潛水粉”，將品牌的著力點放在他們“正在不做什么”之上，進而影響和促動營銷者們挖掘品牌內在的價值。

2 暗數據對圖書館應用大數據的影響

2.1 圖書館暗數據的分類與原因

盡管大數據價值巨大，但其價值的實現必須依賴于深度的數據挖掘和分析，以此來發現隱藏在事物發展表明的本質和規律，進而實現數據信息的增值與開發。反之，數據則會處于黑暗的非揭示狀態。而從上述暗數據的定義、特征等可以看出，處于黑暗非揭示狀態的數據可能是人們未能存儲掌握或真實存在而又人們未能知道的數據，也可能是已經存儲但沒有挖掘開發的數據，這兩類不同的數據對大數據分析和應用的影響也存在差異。

圖書館是社會知識存儲、加工與組織的公益性機構，也是社會文明發展歷程的見證者和成果繼承者，跨入大數據時代以來，圖書館界敏銳的觀察到了大數據社會民眾的信息需求變化特征，并開始了對大數據時代圖書館轉型變革的研究與實踐。其中，掌握和分析用戶的圖書館利用等信息行為等數據，以為用戶的個性化、專業化信息服務開展、推送與實現提供決策參考，是圖書館在大數據時代的大數據應用主要內容。暗數據的存在和對其他數據的影響也會影響到圖書館對大數據的應用效率、價值和意愿，而分析這些影響的大小與可能性，則需從圖書館所需大數據中所含暗數據的來源入手，以進一步通過分析這些來源數據可能產生的影響。筆者認為通常來說，圖書館所需大數據一方面來自于用戶享受圖書館服務時產生的借閱習慣、借閱歷史等存儲于計算機的結構化數據，和產生于用戶在科學研究、社交網絡等情景時產生的非結構化數據、半結構化數據（第一類數據），另一方面則來自于互聯網、商場等物理空間、虛擬空間中個體的信息行為數據（第二類數據）。

從產生上述兩類暗數據的原因來看，既有主觀原因，也有客觀原因，如數據收集、分析和挖掘等處理設備、技術等都可能造成數據無法準確掌握的原因，對數據分析深度的欠缺、基于經驗的人為主觀判斷等也可能造成暗數據價值的淺層挖掘，隱私、商業信息的保護和獲取之間矛盾，大數據時代信息倫理規約和傳統信息道德的博弈，等等。這些問題的解決既需要相關技術的發展為支撐，也需要數據挖掘等相關工作的開展積累，更需要相關法律、法規和制度的完善與保障等多方發展推動因素。

2.2 暗數據對圖書館應用大數據的影響

從對圖書館應用大數據的影響來看，第一類數據主要會影響到圖書館對用戶個體需求特征的精準判斷和服務，如對用戶所需學科領域、服務途徑等的模糊掌握，會影響到用戶對圖書館服務的體驗與評價，甚至當圖書館在大數據時代信息中心的地位被邊緣化、以服務來體現價值的情況發展逐步顯現時，用戶可能會選擇其它信息咨詢、數據分析等盈利性機構，最終降低圖書館的存在價值；第二類數據主要會影響到圖書館對非圖書館服務利用者和發展生態環境的需求與態勢判斷，如對非圖書館用戶來說，其對圖書館服務的服務體驗可能處于空白，圖書館不能依賴第一類數據的分析來斷定所有社會民眾的圖書館服務體驗意愿，而是需掌握這類潛在的圖書館用戶利用圖書館服務的可能性和有區別于圖書館用戶的服務需求，這就需通過分析這類信息行為主體在互聯網、社交空間、移動終端使用等方面的社會數據。同時，圖書館不能對數據的分析局限在固定用戶和潛在用戶的信息行為等范圍，大數據的價值巨大就是因為其實現了多領域、多途徑數據的關聯，通過潛在的關聯去分析和發現事物之間可能產生的關聯關系，如經典的“啤酒+尿布”就是看起來毫不相干的兩件事，最后卻關聯在一起并鑄造了一個傳奇營銷案例。因此，圖書館也需對產生于商場、博物館等物理空間和網絡、設計空間等虛擬空間的數據進行掌握與分析，以尋求圖書館的服務改進與事業發展途徑。如果對所分析的數據在數量、來源分布等方面存在較大的暗數據，其分析的結果可能不能達到預期的效果或產生一定的結果偏移，影響到圖書館決策者在事業發展、服務改進等方面的正確決策和創新。

3 如何點亮圖書館所需的暗數據

3.1 圖書館應用暗數據：價值與風險并存

大數據價值的產生緣于其廣泛的來源和龐大的數量以及復雜的組成結構，那么，在大數據中，暗數據所占的比例有多高呢？全球性的組織CGOC（Compliance，Governance and Oversight Counsel，合規管理監督委員會）在2013年進行的一項調查研究結果顯示：“在企業存儲的數據中，69%的數據對企業毫無價值”。也有科學研究表明“宇宙中有90%是由人們看不見的暗物質組成的”、“存在于地處暗黑之海里面（DarkWeb）一些孤島的數據占數據總量的85%以上”，等等。這些都表明暗數據不但存在于大數據之中，且所占比例和數量巨大。圖書館利用這些存在形態多樣、收集與存儲難度較高、數量巨大、結構復雜的暗數據，其帶來的價值必將巨大嗎，但也將面臨著上述的技術、信息倫理等制約與風險，2013年央視3· 15晚會曝光的網易等公司追蹤用戶cookie、分析郵件內容就是一件典型的案例，而其實從大數據的角度來看待的話，其只是客戶信息行為數據的一個收集過程，但其與當前的用戶隱私等法律法規相沖突，面臨法律訴訟等風險。“棱鏡門”事件也是此類事件的典型代表。

與風險對應的則是價值，暗數據好比所占宇宙物質高達90%的暗物質一樣，其主導著大數據的形態分布、結構組成與價值大小等屬性，其實這也就決定了對大數據的分析與挖掘其實就是對暗數據的價值挖掘與分析，圖書館掌握和提高了對暗數據的應用，也就是提高了對大數據的應用。

3.2 圖書館應用暗數據：方式與途徑

“點亮‘暗數據’的五種方式”一文對于企業如何點亮“暗數據”，釋放更大商業價值有了初步研究成果，認為企業可通過利用CommVaultSimpana10更好地搜索、了解和管理企業存儲的海量非結構化數據（如電子郵件等），智能地利用已存儲內容，在數據的生命周期內對其進行管理，就可告別“暗數據”時代。筆者借鑒企業的五種方式，認為對圖書館來說，應用暗數據的方式與途徑第一步是控制圖書館“暗數據”的龐大數據量。即拋棄傳統的數據保護方法，通過借鑒Simpana軟件基于內容的保留策略，僅保留那些對于圖書館有重要價值的數據，如用戶的上網記錄、借閱歷史等數據，減少數據存儲成本。第二步是建立一個全面的歸檔策略。即一方面從所有生成數據的地方采集數據，另一方面能夠使用一個單一、不可復制的索引去管理所有數據。第三步是讓用戶和圖書館能自助搜索和訪問所需數據。即讓用戶能夠快速地發現、訪問、分析和提取所需信息。第四步是自動管理數據生命周期。即讓對數據從生成到處理的整個生命周期進行評估，制定內容刪除的治理策略。第五步是確保合規和發現。即對數據的獲取與利用是否與現行的法律法規等有沖突，進行策略改進。同時，還要確保其它未收集數據的及時發現與已收集數據的價值發現，讓更多的暗數據走向可視化（收集的可視化與價值的可視化）。

4 結語

《駕馭大數據》一書曾寫到，數據的核心是發現價值，而駕馭數據的核心是分析。暗數據在大數據中所占的比例和價值決定了其大數據分析和應用的核心，但目前的科學發展、技術水平、法律法規、倫理道德等制約和影響著對暗數據的研究與應用，業界對暗數據的研究和關注說明人們對更深挖掘大數據價值的期待，也說明對于解決應用暗數據存在的障礙充滿期待。圖書館一直以來是社會知識存儲、數據加工與分析的中心與主要陣地，盡管在當前發展時期，暗數據的存在可能會影響到圖書館用戶個性化、學科化等服務實施的精準性和未來圖書館事業發展的態勢判斷，同時還需處理好風險與價值共存的關系，但借鑒企業實施點亮“暗數據”五步途徑，也能在一定程度上降低暗數據對圖書館應用大數據的影響。

［1］Gartner IT Glossary.Dark Data［EB/OL］.［2015-03-16］. http://www.gartner.com/it-glossary/dark-data.

［2］暗數據（Dark Data）［EB/OL］.［2015-03-16］.http://mp.weixin. qq.com/s？__biz=MzA5NzY5NDQxNg=&mid=201848593 &idx=4&sn=fc7c68a27c19f52aad571078fb01219e.

［3］蔣報永.點亮“暗數據”的五種方式［N］.中國計算機報，2015-01-12.

［4］吳建中.暗數據［EB/OL］.［2015-03-16］.http://blog.sina. com.cn/s/blog_53586b810102vgky.html.

［5］DarkDataandMeasuringInvisibleImpactinYour Facebook Community［EB/OL］.［2015-03-16］.http://www.socialme diatoday.com/content/dark-data-and-measuring-invisible -impact-your-facebook-community.

［6］東南大學借“大數據”研究暗物質數據總量等于30個國家圖書館［EB/OL］.［2015-03-16］.http://news.jschina. com.cn/system/2014/09/21/021926615.shtml.

［7］大數據的暗黑之海和外部效應［EB/OL］.［2015-03-16］. http://www.cio.com.cn/eyan/391997.html.

［8］3.15晚會曝光易傳媒等破解cookie竊取用戶隱私［EB/ OL］.［2015-03-16］.http://www.sootoo.com/content/404144. shtml.

［9］（美）Bill Franks.黃海譯.駕馭大數據［M］北京：人民郵電出版社，2013.

Analysis of the Influence of Dark Data on Library’s Utilization of Big Data

It is necessary for library to apply big data to increase and widen its service，but dark data in big data will certainly influence the application.It is important for us to recognize the existence of these data and their influence and then try to exclude them so as to increase efficency.

big data；dark data；data service

D035

A

10.11968/tsygb.1003-6938.2015040

崔小宜（1980-），女，西北政法大學行政法學院講師。

2015-04-06；責任編輯：魏志鵬