管窺“暗數據”可視化的應用前景與隱憂*

●鄧小茹　陳穎瑜

(廣州醫科大學　廣州　510182)

?

管窺“暗數據”可視化的應用前景與隱憂*

●鄧小茹陳穎瑜

(廣州醫科大學廣州510182)

[摘要]文章通過對互聯網上出現的新名詞“暗數據”的引入，介紹其產生背景及在國內外的研究現狀，并分別從數量與比例、質量和技術可行性3個方面進行探討和提出構思觀點，進一步剖析暗數據的可視化及價值釋放，也對暗數據點亮后隨之引發的法務或其他風險，提出了個人的建議與看法。參考文獻10。

[關鍵詞]暗數據可視化潛在價值合理開發法務風險

1引言

伴隨著大數據和云時代的來臨，呈現在我們面前的是數之不盡而又揮之不去的非結構化數據和半結構化數據。為了更好地利用無盡的信息資源，人們開發了包括云計算在內的不少新技術，對數據進行專業的標引加工和分析處理，筆者對此不一一贅述。顯然，這是為了通過進一步的深加工，洞察并揭示數據背后所帶來的潛在價值，實現信息的現實增值。反之，數據則會處于黑暗的非揭示狀態，正如物體的亮面與暗面一樣并存著。因而，伴隨著大數據的進一步細分，按照其利用率和揭示深度，學術界引入了一個新名詞——“暗數據”(Dark data)。

目前，對于“暗數據”這個嶄新的名字，學術界尚處于研究的萌芽狀態，因此，其概念和范圍等界定尚在熱議當中。國內普遍認可的是美國權威的IT研究與顧問咨詢公司Gartner公司對“暗數據”的定義：“企業在開展正常業務活動期間采集、處理和存儲，但通常無法用于其它目的(如分析、商業關系和直接獲利)的信息?！盵1]筆者認為，可以將它看作是大數據的子集，凡是存儲(無論是否感知其存在)但目前尚未開發使用的數據，我們都把它歸類為“暗數據”。也可以理解為，無論我們是否覺察，或許已經擁有這些數據有些時日了，只不過到現在，它得到了一個新穎的術語稱謂罷了。

2研究現狀

近期，國內外的眾多學者紛紛探討大數據的利用率和揭示深度，為今后逐步掀開“暗數據”的神秘蓋頭拉開了序幕。在理論探討方面，我國著名學者吳建中先生2015年2月22日在他個人的新浪博客中，論述了他對暗數據的理解并作出了簡要的前景分析，他明確指出：國際知名的開放出版機構生物醫學中心(BioMed Central，簡稱BMC)與全球最大搜索引擎谷歌(Google)，分別于2008年或其后，各自致力于藥物開發或科技領域的暗數據研究；從2012年開始，美國眾多企業都在信息發布或微信等媒體上透露將關注暗數據信息[2]。

網絡辭典“水滴學堂”，率先嘗試對“暗數據”的定義、特征和應用場景給予了簡單的揭示，它認為：“‘暗數據’是深藏于海量數據之中、在商業應用上可能發揮重大作用的關鍵隱含數據。”[3]它更強調“暗數據”的作用和影響力。并且，它與吳建中先生不謀而合，都不約而同地把“暗數據”比喻成宇宙中的暗物質，比起已知事物，它的存在數量更大，但是至今的潛在價值尚不明確，對其本身知之甚少，只能預測對未來產生一定推動或阻礙的可能性，也能為用戶提供更多、更廣泛的機遇。

而在實踐研究方面，務實的IT業界內，目前只有為數不多的企業，包括惠普公司(HP)，美國慷孚系統公司(CommVault System, Inc)等，正致力于研究和推廣點亮“暗數據”的信息治理策略研究和智能歸檔解決方案[4-5]。

筆者通過查找中國知網(CNKI)中心站的期刊全文數據庫，維普資訊的期刊全文數據庫，以及萬方數據平臺的期刊全文數據庫進行文獻調研，使用“暗數據”或“dark data”作為檢索入口詞，不限定檢索年限，對所有檢索入口均進行了檢索。截止到2015年6月30日，均未發現以暗數據作為主要研究對象的相關研究文獻。

3出路初探

在大數據中，暗數據所占的比例有多高呢？一個全球性的組織——合規管理監督委員會(Compliance, Governance and Oversight Counsel, 簡稱CGOC)在2013年進行的一項調查研究結果顯示：“在企業存儲的數據中，69%的數據對企業毫無價值?！盵6]而且，根據預測，伴隨著大數據量的不斷攀升，暗數據所占的比例有可能進一步上升。吳建中先生在其個人讀書博客中，則明確表示：“據有關統計，在企業創造的數據中，其可用的平均為10%，而90%左右為暗數據。”[7]這就意味著，開發者需要投入一定的經費資金來存儲、管理和保護這些在比例上占據著主導地位的暗數據，可目前還沒有得到合理開發，也暫未產生任何現實價值，甚至可能還隱藏著各類未知風險的高比例信息資源，詳見圖1。

圖1　大數據中各類型數據及其比例分布圖

從另一方面考慮，在不知道其內涵價值的情況下，傳統的保守方法是直接銷毀暗數據[8]。筆者認為，這是比較冒險的。我們應該看到，暗數據本身具備一定的潛在價值及轉化潛力。日常零散的事務性數據，可能對價值分析沒有太大的影響和沖擊，但是，當它們匯集為一定規模的數據集合時，尤其是目前暗數據所占據的主導地位，對其進行分析與揭示，對于用戶的潛在使用習慣和需求分析可能會帶來有幫助的暗示或對業務決策的指引?？梢姡禂祿⒉皇菃渭兘o存儲、維護和管理造成高成本，而不會創造價值的無用品。確定其準確性、時效性、真實價值及其高低，是目前實現暗數據可視化面臨的主要挑戰。

可見，暗數據無論是對于開發者，還是對于使用者，都是一把“雙刃劍”。但是，從現實的角度出發，雙方都達成了高度統一的美好目標，就是適度點亮“暗數據”，讓它為我們釋放出所期望的利用價值。這是我們長期共同關注和熱切期待解決的問題。有鑒于此，筆者分別從數量與比例、質量和技術可行性3個方面，提出一些粗淺的觀點與構想，詳見表1。

表1　實現“暗數據”可視化的幾點構想

4關注隱憂

對每個不同的用戶而言，具備的潛在利用價值越高，而所需承擔的連帶風險越低，這是相當理想的轉化狀態。相應地，這種類型的暗數據資源的再開發成本也相對較低。不過，現實中，相當一部分暗數據的可視化之路并不是理想中的那樣一路坦途。

4.1潛在價值難于估算

如前所述，全面地分析調用暗數據，在技術層面和成本核算上，也不太實際。人們面臨的現實問題就是，不確定暗數據的潛在價值，也就很難估算對其進行激活的投入額度高低，因而，容易造成信息固化的惡性循環，這也是再次陷入難于點亮“暗數據”，釋放其真實價值困境的又一次真實寫照。

4.2連帶法務或其他風險

風險與價值往往是并存的。若在暗數據的可視化過程當中，涉及到機構或個人的知識產權、專利保護、商業機密、信息泄密，甚至是涉及國家安全和軍事機密的信息，可能會引發法律法規或是政治軍事等敏感問題。因而，對于“暗數據”的可視化與見光化，大部分的資源開發者都采取了相對慎重，甚至是保守的態度，盡可能規避由此而引發的一系列不必要的麻煩與糾紛。筆者認為，這也是“暗數據”與“大數據”同步產生，但卻遲遲未被呈現在世人面前，并缺乏廣泛熱議的主要原因之一。

5展望

人們對大數據的高度關注，也引發了對其主體部分——“暗數據”的進一步研究和探討?；蛟S這并不是一個新興事物，在得到人們垂青的之前，就已經默默地存在并發揮著它應有的影響和作用，正如宇宙的暗物質一樣。在人們需要越來越多可靠數據作支撐的信息時代，暗數據是否隱含著人們所期待的預期價值，如何合理、高效的進行點亮，釋放出來的真實價值高低如何，怎樣更好地規避連帶產生的法務或其他風險，隱私性暗數據如何實現永久性或特定時效性的安全保護等等……這一系列問題折射出，它給人們帶來越來越多對信息的洞察挖掘潛力和決策判斷潛力的高度寄望。

伴隨著大數據的爆炸性激增，暗數據能否迎來它被廣泛關注和深度研究的“春天”？人們的愿景往往都是美好的，或許，正如吳建中先生所言：“誰抓住了這一機遇，誰就抓住了打開通向未來之門的鑰匙?！盵9]這就需要在今后一步一個腳印，不斷攻破各種技術難關，克服重重的研究障礙，期望未來與美國權威的IT研究與顧問咨詢公司Gartner公司高級副總裁兼全球研究負責人Peter Sondergaard先生所預測的一樣：“展望未來，大數據超越了我們所能看到的。你需要了解如何處理混合數據，這意味著結構化和非結構化的數據混合，并且需要了解如何照亮‘暗數據’。暗數據是指收集的數據，盡管有價值但尚未使用過。未來領先的組織將因其預測算法的質量而獨樹一幟。這是CIO的挑戰，也是機會?！盵10]

參考文獻

[1]Gartner IT Glossary. Dark Data [EB/OL]. http://www.gartner.com/it-glossary/dark-data. [2015-02-21].

[2][7][9]吳建中. 暗數據[EB/OL]. http://blog.sina.com.cn/s/blog_53586b810102vgky.html. [2015-03-21].

[3]水滴學堂. 【詞條】暗數據(Dark Data)[EB/OL]. http://shuidixuetang.com/article/15678. [2015-03-21].

[4]HP Technology. HP Technology at Work: 您擁有暗數據[EB/OL]. http://www8.hp.com/h30458/cn/zh/smb/1392833.html.[2015-03-21].

[5][6]郭濤. 點亮“暗數據”的五種方式[EB/OL]. http://www.ciw.com.cn/h/2562/404273-17604.html. [2015-03-21].

[8]Leo Li. 大數據還是小數據？我們有選擇嗎？(二)[EB/OL]. https://community.emc.com/docs/DOC-40571. [2015-03-21].

[10]The Economic Times. 4.4 million IT jobs creation globally to support big data by 2015: Gartner[EB/OL]. http://articles.economictimes.indiatimes.com/2012-10-23/news/34680272_1_big-data-global-economy-gartner. [2015-03-21].

(宋小華編發)

Discussion about the Application and Potential Concerns of Dark Data Visualization

Deng Xiaoru Chen Yingyu

(Guangzhou Medical University, Guangzhou, Guangdong 510182, China)

AbstractBased on the introduction of a new conception"dark data" from internet, the authors described its civil and foreign research status along with its concern. Furthermore, analyzed its visualization and the released value respectively from the number and proportion, the quality and technical feasibility and made some advice and opinions for the legal risk or other risks of dark data. 10 refs.

KeywordsDark data. Visualization. Potential value. Rational development. Legal risk.

[中圖法分類號]G250.7

[文獻標識碼]A

[文章編號]1003-7845(2016)03-0003-03

[作者簡介]鄧小茹，陳穎瑜，副研究館員，現在廣州醫科大學圖書館工作。

[收稿日期]2015-09-06

*本文系廣東省文化廳、廣東圖書館學會2012年聯合資助項目“醫藥高校移動圖書館建設研究”(GDTK1219)研究成果之一。

【大數據與微應用專欄】