大數據關鍵技術及其經濟社會應用研究

摘要：大數據的Map-Reduce、Hadoop和數據可視化技術可以最大限度地提升人類視覺感官對多源、海量及動態數據背后信息的理性洞悉。本文從“知識與傳播服務”“商事服務”“智慧政務”3個方面論述大數據應用研究的幾個前沿主題。

關鍵詞：大數據；技術；應用；智慧政務

中圖分類號：P208 文獻標志碼：A 文章編號：1674-8883（2020）17-0247-02

“大數據”并非一個新概念。《促進大數據發展行動綱要》（國發〔2015〕50號）中闡釋：“大數據是以容量大、類型多、存取速度快、應用價值高為主要特征的交易數據、交互數據與傳感數據的集合。”國際學界主要從“3V”“4V”甚至“5V”特性來對大數據的概念進行歸納，例如，Gartner公司提出的“3V”特征及其概念，即大數據至少應滿足“規模性（volume）、多樣性（variety）和高速性（velocity）”3個特性，而價值性（value）或真實性（veracity）等尚存諸多爭議。本文就大數據的技術和應用方面進行論述。

一、大數據關鍵技術

（一）Map-Reduce及Hadoop

自Google（谷歌）在2004年提出Map-Reduce，其在處理TB和PB級數據方面已經成為使用最廣泛的并行分布式編程模型之一，也是云計算的關鍵處理技術[1]。Map-Reduce主要利用“Map（映射）”進行任務的分解和“Reduce（化簡）”進行結果的匯總，即通過定義良好的接口和運行時支持庫，自動并發執行大規模的計算任務，隱藏底層實現細節，降低用戶并行編程的難度。例如，將MapReduce應用于數據挖掘和模式發現等領域，或利用分布式內存緩沖（如GemFire）來進行性能優化[2]。當然，Map-Reduce的標準規范、性能升級、大規模底層基建以及針對不同實驗平臺的實現將逐漸成為可能的研究熱點。

Hadoop是Apache基于Map-Reduce和GFS開發的一個開源分布式計算框架，高擴展性、高可靠性、高可用性、高時效性及低成本等方面的優勢使其成為了大數據開源技術的代表[3]。對Hadoop進行平臺性能、高效查詢處理及索引構建使用等方面的改進，并將其應用于不同場景的海量處理已成為新的研究熱點。例如，將Hadoop分布式技術與Linux集群技術結合起來開發并實現高效易擴展的海量數據存儲管理系統，如海量海洋科學數據存儲平臺[4]。不過，Hadoop也不能很好地解決穩定性和能耗等問題。已有學者運用GemFire分布式內存數據庫平臺計算交通領域多源動態海量數據，研究表明至少可以減少原系統10%左右的計算時間[5]。

（二）數據可視化

數據可視化技術可追溯至20世紀50年代的計算機圖形學，如今已經應用到科學數據、社交網絡、旅游地理、趨勢預測等多個領域。在大數據時代，傳統的“文本形式”已不能有效解釋并呈現海量數據的復雜關聯性，引入可視化技術是解析數據價值中非常關鍵的一環。大數據可視化的實質是借助人機交互式分析方法和交互技術，清晰有效地傳達與溝通信息，以圖形化形式輔助人們更為直觀和高效地洞悉大數據背后的信息、知識與智慧[6]。

具體來說，大數據可視化應用可以分為4類，即多維疊加式數據可視化應用，如社交網絡與網絡地圖的疊加導航；揭示數據關聯趨勢的可視化服務，如百度指數；思維導圖（Mind Map）可視化工具，已成為各類可視化應用的基礎技術之一；數據交流社區的可視化平臺，如紐約時報的數據可視化實驗室[7]。這些應用所進行的信息挖掘與知識洞悉多以文本、網絡關聯（圖）、時空序列及多維數據等圖形化形式呈現出來。

二、大數據的經濟社會應用領域

（一）知識與傳播服務

1.數據新聞。社會化媒體、移動終端和大數據正在滲透到新聞生產的各個環節，這些新技術正極大地影響著傳統媒體與新媒體的融合[8]。大數據已成為新聞核心資源之一，新聞生產正趨向于數據驅動型和趨勢預測型。有學者認為，大數據時代的傳播學研究面臨新變革，如輿情研究將從傳統的內容視角、信息采集方法、結構化輿情庫和離散主體方法轉向內容與關系、數據可視化、非結構化輿情庫及關聯聚合主體等新范式[9]。大數據提供了挖掘品牌接觸和用戶需求平衡點的關鍵技術和傳播能力，這不僅會造成新聞與傳媒的新震蕩，也會重構傳播品牌市場新格局。

2.數據圖書館。在大數據時代，對復雜、多源、動態數據的存儲和深度挖掘將成為圖書館從“物理圖書館”向“數據圖書館”轉型的關鍵動力[10]。當前，信息服務與知識挖掘是圖書館服務的主要內容，而在知識服務基礎上的創造性服務才是數據圖書館服務的核心。這方面的技術主要通過采集用戶Web日志的數據，挖掘關聯規則、內容分類和用戶聚類的行為需求，建立一站式數據資源交互服務平臺，使用戶與圖書館都成為資源的接受者、學習者、發布者和貢獻者，從而能提高個性化服務與差異化服務[11]。由此看，基于大數據的數據圖書館智慧服務及趨勢預測有很大的研究空間。

（二）商業信息傳播

1.企業競爭情報。大數據的核心就是預測，這在商業競爭中表現得尤為明顯。有學者提出從“社會化的價值創造、網絡化的企業運作、實時化的市場洞察”等研究視角來探討大數據背景下的現代商業決策模式創新，認為產品生產與價值創造將越來越依賴于用戶參與體驗數據，同時企業的運營及生態也將趨向于網絡化與動態化，而基于精準數據的實時需求洞察將成為未來營銷的主要模式[12]。不過，現有企業數據庫大多不能集成、存儲TB級數據，也在高級別的情報分析方面缺乏技術支持，還會造成情報實時性的高損耗[13]。

2.云會計。企業財務決策所需的支撐數據已從企業內部財務數據擴展到包括稅務部門、會計師事務所、銀行等多主體參與在內的各種半結構化或非結構化數據。企業可以利用云會計平臺和大數據分析技術從海量數據中挖掘出有用信息，并實施科學預測與精準決策。同時，云會計平臺和大數據技術為企業財務決策中公允價值的確定帶來了新的方法，還有望應用于企業成本控制系統。不難看出，“云會計”的概念基于對云計算的服務內涵及模式分類的理解，而大數據將使云會計研究更具價值。

3.互聯網金融。隨著大數據時代的來臨，這種對傳統金融模式產生重大影響已成為必然趨勢：互聯網金融格局將呈現橫向綜合化與縱向專業化交錯的矩陣結構；第三方支付和移動支付逐步替代傳統支付業務（如銀行匯款、信用卡）；網絡信貸市場空間巨大，將逐步替代部分傳統存貸款業務；眾籌融資將替代部分傳統證券業務[15]。中國的互聯網金融研究大多是將大數據作為時代背景，考察互聯網金融模式與傳統金融模式及商業銀行的區別和影響關系。

（三）智慧政務

智慧政務研究是對傳統電子政務、電子治理的繼承。學者姚國章在研究“智慧旅游”時曾提出智慧政務在旅游管理中的應用，大體也認為智慧政務是電子政務、移動政務等的深化應用，同時也必須是基于智慧化技術的政府管理和服務模式的創新。有學者認為，智慧政務通過跨邊界的集成與泛在化公共服務的提供，推動著包容性電子治理的實現。黃璜等認為，大數據對電子政務的影響莫過于對政府決策的影響。也有基于大數據的智慧政府門戶方面的研究，從智慧感知、智慧建站、智慧推送、智慧測評、智慧決策等5個方面提出了建設智慧政府門戶的思路，像站內搜索關鍵詞變化趨勢、網站頁面點擊熱力圖等技術都被用來作為實施精準決策的工具。

三、結語

信息是國家治理的重要依據，大數據是國家戰略，要以信息化推進國家治理體系和治理能力現代化。推動大數據市場化運用和創新發展，培育新技術、新業態、新模式、新產業。通過大數據推進政府管理和社會治理模式創新，實現政府決策科學化、社會治理精準化、公共服務高效化。同時，集中統籌布局一批綠色數據中心，吸引大數據企業落地進駐，推動大數據政用、民用、商用，構建良好的大數據發展生態鏈。實踐證明，發揮比較優勢、搶抓發展機遇、建立生態鏈，才能夠贏得發展主動權。

參考文獻：

[1] 陳全，鄧倩妮.云計算及其關鍵技術[J].計算機應用，2009（09）：2562-2567.

[2] 謝桂蘭，羅省賢.基于Hadoop Map-Reduce模型的應用研究[J].微型機與應用，2010（08）：4-7.

[3] 王珊，等.架構大數據：挑戰、現狀與展望[J].計算機學報，2011（10）：1741-1752.

[4] 崔杰，李陶深，蘭紅星.基于Hadoop的海量數據存儲平臺設計與開發[J].計算機研究與發展，2012（S1）：12-18.

[5] 徐翔，等.基于GemFire的海量數據計算性能實驗分析[J].計算機應用，2013（01）：226-229+ 233.

[6] 任磊，等.大數據可視分析綜述[J].軟件學報，2014（09）：1909-1936.

[7] 張浩，郭燦.數據可視化技術應用趨勢與分類研究[J].軟件導刊，2012（05）：169-172.

[8] 彭蘭.社會化媒體、移動終端、大數據：影響新聞生產的新技術因素[J].新聞界，2012（16）：3-8.

[9] 喻國明，等.傳播學研究：大數據時代的新范式[J].新聞記者，2013（06）：22-27.

[10] 樊偉紅，等.圖書館需要怎樣的“大數據”[J].圖書館雜志，2012（11）：63-68+77.

[11] 韓翠峰.大數據帶給圖書館的影響與挑戰[J].圖書與情報，2012（05）：37-40.

[12] 馮芷艷，等.大數據背景下商務管理研究若干前沿課題[J].管理科學學報，2013（01）：1-9.

[13] 黃曉斌，鐘輝新.大數據時代企業競爭情報研究的創新與發展[J].圖書與情報，2012（06）：9-14.

[14] 彭超然.大數據時代下會計信息化的風險因素及防范措施[J].財政研究，2014（04）：73-76.

[15] 陶婭娜.互聯網金融發展研究[J].金融發展評論，2013（11）：58-73.

作者簡介：王尊（1982—），男，重慶人，本科，助理記者，研究方向：媒體融合發展。