曹 琦
(解放軍68048部隊密管中心 蘭州 730030)
?
大數據技術在網絡辦公中的應用研究
曹琦
(解放軍68048部隊密管中心蘭州730030)
摘要本文分析了網絡辦公中大數據技術的作用,探討了大數據技術在網絡辦公中的多種應用方式,并指出大數據技術在應用過程中需要注意的幾點問題。
關鍵詞大數據網絡辦公數據挖掘
Applied Research on the Big Data Technology in Network Office
Cao Qi
(Confidential Administration Center, the PLA 68048 Troops Lanzhou 730030)
Absract The role of network office big data technology is analyzed in this paper, and discussed the technology of data in network office in a variety of applications, and points out that the technology of data need to be awared of some problems in the process of application.
Keywords Big data Network office Data mining
信息時代萬物數化,大數據的重要性已成為共識,如何從中提取出有用的信息,應用于網絡辦公,使其發揮出最大的效益,是當前辦公信息化建設中亟待解決的一個重要問題。
隨著互聯網、移動設備、各類傳感器的廣泛應用,數據正呈現爆炸式的增長。所謂大數據(Big data),通常是指一個組織、一個機構創造的大量結構化、非結構化數據,如網絡日志、視頻、語音、圖片和地理位置信息等,其數量往往達到千億億字節。然而“大數據”之“大”,不僅是數據量龐大,使得數據的收集、保存、維護以及共享都頗具挑戰,其更多的意義在于通過這些數據的交換、整合、分析,可以發現新知識,創造新價值,帶來“大知識”、“大利潤”、“大發展”[2]。
早在1969年,全球零售巨頭沃爾瑪便利用計算機對消費者的購物行為進行數據分析,發現男性顧客在購買嬰兒尿布時,常常會順便“搭配”幾瓶啤酒來犒勞自己,于是推出了“啤酒+尿布”的捆綁銷售手段。這一數據分析成果,給沃爾瑪帶來了巨大的經濟收益。我國在大數據的應用方面也進行了一些初步有效的嘗試,如公安部的身份證在線驗證已廣泛應用在金融、交通、公共安全等領域,政府網絡輿情監控中的大數據應用也取得了不錯的效果。
近年來,隨著數據庫、網絡等信息技術手段的廣泛應用,無紙化、數字化、信息化的網絡辦公模式已逐步并將最終取代傳統的辦公模式。然而在發展過程中我們發現,現有各類網絡辦公軟件由于部門層次多、管理鏈條長、面向對象廣、管理范圍大、研發維護雜,導致網絡上需存儲、處理、關聯、挖掘的數據量愈加龐大,如何在海量的網絡數據中提取可用數據,在繁雜的數據海洋中快速辨識所需信息,在斑駁的廢舊資料中準確捕獲高價有效名錄,對提高辦公效率、節約辦公資源、充分發揮網絡辦公的最大效能,是當前迫切需要解決的問題。而大數據技術的發展,將海量的網絡數據作為辦公數據的可靠支撐,為網絡辦公的優化、便捷、快速、預判、可靠等多類可見發展前景提供了技術支撐。
網絡辦公環境中的大數據來源只要表現為兩大類:
一是各業務部門用戶所處理的大量業務流。主要是指在業務辦理過程中,日常辦公系統所產生的各類業務信息。例如:人事、財務、科研、生產等各業務口存儲、交互的大量信息,這些業務信息大多分門別類、歸口管理。
二是基于辦公網絡各類硬件設備所產生的大量數據。它又可以分為靜態數據和動態數據兩類。網絡結構、帶寬、各類服務器的性能指標等都屬于靜態數據。用戶的點擊量、服務器的故障率、網絡資源的占用、病毒在網絡中的爆發等大量日志信息都屬于動態數據。
而在通常的網絡辦公活動中,我們大多只滿足于對各類業務信息的處理,缺乏數據收集意識,尤其是利用數據創造效益的意識。隨著大數據時代的到來以及大數據技術的發展,網絡辦公和大數據技術的結合,將會創造一個全新的網絡辦公模式。
大數據技術能夠實現網絡的智能規劃和管理,極大提高辦公網絡信息獲取、存儲、分析、分發等能力,推進建立安全、高效、智能的網絡辦公模式,滿足用戶的多樣化需求,促進網絡辦公信息化建設水平的整體躍升。
1、提升網絡辦公故障的預處理能力
隨著辦公網絡結構的日益復雜,網絡中設備故障、網絡攻擊等情況出現的概率逐漸增加,“先報警、再處理”的維護管理流程已不能滿足用戶使用需求,需要運用大數據技術對網絡中的各種現象進行分析、預測,確保網絡安全、暢通。
一是實現對故障設備的預警。通過對網絡中運行設備的基礎信息、歷史運行數據、設備故障信息進行數據挖掘,可以得到設備故障狀態下的特征值及關聯參數值等信息,將獲取的信息與設備當前運行狀態監測值進行比較分析,可以判斷設備運行是否正常,或設備的某種故障將會產生哪些聯動效應,并對設備一段時間內的運行狀態進行預測,以便能夠及早發現故障,確保各類設備的正常運行。
二是實現對網絡防御的預警。大數據瓦解了傳統信息體系架構,從以數據倉庫為中心轉化為具有流動、連接和信息共享的數據池。通過大數據技術,可以實時檢測計算機網絡的各種活動,通過對網絡異常行為的發現、預警,網絡流量與狀態的監測、分析,來處理眾多安全事件,從而提升網絡辦公體系的安全防御能力[4]。
2、增強數據互操作性,共享大數據資源
各業務部門的數據信息除少量由于業務需要交流互通外,大多被孤立于其所屬部門,不能被廣泛訪問和使用,阻礙了信息的共享,限制了一些需要綜合運用各方面數據的應用的發展,降低了數據的價值,因此,有必要進行資源的整合與共享。
一是實現數據的關系價值。數據整合往往會產生“1+1>2”的效果,兩組貌似相互獨立、沒有關聯的數據,一旦整合相聯,可能會產生意想不到的效果。在信息時代,無論是個人的日常消費等小事,還是事關健康、教育的重大決策,都會在各類信息系統中留下數據痕跡[2]。這些痕跡,保存在不同的系統中,可能各自的作用都不大,但如果建立起集中存儲的大數據環境,通過數據整合和信息加總,就可以再現一個人的生活軌跡和全景。在網絡辦公環境內亦是如此,通過破解業務部門間獨立分割的傳統思維,打破數據資源的自我封閉狀態,實現各業務系統數據的整合,使得各業務部門之間的數據可以彼此印證、互相解釋,挖掘數據的關系價值,用數據揭示事物的全景式真相,為決策者提供決策依據。
二是實現數據的多維查詢。這里所謂的“維”,是指人們觀察事物、計算數據的特定角度。例如,全球零售巨頭沃爾瑪如果要分析自己的銷售量,可以按時間序列分析、商品門類分析、地區國別分析,也可以按進貨渠道分析、客戶群體分析,這些不同的分析角度,就是“維度”。在網絡辦公環境中,通過對數據的整合、共享,用戶可以根據自己的實際需求,從多個維度對數據進行查詢分析,從而更大程度低發揮數據自身的價值。
3、合理配置資源,實現綠色通信
隨著辦公網絡終端數據的激增,網絡規模的擴大,以及用戶對網絡辦公的依賴,網絡負載日益加重。因此有必要對用戶行為、資源使用、網絡帶寬占用情況等數據進行提取、轉換、分析,找出影響網絡質量的原因,降低能源消耗,營造綠色網絡。
一是實現網絡資源的動態分配。通過動態自適應的方法,充分考慮服務需求、網絡流量等情況,再配備相應的網絡資源。例如,當用戶暫不使用某些資源時,關閉這些應用模塊,使其進入休眠狀態,再需使用時,對其進行喚醒,使得現有網絡資源獲得最佳效益,降低網絡能源消耗。
二是實現網絡結構的優化調整。通過對網絡中網速、流量、資源占用等各類監測數據的收集、分析,實現對網絡結構的調整,通過對參數的修改、網絡結構的優化、設備配置的更改等一些技術手段,提高網絡運行質量,提升用戶使用感受[3]。
網絡辦公中大數據技術的應用既不可一蹴而就,又不可??坎磺?,尤其是現在仍處于大數據技術研究應用的初步階段,有很多實際問題需要解決。在具體部署時,應考慮各種技術組件的有效組合,聚焦于具體環境,實現大數據技術的有效應用,這里簡單談五個方面的問題。
1、以用促建
數據平臺作為信息系統的“心臟”,不“跳動”,就會僵死;不運用,就難以發現和解決平臺建設的具體問題,就不可能推動其不斷完善更新。因此,必須堅持“以用促建、建用結合”的方針。有人認為當前大數據技術還不夠成熟,存在“等、靠、看”心理,覺得大數據建設必須是全面的、完備的,然而這樣的觀念只能阻礙大數據技術的發展。我們必須立足現有基礎、細致分析需求、認真查找不足、規范建章立制,逐步推進大數據技術在辦公網絡中的應用,并且在應用過程中,通過不斷發現問題、解決問題,促進應用的完善。
2、數據整合
辦公系統中的數據類型早已不是單一的以文本為主的結構化數據,還存在著如圖片、公告、文件、工具和項目交流信息等大量的非結構化數據,更有充斥著廣泛存在于社交網絡和電子商務中的音頻、視頻、地理位置等多類型數據。據統計,網絡辦公中75%的數據屬于非結構化數據。雖然目前結構化數據的處理方法已相對成熟,但是數量龐大的非結構化數據還沒有真正有效的快速處理方法,只有將非結構化數據進行統一、整合,大數據技術才能夠在更廣泛的范圍中真正發揮其作用。
3、數據關聯
當前網絡辦公環境復雜、政出多門、各行各業各部門基本都有自己的業務平臺和數據庫,各類業務模塊和數據類型分布在不同的辦公平臺上,這些被割裂的數據在單一業務平臺無法得到充分利用,而不同業務模塊的數據由于數據類型、編碼等原因還未實現共享、關聯,即使部分部門對數據進行了整合,也僅僅基于對諸如姓名、時間等關鍵業務的數據進行整合和利用,非關鍵業務的數據仍然被忽視。而網絡辦公中單一業務模塊的數據存在價值遠遠小于所有辦公平臺數據關聯起來后產生的質變性的價值爆炸,因此,要在網絡辦公中充分發揮大數據技術的神奇作用,數據關聯與分析將面臨巨大的挑戰。
4、數據安全
在大數據環境構建過程中,如何確保數據的安全保密是首先需要解決的問題,主要是指數據內容的安全保密,防止數據的泄露、篡改、偽造或破壞。為此,可以通過身份認證、數字簽名、加密保護等技術手段,確保數據傳輸、使用和存儲安全。
5、網絡安全
對于網絡安全來說,大數據技術可謂是一把雙刃劍,既能通過海量數據的收集、分析,對網絡安全形勢作出預測,同時,不可控的海量數據又為病毒傳播、黑客攻擊、系統漏洞等安全威脅的滋生提供了土壤和漏洞,對網絡辦公系統的安全設計提出了挑戰。在大數據環境下的辦公網絡,需要使用多種安全技術來防范。可以從訪問控制、網絡隔離、入侵檢測、病毒防治、安全審計等多個方面來確保大數據環境辦公網絡安全。
大數據是一個單位、行業乃至國家的重要財產,能夠提高決策的科學性、精準性,提升預測預警能力、應急響應能力,優化工作流程,輔助各類決策,實現數字化管理。借助大數據技術能夠逐步實現立體化、多層次、全方位的網絡辦公體系,加快推進智能化網絡辦公模式的應用。
參考文獻
[1]孔德智,劉群興,王穎凱,張瑩瑩.大數據技術及其應用研究[J].計算機科學與技術,2013.11(31).
[2]徐子沛.大數據[M].廣西師范大學出版社,2012.
[3]張平,崔琪楣.大數據驅動的綠色通信網絡[J].深圳大學學報(理工版),2013.06.
[4]穆祥昆,王勁松,薛羽豐.基于活躍熵的網絡異常流量檢測方法[J].通信學報,2013.24.
曹琦:解放軍68048部隊密管中心,高級工程師。
作者簡介
中圖分類號C931.4
文獻標識碼B
文章編號160106-7186