侯哲威 楊嶺 王偉亮
摘要:本文通過對大數據應用的發展現狀及后勤信息服務需求的分析,提出了建設基于大數據的后勤信息服務平臺的體系架構、主要功能及工作流程,并對其在未來后勤信息服務及后勤信息化建設中的應用進行了深入分析,將有利于推動建設向信息化轉型的后勤,實現由經驗分析模式向數據決策模式、由單純數據管理向數據產品生產、由輔助決策資源向后勤戰略資產管理的轉變。
關鍵詞:大數據 后勤 信息服務 平臺
中圖分類號:TP391 文獻標識碼:A 文章編號:1007-9416(2016)06-0000-00
近年來大數據已經成為社會各界關注的熱點話題[1]。大數據的特點主要包括:一是數據體量巨大,通常指10TB規模以上的數據量;二是數據種類繁多,除傳統的關系型數據還包括以網頁、視頻、音頻、電子郵件、文檔等形式存在的未加工的、半結構化和非結構化的數據;三是數據流動速度快,形成流式數據;四是價值密度低,數據量呈指數增長,但數據中的有用信息并未同比增長,獲取其中有用信息的難度加大。大數據的分析任務將更加復雜,更須追求速度、注重實效[2]。
當前,大數據的研究和應用已成為各行業數據研究的重點。在后勤信息服務領域,隨著各類后勤信息服務系統、保障態勢視頻監控數據呈井噴式增長,已顯現出大數據的典型特征。如何對如此大規模的數據進行智能、高效的組織管理和分析處理,在海量信息中提取有用信息,挖掘后勤保障相關的各種行為特征,實現后勤保障的針對性、精確性以及決策的正確性等,已成為當前后勤信息化建設急需解決的難題。針對這些難題,急需轉變數據處理模式,構建基于大數據技術的后勤信息服務平臺。
1大數據應用技術及后勤信息服務現狀分析
大數據是一個涵蓋多種技術的概念,涉及計算機、應用數學、統計等眾多學科領域,包括數據分析、數據挖掘、數據處理、數據管理、數據可視化等技術。其中,數據分析技術是包括機器學習等人工智能、商業智能技術,涉及關聯規則挖掘、聚類分析、遺傳算法、神經網絡、關聯規則學習等。數據挖掘技術是采用結合數據庫管理的統計和機器學習方法,從大數據集合中提取其規律模式的技術。數據處理技術通常包括內存計算技術、流處理技術、分布式計算技術等。數據管理技術包括數據庫技術;數據抽取、清洗、過濾技術;數據融合技術等。數據可視化技術信息流展現技術、歷史流回放技術等。此外,還包括貫穿大數據平臺建設始終的數據安全技術。目前,國內主流的大數據信息服務平臺是通常采用基于并行數據庫和MapReduce的混合架構,基于虛擬化管理技術和Hadoop平臺構建動態可伸縮的海量數據處理平臺。應用業務領域涵蓋:情報信息數據挖掘、企業運行數據分析、海量電網數據處理等等。
后勤業務領域中的保障態勢數據、各業務系統實時產生的數據呈爆發性增長趨勢,具有非常典型的大數據特征。面對后勤業務大數據,后勤信息服務平臺面臨一下難題:1)如何對海量態勢視頻類大數據進行高效組織和智能分析處理?2)如何從海量專業和外圍數據中獲取支持各后勤業務的關聯特征?3)如何應用大數據來輔助后勤人員研判各類保障需求、進行指揮決策并快速開展后勤保障行動?同時,如何發掘現有的信息資源價值,提高后勤大數據的利用率也是當前后勤大數據應用關注的重點問題。結合以上需求分析,針對后勤領域視頻、圖像數據規模大、數據關聯性強等特點,亟需基于大數據技術研究構建后勤信息服務平臺。
2基于大數據的后勤信息服務平臺構想
針對后勤領域實際業務中快速開展大數據分析處理的應用需求,以及視頻、圖像等非結構化數據所具有的容量大、多樣性、非結構化、冗余度大等特點,應構建橫向擴展,具有分布、并行、高效特點的后勤大數據信息服務平臺。
后勤大數據服務平臺在邏輯上表現為一種層次架構,自上而下包括基礎數據、應用層、應用數據處理層、數據存儲層、中間件層和資源層。其中貫穿所有層次還包括相應的安全機制、規范和標準。系統結構及關系示意圖如圖1所示。
2.1基礎數據層
基礎數據層是后勤大數據服務平臺的基礎,位于整個框架結構的最底層,其作用是提供量海量、豐富、全面的基礎數據。結合后勤業務數據來源渠道,將其分為核心數據和外部數據。
核心數據庫的主體是后勤業務內部各部門建設的專項數據庫,涵蓋了分散在各個后勤業務系統的各類信息資源,是實現后勤專業信息服務的基礎。外部數據是基礎數據層的主要組成部分,源自網絡、媒體、相關院校或研究機構公開發表的文獻材料,內容覆蓋了研究對象的政治、經濟、外交、文化、宗教、科技、教育、衛生和地理等領域,從中提取出與后勤業務相關聯的數據信息。這類信息獲取門檻低,技術簡單,但來源廣、種類多、數量大。
2.2數據處理層
該層是應用層和基礎數據庫層的中間層,是后勤大數據的翻譯器、中轉站和緩存。其主要功能是將基礎數據層的各類原始資源信息進行加工處理,根據用戶層的信息需求,對進行抽取、篩選、暫存,形成應用數據,為后續應用提供數據支撐,同時也為快速的數據調用提供支撐。數據處理層由一系列數據連接池組成,具體連接池內容的分配,則根據應用數據層的需求以及基礎數據來源、種類和處理特點來確定。
2.3數據服務層
數據服務層是后勤大數據服務平臺的核心。其主要功能是利用大數據技術對處理層匯集的大數據進行快速篩選和處理,形成面向各專業、各層級用戶的針對性和預見性的信息服務產品。數據服務層有5項主要功能:分別是服務生成、服務發布、服務查看、服務定制和服務管理,具體任務的分配根據用戶需求、應用數據種類、數據處理算法和處理特點確定。
2.4用戶層
用戶層是后勤大數據服務平臺的后勤業務決策者和專業人員,他們是服務需求的提出者和服務產品的使用者。該層的主要功能是:根據不同角色、專業的用戶需求,設計屬于用戶自己的頁面,為不同用戶提供個性化的精準服務。
3基于大數據的后勤信息服務平臺潛在應用價值
基于大數據的后勤信息服務平臺將承載以下應用:
第一,為后勤信息化建設提供了強大的技術支撐。在大數據條件下,涵蓋需求和供給,行動任務與后勤保障的海量信息,利用數據挖掘、大數據并行算法等的大數據核心處理技術,實現跨時間和空間的海量數據的自動搜索,獲得有價值的信息,挖掘后勤需求和保障中的規律,從而有效消除由需求和供給的不確定性而導致的重復申請、重復采購、庫存積壓、無效運輸和保障效率低下等問題,實現“需求實時可知、資源全程可控”。可見,數據技術打破了數據壁壘,實現全數據的融合共享、實時感知、全樣本分析和深度挖掘,為后勤信息化建設提供了更好的環境、條件和技術方法。
第二,為后勤科學管理和決策提供了輔助手段。在信息化時代,不能再依靠經驗和直覺作出各類決策,取而代之的是通過對全樣本數據的挖掘與分析,實現樣本的決策向給全樣本決策的轉變,經驗決策將向實證決策轉變,確保決策更加及時而準確。因此,大數據不但可以改變后勤保障方法的認知方式,更重要的是可以為后勤科學管理和決策提供輔助手段。可見,大數據預測技術與傳統數據分析技術的有機結合,將極大后勤管理和決策的預測精度、效率和時效性。
第三,為后勤信息化建設提供了全新的思維模式。大數據帶來的不僅是技術上的變革,更是思維模式和方法的變革。這種變革,正如邁爾·舍恩伯格教授所指出的,大數據要求人們改變對因果關系的追問,轉而追求相關關系這種思維的轉變將是革命性的,大數據帶來的這種創新思維模式對后勤信息化建設的推動作用甚至于會超過大數據本身。
4結語
大數據是創新、競爭和生產力的新前沿,是切切實實可以用來服務于各類企業或廣大用戶的新穎技術。本文針對目前后勤信息服務的建設需求,提出了基于大數據的后勤信息服務平臺的關鍵技術、體系架構和系統流程,實現了對各類后勤數據進行收集、轉換、綜合和管理,對所有的信息接入、信息應用等活動實施控制,并提供相應的輔助決策支撐。但是現階段,距離實現支撐大數據的融合、各種各樣的復雜查詢與分析挖掘以及人人都能從中挖掘出新的價值的愿景還有很大距離,還有很多的內容有待進一步研究。
參考文獻
[1]James Manyika, Michael Chui. Big data:The next frontier for innovation[J]. competition and productivity,2011.
[2]維克托·邁爾 —舍恩伯格,肯尼思·庫克耶(著).盛楊燕,周濤(譯).大數據時代:生活、工作與思維的大變革[M].浙江人民出版社,2012(12).
[3]鄔賀銓.大數據時代的機遇與挑戰[J].信息安全與通信保密,2013(3):9-10.
收稿日期:2016-03-15
作者簡介:侯哲威(1979—),女,漢族,吉林松原人,研究生,研究方向 :大數據 信息化。