大數(shù)據(jù)情報(bào)化技術(shù)應(yīng)用研究

趙厚理

引言：

大數(shù)據(jù)核心價(jià)值：大數(shù)據(jù)情報(bào)化。高關(guān)聯(lián)度的深度挖掘呈現(xiàn)。縱深橫向關(guān)聯(lián)挖掘呈現(xiàn)。

隨著學(xué)科的深入交叉融合及社會(huì)發(fā)展、經(jīng)濟(jì)發(fā)展與科技發(fā)展一體化程度的增強(qiáng)，大數(shù)據(jù)情報(bào)化研究正從單一領(lǐng)域分析向全領(lǐng)域分析的方向發(fā)展。數(shù)據(jù)精分及呈現(xiàn)結(jié)果都在數(shù)據(jù)計(jì)算中凸顯情報(bào)化特色，滿足使用者最精準(zhǔn)的需求。

各行業(yè)越來(lái)越依賴?yán)脭?shù)字化科學(xué)數(shù)據(jù)以及借助復(fù)雜的數(shù)據(jù)挖掘、集成、分析與可視化工具將其轉(zhuǎn)換為信息和知識(shí)的能力。對(duì)于大數(shù)據(jù)情報(bào)研究來(lái)說(shuō)，應(yīng)用智能化技術(shù)能自動(dòng)進(jìn)行高級(jí)、復(fù)雜的信息處理分析工作，在很大程度上把研究人員從繁瑣的體力勞動(dòng)中解放出來(lái)，尤其在信息環(huán)境瞬息萬(wàn)變的今天，及時(shí)收集信息分析并反饋已經(jīng)變得非常重要，這都需要智能化技術(shù)加以支撐。

多維度的空間碎片數(shù)據(jù)關(guān)聯(lián)是大數(shù)據(jù)情報(bào)化呈現(xiàn)的基礎(chǔ)，根據(jù)不同屬性對(duì)數(shù)據(jù)進(jìn)行定制化呈現(xiàn)并通過(guò)關(guān)聯(lián)計(jì)算方式智能化的解析預(yù)警，提供判斷依據(jù)是大數(shù)據(jù)情報(bào)化的關(guān)鍵。在數(shù)據(jù)大爆炸的時(shí)代，我們?nèi)绾卫煤么髷?shù)據(jù)呈現(xiàn)其應(yīng)該具備的價(jià)值，是非常值得研究和探索的。

一、大數(shù)據(jù)情報(bào)化

大數(shù)據(jù)分析及呈現(xiàn)是將可收集的大數(shù)據(jù)內(nèi)容進(jìn)行定制化結(jié)果、結(jié)論的可視化呈現(xiàn)過(guò)程，如何將有限的數(shù)據(jù)進(jìn)行高關(guān)聯(lián)度延伸分析、縱深橫向關(guān)聯(lián)分析、類比資源輸送結(jié)合分析，是業(yè)界的難題，即大數(shù)據(jù)分析呈現(xiàn)的情報(bào)化，是特種安全領(lǐng)域、情報(bào)分析領(lǐng)域以數(shù)據(jù)為基礎(chǔ)的全新思維，技術(shù)相通，理念一致。

將判斷威脅情報(bào)分析的引擎融入大數(shù)據(jù)分析行業(yè)則形成大數(shù)據(jù)情報(bào)分析系統(tǒng)。

對(duì)信息安全領(lǐng)域威脅的大數(shù)據(jù)情報(bào)分析內(nèi)容：黑客、黑客來(lái)源、黑客屬性、黑客使用武器、黑客手法、武器基因、變種方式、入侵手段痕跡、隱藏手段、竊密方式、運(yùn)輸手段、惡意IP庫(kù)、跳板、DNS供應(yīng)商、行為目的輸出等。

對(duì)社會(huì)安全、生產(chǎn)安全、反恐的大數(shù)據(jù)情報(bào)分析內(nèi)容：特殊定向人物、生活生產(chǎn)習(xí)性愛(ài)好、社交及行為軌跡、地理分布、危險(xiǎn)品爆炸物關(guān)聯(lián)、消費(fèi)及生活環(huán)境、學(xué)歷及家庭環(huán)境、征信內(nèi)容等。

可以廣泛應(yīng)用于軍事、反恐、商業(yè)、人文、農(nóng)業(yè)、互聯(lián)網(wǎng)、金融等領(lǐng)域。在數(shù)據(jù)呈現(xiàn)結(jié)果中我們需要的那部分稱之為“畫(huà)像”，大數(shù)據(jù)是物理世界在網(wǎng)絡(luò)世界的映射，是一場(chǎng)人類空前的網(wǎng)絡(luò)畫(huà)像運(yùn)動(dòng)。

網(wǎng)絡(luò)世界與物理世界不是孤立的，網(wǎng)絡(luò)世界是物理世界層次的反映。數(shù)據(jù)是無(wú)縫連接網(wǎng)絡(luò)世界與物理世界的DNA。發(fā)現(xiàn)數(shù)據(jù)DNA、重組數(shù)據(jù)DNA是人類不斷認(rèn)識(shí)、探索、實(shí)踐大數(shù)據(jù)的持續(xù)過(guò)程。

充分計(jì)算關(guān)聯(lián)碎片大數(shù)據(jù)形成情報(bào)，自由構(gòu)建并呈現(xiàn)給用戶最直觀的數(shù)據(jù)挖掘內(nèi)容。是當(dāng)今大數(shù)據(jù)以情報(bào)分析呈現(xiàn)的必然趨勢(shì)及需求點(diǎn)，因受限于運(yùn)算技術(shù)能力及應(yīng)用場(chǎng)景，目前很多大數(shù)據(jù)情報(bào)資源提供機(jī)構(gòu)不能滿足真實(shí)需求或不能深度挖掘呈現(xiàn)所需，只能做到大數(shù)據(jù)運(yùn)算及呈現(xiàn)，情報(bào)引導(dǎo)引索能力尚待提高，預(yù)知呈現(xiàn)預(yù)警能力不高。

二、大數(shù)據(jù)情報(bào)分析應(yīng)用相關(guān)技術(shù)

2.1數(shù)據(jù)應(yīng)用平臺(tái)和數(shù)據(jù)可視化方案

2.1.1商業(yè)智能（BI）工具

用于比較基本的，格式固定的報(bào)表展現(xiàn)，具體選型待定，需要根據(jù)郵政總局的實(shí)際情況，沿用歷史已購(gòu)買(mǎi)許可的BI工具，或者另外選型。

2.1.2數(shù)據(jù)分析工具

Hive 在Hadoop、Spark上實(shí)現(xiàn)的各種SQL引擎，可以兼容傳統(tǒng)數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)的形式提供數(shù)據(jù)的查詢和計(jì)算。為業(yè)務(wù)人員提供門(mén)檻較低的交互式的數(shù)據(jù)分析工具。

2.1.3情報(bào)分析工具

HD300，深度關(guān)聯(lián)呈現(xiàn)模型，是最核心的情報(bào)呈現(xiàn)工具，也是核心應(yīng)用模塊。社交網(wǎng)絡(luò)分析方法、空間信息分析等其他學(xué)科的分析方法，廣泛應(yīng)用于反恐情報(bào)、商業(yè)情報(bào)、軍事情報(bào)、科技情報(bào)等領(lǐng)域，心理學(xué)等領(lǐng)域的理論也用于情報(bào)分析的認(rèn)知過(guò)程，以指導(dǎo)情報(bào)分析及其工具的研發(fā)。

2.2數(shù)據(jù)分析及可視化

2.2.1 Web頁(yè)面數(shù)據(jù)查詢和數(shù)據(jù)可視化

架設(shè)在HBASE或者Spark SQL之上的高度定制化的數(shù)據(jù)展現(xiàn)和數(shù)據(jù)交互實(shí)現(xiàn)。對(duì)于定制為情報(bào)的數(shù)據(jù)分析和可視化呈現(xiàn)，均需要進(jìn)行代碼開(kāi)發(fā)。可以選用業(yè)界的主流d3.js可視化框架來(lái)呈現(xiàn)數(shù)據(jù)。

太有意義有意義亞瑟王十五大

地理空間數(shù)據(jù)分析的分析，由于地理數(shù)據(jù)的抽象度較高，高度依賴于可視化展現(xiàn)，實(shí)現(xiàn)難度也較高，Esri API和GeoTrellis可在Spark上實(shí)現(xiàn)地理數(shù)據(jù)的數(shù)據(jù)分析。

更加炫目的3D動(dòng)畫(huà)式的數(shù)據(jù)展現(xiàn)可用WebGL實(shí)現(xiàn)，路徑飛線動(dòng)畫(huà)就是基于WebGL實(shí)現(xiàn)，非常成功。可以呈現(xiàn)出更為直觀的效果。其他受好評(píng)的數(shù)據(jù)可視化工具如tableau，processing，根據(jù)需要備選。

從技術(shù)上看，可視化、數(shù)據(jù)挖掘等計(jì)算機(jī)領(lǐng)域的技術(shù)，為情報(bào)研究提供了有力的技術(shù)視角，情報(bào)研究獲得的知識(shí)反過(guò)來(lái)又給予其他技術(shù)領(lǐng)域的發(fā)展以引導(dǎo)。

可見(jiàn)，無(wú)論從思想上、方法上、技術(shù)上，各領(lǐng)域之間的交叉點(diǎn)越來(lái)越多，雖然這種相互借鑒早就存在，但現(xiàn)在意識(shí)更強(qiáng)、手段更為綜合。