大數據技術支持下的競爭情報凈化系統模型構建

徐海寧，孫忠林（山東科技大學信息科學與工程學院）

?

大數據技術支持下的競爭情報凈化系統模型構建

徐海寧，孫忠林（山東科技大學信息科學與工程學院）

摘要：大數據背景下，為了解決企業競爭情報信息不夠準確的問題，本文提出了以大數據技術為中心的競爭情報凈化系統模型，從企業競爭情報信息搜集凈化子系統、情報分析處理凈化子系統、情報服務凈化子系統分別進行闡述，加入大數據凈化模塊，構成了競爭情報凈化系統模型。

關鍵字：大數據技術；競爭情報；凈化

1　大數據在企業應用現狀

大數據作為一種新興的技術，應用范圍相對較大，但目前只用于四個方面。①市場方面，利用大數據進行關聯分析，及時準確地把握消費者的行為，挖掘出新的商業模式。②銷售規劃方面，對大數據進行對比，以此優化商品價格。③運營方面，提高運營滿意度和運營效率，優化成本投入，更準確地預測人員配置需求，以免產能過剩，降低人員投入成本。④供應鏈方面，利用大數據進行物流優化、庫存優化、供應商協同等工作，緩解供需之間的矛盾，控制預算支出，提高服務。［1］

本文在大數據技術的基礎上，把企業的競爭情報系統進一步優化，對情報進行提純、進化，使其能更加準確地反映企業的需求，做出決策。

2　大數據環境下競爭情報系統面臨的挑戰

（1）數據的存儲能力有限。大數據技術下的企業競爭情報既包含傳統的數據，又包含大量的基于移動互聯網、社交網絡等半結構性、非結構性數據。未來的企業競爭情報系統將會面對TB級以上的數據，這對于競爭情報系統軟件和硬件要求是一個巨大的挑戰。

（2）數據分析不夠準確。大數據技術背景下企業競爭情報的數據結構形式發生了很大變化，結構化的數據、非結構化、半結構化的數據并存。傳統的競爭情報數據分析方法、模型和技術，對半結構化和非結構化的數據不能直接處理，需要把非結構化數據轉換成結構化數據才能進行處理。這樣不但嚴重影響了企業情報分析的工作量和成本投入，也使得競爭情報分析的準確性大打折扣。［2］

（3）情報安全風險加大。大數據技術時代下，情報獲取的方式繁多，QQ、網絡日志、社交網站、微博、微信等媒體迅速地將各種動態信息發布到世界各地。有些信息可能是企業的核心情報，這些情報一旦泄露，會給企業造成重大損失，甚至可能造成毀滅性的打擊，競爭情報的安全存儲也面臨重大威脅。同時，企業的運作產生大量的數據，主要包括市場交易數據、技術研發數據、客戶信息數據、財務經濟數據、科技成果數據等，有的甚至包括員工之間交流的數據，看似不起眼的這些普通數據中很有可能蘊藏著巨大的競爭情報信息，必須妥善保存、加強保密，否則就會泄露商業機密。競爭情報存儲主要使用云存儲、移動硬盤等工具，最好采取雙重保險的方式，對十分重要信息的保存要慎之又慎。除此之外，還要防范人員的泄密，禁止員工使用網絡發布與工作相關的任何信息，對于相當重要的機密數據要控制保密人數。

（4）多數企業對大數據的認可程度較低。社交網站、移動互聯網、微信、網絡日志、微博等提供了大量有價值的情報信息，但是，大多數企業競爭情報者很容易忽略掉這些情報信息，認為大數據應該是亞馬遜、京東商城、阿里巴巴、淘寶等這樣的大企業才關心的。對大數據的認知程度不夠，這樣會使得企業競爭情報部門的工作在大數據時代變得更加被動。

（5）企業競爭情報的處理分析。數據種類繁多、數據規模龐大，要想獲得有價值的競爭情報，必須對大數據進行有效地處理分析。其中，最關鍵的是數據的清洗，剔除無關緊要的數據，并對數據進行分類劃分，按相關性程度對數據排序，建立模型，還要對數據進行關聯分析、聚類分析、技術路徑分析等，挖掘有價值的競爭情報。［2］目前，對外部數據和非結構化數據的利用較難。根據一項調查顯示，超過50%受訪單位把內部數據作為“大數據”的首要來源。這些數據通過企業多年的數據資源規劃、數據庫智能管理應用和其他相關工作收集獲得，利用大數據技術解讀這些來自業務往來、交易和電子郵件等企業內部數據為組織提供有價值的情報。［3］

（6）大數據技術分析人才匱乏和成本高昂。大數據自從被提出和應用以來時間較短，其專業性分析人才緊缺，尤其是能夠掌握大數據平臺框架（如Hadoop、NoSQL）并能處理和分析大數據的專業人才少之又少。大數據技術對企業的計算力、存儲力和數據分析能力提出了更高的要求，全面的數據存儲和分析代價高昂，僅有少數企業有能力和資金建立超大規模的數據中心，對大數據進行處理，從PB級別到ZB級別數據量的存儲和計算。［4］

3　大數據技術支持下的企業競爭情報凈化系統模型構建

傳統的競爭情報系統包括信息搜集子系統、信息分析處理子系統、情報服務子系統。基于大數據技術，對傳統的三個子系統進行優化，融入一個新的系統——凈化系統。

3.1企業競爭情報信息搜集凈化子系統

情報收集系統為競爭情報系統提供穩定可靠與豐富多樣的信息資源,是實施競爭情報系統的關鍵環節，更是企業決策支持的依據。企業根據自己的情報需求，把任務分配給情報部門，收集、整理各種信息，最終形成一個企業競爭情報的文本集合。［5］

為了使收集的信息更加準確，減輕后期分析處理的壓力，在原來模型的基礎上演化成了企業競爭情報信息搜集凈化子系統（見圖1）。該系統首先著力于信息源的選擇。再者，就是信息分類和信息管理。這兩個環節非常重要，決策層基本是從這里獲取信息、進行決策的。

為此，建立了以大數據為中心的凈化處理中心，對信息管理和分類進行驗證，確定其準確度，最后存入數據庫，供情報部門利用。存入數據庫的情報不一定是完全正確，因此，要定時凈化數據庫的情報信息，只有這樣才能保證信息的利用效率。

3.2企業競爭情報信息分析處理凈化子系統

企業競爭情報信息分析處理系統是將大量零散的、看似無關緊要的信息集中、比較和重新組合，從而發現新價值的過程。只有經過處理的情報信息才能被決策者使用，才能方便傳遞和存儲，才能體現出其經濟價值。企業搜集到信息后，下一步需要采取的措施是對這些信息進行科學地分析、處理，發現存在其中的主要問題，找出隱藏在問題背后的本質原因。［6］

數據的準確度在信息分析處理階段，更是關鍵中的關鍵，因此，數據凈化顯得格外重要。本文的企業競爭情報信息分析處理凈化子系統（見圖2）是在原有的情報信息分析處理子系統的基礎上，加入以大數據技術為處理中心的凈化模塊，在信息分析處理的各個環節中，主要是在篩選、處理、分析、評價環節進行凈化，因為這四個環節是保證數據準確的關鍵。其中，在整理和分析的相關算法和模型處理階段，也要進行數據的凈化，最后再交付情報部門，情報部門也不是被動地利用數據，如果數據不合常理，也可以再次進行數據的凈化驗證，這樣雙重保險，就可以得到相當準確的結果。

圖1　企業競爭情報信息搜集凈化子系統

圖2　企業競爭情報信息分析處理凈化子系統

3.3企業競爭情報情報服務凈化子系統

企業情報服務子系統是根據決策者、情報分析人員、企業內其他人員的情報需求，創建各類分析報告，并通過適當方式及時傳遞給企業決策者的過程。情報產品是情報服務和情報傳播的主要內容和形式，是企業競爭情報系統的最終產品和成果體系。［7］

情報的最終還是為決策者服務的，本文的企業競爭情報情報服務凈化子系統（見圖3）同樣是在原有的基礎上添加凈化模塊形成的，在這可以提供人工幫助，來驗證用戶需要的信息的準確度，進行數據的凈化，然后反饋給用戶，并以可視化的界面，形象地描述。情報部門為決策層提供信息，分析競爭對手、競爭環境，制定競爭策略，在提取的過程中可能產生誤差或者錯誤，所以數據的凈化是必要的。決策層對決策的數據和數據庫的原始數據進行比較，也能反映出其決策的正確率。

圖3　企業競爭情報情報服務凈化子系統

［參考文獻］

［1］張引，等．大數據應用的現狀與展望［J］.計算機研究與發展，2013（S2）：216－233.

［2］趙芳．基于大數據的企業競爭情報分析方法研究［J］.圖書館學刊，2015（2）：33－36.

［3］于磊，徐鳳姣．基于應急管理視角的政府應急專業處置能力建設的思考［J］.中國管理信息化，2012（22）：92－94.

［4］顧濤．基于大數據的競爭情報協作分析研究［J］.情報科學，2013（12）：114－118，135.

［5］鞠洪斌，馬林山．企業競爭情報系統建設中的情報信息收集［J］．情報資料工作，2007（5）：102－103.

［6］官思發，等．基于Web2.0的企業競爭情報系統模型構建［J］.情報科學，2014（1）：47－53.

［7］李會，程剛．基于數據挖掘技術的企業競爭情報系統模型研究［J］.情報理論與實踐，2011（1）：95－99.

Research on the Model of Competitive Intelligence Purification System Based on Big Data Technology

Xu Hai-ning，Sun Zhong-lin

Abstract：In order to solve the problem of inaccurate enterprise competitive intelligence information,this article proposes a competitive intelligence purification system model which is based on big data technology.It analyzes the model from 3 aspects:information collection subsystem,information purification subsystem,and enterprise competitive intelligence service purification subsystem respectively which consist the model of competitive intelligence purification system

Keywords：Big Data Technology；Competitive Intelligence；Purification

中圖分類號：G250.7

文獻標志碼：A

文章編號：1005－8214（2016）04－0100－03

［作者簡介］徐海寧（1990－），男，山東科技大學信息科學與工程學院在讀研究生，研究方向：信息系統工程；孫忠林（1962－），男，山東科技大學信息科學與工程學院教授，碩導，研究方向：云計算和數據庫系統。

［收稿日期］2015－09－17［責任編輯］菊秋芳