基于大數據的企業競爭情報分析方法研究

趙芳（廣東農工商職業技術學院圖書館，廣東廣州510507）

?

基于大數據的企業競爭情報分析方法研究

趙芳
（廣東農工商職業技術學院圖書館，廣東廣州510507）

[摘要]概述了大數據的內涵、特征以及大數據時代企業競爭情報面臨的機遇和挑戰，企業競爭情報的獲取來源更豐富、有價值的競爭情報更多、競爭情報地位更受重視，企業競爭情報的安全存儲、準確獲取、處理分析更難。在此基礎上，提出基于大數據的企業競爭情報分析方法，該方法以數據來源為基礎，通過借助Hadoop、Storm等分析工具，對數據進行加工處理，由專業情報分析人員得出企業競爭情報及對策。

[關鍵詞]大數據競爭情報數據分析分析方法

[分類號]G350

隨著信息技術的飛速發展，在物聯網、云計算、Web2.0等智能信息技術的推動下，催生了大數據時代的到來。據國際數據公司IDC的研究報告稱，2010年全球被創建和復制的數據總量為1.2ZB，預計到2020年全球將擁有35ZB（1ZB=10 億TB）的數據量[1]，大數據時代也是信息爆炸時代，是信息革命的又一個里程碑，將會產生多種多樣的數據和信息，并對企業競爭情報的理論和實踐帶來新的挑戰和機遇。

1大數據內涵

1.1大數據概念

互聯網、物聯網等網絡智能技術和社交媒體以及電子商務等網絡平臺的快速發展，使世界變得越來越小，人們足不出戶就能如愿購買物美價廉的商品，還能監視街頭商場的違法行為、實現遠程辦公管理等。這些先進技術極大地方便了人們的生活體驗的同時也產生了大量的數據和數據類型。2011年10月，麥肯錫在《大數據：創新競爭和提高生產率的下一個新領域》的研究報告里正式使用大數據一詞，并提出大數據時代已經到來[2]。大數據（Big data），也稱巨量數據、海量數據，指的是所涉及的數據量規模巨大到無法通過人工在合理時間內達到截取、管理、處理并整理成為人類所能解讀的信息。

1.2大數據特征

大數據不僅數據量大，而且數據類型也很多，增長速度也很快，總之大數據的特征包括4個V，即Volume（大量）、Velocity（高速）、Variety（多樣）、Value（價值）。

大量是指數據量規模巨大。當今互聯網如此發達，計算機、智能手機、平板電腦等智能終端普及度如此之高，人與人之間的交流不再局限于電話傳真和郵寄信件，而更多的是通過電子郵件或實時網上聊天工具，甚至是微博等社交工具；且交流不僅局限于親朋好友等熟人之間，即使陌生人之間也能通過網絡發表各自的看法，這些交流就產生了巨大的數據量。

高速是指數據的增長速度很快。隨著人們生活水平的大幅提高，各種掌上智能終端如此便捷，網上消費產生的交易數據呈指數級增長。街道商場、小區住宅等公共場所及私人場所安裝的視頻或聲音監控設備，每天記錄的大量聲像數據隨著人流量的增加迅猛增大。大數據時代，數據平均每年增長59%，即每兩年翻一番。

多樣指的是數據的種類很多。除了傳統的文本、圖片、視頻、音頻等外，還包括鏈接、位置信息等新型數據類型。可以把大數據的數據類型概括為交易數據、交互數據和感知數據等[3]，其中交易數據是指電子商務產生的與金融往來相關的數據；交互數據是指微博、微信、QQ等社交網絡媒體產生的數據；感知數據是指物聯網、智能終端設備中的傳感器、智能芯片感知到的溫度、濕度、地理位置信息等數據。

價值是指價值密度低。雖然數據量很大，但有價值的信息是有限的，有價值的信息占比下降，即信息的價值密度較低。尤其是交互數據中具有價值的信息很少，比如微博、微信等社交工具中的跟貼、轉發、評論等很多都是情緒的宣泄或者跟風等無意識的行為，不具有任何價值。雖然很多數據看似沒有價值，但大數據的價值往往是隨著時間的推移或事態的發展而慢慢顯現出來，因此大數據具有巨大的潛在價值。

2大數據對企業競爭情報影響

2.1存在的機遇

①更加豐富的競爭情報來源

信息技術的飛速發展，使得競爭情報來源更加豐富，這些來源可概括為3大類。第一類是交易數據，包括網上購物產生的大量訂單信息、交易記錄，通過互聯網繳納水電費、寬帶費等生活便民服務產生的交易信息，網上購買股票、期貨等理財產品產生的大數據。第二類是交互數據，包括QQ、微博、微信、Twitter、Facebook等社交網絡產生的大量評論、轉發或新產品的發布信息、數字圖書館、地理信息導航系統[4]，企業員工登錄管理系統查詢或發布信息產生的大量內網數據，客戶登錄客戶關系管理系統進行咨詢或意見反饋產生的交流互動數據。第三類是感知數據，包括智能公交系統中的GPS芯片產生的地理位置信息，智能家居中智能傳感器產生的溫度、濕度、亮度、氧氣指數等信息。

②更有價值的競爭情報

來自互聯網和物聯網的各種新型數據從不同角度反映著企業競爭對手、企業客戶、競爭環境等方方面面的競爭情報，通過處理海量的情報數據，有益于企業挖掘潛在商機，獲得有利的競爭優勢。比如：通過分析大量的交易記錄，能幫助企業對貿易風險進行評估，做好交易審核、防范欺詐、控制風險；通過分析社交媒體各個主題板塊的熱門話題，能隨時跟蹤廣大民眾的最新關注重點，如最愛的美食、最近旅游地點、最時尚的服飾等，有益于企業及時抓住消費者的口味，滿足客戶需求；通過智能芯片獲取公交車或出租車GPS信息能知道它們所處的地理位置，方便乘客跟蹤車輛，及時出行；通過調取監控攝像頭監控的數據有益于相關部門懲治犯罪。

③更受重視的競爭情報地位

大數據時代數據的來源更多，數據的價值也逐漸凸顯，使得企業必須更加重視收集有用的數據，并把他們轉化為有利于商業競爭的競爭情報。各行各業的發展都離不開數據，包括傳統的文本數據或半結構化、非結構化數據等。通過分析數據能了解自身也能了解競爭對手，做到知己知彼百戰百勝。比如，在企業之間的競爭如此激烈的環境下，如果沒有及時掌握原材料市場報價數據，就不能節約成本，從而失去競爭優勢；如果盲目抬高商品價格，致使高出競爭對手的價格很多，則會失去市場占有率。為了保持可持續的市場競爭力，企業必須通過市場調研和分析等手段時刻把握消費者的需求、競爭對手的動向、競爭環境的發展趨勢。

2.2面臨的挑戰

①競爭情報的安全存儲

企業的運作會產生大量的數據，包括市場交易數據、財務經濟數據、技術研發數據、科技成果數據、客戶信息數據等，甚至包括員工之間溝通交流的數據，這些數據中有可能蘊含著重大的競爭情報，必須妥善保存，否則就會泄露商業秘密。競爭情報的安全存儲包括使用云存儲、移動硬盤等可靠的存儲工具，同時最好能采取雙重保險的方式，加大對重要信息保存的安全性。除此之外，還要注意人員的保密工作，一方面禁止員工通過網絡發布任何與工作相關的信息，另一方面對于重要的數據要控制知道的人員數量，越少人知道越保密。

②競爭情報的準確獲取

數據的來源很廣，數據類型繁多，必須要經過嚴格的過濾、去偽求實、去假存真，因此企業準確獲取所需信息變得很難。面對紛繁復雜的數據獲取渠道，應把所需數據的獲取渠道縮小至有限的若干個，而不是盲目地大海撈針，這樣才能事半功倍。比如，應選取相應的專利數據庫及成果數據庫獲得競爭對手的技術成果情況，應選取相應的標準數據庫了解行業的技術標準和規范等。此外，企業必須要投入大量的資源，全面收集消費者需求、顧客購買行為、競爭對手動向、供貨商等微觀數據和市場環境、金融環境、政府政策等宏觀數據，為企業決策提供支持。

③競爭情報的處理分析

數據規模如此龐大、數據種類如此繁多，要想獲得有用的競爭情報，必須對大數據進行適當的處理分析。其中最重要的就是數據清洗，剔除無關的、不重要的數據；并對數據進行相關分類劃分，按數據相關性程度對其排序，建立相關模型，對數據進行技術路徑分析、關聯分析、聚類分析等，挖掘有用的競爭情報。此外，傳統的數據分析技術不能對非結構化數據直接進行處理分析，目前大多數情況是將非結構化數據轉換成結構化數據再進行數據處理[5]，這樣就丟失了非結構化數據之間的隱含關系，而這些關系有可能是非常重要的情報來源，因此要求行業專家有較強的數據辨別能力。

3基于大數據的企業競爭情報分析方法研究

3.1體系框架

大數據時代，企業的生態環境發生了巨大變化，大量而復雜的數據考驗著競爭情報系統數據處理能力和數據分析能力[6]。基于大數據的企業競爭情報分析方法體系包括4個層次，第一層是數據獲取，第二層是數據處理，第三層是數據分析，第四層是情報綜合。

數據獲取包括獲取交易數據、交互數據和感知數據，這些數據具有實時性、動態性和關聯性的特點。如微博、微信、GPS信息、傳感器等數據隨著時間、空間的變化快速、連續地發生變化，必須獲取不同時間點的序列數據，才能獲得數據的連續變化規律，預測數據發展趨勢，有利于企業挖掘商機。

數據處理過程中，由于數據量龐大，必須借助數據處理工具，對大量數據進行加工、組織、整理等。除了采用傳統的Excel、MATLAB等對數據進行統計分析、歸類、排序之外，還要開發新的處理軟件，以應對大量的云數據和視頻、音頻、鏈接等非結構化數據。

數據分析是分析方法的關鍵步驟，一方面要借助于Hadoop、HPCC、Storm、RapidMiner等各種專業的分析工具，提高工作效率；另一方面要求專業的分析人員不僅擅長使用各種數據分析工具，還要具有敏感的數據分析能力，找準切入點，對數據做出關聯分析、比較分析、聚類分析等。

數據處理、分析之后，需要專業的情報人員對分析的數據結果進行綜合、提煉，幫助企業分析與宏觀環境、競爭對手、自身發展相關的競爭情報。此外，還應提出下一步的戰略規劃，制定相對于外部環境的應對策略，鞏固自身已有優勢，尋找新的競爭優勢，獲取有利競爭地位。

3.2分析工具

大數據是一個龐雜的數據集，包括了各種類型的數據，選擇適當的分析工具能帶來意想不到的分析效果，以下為6種大數據分析工具。

①Hadoop：能夠對大量數據進行分布式處理，維護多個工作數據副本，在節點之間動態地移動數據，采用并行工作方式，能夠處理PB級數據，處理速度快；②Storm：一個分布式的、可擴展、容錯的實時計算系統，可以處理龐大的數據流，支持多種編程語言，具備實時分析和不停頓的計算等應用能力，應用企業包括Groupon、淘寶、支付寶和阿里巴巴等；③RapidMiner：數據挖掘解決方案，可實現高維數據的可視化建模與多層次的數據視圖，免費提供數據挖掘技術和數據庫；④Apache Drill：有助于Hadoop用戶更快查詢海量數據集，分析抓取Web文檔、垃圾郵件等；⑤Pentaho BI：以流程為中心，將一系列企業級BI產品、開源軟件、API等組件集成起來以便商務智能應用的開發，Pentaho的主要組成元素包括報表生成、分析、數據挖掘和工作流管理等；⑥HPCC（高性能計算與通信）：包括高性能計算機系統（HPCS）、先進軟件技術與算法（ASTA）、信息基礎結構技術和應用（IITA）等，內容有巨大挑戰問題的軟件支撐、新算法設計、軟件分支與工具及高性能計算研究中心等。

3.3數據分析方法

數據分析方法很多，總體來講可以概括為定性分析法、定量分析法和定性與定量結合分析法。按照邏輯思維劃分，基本的數據分析方法包括：①比較分析法：定性和定量比較、靜態和動態比較、縱向和橫向比較、全面和局部比較、宏觀和微觀比較等；②歸納分析法：引證分析、關系分析、完全和不完全歸納、科學歸納法等；③解析分析法：因果分析、相關分析、統計分析等；④綜合分析法（系統分析法）：概念分析、模型分析、求同和求異分析、系統動力、層次分析、灰色系統理論法等；⑤演繹分析法：公理演繹分析、假說演繹分析、定律演繹分析、理論演繹分析法等；⑥假設分析法；⑦聯想分析法。基于邏輯思維體系劃分的數據分析法適用于各類競爭情報分析，包括基于大數據的企業競爭情報分析。

3.4大數據情報分析隊伍

要想把大數據轉化為企業競爭情報，就必須建立專業的大數據情報分析隊伍，在人力、物力和財力等方面給予充分支持。

首先，需培養高級情報分析師。在競爭情報分析的整個過程都需要專業的情報分析人士，情報分析師是大數據分析方法的主導者及整個分析過程的決策者。高級情報分析師不僅要對大數據的多種來源了如指掌，準確找出所需情報的數據獲取渠道，還要熟練運用Hadoop、Storm等各種數據處理分析工具，對數據及數據之間的關系高度敏感，善于挖掘數據之間隱含的關聯關系，這樣才能幫助企業在大量的數據中挖掘出有價值的競爭情報。麥肯錫全球研究所的一項調查預測，在未來6年內，僅美國就可能面臨缺少14~19萬擁有扎實分析技能的人才這一窘勢，而且缺少懂得使用相應工具分析大數據、作出合理決策的150萬管理和分析人員[7]。

其次，需配備相應信息挖掘技術及分析工具。大數據競爭情報分析的整個生命周期包括數據產生、數據獲取、數據處理、數據分析和情報產生5個階段，每個階段都涉及相關的信息挖掘技術。大數據的產生來源于物聯網及互聯網等智能信息技術，大數據的獲取來源于各種門戶網站、檢索數據庫及平臺等，而數據的處理和分析也需要各種大數據處理分析軟件，最后專家情報分析軟件有助于情報的產生。信息挖掘技術與分析工具是如此重要，作為企業競爭情報分析隊伍應配備相應數據檢索平臺、相關的數據處理工具等資源，才能滿足企業競爭情報的需求。

再次，需投入大量資金支持。培養情報分析師方面，聘請高級情報分析師，需要高額的薪資；從企業內部培養本領域高級情報分析師，需要付費對其提供全面的專業培訓，學習非結構化數據分析的專業技能，比如對社交媒體的情感分析、視頻及音頻等復雜數據的處理分析。信息挖掘技術和分析工具方面，需購買或者研發高效的信息挖掘和分析工具，從音頻、視頻和符號數據等非結構化數據中挖掘有潛在價值的競爭情報。因此，無論是培養高級情報分析師還是配備相應信息挖掘技術及分析工具，都需要大量資金支持。

4　結語

當今時代，商業環境的競爭如此激烈，企業要想長久地生存下去，就必須時刻保持警惕，做好企業競爭情報工作，知己知彼，以便獲取較大競爭優勢。大數據時代是信息技術飛速發展的必然產物，大數據時代對企業競爭情報工作提出了新的挑戰，也提供了新的機遇。面對新的挑戰，必須采取適當的數據分析方法，運用高效的數據處理與分析工具，才能高效地挖掘企業的商業競爭情報。

參考文獻：

[1]大數據時代：0和1的“生活大爆炸”[EB/OL].[2012-07-12].http://www.d1net.com/news/hyxg/88955.html.

[2] Big data：The next frontier for innovation，competition，and productivity[EB/OL]. [2012-06-15].http：//www.mckinsey. com/insights/mgi/research/technology_and_innovation/big_ data_the_next_frontier_for_innovation.

[3]吳金紅，張飛，鞠秀芳.大數據：企業競爭情報的機遇挑戰及對策研究[J].情報雜志，2013（1）：5-9.

[4]黃曉斌，鐘輝新.大數據時代企業競爭情報研究的創新與發展[J].圖書與情報，2012（6）：9-14.

[5]劉高勇，汪會玲，吳金紅.大數據時代的競爭情報發展動向探析[J].圖書情報知識，2013（2）：105-111.

[6]黃曉斌，鐘輝新.基于大數據的企業競爭情報系統模型構建[J].情報雜志，2013（3）：37-43.

[7]大數據時代人才需求，你能符合要求嗎？[EB/OL].[2012-08-15].http：//tech.hexun.com/2012－01－16/137296418.html.

趙芳女，1979年生。本科學歷，館員。研究方向：讀者服務、數字圖書館。

收稿日期：（2014-09-17；責編：王天泥。）