大數據視域下社會輿情研究的新境界

李彪

摘要：

本文結合大數據對社會輿情研究的影響，從研究視角、研究方法、數據庫支持、研究主體、研究重點等方面討論了大數據背景下社會輿情研究的轉向，在此基礎上分析了大數據時代社會輿情研究在數據收集、數據存儲、數據處理和數據呈現等幾個方面的做點。

關鍵詞：

大數據 社會輿情 輿情預警 數據挖掘 可視化

一、大數據為輿情研究創造了新機遇

在當下網絡輿情研究的進程中，大數據的價值表現極為突出。面對數億網民和浩如煙海的網絡言論，網絡輿情的監測和分析越來越依賴輿情大數據分析技術與平臺。

1. 大數據成為 “人類的儀表盤”，更有利于輿情研究。大數據可完整記錄社會輿情和民意。網民在網上產生的海量數據，記錄著他們的思想、行為乃至情感，這是信息時代現實社會與網絡空間深度融合的產物，蘊涵著豐富的內涵和很多規律性信息。通過分析相關數據，可了解大眾需求、訴求和意見。一定程度上，大數據成了人類生存痕跡和心理變化的記錄儀，成為不折不扣的“人類儀表盤”。通過這一指示器，可清楚地記錄當下社會民眾的所思所想。

2. 大數據成為社會輿情研究的“利器”。美國麻省理工學院斯隆管理學院的經濟學家埃里克·布呂諾爾夫松（Erik Brynjolfsson）說，要想領會大數據的潛在影響，你得看看顯微鏡。發明于4個世紀之前的顯微鏡，使得人們以前所未有的細胞級水平觀看和測量事物。這是測量的一次革命。布呂諾爾夫松教授解釋說，數據的測量正是顯微鏡的現代等價物。[1]大數據可使對社會輿情的監測和測量達到個體級水平，而不再是傳統web1.0時代輿情監測的整體性描述，大數據使得細節化、即時化地測量個體的行為和情緒變成了可能，并通過一定的隱私保護，通過其“電子痕跡”對個體進行社會行為刻畫，在此基礎上展現出個體的社會心理變化。

3. 大數據是社會關系的“沉淀池”，改變傳統輿情只見“內容”不見“關系”的境況。目前，從整體發展來看，社會科學的研究已發生轉向，由原來對“個體屬性”的關注轉向為對“社會關系”的關注，相應的研究方法也由傳統的抽樣研究到現在的社會網絡分析，正如人們常常指出的那樣，調查是一種社會學的絞肉機，它把個體從其所在的社會情境中抽離出來，并確保研究對象之間不存在聯系。[2]傳統的抽樣研究很容易只見樹木不見森林。正如傳統的社會輿情監測只注重網民“說什么”，不重視網民之間的“關系”，這種輿情監測很可能只抓住比較淺層次的社會語義表達，不能把握網民“為什么這樣說”背后的社會心理和其所處的社會關系網。大數據不僅僅記錄網民的話語和內容，還記錄網民之間的社會互動和社會交往方式，乃至網絡族群之間的界限和相互勾連。通過一定的數據分析手段，不僅可描繪出網民的“社會話語表達”，且能夠清晰地描繪出網民的“社會關系網絡”和“心理文化地圖”，從而改變web1.0時代單向度的輿情監測。

4. 大數據的預測性可以解決目前輿情研究的尷尬。目前的網絡輿情監測和研究，是對已有事件的影響力和擴散范圍進行量化描述，沒有能夠做社會輿情預警的，即使有個別機構宣稱自己的輿情系統能夠進行輿情監測，要么是噱頭，要么預測的準確率很低，基本上不可以用于實踐。全球大數據研究權威巴拉巴西認為：“93%的人類行為是可以預測的，當我們將生活數字化、公式化以及模型化的時候，我們會發現其實大家都非常相似。生活如此抵觸隨機運動，渴望朝更安全、更規則的方向發展，人類行為看上去很隨意、很偶然，卻極其容易被預測。”[3]如美國麻省理工學院副教授 Devavrat Shah 和學生 Stanislav Nikolov 發明的新算法在預測 Twitter 熱門話題時準確率在 95% 以上，且平均比 Twitter 官方熱門話題出來的時間早 90 分鐘，甚至有些熱門話題能夠提前 5 小時預測出來，沒有時間的限制，可以分析任何時間出現的任何話題，就像不停變化的股票市場、電影票價或每個人的乘車時間一樣，Twitter 上任何隨機發生的話題，都可以拿來分析。分析的結果，不僅能預測熱門話題的趨勢，還可幫助品牌推廣或營銷人員確定人們的關注點，甚至可用來監控輿論；另外臉書（Facebook）在首次公開募股上市（IPO）的當天，一個社交平臺機構監測了Twitter上的情感傾向與臉書（Facebook）股價波動的關聯。在開盤前推特上的情感逐漸轉向負面，25分鐘之后，臉書的股價便開始下跌；而當推特上的情感轉向正面時，其股價在8分鐘之后也開始了回彈；當股市接近收盤時，推特上的情感轉向負面，10分鐘后股價又開始下跌。當然，大數據被用于網絡輿情研究也存在一定的負面性，這種精準化的社會存儲、社會測量方式被大規模運用時，一方面容易引起個體隱私的泄露，通過大數據研究就像透過透明的玻璃魚缸觀察魚群游動的行為乃至其中每一條魚的表情活動；另一方面容易使一些別有用心的人或組織，輕易地操縱和控制輿論，但這些弊端都可通過一定的規則設定來進行有效規避。

二、大數據視域下輿情研究的轉向

大數據對傳統輿情研究產生了深刻的影響，在這種大背景下，社會輿情研究需進行相關轉向，實現學科的調試和適應，具體主要包括以下幾點。

1. 研究視角的轉向：從單向度的內容研究轉向“內容+關系”的多維度研究。隨著大數據時代的到來，傳統輿情研究只重視網民話語表達的單向度研究的視角必將改變，話語作為一種外在的社會表達，屬于淺表層面，不能夠有效窺探出網民群體的社會行為、社會心理和社會訴求。借助大數據，輿情研究的視角將更加多元化，未來輿情研究的視角將轉向對社會話語表達、社會關系呈現、社會心理描繪、社會訴求預測等多方面、多向度的研究，通過這樣的研究轉型，社會輿情研究將真正成為一門與多學科交叉的社會顯學，成為一門學科。改變目前輿情研究“策為上、術為主、學匱乏”的尷尬學術現實。

2. 研究方法的轉向：由輿情信息采集轉向數據加工、可視化等。由于輿情監測的前端界面呈現的方式上同質化程度較高，目前的輿情監測和輿情研究主要集中在輿情信息的采集及信息源的擴展方面。無論是北大方正輿情產品還是拓爾思（TRS），在對新聞網站、微博賬號進行監測時，須將網站地址和微博賬號的微號設定好，甚至新聞網站的網站設計樣板也要進行設定，被監測的網站一旦改版，后臺監測也必須調整相應的網頁樣板。各種輿情軟件間的競爭，主要集中在信息采集源覆蓋的范圍以及數據分析后臺的算法上，但呈現出來的前端頁面則是“千網一面”。大數據將目前輿情信息采集的環節拉回到一個競爭層面上來，未來輿情監測和研究的數據源可能來自于同一個大數據庫支撐，輿情研究主體競爭的是各類算法的精細化、準確化，并在呈現給用戶的前端界面上進行優化，增強前端界面的友好程度，整個競爭的鏈條就會不斷下移，更加適合用戶的需求。

3. 數據庫支持的轉向：由簡單的、有限的數據庫轉向非結構化的大數據庫。目前的輿情監測和研究所依據的數據庫相對來說比較簡單，結構單一、數據量有限，還停留在TB級別，主要因為這些數據庫的數據源要么是基于抽樣進行數據抓取的，要么僅抓取重點網絡站點，數據量有限，數據庫標準相對較低，能針對小規模、有結構或類結構的數據進行分析，談不上深層次的數據挖掘，現有的數據挖掘算法在不同行業中難以通用。大數據的數據體量巨大，從TB級別，躍升到PB乃至ZB級別，因此大數據所涉及的資料量規模巨大到無法透過目前主流軟件工具進行處理和識別，需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力，這需要巨大的數據庫作為支撐。另外，大數據的數據資源相對駁雜，是一種非結構化的數據呈現，因此需要相應的非結構化的數據庫與之相對接。

4. 輿情研究主體的轉向：由小作坊式的單打獨斗、面面俱到的輿情監控轉向分工明確、高度聚合集約的輿情分析。目前實踐中的輿情監測和研究主體比較多，僅用于商業運營的軟件監測主體就有幾百家之多，這些輿情監測主體多半是軟件服務商，通過網絡爬蟲技術、分詞技術和議題聚合等技術，開發出相關軟件，為企業、政府部門和科研院所安裝和維護，進行簡單的數據采集和分析，類似于小作坊式的輿情監測方法，這種運作方式急功近利，為了眼前的商業利益，不重視產品研發和數據源的擴充，通過吃回扣等商業賄賂方式盡量多賣幾套“軟件”。各輿情主體之間的競爭呈低層次化和粗放型。未來大數據使得輿情研究主體在同一個層面上，即數據處理和呈現的能力上競爭，在大家可以獲得同一數據源的前提下，雙方的競爭必將在數據處理、算法精進、界面友好、可視化等層面展開，分工會進一步明晰，行業內部會進一步聚合集約，行業洗牌加速，行業有機化程度增強。

5. 輿情研究重點的轉向：由輿情監測轉向輿情預警乃至預測，從單向度的危機應對、品牌營銷轉向各領域的綜合信息服務。目前的網絡輿情研究主要集中在監測，主要是對一些顯著性事件的輿情動態，包括傳播范圍、影響力等進行監測和研判，類似于相面術的“麻衣相”，只知道事件發展的過去，不知道事件發展的未來。大數據的核心是預測，可通過分析處理整群數據，而不再大量依賴隨機采樣，通過自然語言處理、模式識別及機器學習等人工智能技術，結合人工經驗，研判未來輿情發展的態勢和影響，并在此基礎上實現超出人類經驗范疇之外的精準化預測。如國外研究人員已發現，Google搜索請求中諸如“流感癥狀”和“流感治療”之類的關鍵詞出現的高峰要比一個地區醫院急診室流感患者增加出現的時間早兩三個星期（而急診室的報告往往要比瀏覽慢兩個星期左右）；而在經濟預測方面，Google上房產相關搜索量的增減趨勢相對于地產經濟學家的預測而言是一個更加準確的預言者。另一方面，目前由于數據量和技術等限制，輿情研究還主要集中在危機應對和品牌營銷等，這種應用主要是基于輿情監測和研判這一功能進行的，未來隨著大數據在輿情研究中的使用，輿情研究的功能指向必將更加多元化，為政府部門、企業和個人提供更加綜合化的信息挖掘服務。

三、大數據視域下輿情研究的若干做點

不容置疑的是目前大數據的研究還處于起步階段，所有關注大數據的機構和個人都知道大數據是未來很有價值的信息資產，至于如何開發和應用還是未知數，很多研究者的心態是先把數據下載存下來。

目前來看，大數據的分析和對比框架還比較缺乏，缺乏各行業通用的數據分析模型和精確化的數據算法，對社會輿情研究來說，未來大數據的可能出路和做點有以下幾方面。

1. 大數據收集：盡量多地擴大信息源。目前的社會輿情信息源主要基于網絡站點，對社會化媒體輿情關注的信息相對較少，未來的輿情信息收集要多元化，不僅僅收集社會化媒體中的輿情信息，還要加大對物聯網中的信息的采集，要給這些來自物聯網和各類機構信息系統的數據附上時空標志，去偽存真，盡可能收集異源甚至是異構的數據，必要時還可與歷史數據對照，多角度驗證數據的全面性和可信性。

2. 大數據存儲：注意集約化。要達到低成本、低能耗、高可靠性目標，通常要用到冗余配置、分布化和云計算技術，在存儲時要按照一定規則對數據進行分類，進行多元、立體化的標簽標注系統，通過信息噪音過濾和去重，減少存儲量，同時加入便于日后檢索的標簽。

3. 大數據處理：注意提純和結構化。有些行業的數據涉及上百個參數，其復雜性不僅體現在數據樣本本身，更體現在多源異構、多實體和多（下轉第19頁）（上接第15頁）空間之間的交互動態性，難以用傳統的方法描述與度量，處理的復雜度很大，需要將高維圖像等多媒體數據降維后度量與處理，利用上下文關聯進行語義分析，從大量動態而且可能是模棱兩可的數據中綜合信息，導出可理解的內容。綜合來看，未來的大數據處理要注意以下幾方面：一是小型基礎數據庫的支撐和建設，大數據庫作為信息母體，需要若干小型數據庫作為檢索源，因此必須加大基礎小型數據庫的支撐，比如如果想了解大數據庫中民眾社會幸福感的高低，必須有能夠衡量和指示社會主觀幸福感的相關小型數據庫作為支撐，以小型數據庫的數據作為搜索元單位進行檢索，去偽存真，經過這一步才能實現信息的基本提純。二是將大數據結構化的算法。大數據作為一種非結構化的數據，需要進行一些結構化的解讀和梳理，這就需要相關的數據結構化的算法，這種算法可稱之為數據模型，通過構建一定的指標體系或結構算法，來有效地對大數據進行結構化，如同樣對大數據庫的社會幸福感的測量，在進行相應的社會語義提純后須進行結構化計算，研究衡量社會幸福感的各類指標之間的相關關系，在此基礎上進行賦值計算，從而形成適合衡量社會幸福感的大數據結構化算法。三是大數據處理千萬不能剝離大數據產生的時空特征。數據自身是不懂社會背景的，現實生活中人類的決策不是離散的事件，而是鑲嵌在時間序列和背景之中的，正像Big Data-Context = Bad一樣，大數據被抽離了社會語境后就是壞數據。

4. 大數據結果呈現：低門檻和可視化。大數據作為一種社會應用工具，其真正的價值不在于成為一些IT從業者孤芳自賞的專利，而在于其能夠服務于社會，被社會大眾所容易理解和使用，因此大數據的呈現必須要界面友好，使用和識別門檻不高，結果直觀便于洞察。新媒體尤其是社會化媒體的發展促進了UGC（用戶生產內容）的繁盛，UGC必然產生大數據，因此大數據是新媒體發展的題中之義，大數據一方面描繪社會現階段信息流動和傳播的特征，另一方面給人們的生活、工作和思維也帶來了變革。作為具有“社會的皮膚”之稱的社會輿情研究必須更有效地組織和使用大數據，促進社會輿情研究的研究轉型，只有這樣才能實現學科自身的救贖和涅槃。

參考文獻：

[1] 郭曉科.大數據[M].北京：清華大學出版社，2013：3.

[2] 劉軍.整體網分析講義：UCINET軟件實用指南[M].上海：格致出版社，2009：34.

[3] [美]艾伯特-拉斯洛·巴拉巴西.爆發：大數據時代預見未來的新思維[M].馬慧，譯.北京：中國人民大學出版社，2012：2.

（作者單位：中國人民大學）