認識和把握大數據思想調查的特點

韓全惜 朱建華

習主席指出，“要適應新形勢新情況特別是當今社會網絡化的特點，逐步把現代信息技術引入調研領域，提高調研的效率和科學性。”大數據思想調查是不斷追求思想調查質效與信息技術滿足需求產生交集的結果，在方式方法和程序步驟上與傳統的思想調查有著根本的區別。在部隊思想政治教育領域，構建基于大數據的思想調查體系是一項基于信息技術支持下的創新性、綜合性、系統性的工作。與傳統思想調查相比，大數據思想調查的處理對象由少量數據轉變為大數據，數據處理主體由調查人員轉變為計算機，調查人員主要工作由分析數據轉變為構建數據分析策略，調查報告形成方式由調查人員的思維活動轉變為調查系統的程序生成，提高了思想調查數據分析的科學性，能夠全面、快速、準確地獲得思想調查結果。

把大數據技術運用到思想政治教育的思想調查中，需要突破觀念和習慣的束縛，跳出原有的思想調查的理論和方法框架，建立大數據思想調查系統，構筑全新的思想調查數據分析模式。與傳統的思想調查相比，大數據思想調查的數據分析有著鮮明的特點，包括全數據分析、實時化分析、系統性分析和智能化分析等。作為新時代政治干部，必須認真學習和把握大數據思想調查的特點。

一、全數據分析

傳統的思想調查在數據采集方面存在著缺陷。首先，數據取樣策略存在缺陷。傳統的思想調查多采用局部取樣，只能關注、記錄并分析少量數據信息，是基于有限的個人數據進行的思維推理活動，往往在數據處理的量和描述完整性方面存在較大的局限性，調查結果因數據獲取的局限性會導致完整性和精確度的偏差。其次，數據取樣方法存在缺陷。傳統的思想調查多采用面談交流或問卷調查等形式，遇到性格內向、不善言談或從眾應答等情況，容易發生信息缺失、數據失準或描述片面等問題，出現后續分析判斷帶有偏差乃至錯誤結論的現象。

大數據思想調查具有數據采集全面化的特點。被譽為“大數據商業應用第一人”、《大數據時代》一書作者舍恩伯格指出：“大數據是指不用隨機分析法這樣的捷徑，而采用所有數據的方法。”基于大數據的思想調查所收集的數據是與個人相關的所有數據。全數據分析可以從三個角度理解。一是數據來源渠道全。思想調查的數據來自各個方面，可以來自組織評價、個人描述、親屬同事同學朋友的看法；可以是訓練、學習、休息、娛樂等個人行為數據采集；可以是社會服務系統采集的吃、住、行等個人生活數據；可以是公共服務平臺收集保存的金融、通訊、商業、物流和醫療等數據；可以是來自網絡社交朋友圈、網絡自媒體、微信群等個人交互信息。二是數據來源類型雜。除了傳統結構化的數據之外，個人在強軍網、互聯網和移動終端上實時產生海量的圖片、音頻、視頻等非結構化數據是描述個人看法和觀點的重要數據，這些結構化、半結構化和非結構化的數據是大數據思想調查需要處理的對象。三是數據積累時間長。思想調查持續不間斷地收集并記錄調查對象各個方面的各類數據，形成階段性的描述，不僅可以以此推斷并呈現思想狀態的全面描述，而且記錄演變的過程，利于對思想狀態的全方位全過程了解。

實現思想調查的全數據分析，需要大數據技術的支持，能夠實現全面的思想調查數據的收集，為思想調查的全面分析提供數據支持，最終為獲取被調查對象客觀的描述提供支持。

二、實時化分析

傳統的思想調查數據處理模式下，由于工作量巨大，數據處理能力有限，不能及時存儲和分析源源不斷、洶涌而來的海量信息，出現因來不及保存而大量丟失數據、數據已經被保存但無法及時處理造成大量數據堆積等現象，因此思想調查的頻次較低，兩次調查之間的時間間隔較長。一般情況，隨著時間的流逝，思想調查結論的價值逐漸降低，思想狀態屬于“過去式”描述，原有的調查結果有局限性，不能呈現當前的狀態。當使用舊的調查數據的時候，依此處理分析數據后獲得的結果的真實性降低、針對性差。當被調查對象的思想問題出現在兩次調查之間的時候，調查者因不能及時掌握情況而無法有效應對。

大數據思想調查具有數據處理實時化的特點。實時化分析，就是在思想調查過程中對收集到的數據即時進行處理與分析，即時獲得調查結論。實時化分析主要體現在數據采集、數據分析和結果獲取三個方面。一是數據采集持續化。在大數據思想調查體系中，根據來自數據庫、傳感器、攝像頭和網絡信息系統等信息來源，時刻自動觀察、分析和描述被調查對象各個方面的狀態，將被調查對象的狀態一直處于可理解的范圍。二是數據分析高速化。大數據思想調查系統采用大數據技術，能夠解決思想調查中的數據收集、數據存儲和數據運算等數據處理的技術瓶頸。不會因為讀寫速度緩慢而丟失數據，收集到的調查數據可以得到妥善的存儲；不會因為計算能力低下而延緩分析，收集到的調查數據可以得到高效及時的處理和分析，大數據調查系統時刻都在對收集到的思想調查數據進行高速的處理和分析。三是結論呈現即時化。大數據技術支持的高性能信息系統快速收集、處理和分析持續采集的調查數據，可以立刻獲得思想調查結果，一旦出現異常現象可以立刻獲知，呈現即時的動態變化的思想狀態，為政治干部對癥下藥即時應對提供了條件，能夠促進思想政治教育針對性有效性的提高。

實現思想調查的實時化分析，依賴大數據處理系統自動持續的數據分析能力，支持思想調查的快速分析，為及時應對緊急情況提供了可能。

三、系統化分析

傳統的思想調查模式下，數據分析方法比較簡單直接。比較典型的思想調查模式有答題式的問卷調查和面對面的交流調查。問卷調查的數據分析依賴簡單的數據統計方法，如果掌握調查分析技巧可以進行復雜的多因素分析，有助于獲得準確的調查結論，了解思想變化產生的原因。面對面的交流調查也是政治干部尤其是基層政治干部主要采用的思想調查方法，其數據分析依賴政治干部的人工識別與判斷能力，調查分析質量與政治干部工作經驗的豐富程度相關性較高。由此可見，使用傳統的思想調查分析方法存在比較多的外在影響因素，調查分析質量不容易控制。

大數據思想調查具有數據處理系統化的特點。大數據思想調查將調查對象看作系統，在進行思想調查的過程中，了解調查對象的各種行為，探究調查對象各種行為之間的相互關系，從而能夠全面客觀準確地給出調查對象的畫像。依據系統論方法進行思想調查的方法，包括多維化分析方法和關聯性分析方法等。

多維化分析方法。在大數據思想調查過程中，變換時間、空間、事件背景、成長經歷或知識結構等不同的思維角度分析數據，就會得到不同的結論，將這些結論進行比較，可以辨識形成不同結論的影響因素，了解思想動態變化的原因。多維度分析方法是指在大數據中從不同的角度使用不同的分析模型，尋求和發現數據的意義和事物的本質。在大數據系統支持下，政治干部采用不同的數據挖掘和數據分析策略，借助構筑數據統計方法或邏輯推演模型，獲得多角度的調查結論或規律，更全面地描述思想狀態。在大數據思想調查過程中，多維度分析方法通過多角度分析被調查對象，提高了思想調查的準確性和客觀性。

關聯性分析方法。在思想調查過程中，政治干部需要了解被調查對象的思想狀態，更希望獲知存在這種狀態的原因。從大數據中，政治干部收集被調查對象的“突變”現象，并觀察、記錄此“突變”現象發生時的時間、地點、事件背景和被調查對象的知識背景，形成模糊的“印象”；當這種相同的“印象”次數積累得足夠多，政治干部可以將此“印象”確定為“突變”現象發生的原因，確定被調查者固有的分析問題的價值觀和方法論。大數據系統能夠支持關聯分析方法。在大數據技術支持下，大范圍使用傳感器、社交媒體信息系統、公共社會數據資源，收集調查對象的言談、工作態度和生活方式等各類數據，以大量數據為依據，以大量重現數據為規律，發現外部事件與行為變化的規律，刻畫個人的特質，建立個人行為模型，描述個人的思想狀態。當再次出現外部事件，可以依據已經獲知的個體特質，預測可能的行為，為思想政治教育和行政管理等建立應對預案提供邏輯依據。在思想調查過程中，關聯分析致力于發現事物的內在規律，可以為思想調查提供有說服力的分析方法，提高了思想調查的準確性和預見性。

四、智能化分析

智能化是信息化的高級階段，人工智能技術處理包括學習、思維、推理等在內的高級的信息處理內容。大數據思想調查呈現出的智能化分析特點，可以在思想調查的調查環節、分析規則和結果預警等方面表現出來。一是調查環節無人化。大數據時代，傳感器、攝像頭、網絡社交媒體等時刻傳回包含大量無價值的數據信號，數據中心堆積龐大結構化、非結構化數據，人類已經沒有能力進行手工處理，無法進行人工數據采集、人工數據清洗和人工數據分析，這些工作都要依賴信息技術和信息設備。人們轉戰后臺，整理需求，設計算法，控制流程，收獲分析結果，實現思想調查的自動化。二是數據分析規則化。在進行傳統的答題式的問卷調查或面對面的交流調查時，人們按照自己的經驗或技巧控制思想調查的流程，主觀取舍眼前的數據，人為操控的后果就是思想調查結論帶有傾向性，在客觀性方面存在漏洞。大數據思想調查在全樣本策略下，依據數理統計規則，忽略小數據的干擾，發現有規律反復出現的數據。在數據分析使用的規則方面，除了機器學習形成的分析規則，思想調查數據分析不排斥人們已經積累的對事物認識形成的知識。比如，依賴現有成熟的識別算法自動檢視和識別聲音、圖像、視頻資料；借助對無效數據特征的認識，設計無效數據清理算法，自動清洗傳感器無差別采集的巨量數據；根據已經形成的社會網絡關系理論，建立數據挖掘的策略，從大數據中得到對被調查對象的社會關系，等等。三是結果預警自動化。調查結論是政治干部最關心和需要的，不能等待和延遲發送，尤其是可能的惡性事故苗頭或者極端行為征兆，政治干部必須在第一時間獲知并及時干預，時效性要求很高。大數據調查系統應建立自動預警功能，按輕重緩急以手機短信、網絡郵件、待辦公文等傳送方式，使用或簡或全或可視化呈現方式，及時將調查結果報送政治干部，觸發相應教育或管理預案，避免或應對不可控事件的發生，實現思想調查結果報送即時化、自動化。

新型的大數據思想調查要求政治干部改變思想調查模式，優化思想調查流程，借助大數據技術，利用信息設備和信息系統，提升思想狀態感知、分析和研判能力，從海量的行為、語言、心理和生活等行為數據，刻畫人的“形象”，把握人的“狀態”，洞察人的“變化”，推動思想調查科學化，為提高部隊政治工作針對性和有效性提供數據支持。