大數據時代市場調查數據分析教學的改革

王士香

摘 要： 互聯網和傳統行業的結合為各領域發展帶來了新的機遇和挑戰，也促成了大數據時代的到來。大數據改變了市場調查獲得數據的方式和內容，因此高校市場調查數據分析課程的教學必須做出積極的應對。本文研究市場調查課程中數據分析教學應對大數據應該進行的教學內容和數據分析方法的調整和加強，探討如何在傳統數據分析的基礎上對教學設計和教學進行改革。

關鍵詞： 大數據 數據分析 教學改革

市場調查數據分析是根據市場調查的目的和獲得的數據種類及特征，研究變量和數據間關系和規律的方法。數據分析方法的選擇決定于數據的種類和分析目的，為分析目的服務。在傳統市場調查中，數據分析方法的選擇相對固定，盡管隨著統計學和計量經濟學等學科發展，數據分析方法層出不窮，但是鑒于獲得數據類型和特征，能夠應用于市場調查分析的數據分析和處理的方法要小于統計和計量分析模型。大數據時代的到來使市場調查可獲得的數據在數量、規模、結構和速度方面都產生根本變化，這對市場調查數據分析教學提出新的挑戰和要求，本文探討市場調查數據分析教學應對大數據到來應進行的變革與調整。

一、傳統市場調查課程數據分析教學

1879年美國農業機械生產商委托廣告代理商艾爾公司調查農業生產信息和相關天氣、土壤信息等，估計農業機械設備的需求，這是有記載的第一次市場調查活動。市場調查活動的出現，數據分析必然應運而生。市場調查類課程在高校的統計學院和商學院的市場營銷專業都是必修課程，數據分析是市場調查課程中必不可少的一部分教學內容。

（一）傳統市場調查課程數據分析的教學目的

傳統市場調查建立在抽樣理論上，數據分析方法是以推斷統計為主要分析工具。通過推斷統計相關的方法，利用調查中獲得的有效數據，對總體特征進行推斷和描述。在市場調查課程中，數據分析的教學目的在于幫助學生了解研究對象的基本情況，并根據具有代表性的調查數據了解研究現象之間和因素之間的數量關系，通過描述統計及推斷統計的方法對研究總體進行推斷和研究。

（二）傳統市場調查課程分析方法

傳統市場調查分析方法中，很重要的一部分是描述統計的內容，主要是通過表格和圖表展示調查數據，其中主要包括頻數分布表、條形圖、直方圖、餅圖、語義差別量表等。在對單變量進行描述的時候，可以分別計算數據集中趨勢測度指標，比如眾數、平均數、中位數等，以及離散趨勢指標，如標準差、四分位差和變異系數等。在多變量描述中，列聯表有很重要的應用。傳統市場調查主要的調查方法為觀察法、詢問法和實驗法。其中最主要和最常用的訪問為詢問法。詢問法主要的調查工具為問卷，通過問卷獲得的數據基本為結構化數據，因此使用常規方法可以對通過問卷調查獲得的數據進行很好的展示和說明。因此，使用傳統圖表展示調查數據是市場調查很實用的方法。描述統計的一個重要目的是研究樣本結構，確定樣本的代表性。一個具有較高代表性的樣本，通過描述統計展示的樣本結構和規律，大概率上代表總體的結構和規律，因此樣本的代表性是決定調查準確性和可靠性的重要保障，調查方案和抽樣設計是市場調查的重中之重，調查數據的質量和準確性對調查質量具有重要影響，是決定市場調查質量的一個重要因素。

推斷統計是建立在概率論與數據統計基礎上的分析方法，只要樣本具有隨機性，能夠很好地代表總體，推斷統計方法就可以很好地對研究總體進行估計和預測。如果在問卷設計的時候設定好變量類型，預估將會使用到的數據分析方法，推斷統計方法完全可以被用來推斷總體，得到可靠的分析結果。最常用的數據分析方法主要包括區間估計、假設檢驗、方差分析、相關分析、回歸分析等。當調查的問題較多，數據類型同時包括定性和定量數據時，可以使用非參數估計方法、邏輯回歸、因子分析，聚類分析等方法對問卷數據進行分析。而且傳統市場調查中采用在心理學和社會調查中常用結構方程模型對市場調查數據進行分析，體現了市場調查活動的兼容性及各學科，各領域發展高度融合的趨勢。這些推斷統計的方法，基本上還是建立在統計學分析的基礎上，當獲得的數據是用傳統市場調查活動獲得的，數據分析方法依舊在傳統統計學，計算機發展的軌道上緩慢發展和進步。

二、大數據時代市場調查數據分析教學

大數據時代的到來，對傳統的市場調查活動產生了重要的影響。市場調查重要的目的是獲得調查數據，當數據發生本質變化后，數據分析方法必然隨之改變。促使高校的市場調查課程在各個環節都進行相應的改革和應對，市場調查數據分析教學的改革勢在必行。

（一）大數據時代市場調查數據分析教學思想的變革

計算機、網絡和數據存儲等技術的發展，使通常只獲得樣本數據的市場調查能夠獲得規模，范圍都遠大于從前的數據，也就是現在耳熟能詳的“大數據”。大數據時代改變了世界諸多領域，同樣要求數據分析教學進行積極的改變。首先教師要處理好獲得大數據后樣本與總體認識。大數據時代我們可以獲得同一時刻同一對象幾乎所有的數據，也就是總體的概念，同時是我們獲得的數據樣本。當今，我們獲得的數據是樣本和總體的對立統一，不再有數據收集能力的限制。其次是教師要對大數據的質量具有深刻的認知。傳統市場調查中，經過科學嚴謹的問卷設計、抽樣設計，市場調查獲得數據質量較高，完整性和準確性是小規模數據的優勢，可以較好地用于研究和推斷總體。但是在大數據時代，由于規模比較大，包含的信息較多，來源渠道較多，不可避免地會對數據的精確性產生影響，但是和大數據所包含的信息和作用相比，大數據的精確性不會影響其使用價值，與常規市場調查數據相比，更加有利于了解研究對象的特征，多層次更全面地反映總體的真實狀況。再次，傳統市場調查數據分析的目的是研究變量間的數量關系或者因果關系，探尋目標變量的影響因素。但是在使用傳統數據分析方法的時候，各種分析方法的使用前提是對總體進行某些假設，并在假設的基礎上進行分析和研究，比如經常假設變量間存在的線性關系，進行回歸分析，談論變量間因果關系影響。然而，大數據時代是一個數據“速食”年代，數據量不斷發展，不斷增加，川流不息，變量間的因果關系可能即刻建立也能即刻消失，大數據分析的一個重要特征就是重相關，輕因果，大數據的特征決定了發現數據、變量、現象間的相關關系是大數據的重要目的，也是直接特征。大數據的規模大，數據結構復雜很難簡單或者直接地尋找到現象間確切關系，建立起明晰的函數或模型。大數據時代處理好相關關系和因果關系的辯證，是對調查數據進行數據分析教學的一個重要前提。

（二）大數據時代市場調查數據分析教學內容改革

當前大數據時代剛剛到來，各高校的市場調查課程并沒有開展大規模的教學內容調整，盡管一些高校現都開設了大數據或是數據工程專業，但是對大數據專業人才該如何培養還處在探索和嘗試階段。大數據作為一個單獨的專業，和統計、計算機、網絡等專業相互融合，因此，市場調查課程中數據分析教學內容同樣需要兼收并蓄。在數據分析課程大綱的設計時，傳統的數據分析方法是必不可少的，這些內容有利于學生了解數據分析的基本思維和訓練學生的邏輯思維能力。同時，要適當增加大數據產生和獲得技術教學內容，讓學生了解大數據如何產生、存儲這些知識，有利于學生后續的分析。針對結構化的傳統數據，數據分析方法的研究相對豐富，但是大數據在數據結構上，多為非結構化，也可能是半結構化的，這些都為大數據的分析產生新的挑戰。盡管在市場調查中不存在研究如何對數據進行存儲，但是要對數據結構具有深刻的了解，因為了解數據特征、數據結構，不論是對傳統數據分析還是大數據分析，都是分析之前的必備工作，因此要適當增加數據結構相關內容。在傳統市場調查中，數據篩選是數據分析之前數據預處理的內容，但是由于數據量比較小，并不占有很大比重的工作。但是出現大數據之后，由于數據規模比較大，數據質量相對較低，數據篩選或者數據的清洗反而成為一項非常耗費時間和在分析之前占有重要工作量的步驟。大數據分析，很多時候是一項由厚變薄的過程，這就是指數據清洗。例如從網站上爬取的評價和圖片可能很多都是無用或是沒有價值的數據，在清洗時可能要去除90%，數據清洗是數據分析前一項重要的過程，在數據分析教學改革中要對數據清洗技術相關內容予以重視，并增加合適的教學內容。

（三）大數據時代市場調查新增數據分析軟件介紹

數據分析方法的實現都需要建立在數據分析軟件的基礎上，統計或計量數據分析常用軟件包括Excel，Eviews，Spss，SAS，R Stata，還有在做結構方程研究的Amos等。這些統計分析軟件都可以用來分析市場調查數據，如果說處理數值型大數據的話，這些常用的軟件可以實現。但是如果處理的非數值型，比如文本，甚至是圖片、音頻、視頻等數據的話，需要更加專業的軟件。當前大數據的分析，數據來源主要是網絡數據，包括自媒體數據，人和計算機交互數據，以及機器觀察和記錄數據等，怎樣管理和存儲這些數據并不是市場調研研究范圍，市場調研涉及的是如何獲取這些數據，對于收費數據，可以從網絡運營商或者數據所有者購買，對于網絡公共數據，通過相關軟件進行爬取，如Pathon等，還有些市場調查軟件自帶大數據庫，供學生分析研究。針對本科學生的程度，簡單的數據挖掘技術比較適用。相關軟件包括R、SAS，Weka等。數據可視化的軟件也大批涌現，比如制作簡單的詞云圖，很多軟件都可以實現，應該增加到市場調查數據分析課程教學中，常用軟件如Tagul、圖越等。

三、結語

市場調查是一門實踐性較強的課程，其中數據分析更是與其他學科聯系緊密。在大數據時代，數據分析教學設計，教學內容需要進行改革，在保留傳統數據分析內容的基礎上增加大數據結構、大數據獲取、數據可視化和數據挖掘的相關內容，為更好地使用軟件分析大數據、研究和分析社會現象、了解消費者行為、更好地服務企業、個人、社會，培養適應大數據時代發展的綜合人才。

參考文獻：

[1]朱建平，章貴軍，劉曉葳.大數據時代下數據分析理念的辨析[J].統計研究，2014，31（02）：10-19.

[2]大數據時代統計學的重構與創新——首屆“大數據與應用統計國際會議”述評[J].統計研究，2015，32（02）：3-9.

[3]耿直.大數據時代統計學面臨的機遇與挑戰[J].統計研究，2014，31（01）：5-9.

[4]邱東.大數據時代對統計學的挑戰[J].統計研究，2014，31（01）：16-22.

[5]趙國棟，易歡歡，糜萬軍，鄂維南.大數據時代的歷史機遇——產業變革與數據科學[M].北京：清華大學出版社，2013.