【摘要】文章回顧了國內對網絡教學交互問題進行內容分析研究的論文,描述了內容分析法在使用標準、研究設計、研究變量、分析單位、構建內容類別及編碼、數據處理等過程的實際操作方法。提出今后研究需要重視編碼信度、綜合運用多種研究方法、使用輔助性工具等問題,以期為今后內容分析法在網絡教學交互領域研究應用提供借鑒。
【關鍵詞】內容分析;研究設計;構建內容;網絡教學交互.
【中圖分類號】G420 【文獻標識碼】A 【論文編號】1009—8097(2010)09—0115—04
網絡教學交互不受時間和空間的限制,可以支持學習者之間的溝通,為遠程學習、分布式學習和終身學習提供了獨特而有價值的環境。與此同時,這種技術可以記錄交互數據,為教育研究者提供了特別的數據源[1]。分析基于文本的網絡教學交互可以采用內容分析法。魯爾克等學者曾討論過利用量化分析方法對計算機會議記錄進行分析的可行性以及方法論中的挑戰。該研究調查了過去十年中發表的19篇廣為引用的研究報告;從內容分析的標準、研究設計、內容類型、分析單位、倫理及輔助軟件的角度進行探討。[2] 本文在此研究框架的基礎上對國內分析網絡教學交互數據所采用的內容分析法進行梳理,主要從方法設計、實施、需要解決的問題等方面進行探討,分析了內容分析法在操作層面需要注意的問題,為今后相關研究提供借鑒。
一 研究對象的確定
研究方法是由多個層面構成的。一般可以分為如下四個層面:最底層的是關于方法論、認識論層面的問題。上一層是對一般研究過程的理解和操作,包括操作性定義、測量、量表、效度、信度、抽樣等概念的理解和處理方法。接下來一層是數據的收集方法,如內容分析、調查、訪談等;最后是研究數據的處理技術[3]。方法論、認識論的這一層次是研究者選取研究視角和研究方法的依據。一般具體的研究方法會跨越后三個層次。內容分析法是以測量變量為目的,采用系統的、客觀的、量化的方式,研究和分析傳播行為的方法。[4]這個定義揭示了內容分析法的三個特征:首先,內容分析是系統的;即用于分析的內容是按照明確的標準,通過正確的程序選擇而來,同時對選擇內容的處理方式必須一致;具體來說對內容進行編碼和分析的程序應該統一。其次,內容分析應該是客觀的,研究人員應當明確對變量進行分類并給出操作定義。最后,內容分析是量化的,即應該產生準確的量化信息。[5]一般來說,采用內容分析法分析研究對象,應當包含以下幾個方面: 1、闡明研究問題或假設。2、界定研究總體,并選擇合適的樣本。3、選擇和定義分析單位。4、構建用以分析的內容類別。5、建立量化系統。6、培訓編碼人員進行試點研究。7、對內容進行編碼。8、分析采集數據。9、得出結論并尋求啟發。[6]
根據上述內容分析法的特征,本文分析了目前國內研究網絡教學交互所使用的內容分析法。盡管這些研究網絡教學交互的文章在研究的目的和對象方面差異較大,但均包含如下特征:研究的交互對象是基于文本的網絡教學交互。研究交互采用的方法是內容分析法。鑒于本文研究目的在于內容分析法在分析網絡文本交互數據中的具體操作,因此沒有選擇這個領域內全部的研究文章進行分析。筆者選擇文章的標準在于符合內容分析法操作的基本規程,處理數據、得出結論的過程清晰合理。
二 內容分析應用分析
本文主要描述使用內容分析法操作的五個方面:第一部分是內容分析法的三個標準:系統一致性、客觀性、量化過程。第二部分是研究的設計。第三部分是研究的變量和分析單位。第四部分是構建內容類別及編碼的過程。第五部分是內容分析數據處理的過程。
根據分析文章使用內容分析法的操作,一般可以分為如下幾個步驟:首先是將需要選擇分析的內容選擇匯總。文中提到研究雖基于不同的網絡平臺,但交互內容一般都是以發帖的形式存在,故操作基本是從數量眾多的帖子中選取符合研究變量要求的帖子,進行匯總。其次是建立編碼的標準并對帖子進行標識和分類。這個工作可以由一個研究者來完成。如果帖子數量眾多,需要多位參與者共同完成,便涉及到對分類和標識標準進行統一理解的問題;此時需要注意研究信度。一般的做法是對不同編碼人員的分類和標識進行比較。再次是分析編碼結果,確認變量之間的關系。最后是形成結論。見下表:
1內容分析法的使用標準
首先考察使用內容分析法應當遵循的標準。系統性一致性:這是指用于分析的內容是按照明確的標準,通過正確的程序選擇而來;同時對選擇內容的處理方式必須一致,具體來說對內容進行編碼和分析的程序應該統一。這個要求涉及到兩個步驟,第一步是選擇分析的內容。研究者需要明確選擇自己研究的主要對象,即分析帖子的總體。本文分析的論文選擇教學平臺中一門或幾門課程的交互帖子作為研究總體。這些課程有固定的學生群體和教學內容。針對課程內容交互所發的帖子應該包含研究變量的內容。第二步是確定內容編碼和分析的程序。在下文中具體介紹。
客觀性:是指研究者不能將自己的偏好加入研究結果中;當其他研究者重復你的研究過程,應該可以得到相同的結果。[7]內容分析法研究不可能達到完全的客觀。因為在確定分析單元、解釋分析單元的過程中不得不加入研究者主觀的成分。
量化的過程:內容分析法需要產生一系列精確的信息,因此需要將分析結果充分量化。本文分析的文章中,一般采用建立編碼細目的方法,將某一細目對應的帖子數量手動統計出來,計算百分比。楊惠[9]等研究者利用統計軟件對帖子數目進行多配對樣本非參數檢驗驗。揭示了研究變量顯著性差異的結果。
2研究設計
同使用其他研究方法一樣,內容分析應該建立在對現有文獻進行基本回顧的基礎上。本文所選擇的八篇文章均進行了大量的文獻回顧。如網絡教學中的教師角色的研究中。研究者回顧了網絡教學教師角色的困境,網絡教師角色的組成緯度及含義等問題。[10]文獻回顧不僅提供了對研究問題的清晰定位,還為研究者提供編碼的理論框架。
貝雷爾森認為,內容分析法的特色在于其描述的技術 [11]。本文分析的文章基本都是基于描述的研究。即作者的研究設計的重心在于對網絡交互的帖子進行分類整理,分析后形成一定的框架描述帖子的分布、網絡學習的教師組織行為、網絡交互的深度、基于網絡知識建構的水平等問題。描述帖子的分布需要數量統計的方法,最基本的是計算發帖的頻率,和某一種類型的帖子所占的百分比。[12]比較復雜的方法是使用描述性統計。這種方法對調查總體所有變量的有關數據做統計性描述,主要包括數據的頻數、集中趨勢、離散程度以及數據分布。該方法可以發現數據的內在的規律,再選擇進一步分析的方法。上述研究設計均是建立在描述性研究的基礎上的。若要分析復雜變量之間的關系,在內容分析中應該加入線性回歸、多元線性回歸的數據處理方法。楊惠[13]等利用多元回歸分析了網絡外部特征、學習者個體特征與高水平知識建構的關系。
3研究的變量和分析單位
研究的變量按照性質分可以分為顯性變量和隱性變量。顯性變量是駐留在文本表層,易被觀察的內容。例如:交互的次數,回帖的次數等。這類型的變量比較容易被區分和描述,通過分析文本中某些特定意義詞語的出現次數即可確定。隱性變量是某些網絡教學平臺外部特征和學習者個體特征綜合作用的結果,因此難以確定。例如:高級認知思維、知識建構、知識社會性交互的質量、教師組織行為與知識建構的關系等(見表1)。魯爾克等學者提出有兩種辨析隱性變量的方法,一種是不在編碼過程中識別隱性變量,而推遲到解釋階段去。研究者可以自由運用自己的想象力和直覺從數據中得出有效的結論。即數據中歸納內容。另一種方法是定義隱性變量,然后演繹出這些變量的顯性指標。[14]
在使用內容分析法建立量化過程前,首先要確定分析單位。一般有語句單位即按照詞、命題、句子這樣的單位來劃分內容,這樣做可能產生大量的分析單元;段落單位即按照段落分割內容,可能的問題是一個段落包含多個變量;主題單位:以單獨傳達一項信息的內容作為單位;信息單位及語內表現行為單位[15]。在實踐研究描述中,研究者一般將分析單位描述為帖子、信息、傳播內容(見表1)通過作者的描述很難明確判斷研究者具體采用的分析單位。
4 構建內容類別及編碼
內容分析的核心在于用類別系統將媒體內容進行分類。優秀的研究在一定程度上源于類別系統界定清晰明確,且匹配需要回答的問題。所有類別的系統應該是互斥的,每個分析單元能夠并且只能夠歸于一個類別。這個環節要求明確研究設計依照變量的要求選擇合適的分類理論進行。本文分析論文中主要采用兩種方法。一種是選擇編碼模型,如“Gunawardena 交互知識建構模型” “Berge的思維角色模型”“布魯姆教育目標模型”等。胡勇,王陸[16]利用Gunawardena 交互知識建構模型將知識建構的過程描述為五個階段,并對每一個階段的特征做了充分描述。后續研究者可以將帖子的內容與階段特征進行比對以確定歸屬。本文分析的文章中,部分論文沒有采用分類的理論框架,而是研究者自己設計內容類別。此時需要質疑類別的互斥和歸類體系是否可以解釋每一個分析單位。
編碼通常需要研究者制定標準化的表格并通過標記的方式對數據進行歸類。可以采用紙質文檔的形式統計,之后再進行輸入。也可以直接錄入為電子文檔。有一些專門的軟件可供研究者使用做內容分析如:TextSmart、VBPro、ProfilerPlus等[17]。王陸[18]等研究者利用上文提到的Gunawardena 交互知識建構模型作為編碼的依據建立了知識建構層級的編碼表。
5數據處理的過程
通常文本分析涉及到頻數和百分比,而不是統計檢驗。原因在于分析者經常用完整的資料而非樣本做研究。[19]但在對網絡教學交互進行內容分析時,均涉及對樣本的選取。因此,在數據處理的階段有必要利用如卡方檢驗來檢查觀察與期望值之間的差異;或利用t檢驗來分析樣本的顯著性差異。如胡勇[20]對網絡教學管理類帖子與總貼子的比例進行獨立樣本的t檢驗,證明了這類帖子的顯著性差異,從而說明教師確實將部分時間用在組織管理中。
三 需要討論的問題
1 信度的問題
內容分析研究法的應用中,基本檢查客觀性的方法是評估研究者的編碼信度。即不同的研究人員對相同的內容進行編碼決策一致的程度。一般可以通過以下步驟保證信度:盡可能詳細地定義分析單元的類別邊界,對每一類分析的單元進行明確的解釋,促使編碼人員可以充分理解編碼程序。如果有多個編碼人員,應該進行培訓。在大范圍研究開始前,可以從中選擇一個子樣本讓編碼人員率先獨立地進行分類,從而發現問題。[21]
計算編碼員之間的信度有幾種方法。比較簡單的是Holsti信度系數百分比。這種統計方法反映了總的編碼決策中,編碼角色一致的數量。
信度 =2MN1+N2
其中M是兩個編碼員意見一致的數量,N1、N2是兩個編碼員各自編碼意見的數量。這種計算方法嚴重的缺陷在于信度檢驗旨在確認采用分類定義的有用性,但有時編碼員的某些一致性可能歸于偶然。信度其實是定義類別的函數。而不能反映分類定義的質量。所以百分比公式對信度的計算可能過高了。
為了解釋編碼員之間偶然一致的原因,scott提出了計算信度的改進方法即scott的Pi系數。具體的計算方法是:
Pi=觀察一致的百分比-期望一致的百分比1-期望一致的百分比
觀察一致的百分比是兩個編碼員之間一致性的百分比,期望一致性的百分比是每一類百分比的平方和。一般公認Pi信度系數大于.70是可以接受的。在 .60至 .70之間是可以接受的。小于 .60就不是好的信度。[22]
Pi系數的問題在于只能考察兩位編碼者信度的問題。于是cohen將其發展成為的K系數。這種計算方法的計算公式是:
K=(F0-FC)(N×M-FC)
N為總編碼數,F0為評估者意見一致的編碼數。FC為預期一致的編碼數。M是編碼員的數量
本文分析的論文中,僅有一篇使用cohen的K系數通過計算方法討論信度的問題。其他文章均沒有提及使用計算方法考察信度的評判問題。筆者分析可能的原因是部分文章分析的樣本量較小,研究者可以獨自完成制定內容類別并進行分類處理。但編碼信度仍是內容分析法研究需要重點討論的問題。
2 多種研究方法的綜合使用
在應用內容分析法研究網絡教學交互中,我們可以發現,研究者一般使用多種研究方法和工具綜合實現研究目的。經常與內容分析法配合使用的有問卷調查法、參與式觀察、統計分析、社會網絡分析(SNA)等。分析原因,筆者認為:網絡教學交互是十分復雜的研究領域。其中包含很多變量及其關系,使用單一的內容分析很難保證研究的效度。如上文提到,方法的綜合運用與選擇研究變量的復雜程度有關,如果只是統計發帖的頻次、平均長度等顯性變量,可以使用單一方法。但如果分析知識建構、意義建構、交互質量及多重變量關系等隱性變量則需要多種方法的綜合運用。同時由于不同學者的方法論取向不同,對同一問題可能采取不同的方法進行分析。但目前國內研究者傾向于使用其他定量研究工具和方法與內容分析法配合使用。因此今后需要在保證研究信度和效度的前提下,擴展研究視角和方法組合。
3 輔助工具的使用
目前,對于文本文件可以采用一些定性分析的軟件進行輔助分析。如QSR NVivo 7.0、NUD*IST等軟件。研究者可以將分析單位導入軟件,定義出分析的內容類別及編碼,輔助軟件會自動返回不同類別的歸屬,節省了分析時間。這種方法對文中提到顯性變量的分析是很有效的。定性分析的軟件允許多個編碼者協同工作,這對提高編碼的效率是有幫助的。同時部分軟件提供了自動編碼,搜索和模式匹配。這部分功能幫助研究者在面對大量帖子而又缺乏編碼類目的情況下推導出編碼類目。最后形成的數據可以導入SPSS、SAS等統計分析軟件,進行檢驗并計算相關性。
參考文獻
[1][2][11][14][15] Rourke,L,Anderson,T,Garrison,R.and Archer,W..
Methodological issues in the content analysis of computer conference transcripts International[J].Journal of Artificial Intelligence in Education,2000,(12).
[3][5][6][7][17][21] Wimmer,R.D.,Dominck,J.R.(金兼斌等譯).Mass Media Research:Anintroduction[M].北京:清華大學出版社,2005:150-170.
[4]kerlinger,F.N. Foundations of BehavioralResearch(4th)[M].
New York:Holt,RinehartWinston. 2000.
[8] 張振虹,黃榮懷.中英學習者網上提問方式比較[J].現代遠程教育研究,2009,(5):49-53.
[9][13] 楊惠,呂圣娟,王陸,王彩霞.CSCL中教師的教學組織行為對學習者高水平知識建構的影響研究[J].中國電化教育,2009,(1):31-34.
[10][20] 胡勇.網絡教學中的教師角色實證研究[J].開放教育研究,2009,(4):92-96.
[12] 袁松鶴,隋春玲,課程學習論壇中學生交互情況的分析與啟示[J].現代教育技術,2007,(7):61-64.
[19][22] Michael Singletary(劉燕南主譯).Mass Communication Research-contemporary Methods and Applications[M].北京:華夏出版社,2000:287-290.
[23] 胡勇,王陸,異步網絡協作學習中知識建構的內容分析和社會網絡分析[J].電化教育研究,2006,(11):30-35.
[24] 王陸,楊惠,白繼芳.CSCL中基于問題解決的知識建構[J].中國電化教育,2008,(4) :31-34.
[25] 趙鳳梅,胡勇.網絡教學中認知思維發展探析[J].中國教育信息化,2008,(5) :13-15.
[26] 陳麗.網絡異步環境中學生間社會性交互的質量-遠程教師培訓在線討論案例研究[J].中國遠程教育,2004,(7):19-22.