


摘要:當前,面對教育質性研究中日益增多的非結構化數據,傳統的手動編碼和解釋方法已難以有效應對,而大模型(Large Language Model,LLM)的快速發展為社會科學的質性研究帶來了新的機遇與挑戰。為此,文章聚焦LLM在教育質性研究中的應用,首先從理論層面闡釋了LLM的潛力,包括其在心理理論應用、非結構化數據分析、背景知識利用以及數據增強技術介入等方面的優勢;然后,文章提出了LLM在教育質性研究不同階段的應用框架,涵蓋研究設計與預備分析,數據收集與信息交互,數據分析與模式識別,成果展示、驗證與傳播等環節;最后,文章通過一個基于GPT-4的智能訪談案例,展示了LLM優化教育質性研究設計、改進數據收集與分析方法的過程。文章通過研究,旨在為LLM在教育質性研究中的應用提供理論框架,并為未來教育質性研究方法的實踐創新提供思路。
關鍵詞:大模型;教育質性研究;研究方法;智能訪談;GPT-EDU4SIGHT
【中圖分類號】G40-057 【文獻標識碼】A 【論文編號】1009—8097(2024)10—0032—10 【DOI】10.3969/j.issn.1009-8097.2024.10.004
GPT、Claude、Mistral等不同系列LLM的興起,標志著人工智能領域劃時代的進步。這些大模型不僅在模擬人類認知過程、理解和生成自然語言等方面展示了令人印象深刻的能力,也給社會科學研究方法帶來了深遠的影響,尤其在質性研究領域[1]。它們通過對大量非結構化數據進行高效的處理和分析,不僅提升了數據解讀的速度與精度,也擴展了研究者探索和理解復雜社會現象的能力,這預示著LLM將有望成為質性研究方法論革新的重要推動力量。就教育領域而言,深入理解教育主體主觀經驗和復雜教育現象是質性研究的關鍵。雖然數據的不斷積累,為教育質性研究多層面透視教育現象、探究教育活動的內在規律提供了前所未有的機遇,但長期以來如何針對龐大的非結構化數據集進行有效的處理和分析也是其面臨的巨大挑戰[2]。對此,傳統研究技術依賴于對數據進行手動編碼和解釋,既耗時又容易受到主觀偏見的影響,而LLM憑借對海量文本數據的強大學習能力、通過捕捉人類語言中的微妙變化和情感色彩,以及自動編碼、情感檢測、基于多任務框架整合多模態信息等過程,既可以提高質性研究的操作效率,更推動了質性研究方法的創新。同時,其在知識融合和遷移、因果推理和解釋、概念建模和模擬等方面的強大能力,也為研究者提供了新的視角,有助于我們探討人類行為、社會互動和文化現象,以便更深入地理解社會科學問題,為社會科學研究創造了巨大的發展空間[3]。基于此,本研究嘗試探討LLM如何為教育研究提供新的方法論指導和理論洞見,并在此基礎上構建LLM在教育質性研究中的應用框架,介紹LLM在教育質性研究中的實際應用案例,旨在為教育質性方法的實踐創新提供新思路。
一 大模型對教育質性研究的理論潛力
LLM對教育質性研究的適用性潛力涉及其在處理大規模非結構化數據、理解復雜社會現象背后的動機和情感等方面的能力拓展。這種潛力引起了研究者的關注,開始探討LLM在質性研究中的應用價值,如利用LLM細化主題分析、深化敘事案例分析、理解文本內容和內容發布者意圖、推測文本背后的趨勢與態度傾向等。綜合這些研究,LLM對教育質性研究的理論潛力主要體現在心理理論應用、非結構化數據分析、背景知識利用和數據增強技術介入等方面。
1 借助心理理論深化材料的理解
心理理論(Theory of Mind,ToM)是社會認知的基礎,指個體能夠理解他人的心理狀態,并據此解釋和預測他人行為的能力,為理解個體行為、意圖、信念和情感提供了重要的理論視角。教育質性研究常用于探索個體的主觀體驗、感受和意義建構過程,強調研究者要深入到研究對象的生活情境中,理解個體的行為和內心世界。研究者借助ToM可以探究研究對象的內在動機、信念體系和情感狀態,揭示行為背后的深層原因及關系,為研究提供豐富的解釋與深刻的理解。
LLM在ToM測試中對人類思維和認知過程展現了較強的理解能力,為其應用于教育質性材料分析奠定了基礎。例如,Prystawski等[4]通過探究GPT-3對隱喻的理解能力,證實了LLM在將隱喻與其恰當釋義相匹配方面的有效性。而升級后的GPT-4在一項包含640個問題、40個不同任務的錯誤信念任務測試中完成了75%的任務,表明其具備了出色的心理理論能力[5]。這些研究結果表明,LLM可進一步用于模擬人類對話和社會互動,輔助研究者推理他人在特定場景下的心理狀態,并從中獲得新的見解,如利用LLM模擬校長、家長、學生等不同的角色,并將其作為社會調查對象,深入探討不同角色對利益相關議題的反饋[6]。
當然,教育質性研究所關注的主觀體驗非常豐富,不能完全歸因于心智推理能力。但LLM在測試中的出色表現揭示了其在洞察復雜的人類心理狀態、捕捉細微的情感變化和信念等方面的價值,從而為研究提供了更豐富、深入的解讀視角,拓展了其在教育等特定領域的應用空間。
2 通過非結構化數據分析提供深層洞見
非結構化數據處理在質性研究中占據核心地位,為深入理解人類的行為、信念、態度和社會現象提供了重要的手段。目前的教育質性研究依賴于各類非結構化文本數據,包括觀察與訪談記錄、開放式問卷回答、社交媒體帖子、日記和文章等,這些數據反映了研究對象的真實觀點,有助于揭示復雜的認知、情感和社會互動模式。
LLM的進步突破了傳統質性研究依賴于通過人工細讀和編碼來解析材料的局限,為自動分析海量非結構化文本開辟了新的路徑。研究表明,BERT、GPT等LLM能自動學習文本的高維語義特征,如捕捉詞語順序關系和上下文語義等,可用于識別存在歧義的編碼、進行主題挖掘和概念提取等深層次分析[7]。同時,LLM在識別質性資料中的隱含模式和主題方面具有獨特優勢,特別是在表述欠清晰、語義理解不足等的場景中可以減少提問和回答偏差[8]。此外,LLM還能基于廣泛的個體和集體敘事分析進行意義建構,以提取敘事內容,對故事線進行重組、比較等,為敘事研究提供了成功的方法學案例。這些研究成果極大地支持了教育質性研究中最為艱巨的任務,展現了將人工智能的效率和準確性與人類的靈活性和情境意識結合起來,以開展質性研究的巨大潛在價值。
LLM在非結構化數據分析方面的能力可以更好地幫助研究者理解自由文本的整體語義,識別隱含模式和主題,并基于廣泛的個體和集體敘事進行意義建構,這對理解并分析復雜的教學行為和教育現象具有重要意義,同時也拓展了教育質性研究的方法和路徑。
3 利用背景知識理解復雜語境
理解復雜語境的背景知識對于質性研究至關重要,它使研究具備必要的深度,確保結果的準確性。教育質性研究場景內嵌于特定的文化習俗、社會結構、經濟條件和教育環境等多樣化語境中,理解這些背景知識能夠捕捉數據的復雜性與多維度,從而全面分析和解釋研究現象。
LLM具有廣泛的知識儲備,能夠通過預訓練(Pre-training)和微調(Fine-tuning)的學習過程,理解并生成復雜的語言結構,從而掌握更精深的背景知識以適應特定的應用場景。在預訓練階段,LLM學習語言的基本結構、語法規則、詞匯關聯背景知識,初步理解自然語言及其復雜的語境;微調階段LLM在此基礎上進一步訓練以適應特定的應用場景或任務,獲得更精細化的、特定的理解能力。通過以上學習過程,LLM能根據上下文語義理解,快速吸收不同專業領域的專業知識,如在醫學教育領域,經過微調的Llama 2模型可以生成更具針對性的診療回答,提升了模型的應用效果[9];LLM與社會調查研究方法結合,可基于特定的背景知識推斷并預測調查中缺失的問題回答[10]。這些應用表明,相較于需要廣泛背景知識的人類研究者,LLM能更精確地理解專業詞匯及語義關聯,產生符合背景知識的分析結果,降低復雜語境的理解難度。
這種卓越的跨領域知識遷移學習能力,使LLM能夠深入理解教育質性研究中的復雜語境和背景知識,這對于質性研究的核心倫理原則——尊重參與者及其環境至關重要,有助于研究者更加敏銳、全面地分析質性數據,也為做出合乎倫理的研究決策和解讀提供了基礎條件。
4 通過數據增強技術豐富研究視角
數據增強技術指通過技術手段來增強數據集的多樣性和規模,進而提升模型的泛化能力。在質性研究中,主要通過添加噪聲、同義詞替換、改變句子結構等方式擴充文本數據,從而發現不同表達方式下的共同主題和概念,減少偏見以彌補特定視角或經驗的缺失。
對于LLM而言,則使用少量標注語料作為種子,通過學習其表達模式,生成語義一致但形式略有差異的新文本。這些由LLM生成的高保真數據能有效擴充質性研究的語料庫,并可通過微調提升特定NLP任務的分析效果,如利用LLM生成帶標簽數據以提高文本分類的準確性、用生成的增強訓練數據提升跨語言推理性能等[11]。這種遷移學習和多任務學習框架還為克服單一數據集的局限性提供了解決方案,通過聯合訓練模型處理多個任務,LLM能夠從不同的任務中學習更廣泛和深入的特征,提高泛化和適應能力。例如,有研究利用GPT-3將重述增強方法與回譯增強方法(將目標語言句子轉換成源語言)相結合,提高了仇恨言論檢測的準確性,減少了偏見,并增強了模型的泛化能力[12]。
盡管數據增強技術最初主要用于量化研究與機器學習任務,但也為教育質性研究提供了新的思路和方法,有助于緩解教育研究中的數據量不足、數據分布不均衡或倫理受限問題,提高了研究的質量、效率和深度,強化了研究者處理復雜教育現象的綜合能力。
二 大模型在教育質性研究中的應用
如前文所述,LLM正重新定義教育質性研究的邊界和可能性,并貫穿于質性研究全程。相較于量化研究的固定步驟,質性研究更加靈活和開放,但為確保研究的系統性與規范性,本研究借鑒各類經典質性研究流程,將教育質性研究劃分為4個基本研究階段:研究設計與預備分析、數據收集與信息交互、數據分析與模式識別,以及研究成果展示、驗證與傳播[13][14]。LLM在不同的階段展現了其推動教育質性研究方法變革的價值,具體應用框架如圖1所示。
圖1 "大模型在教育質性研究不同階段的應用框架
1 研究設計與預備分析
教育質性研究的研究設計與預備分析主要涉及文獻回顧與分析、研究問題與假設生成、研究設計優化與調整、理論框架構建等。傳統上,這些任務依賴于人工執行,如手動檢索文獻、閱讀和總結先前成果、通過訪談和觀察收集數據等。同時,這一階段還要求研究者不斷反思和調整研究設計以應對變化與挑戰。LLM在這一階段的應用給教育質性研究帶來了顯著變革:
首先,借助強大的自然語言處理能力自動完成煩瑣的研究任務。例如,通過ChatGPT構建的文獻對話代理來檢索并分析龐大的文獻資源、總結整個科學文獻語料庫中與問題相關的片段,以幫助研究人員從復雜文本中快速提取關鍵信息,進行初步分析和解釋,并構建理論框架[15]。這樣顯著減少了文獻檢索和知識整合時間,提升了科研效率,有助于科學知識的傳播與應用。
其次,通過整合文獻和提煉大數據中的模式生成研究問題與假設。研究者借助LLM可以將上下文背景(如研究問題、研究設計、研究目標等)作為輸入,通過檢索已有的研究論文獲取“靈感”,生成以自然語言形式表達的新穎研究想法與假設[16]。這為未來利用AI構建更全面和深刻的研究問題提供了有益借鑒。
最后,利用廣泛的專業知識儲備優化研究設計方案。研究者可以通過輸入背景信息與評估標準,制定評估工具,用于驗證研究的可行性和預期結果,并選擇合適的研究問題與采樣人群。此外,研究者還可以與模型對話,通過提出質疑或修改方案來優化研究設計,模擬研究試測,以提升設計的質量。這為研究者提供了更加全面、深入的研究視角和設計思路。
2 數據收集與信息交互
在教育質性研究的實踐中,數據收集與信息交互是理解研究對象經驗、態度和行為的關鍵環節。傳統方法如面對面訪談、觀察和焦點小組等,雖然能夠深入挖掘參與者的內在感受,卻常因時間、地域限制以及數據處理效率低下等問題受到挑戰。
引入LLM為數據收集與信息交互問題帶來了新的解決方案。LLM能夠模擬自然語言交流,通過參與者與模型實時的信息交互自動收集數據,同時跨越地理限制,提升數據收集的效率和規模,實現定量與定性分析的有機結合。例如,將GPT-4作為虛擬訪談者或調研助手集成到調查軟件中,基于參與者的反饋動態調整對話,實時模擬深度交流[17]。這種交互方式能觸及更廣泛的參與者群體,收集更豐富的數據,發揮其基于動態數據進行自動化調整反饋的優勢。
同時,LLM具有較強的靈活性與擴展性,能夠生成多樣化的文本和語言風格,進而從不同的角度探索研究問題,以減少主觀偏差的影響。特別是在跨文化研究中,LLM能夠自動適配來自全球不同文化背景參與者的需求,生成不同情境下具有文化敏感性和語言準確性的響應。這種適應能力可以為參與者提供更具交互性的體驗,如在教育中借助LLM模擬特定的人物角色與學習場景,增強學習者對不同對象的理解和溝通能力[18]。總之,LLM為教育質性研究的數據收集與信息交互環節注入了新的活力,為深入理解參與者的內在世界、挖掘研究問題的多元視角提供了更加靈活、高效的技術支持。
3 數據分析與模式識別
數據分析與模式識別階段是揭示參與者經驗、態度和行為深層模式的核心環節。傳統方法是通過研究者的直觀判斷展開,這一過程通常時間密集且容易受到主觀偏見的影響。
通過自動化處理和分析大規模數據集,高效地提取有意義的模式、趨勢和關系,是目前LLM應用于質性研究的普遍形式,常見的應用包括:①自動化主題識別與分類。通過主題建模技術,自動識別文本數據中的主題并進行概念分類,揭示相互關系,促進研究者對大規模數據集的理解。②話語分析。分析語料的使用模式和話語結構,開展深入的情感分析,揭示特定話語的構建與傳播方式,促進對參與者感受和態度的深入理解。③跨文本和跨數據集分析。綜合分析不同來源和格式的數據,發揮數據整合的優勢,揭示不同數據集之間的相互關系與模式,為研究者提供更全面、深入的見解。④摘要與解釋文本生成。根據大量的質性數據自動生成文本摘要并進一步形成解釋文本,幫助研究者快速掌握核心內容,為案例研究或重新進行研究假設提供依據。⑤交互式探索與實時反饋。與模型進行交互,實時查詢特定的主題或問題,獲得即時的分析結果和反饋,加速研究過程并提高分析的靈活性。
在該階段,LLM可作為自動編碼器、摘要生成器等輔助工具,支持研究者進行定性編碼、生成訪談摘要、捕捉視覺和情感層面的細微反應差異等[19]。這表明LLM不僅可以提升研究的效率和準確度,還有助于研究者處理復雜的數據集,揭示更微妙的變化和隱含的模式與趨勢。
4 研究成果展示、驗證與傳播
研究成果的展示、驗證與傳播是提升研究影響力和實用性的重要步驟。傳統的教育質性研究依賴于通過靜態文本和圖表來呈現結果,且在驗證成果和與學術社區交互方面的技術應用相對有限。LLM則能以更高效、動態和互動的方式應用于研究成果的展示、驗證與傳播,為這一階段研究帶來了革命性的變革。
首先,LLM豐富了成果的展示方式,能夠自動生成研究數據并分析結果摘要,以清晰、準確的語言呈現復雜的研究發現,再結合數據可視化工具輔助生成各類圖表以增強視覺效果。同時,基于LLM的交互功能,研究者能夠根據興趣查詢研究報告的特定內容,實現個性化和互動式的研究成果展示。其次,LLM增加了成果驗證的途徑,能夠通過快速瀏覽和分析大量的相關文獻,幫助研究者確認研究成果的創新性和貢獻度,還能在多種數據集和情境下模擬測試,檢驗假設的穩健性和結論的可靠性,評估研究成果的泛化能力和可重復性。最后,LLM拓展了成果傳播的渠道,能夠將復雜的研究成果轉化為非專業受眾也易于理解的內容,促進知識的普及,擴大社會影響。基于LLM的問答系統允許公眾通過自然語言直接獲取研究結果,提高了研究的可訪問性和參與度,同時LLM還能分析公眾反饋,為研究者提供未來研究方向和改進的洞見。此外,還有研究致力于從自然語言文本中直接生成可視化的解決方案,如基于LLM實現對非結構化文本數據的提取以及多模態數據的知識表達,創建可以展示材料屬性和組成關系的知識洞察圖,這些應用使復雜的研究結果更容易被公眾理解,促進了成果的傳播[20][21]。
綜上可見,LLM的理論潛力綜合體現在教育質性研究應用的每個階段,對于更加科學、全面、深入地開展教育質性研究具有重要的意義。為此,本研究以圖1所示的應用框架為指導,設計并實施了一項質性訪談研究。鑒于LLM技術的發展及其對教育的深刻影響,中國人工智能學會智能教育技術專業委員會以編撰研究報告《大型語言模型的教育應用》為契機,評估了LLM融入未來教育所面臨的挑戰和機遇。本研究針對該報告設計案例,旨在拓展傳統政策研究的視野,將LLM教育應用相關議題放在社會數字化轉型背景下進行多方論證,通過廣泛的證據收集以及新方法與工具的應用,掃描鮮為人知的弱信號,挖掘可能的趨勢,探究LLM教育應用的未來形態及推進路徑,為實踐研究與政策制定提供決策依據。
三 案例實踐:圍繞《大型語言模型的教育應用》的智能訪談
1 案例設計
為了提供科學的決策依據,在探究上述議題時需廣泛收集意見,探尋更深層的洞見。面對訪談人員的水平存在差異、訪談范圍的成本受到限制、資料整理和分析的工作量巨大等傳統人工訪談的固有局限,本研究嘗試利用自主研發的輕量級工具GPT-EDU4SIGHT開展大規模智能訪談,并為項目提供從訪談設計到成果呈現整個過程的技術支持。
GPT-EDU4SIGHT是研究團隊前期開發的基于GPT-4的智能輔助工具,旨在為教育政策制定和決策提供智能支持,它融合了“項目設計”“文本分析”“智能訪談”“角色和場景模擬”“評估材料”等功能,可以通過自動化、智能化的方式協助研究者完成各項研究任務[22]。在本案例中,主要調用GPT-4 API等接口,為定性研究訪談提供一種無縫、集成的方法,其功能模塊設計緊緊圍繞質性訪談的實踐需求。其中,在研究設計與預備分析階段,GPT-EDU4SIGHT可以通過交互式對話輔助研究者生成研究問題、設計訪談提綱、驗證理論假設,并提供倫理咨詢和模擬訪談試測等功能。在數據收集與信息交互階段,GPT-EDU4SIGHT作為智能訪談助手,“傾聽”受訪者回答,自發根據語境與受訪者背景生成提問,對實時訪談數據進行記錄、總結與分析以供及時反饋,同時實現對內容的跟蹤與監控。在數據分析與模式識別階段,GPT-EDU4SIGHT可進行多維數據分析和模式識別并提供數據可視化輔助,包括情感分析、實體區分、主題識別、關聯分析、編碼建構等,同時可通過數據增強,實現教育質性數據增廣,提高分析的準確性和魯棒性。在研究成果展示、驗證與傳播階段,GPT-EDU4SIGHT除了輔助研究者生成結果摘要、可視化成果內容,還進一步拓展倫理評估、理論驗證模擬與報告輔助生成功能,使生成的研究成果報告更加科學、通順并符合學術標準。接下來,本研究將結合案例實施來解釋工具的應用。
2 案例實施
研究團隊于2023年8月~2024年1月開展了一項圍繞“大型語言模型的教育應用”的大規模專項訪談研究,GPT-EDU4SIGHT作為開放式線上調查平臺共采集來自全國不同地區1031名受訪者的反饋。由于在初期開發時考慮不周,一些受訪者未能通過GPT-EDU4SIGHT完成所有輪次的訪談,最終有318份完整的訪談材料納入數據分析。受訪者中,教育研究人員占比為14.47%,高校任課教師為15.72%,中小學任課教師為11.95%,大學生為48.74%,其他職業人員為9.12%。這些數據收集了不同利益相關群體對LLM教育應用的看法和意見,對于最終完成研究報告起到了重要的作用。
首先,通過與GPT-EDU4SIGHT進行對話式交互,分析相關文獻并確立研究的核心框架,即“應用領域”“應用好處”“典型場景”“潛在風險及原因”“應對措施”等關鍵維度。基于此生成訪談提綱,并使用包含合理訪談問題結構的數據集對模型進行微調,強化問題設計的情景化和普適性。同時,通過預設提示模板優化訪談問題出現的順序規則,使訪談邏輯更加順暢。在訪談調查正式發布前,研究團隊利用GPT-EDU4SIGHT開展了模擬訪談,全面評估訪談提綱的適用性,基于具備多種背景特征(如年齡、性別、職業)的受訪者畫像,生成虛擬受訪者回答,分析不同虛擬受訪者對同一問題的反應差異,進一步修正訪談問題的表述,最大程度地消除歧義、提高問題的適用性。
接下來,令GPT-EDU4SIGHT模擬人類訪談者的思維,按照預定順序依次向受訪者提問,對話界面如圖2所示。GPT-EDU4SIGHT基于識別到的受訪者身份,實時捕獲和存儲訪談的上下文數據,在每輪對話后生成對受訪者回答的簡短總結,據此選擇繼續提問或補充追問。GPT-EDU4SIGHT會動態跟蹤和監測訪談對話進程,確保對話遵循規則,一旦發現觸發預設的非正常結束條件,便會及時修正訪談路徑或重新提問,以保證訪談不偏倚、不冗余。此外,GPT-EDU4SIGHT支持同時面向多人開展訪談,這種“量身定制”的數據收集方式,突破了時空限制,增強了研究的互動性和即時性。
圖2 "智能訪談對話界面
然后,利用GPT-EDU4SIGHT對文本進行多種智能挖掘,如內容編碼和主題分析、情感傾向分析、編碼關系映射等。例如,基于受訪者對LLM在教育中潛在應用的回答,通過信息初篩、語義界定、概念分類、主題歸納(多輪互動),構建三層級系統編碼框架,包含“教育技術與創新應用”“知識發展與技能提升”等7個主題(一級編碼)、41個二級編碼以及312個三級編碼。此外,還可以利用GPT-EDU4SIGHT生成多種分析圖表,如用環形旭日圖呈現上述三級編碼的結構與具體內容;用雷達圖呈現不同群體的情感傾向;用概念地圖梳理文本關鍵概念和連接,呈現不同概念間的關系;用編碼密度條形圖展示文本資料中編碼的分布情況,比較不同主題的重要性或出現頻率等。圖3所示的熱力圖,就是在編碼的基礎上提示GPT-EDU4SIGHT生成“職業-主題”交叉矩陣,探究不同職業群體對各主題關注度的差異。
圖3 "不同職業群體在不同編碼維度的關注度熱力圖
最后,利用GPT-EDU4SIGHT的自然語言交互生成功能對可視化圖表結果進行分析與解讀,并支持輔助研究報告撰寫。通過一定輪次的人機交互,評估報告的可讀性并提供優化建議,促進報告的持續優化。在GPT-EDU4SIGHT的全流程輔助下,本研究形成了一份訪談質性分析報告,通過呈現不同利益相關者的多元視角,為《大型語言模型的教育應用》研究報告提供更加全面、深入的啟示。
3 案例小結
在本案例中,GPT-EDU4SIGHT協助研究者展開了優化研究設計、生成訪談問題、模擬訪談試測、實施智能訪談、進行自動編碼和深入分析、輔助報告撰寫等一系列操作。通過分析不同主題間的關系及不同群體的態度變化,使研究者能夠洞察各利益相關者觀點的微妙差異,識別在教育改革議題上達成共識的領域和存在分歧的具體問題,從而驗證了應用框架的有效性。
事實上,社會科學領域的一些相似案例在技術路線、訪談流程、材料分析、參與者體驗等方面為本案例的設計與實施提供了借鑒。本案例在此基礎上進一步考慮了LLM對教育語境的適應性,關注了不同教育利益相關者的特征,優化了結果的呈現與展示,更強調利用LLM工具輔助教育質性研究的一般流程,為解釋主觀體驗、探索教育現象、理解學習過程、洞察政策影響等提供了實踐參考。盡管該案例展現了LLM在輔助教育質性研究方面的潛力,但在同參與者的情感交互、對專業領域的知識更新、對復雜語料分析的精度和準度等方面仍存在問題,因此GPT-EDU4SIGHT目前僅能作為輔助工具,研究者需要審慎考慮分析結果,充分發揮主體的實踐意識和反思精神,以人機協同的方式推進研究[23]。
四 結語
本研究深入分析了LLM技術影響教育質性研究的成因,揭示了LLM在教育質性研究各階段的應用潛力。隨著技術的快速發展,未來教育質性研究將更加依賴于大數據和人工智能技術,并更加注重利用新技術來增強人類直覺、經驗和深度思考,而不是簡單地將這些人類獨有的能力外包給機器。此外,基于LLM的教育質性研究還將開拓新的研究視角,深化研究者對教育現象的理解,并促進教育實踐的創新。值得關注的是,OpenAI在2024年9月發布的新一代模型o1具備了更強大的復雜推理和長思維鏈方面的能力,這使其能夠模擬人類解決問題的過程,即通過反復思考、拆解、理解、推理等過程,然后給出最終答案,這將進一步拓展LLM在教育質性研究中的應用。因此,伴隨著以LLM為代表的人工智能前沿技術發展,教育質性研究將繼續演進,以適應技術發展帶來的變革需求:一方面,利用新技術創新研究方法,深入探索人類心靈的奧秘和社會的復雜性;另一方面,建立嚴格的責任規范,確保技術應用不會侵犯隱私、加劇不平等或損害學術誠信[24]。在快速變化的研究環境面前,研究者應保持開放靈活的態度,積極探索傳統與創新共融的多元化領域,為教育的理論和實踐提供更深入的洞察、更廣泛的分析視角和更有效的決策支持。
參考文獻
[1]Roberts J, Baker M, Andrew J. Artificial intelligence and qualitative research: The promise and perils of large language model (LLM)‘assistance’[J]. Critical Perspectives on Accounting, 2024,99:102722.
[2][13]Lichtman M. Qualitative research in education: A user’s guide[M]. New York: Routledge, 2023:124-312.
[3]程兵.以ChatGPT為代表的大語言模型打開了經濟學和其他社會科學研究范式的巨大新空間[J].計量經濟學報,2023,(3):589-614.
[4]Prystawski B, Thibodeau P, Potts C, et al. Psychologically-informed chain-of-thought prompts for metaphor understanding in large language models[OL]. lt;https://arxiv.org/pdf/2209.08141.pdfgt;
[5]Kosinski M. Theory of mind may have spontaneously emerged in large language models[OL].
lt;https://www.pasqualeborriello.com/wp-content/uploads/2023/02/Theory-of-Mind-2302.02083.pdfgt;
[6]陳向東.大型語言模型的教育應用研究報告(中國人工智能系列白皮書)[M].上海:華東師范大學出版社,2023:89-104.
[7]Loureiro D, Rezaee K, Pilehvar M T, et al. Analysis and evaluation of language models for word sense disambiguation[J]. Computational Linguistics, 2021,(2):387-443.
[8]Jansen B J, Jung S, Salminen J. Employing large language models in survey research[J]. Natural Language Processing Journal, 2023,4:100020.
[9]Kim J. Fine-tuning the Llama2 large language model using books on the diagnosis and treatment of musculoskeletal system in physical therapy[OL].
lt;https://www.medrxiv.org/content/medrxiv/early/2023/11/25/2023.11.23.23298943.full.pdfgt;
[10]Kim J, Lee B. AI-augmented surveys: Leveraging large language models and surveys for Opinion Prediction[OL]. lt;https://arxiv.org/pdf/2305.09620gt;
[11]Min B, Ross H, Sulem E, et al. Recent advances in natural language processing via large pre-trained language models: A survey[J]. ACM Computing Surveys, 2023,(2):1-40.
[12]d’Sa A G, Illina I, Fohr D, et al. Exploring conditional language model based data augmentation approaches for hate speech classification[A]. International Conference on Text, Speech, and Dialogue[C]. Cham: Springer International Publishing, 2021:135-146.
[14]Ruth A, Wutich A, Bernard H R. The handbook of teaching qualitative and mixed research methods[M]. London: Routledge, 2023:11-117.
[15]Dergaa I, Chamari K, Zmijewski P, et al. From human writing to artificial intelligence generated text: examining the prospects and potential threats of ChatGPT in academic writing[J]. Biology of Sport, 2023,(2):615-622.
[16]Rosenbusch H, Stevenson C E, van der Maas H L J. How accurate are GPT-3’s hypotheses about social science phenomena?[J]. Digital Society, 2023,(2):26.
[17]Chopra F, Haaland I. Conducting qualitative interviews with AI[J]. CESifoWorking Paper, 2023,(9):74.
[17]Amri M M, Hisan U K. Incorporating AI tools into medical education: Harnessing the benefits of ChatGPT and Dall-E[J]. Journal of Novel Engineering Science and Technology, 2023,(2):34-39.
[19]Jalali M S, Akhavan A. Integrating AI language models in qualitative research: Replicating interview data analysis with ChatGPT[OL]. lt;https://onlinelibrary.wiley.com/doi/epdf/10.1002/sdr.1772gt;
[20]羅江華,張玉柳.多模態大模型驅動的學科知識圖譜進化及教育應用[J].現代教育技術,2023,(12):76-88.
[21]Jablonka K M, Ai Q, Al-Feghali A, et al. 14 examples of how LLMs can transform materials science and chemistry: A reflection on a large language model hackathon[J]. Digital Discovery, 2023,(5):1233-1250.
[22]陳向東,褚樂陽,王浩,等.教育數字化轉型的技術預見:基于AIGC的行動框架[J].遠程教育雜志,2023,(2):13-24.
[23]楊帆,陳向明.論我國教育質性研究的本土發展及理論自覺[J].南京社會科學,2019,(5):142-149.
[24]駱飛,馬雨璇.人工智能生成內容對學術生態的影響與應對——基于ChatGPT的討論與分析[J].現代教育技術,2023,(6):40-57.
How do Large Language Models Fit into Qualitative Research in Education: Theoretical Potential and Case Practice
CHEN Peng " "ZHANG Jing-Yuan " "CHEN Xiang-Dong
(Department of Educational Information Technology, East China Normal University, Shanghai, China 200062)
Abstract: At present, in the face of the increasing number of unstructured data in the qualitative research of education, the traditional manual coding and interpretation methods have been difficult to effectively cope with, and the rapid development of Large Language Model (LLM) has brought new opportunities and challenges to the qualitative research of social science. Therefore, focusing on the application of LLM in qualitative research in education, this paper firstly explained the potential of LLM from theoretical perspective, including its advantages in the application of psychological theory, unstructured data analysis, background knowledge utilization, and data augmentation technology. Second, this paper proposed an application framework for LLM at different stages of qualitative research in education, covering research design and preliminary analysis, data collection and information interaction, data analysis and pattern recognition, and output presentation, validation and dissemination. Finally, through an intelligent interview case based on GPT-4, the paper demonstrated the process of LLM optimizing educational qualitative research design and improving data collection and analysis methods. This paper aimed to provide a theoretical framework for the application of LLM in the qualitative research of education and provide ideas for the practical innovation of the qualitative research methods of education in future.
Keywords: large language model; qualitative research in education; research methods; intelligent interviewing; GPT-EDU4SIGHT
*基金項目:本文為2023年全國教育科學規劃一般課題“基于大語言模型的青少年人工智能教育研究”(項目編號:BCA230276)的階段性研究成果。
作者簡介:陳鵬,在讀博士,研究方向為教師的循證實踐、大語言模型教育應用,郵箱為cp080304@163.com。
收稿日期:2024年3月23日