融入生成式人工智能反饋的高校協同論證設計與應用研究

摘要：本研究旨在檢驗融入生成式人工智能反饋對大學生協同論證質量及學生認知的影響。研究邀請大學生參與在線協作學習，采用定量和定性相結合的研究方法，深度分析AIGC對協同論證的影響。研究結果表明，AIGC反饋不僅能促進學生多角度思考，提升批判思維和組織能力，而且能夠增強學生的論證信心及動機。同時，本研究驗證了AIGC在協作論證中的應用效果，并為其在教育領域的廣泛應用提供了新的見解。

關鍵詞：生成式人工智能反饋；協同論證；協作學習；對話反饋

中圖分類號：G434 文獻標識碼：A 論文編號：1674-2117（2024）13-0107-06

引言

論證能力是高校學生學術生涯的必備技能，其要求學生從多種角度收集觀察數據，并運用形式邏輯以規范的形式提出論點。協同論證促使學生在論證過程中拓展和深化觀點，比較和評價不同觀點和想法的優劣，在思維的交流與碰撞中達成共識。然而，由于先驗知識與知識領域的局限以及缺乏及時反饋等，在傳統論證中，學生往往難以從多個角度使用證據來支撐論點，導致出現論證質量低下、缺乏邏輯性等問題。而生成式人工智能（AIGC）能夠為學生創設個性化學習空間，通過提供多角度的及時反饋來拓展學生思維，顯著提升學生績效[1]，幫助學生增強自信，提高論證水平。[2]因此，本研究旨在采用基于生成式人工智能反饋的協同論證來提升學生協同論證的質量及認知。

文獻綜述

1.協同論證相關研究

論證是指學習者明確地構建觀點，并提出對應佐證內容，是促進學習者邏輯推理及批判性思維發展的有效途徑。[3]根據Walton的定義，論證是以目標為導向的交互式對話形式，參與者通過證明或反駁假設來共同推理以推進論證的進展。協同論證是小組成員通過相互提問、澄清和解釋，構建關于主題不同方面的理由和證據的過程，從而拓寬和加深小組成員對主題的共同理解。

研究表明，協同論證能夠有效提升學生的論證技能，對其思維發展具有重要價值。在協同論證的過程中，學生的建構能力和邏輯推理能力得到提高，且團隊成員的相互合作、共同理解有助于構建集體知識。[4]

在協同論證中，學生面臨著多種挑戰：第一，由于論證的非線性和復雜性，很難構建有效的論證。[5]第二，由于先驗知識和認知資源的限制，難以從多個角度提出論證。[6]

第三，難以找到相關且值得信賴的信息來源，有效地使用證據來支持主張，并根據證據反駁論點。[7]第四，觀點表達常常缺乏清晰度和嚴謹性，缺乏科學的推理過程。[8]

為應對這些挑戰，筆者探索了各種教學方法及工具，其中，聊天機器人被認為是一種有前景的工具，它可以運用自然語言與學生互動，有效提升學生的論證能力和成績。[9]然而，由于語料庫和算法的限制，現有研究中基于檢索的聊天機器人很難適應用戶及提示語的變化，可能導致尷尬的響應或不響應的問題。[10]相比之下，基于生成模型的聊天機器人可以很好地克服這一問題，并能就任何主題進行討論。[11]

2.生成式人工智能在教育中的應用

生成式人工智能（AI Generated Content，AIGC）是指憑借自然語言處理（Natural Language Processing，NLP）及機器學習算法（Machine Learnning，ML）技術來模擬人類對話的交互機器人。[12]它借助大規模語料庫、生成性對抗網絡（GAN）、大型預訓練模型等技術來實現創造性生成。

目前，AIGC在學習、教學和管理等方面對教育產生了前所未有的影響。研究表明，AIGC可以通過提供多視角觀點協助學生改善議論文寫作。[13]它的實時反饋滿足了學生的情感、尊嚴和目標實現的需求，提高了學生的學習效率。此外，作為一種新的媒介，AIGC通過提供討論結構、實時反饋和個性化指導，有效促進了小組討論和辯論的開展。[14]因此，本研究的目標是探究AIGC在高校協同論證中的應用，從論證結果和論證過程兩個方面檢驗AIGC在促進學生辯論方面的效果。

研究設計

1.研究問題

為了檢驗AIGC反饋融入協同論證的作用，研究采用定量的準實驗研究法和定性的訪談法探討AIGC反饋對于論證質量及過程的影響。研究問題主要包括：①在論證結果方面，與傳統論證相比，融入AIGC反饋的協同論證是否提高了大學生的論證質量？②在論證過程方面，融入AIGC反饋的協同論證相比傳統論證是否改善了大學生論證的認知網絡？

2.研究對象

本研究在江蘇省一所高校面向教育學碩士一年級研究生開設的必修課“信息學教育理論與實踐”中進行，共有53名學生參與。該課程由一名在信息教育研究領域有超過10年教學經驗的教師教授。在該學習活動中，學生被隨機分為12組，實驗組（N=27）與對照組（N=26）各6組，每組4～5人。實驗組提供AIGC作為論證指導，允許學生與其進行對話，對照組未給予任何工具。

3.研究設計

本研究流程分為三個階段，整個實驗的持續時間為4周，學生以小組為單位，采用線上線下結合的混合模式開展教學活動，圖1為實驗過程。

第一階段，教師為學生分配討論主題“你認為人工智能繪畫是藝術嗎？為什么？”，并培訓學生使用企業微信進行協同論證，用在線協作白板工具小畫桌繪制論證地圖。接著，學生隨機分組并建立企業微信群，教師為他們發送培訓材料，幫助他們掌握圖爾敏論證模型并進行可視化論證。

第二階段，所有小組開展論證，學生需圍繞相同的主題進行協同論證討論。教師負責規定協同論證活動中各個階段的時間節點、分發活動階段所需的學習材料和收集小組活動形成的成果。活動流程分為三個環節：①組內論證階段；

②組內綜合階段；③課堂展示階段。前兩個環節主要在線上實施，依托企業微信進行合作辯論，并使用小畫桌繪制論證地圖。最后一個環節學生在線下進行面對面交流與探討。

第三階段，學生進行自我反思，教師選取15名學生進行訪談。

4.研究工具

本研究的工具包括論證地圖評價標準、論證要素編碼框架及認知網絡分析網站。此外，本研究使用ChatGPT 3.5作為AIGC反饋。

（1）論證地圖評價標準

為評價學生繪制的論證地圖質量，本研究采用了Cho K-L等研究者提出的論證地圖評價指標。該指標基于圖爾敏論證模式，從主張、數據、理由、支持、反駁五個維度進行評分，每個維度分為0分、2分、4分、6分四個層次，如表1所示為理由的評價指標。為保證評分的可信度和有效性，由兩名研究者分別進行評分，內部一致性為0.740。

（2）論證要素編碼框架

為將學生會話數據中表現出的論證要素進行編碼，接著進行認知網絡分析，本研究采用了Stegmann等人提出的編碼方案。該方案運用于分析在線協作論證中圖爾敏論證要素（如表2），由兩位研究人員對編碼框架進行驗證，內部一致率為0.705。

5.數據收集與分析

針對研究問題一，本研究統計了各組論證地圖中論證要素的頻率和復雜度。夏皮洛-威爾克檢驗顯示，支持頻率（p=0.003＜0.05）、數據頻率（p=0.039＜0.05）、主張復雜度（p=0.002＜0.05）、支持復雜度（p=0.005＜0.05）不符合正態分布，采用曼-惠特尼U檢驗比較兩組之間的差異。而其余元素的頻率和復雜度符合正態分布，使用獨立樣本t檢驗來比較差異。

針對研究問題二，本研究使用認知網絡分析比較論證過程中兩組各論證要素共現的差異，共收集185條有效對話數據。據觀察分析，每個對話框中元素相互關聯，體現學生針對某一論點的完整論證，因此每個對話框被視為一個編碼單元。接著，由兩名專業研究人員在理解及確認編碼框架后，開展了預編碼。經SPSS分析，預編碼的Kappa系數大于0.7。接著，研究人員經過協商，統一了編碼中的分歧，并完成余下的編碼。在編碼結束后，在ENA網頁對數據進行了分析。

6.結果分析

（1）融入AIGC反饋的協同論證是否提高了學生的論證質量？

在論證結果上，對照組和實驗組論證要素的獨立樣本t檢驗及曼—惠特尼U檢驗結果顯示，實驗組與對照組在論證要素的頻率及復雜度上均不存在顯著差異（p＞0.05）。但實驗組的主張、理由、反駁這三種要素的頻率明顯高于對照組，且在要素質量方面，實驗組的主張、數據、理由、支持及總要素質量均超過對照組，特別是在主張及理由要素上存在巨大差異，說明AIGC反饋能促進學生更深入理解論題，提出更清晰的主張并進行解釋。

（2）融入AIGC反饋的協同論證是否改善了學生論證的認知網絡？

在產生的認知網絡模型中，在X維度及Y維度上的共同適配相關系數均接近1（Pearson、Spearman），這表明，可視化模型與原始模型及數據之間的擬合度很高。圖中每個節點代表一個認知編碼元素的位置，連線的粗細和飽和度表示認知元素之間的關聯強度，兩個要素共現頻率越高，連線則越粗。[15]如圖2所示為對照組與實驗組的論證認知網絡，可以看出，兩組學生整體的論證模式在主張、數據、理由三個要素上建立起較強的聯系。

為了進一步辨別出兩組學生在認知網絡上的差異，本研究將兩組認知網絡圖進行疊減發現，對照組在主張-理由、主張-反駁上的連接性更強，實驗組在理由-數據、支持-數據、數據-反駁上的連接性較強。此外，實驗組學生能夠在論證中通過AIGC的反饋找出一系列數據來支持論點并進行反駁。相比之下，對照組有直接的理由來闡述主張，同時也能直接反駁對方的觀點，但沒有給出對應的數據及支持。

本研究還對兩組質心進行比較，實驗組質心向X軸左側偏移，更靠近數據-支持、數據-反駁，說明在表述時更注重這些元素的表達。此外，曼-惠特尼U檢驗的結果顯示，兩組質心在X維度上存在顯著差異，具有統計學意義，如表3所示。

研究結論與討論

1.AIGC反饋提高論證質量，增強論證廣度及深度

在論證結果方面，研究表明使用AIGC反饋的學生在制作論證地圖時的整體質量得到顯著提升。一方面，實驗組學生在論證地圖中使用“主張”“理由”及“反駁”的頻率高于對照組。這說明，與AIGC進行討論模擬對話的論證，可以從不同的視角和觀點提示學生，讓學生認識到使用理由來捍衛自己觀點的重要性，并以更詳細的理由、更全面的數據及支持去論述，針對對方意見提出反駁，消除挑戰。另一方面，使用AIGC反饋的學生提出的論證的組織水平更高。除“反駁”復雜度之外，使用AIGC會話的學生在其余四種要素的復雜度上均高于傳統學習任務的學生。這一發現表明，AIGC在提高論證的充分性方面具有積極影響，學生更加關注數據及資料對論點的支持，并用更為詳盡、清晰的語言表述出來，這與之前的研究結果類似。[16]

而對于不顯著差異的可能原因如下。一種是，在繪制論證地圖時，學生可能并未完全理解教師的指導，對論證要素及繪制工具并不熟悉。另一種可能的解釋是，提示詞的質量決定了ChatGPT給出答案的質量，且答案需要學生進一步篩選，這對學生提出了更高的要求。因此，教師可以為學生提供額外的支架，如模板、提示等幫助學生進行論證。這些支架可以使學生在使用AIGC時提高信息檢索和觀點凝練的效率。

2.AIGC改善學生認知網絡，促進批判性思維發展

在論證過程方面，研究發現，AIGC能顯著改善學生認知網絡并促進學生批判性思維發展。具體來說，實驗組在各要素與“數據”之間表現出較強的共現程度。這說明，在AIGC反饋中學生得到了更為詳細、權威的數據及支持，這使他們克服了論證過程中知識廣度不足、缺乏權威資料的障礙，在支撐主張上得到更廣泛的數據。相比之下，對照組在未使用ChatGPT的條件下，在認知網絡圖中的主張-理由、主張-反駁中表現出更顯著的聯系。這說明，在傳統論證中學生難以用足夠的證據和邏輯推理來有效支持他們的主張，并在有限時間內檢索到資料進行反駁。[17]AIGC反饋及時為學生解答疑惑，在一定程度上解決了教師指導不足的問題，為教師在高校課堂設計的論證活動提供了幫助。

3.AIGC重塑教育形態，推動教與學方式變革

本研究發現，AIGC賦能教與學，推動著教與學方式的變革。在“教”的方面，AIGC能夠輔助教師備課，緩解了教師由精力不足導致的指導缺乏問題。在“學”的方面，它為學生提供了一個舒適的環境，提高了他們在辯論時的信心與動力。此外，在與學生對話的過程中它充當了同伴的角色，激發了學生在論證過程中思想的產生，增加了他們的興趣及參與度，這與先前的研究是一致的。[18]因此，教師在后續課堂中可以充分利用其強大的功能進行備課，輔助學生進行個性化學習等。

結語

本研究通過設計和實施融入AIGC反饋的協同論證活動，探討了其在教育領域的應用潛能。研究發現，AIGC反饋能促進學生多角度思考問題，提升學生批判性思維和組織能力，同時增強其論證信心及動機，并提出將AIGC與課堂相結合以增強論證學習的可能性，為未來教育中生成式人工智能的廣泛應用做出了貢獻。

但本研究同樣也存在一些局限。第一，盡管本研究探究了AIGC反饋在協同論證中具有一定效果，但未設計有效的提示詞增強學生的論證表現，未來的研究可以關注不同提示詞對論證的影響。第二，由于本研究干預時間較短，AIGC反饋在提高學生的論證質量和促進學生思維發展等方面的長期價值仍需進一步檢驗。此外，由于樣本量相對較小及場景的限制，本研究所得出的結論尚不能推廣。因此，后續的研究可以關注上述問題，通過更大的樣本得出普遍性規律，進一步為AIGC應用于教育場景提供更多的可能性。

參考文獻：

[1]鄭蘭琴，高蕾，黃梓宸.基于生成式人工智能技術的對話機器人能促進在線協作學習績效嗎？[J].電化教育研究，2024，45（03）：70-76+84.

[2][11][18]Guo K， Zhong Y， Li D， et al. Investigating students’ engagement in chatbot-supported classroom debates[J].Interactive Learning Environments，2023： 1-17.

[3]Noroozi O， Weinberger A， Biemans H J A， et al. Argumentation-based computer supported collaborative learning （abcscl）： a synthesis of 15 years of research[J].Educational Research Review，2012，7（02）：79-106.

[4]謝幼如，宋乃慶，劉鳴.基于網絡的協作知識建構及其共同體的分析研究[J].電化教育研究，2008（04）：38-42+46.

[5]Noroozi O， Dehghanzadeh H， Talaee E. A systematic review on the impacts of game-based learning on argumentation skills[J].Entertainment Computing，2020（35）：100369.

[6]Crowell， A.， & Kuhn， D. Developing dialogic argumentation skills： A 3-year intervention study[J].Journal of Cognition and Development，2014，15（02）：363-381.

[7]Liu Q T， Liu B W， Lin Y R. The influence of prior knowledge and collaborative online learning environment on students’ argumentation in descriptive and theoretical scientific concept[J].International Journal of Science Education，2019，41（02）：165-187.

[8]袁靜.中學生在科學探究中論證能力的初步研究[D].桂林：廣西師范大學，2011.

[9]Wu R， Yu Z. Do AI chatbots improve students learning outcomes？ Evidence from a meta‐analysis[J].British Journal of Educational Technology，2024，55（01）：10-33.

[10]Le D T， Nguyen C T， Nguyen K A. Dave the debater： a retrieval-based and generative argumentative dialogue agent[C]//Proceedings of the 5th Workshop on Argument Mining.2018：121-130.

[12]荊洲，楊啟光.生成式人工智能賦能教育研究范式變革：機理、風險與對策[J].中國電化教育，2024（03）：68-75.

[13]Su，Y.，Lin， Y.， & Lai， C. Collaborating with ChatGPT in argumentative writing classrooms[J].Assessing Writing，2023.

[14]Kasneci E， Se?ler K， Küchemann S， et al. ChatGPT for good？ On opportunities and challenges of large language models for education[J].Learning and individual differences，2023.

[15]吳筱萌，牛芊宇，魏戈，等.小學教育專業師范生專業認知的特征探究——基于認知網絡分析的途徑[J].中國電化教育，2021（06）：135-143.

[16]Guo K， Zhong Y， Li D， et al. Effects of chatbot-assisted in-class debates on students’ argumentation skills and task motivation[J].Computers & Education，2023.

[17]Hartin P， Birks M， Bodak M， et al. A debate about the merits of debate in nurse education[J].Nurse education in practice，2017（26）：118-120.

作者簡介：劉文平（2003—），女，漢族，河南信陽人，江蘇“互聯網+教育”研究基地本科生，研究方向為學習分析與評價。崔鑫（1996—），通訊作者，女，漢族，山西太原人，江南大學設計學院博士生，研究方向為設計教育。

基金項目：2023年認知智能國家重點實驗室項目“基于數字基座的中小學學校發展評價研究”（iED2023-001）。