破解在線討論評價困境：交互深度的智能化評價方法探索

基金項目：國家自然科學基金2022年度青年項目“在線異步討論中交互深度的智能評價與人機協(xié)同促進機制研究”（項目編號：62207019）

中圖分類號：G40-058.1文獻標識碼：A文章編號：1009-458 x （2025）8-0095-21

一、引言

在線討論是在線學習環(huán)境中學習者與同伴、教師等圍繞某一問題分享見解、交流觀點的互動過程。作為師生、生生交互的重要途徑，高質量的討論能夠緩解在線臨場感缺失的問題，削弱學習者在線學習的孤獨感，而且對提高學習者批判性思維、知識建構、溝通交流、團隊協(xié)作等能力有著重要的作用（Kentetal.，2016）。通過調研發(fā)現(xiàn)，大多數課程在線討論區(qū)學習者只是簡單回答問題，師生或生生之間很少有深度互動，有些討論區(qū)甚至“形同虛設”（Cesarenietal.，2016），遠未發(fā)揮其應有潛力和價值，嚴重影響了在線學習效果。如何提升在線討論交互深度成為提高在線學習質量的關鍵問題之一。

有效干預以提升交互深度的必要前提是對其進行科學的評價。然而在線討論是基于文本進行的交流活動，學習者自由度比較高、表現(xiàn)多樣化，其參與、貢獻、能力發(fā)展等很難通過量表、試題等傳統(tǒng)評價方法進行判斷。文本內容分析雖然能在一定程度上反映交互的深度層次，但是人工編碼需要耗費大量的人力和時間，在實踐中難以推廣應用。受限于當前評價體系不完善以及評價工具的缺乏，在線教學實踐中對討論活動的評價，大多是不評價或基于經驗簡單評判或基于發(fā)帖量、閱讀數、點贊數、平均發(fā)言字數等評測指標進行評價，缺乏對交互意義等深層次指標的評價（鄭婭峰等，2017）。以上困境已經成為在線討論研究與實踐發(fā)展的瓶頸。

隨著人工智能技術尤其是自然語言處理技術的發(fā)展，可以通過對討論文本、交互關系等大數據的深度挖掘智能識別學習者的情緒狀態(tài)、認知水平等信息，這使得對在線討論的智能自動化評價成為可能。當前已有研究開始嘗試應用機器學習、深度學習等算法對討論文本進行自動分類或挖掘（Duanetal.，2014;Zhouetal.，2016），但是這類研究還處于初步探索階段，尚沒有能夠常態(tài)化應用的在線討論交互深度自動化評價工具。因此，本研究針對“如何科學有效地評價交互深度”這一問題，以在線臨場感框架為理論依據，以文本挖掘為技術支撐，探究在線討論交互深度的智能化評價方法。一方面，本研究基于在線臨場感框架，面向基于數據挖掘的智能化評價，構建了交互深度評價模型，為評價提供依據；另一方面，本研究采用自然語言處理等技術，設計了語言可讀性、話題相關性的評估算法，并基于機器學習、深度學習、大語言模型等訓練了文本情感特征和意義特征的分類算法，實現(xiàn)對交互深度的智能自動化評價，為評價在線討論提供可操作的算法和工具支持，以期破除評價難的困境。

二、相關研究

（一）在線討論評價相關研究

已有研究雖然鮮有專門針對在線討論評價的系統(tǒng)化探討，但是研究者和實踐者進行了大量的相關探索，評價維度漸趨多元化，評價方法也朝著更加科學、智能的方向發(fā)展。

從評價維度來看，早期部分研究以簡單的行為計量指標（如發(fā)帖數、回復數、點贊數等）來評判討論交互的質量（Jonassen，1996，p.708;Levinetal.，1990;彭敏軍等，2011）。隨著互動分析方法的發(fā)展，大多數研究以討論過程中的認知發(fā)展、社會關系、知識建構等某個或某些方面作為交互效果的衡量指標。1）以認知水平層次作為帖子質量的評價標準。通過對討論發(fā)帖進行內容分析，以編碼得到的知識建構、批判性思維層次等來評價單條帖子的質量，常用的內容分析編碼框架如交互分析模型（InteractionAnalysis Model，IAM）（Gunawardena etal.，1997）、布魯姆認知領域的教育目標分類框架、批判性思維過程指標體系（Murphy，2004）等。通過不同認知水平層次的發(fā)帖數量占比，進一步評價個體或群組的交互水平。2）以社會關系結構作為交互質量的評價標準。此類研究通常以學習者個體作為節(jié)點，基于學習者之間的相互回復、引用等互動行為，分析學習者之間的交互結構、中心性、核心一邊緣角色的改變等規(guī)律（劉清堂等，2018），并以此評估群組交互的質量。3）以觀點隱含的知識或主題判斷建構狀態(tài)。例如，有研究通過挖掘討論文本中的關鍵詞并與領域知識圖譜進行相似度計算，進而判斷觀點的詞匯關聯(lián)程度（馬志強等，2022）；或通過話題挖掘來理解討論內容背后的知識或主題（劉三女牙等，2017）；還有研究提出基于IIS圖的分析方法，通過知識網絡圖的不斷建立和更新來判斷群體的知識建構狀態(tài)（Zheng，2017）。此外，也有研究提出應綜合多維指標來評價討論質量。如閆寒冰等（2018）指出在線討論質量分析框架應圍繞話題質量、討論參與和討論深度三個要素進行建構；衷克定（2005）指出應基于學習者的精神歸屬感、自律調節(jié)意識、道德規(guī)范觀念三個維度來判定在線討論的質量；Liu等（2020）考慮討論內容的話題、語言和組織，構建了包括相關度、禮貌度和議論能力三個維度的標準來描述討論質量；王麗英和張義兵（2020）從觀點本身的可讀性、相關度、內聚度、縱深度和探究度五個維度構建了觀點質量評價模型等。

從評價方法來看，實踐中對討論活動是基本不評價、偶有教師憑借經驗進行評價或基于發(fā)帖條數、字數等進行簡單評價。已有研究中對在線討論的評價一般是通過對交互過程和交互內容數據進行挖掘分析來實現(xiàn)的，以事后分析為主，主要采用內容分析、社會網絡分析、滯后序列分析等方法。自然語言處理、大數據等技術的發(fā)展為智能分析提供了可能，國內外研究者已開始了自動化分析的初步探索。一些研究者采用機器學習算法訓練模型，實現(xiàn)文本的自動分類。例如有研究（Almatrafi etal.，2018）通過樸素貝葉斯（NB）、支持向量機（SVM）、隨機森林（RF）、邏輯回歸（LR）等算法構建了可以用來識別討論區(qū)中需要被教師關注和回應的緊急討論帖的預測模型，幫助教師有效地確定帖子響應的優(yōu)先級；也有研究（Pillutlaetal.，202O）訓練了RF、DT、SVM算法用于對文本的自動分類，分析了學習者知識建構水平；等等。機器學習算法在復雜語義理解上常常表現(xiàn)效果一般，而深度學習在復雜語義上的學習能力優(yōu)勢明顯，近些年也有研究者開始使用深度學習技術對協(xié)作交互文本進行分析。例如，有研究（Chenetal.，2020）通過訓練基于長短時記憶神經網絡（LSTM）的端到端深度學習框架以及基于概率的貝葉斯網絡模型，對協(xié)作小組語音、姿態(tài)以及文本進行分析，進而預測知識建構能力；也有研究（甄園宜amp;鄭蘭琴，2020）采用基于深度神經網絡的卷積神經網絡（CNN）、長短時記憶（LSTM）、雙向長短時記憶（Bi-LSTM）等方法，實現(xiàn)了在線協(xié)作學習交互文本的自動分類；還有研究（Fiaccoamp;Rosé，2018）針對當前分析模型學科遷移能力較差的問題，提出了一種可遷移的注意力模型來分析知識建構能力。隨著ChatGPT等生成式大語言模型的出現(xiàn)，也有些學者探討了大語言模型在文本信息抽取任務上的有效性，但是大語言模型應用于在線教育領域的研究和實踐還相對缺乏。

（二）在線討論交互深度相關研究

已有研究較少探討交互深度的概念，但學界將其視為衡量交互質量的核心指標。雖然目前尚無明確的界定，但是已有研究的共識是交互深度與有意義的交互內容密切相關，與知識建構水平、批判性思維水平、認知參與程度等指標具有一致性（戴心來amp;劉聰聰，2019;郭玉娟amp;陳麗，2022），且知識建構或批判性思維或認知參與水平越高，交互深度層級越高（梁云真等，2017;陳蓓蕾 等，2019）。同時，交互深度與深度交互密切相關，戴心來和劉聰聰（2019）認為深度交互是一個復合詞語，起源于“交互”延伸于“深度”，具體體現(xiàn)在互動形式、互動內容和互動過程上，即互動形式上每個個體能夠積極主動地參與交互，個體之間緊密互動、相互聯(lián)通；互動內容更加貼近主題、意義豐富、體現(xiàn)更深層次的理解水平；互動過程中每個個體能夠專心、集中、持續(xù)創(chuàng)造或參與交互等。可見，深度交互狀態(tài)是交互深度的表征。由此，本研究認為交互深度是對個體或群體的交互狀態(tài)及質量進行衡量的標準。相較于交互質量、交互效果、交互水平等概念而言，交互深度更關注交互形式及其基礎上的意義建構程度、交互結果及其基礎上的能力提升等深度學習要素。

（三）現(xiàn)狀述評

已有研究對交互質量或效果的評價缺乏系統(tǒng)性的、被廣泛認可的、可操作的標準，也尚沒有能夠對在線討論進行自動化評價的工具，而且事后的、人工的內容分析難以進行常態(tài)化實踐應用。針對此問題，本研究旨在構建交互深度的評價模型，并開發(fā)相應的自動化評價工具。

首先，在評價對象和指標確立方面，已有研究表明，通過對討論過程、討論內容等數據進行分析和挖掘，可以揭示學習者的興趣話題、情感態(tài)度、社會關系、認知心理等多維特征。但是，現(xiàn)有的學習分析研究更多是揭示討論過程的一些規(guī)律，并不指向評價，存在與學習評價、設計割裂的現(xiàn)象，降低了學習分析的價值。加之當前的分析對象多關注小組或群體層次，忽略學習者個體層次，不利于個性化學習干預。本研究從評價的視角重新梳理這些復雜要素，關注學習者個體和群體兩個層次，深入挖掘交互深度與交互數據的關聯(lián)。

其次，在評價模型構建方面，目前聚焦在線討論評價的系統(tǒng)性研究相對匱乏，多數研究是在探究影響交互深度的因素或促進策略時提及以某種指標來衡量深度。不同研究者的考慮視角不同，提出的評價維度涉及觀點本身、觀點中隱含的建構層次、觀點語言的禮貌度、學習者的情感態(tài)度等方面。整體上，研究更多關注的是認知層面，對討論過程中學習者能力、情感等的發(fā)展重視程度不夠。在線討論作為一種高階的復雜學習過程，其價值早已超越單純的認知層面，而是對學習者的4C能力、情感價值觀等方面都有著深刻的影響。因此，本研究在設計評價模型時將考慮討論過程中的多維要素，兼顧情感與能力發(fā)展目標，同時將基于對客觀討論數據的挖掘實現(xiàn)更為真實的評價，避免主觀量表等替代性評價方案可能帶來的偏差。

最后，在評價方法層面，目前在線討論交互分析多以事后的、人工的內容分析為主，主觀性強，難以準確評價，而且會耗費大量的人力和時間成本。同時，其操作難度大，只適用于進行小樣本或小規(guī)模的分析，難以實現(xiàn)持續(xù)跟蹤評價，更難以常態(tài)化應用。因此，本研究引入自然語言處理技術，通過機器學習、深度學習、大語言模型等算法實現(xiàn)對交互深度的智能自動化評價，為在線討論活動的常態(tài)化評價提供可操作的方法與工具。

三、基于臨場感理論的交互深度評價模型構建

科學、合理的評價模型是進行有效評價的前提。本研究基于對討論數據的挖掘實現(xiàn)交互深度的評價，如何合理挖掘數據特征以反映出交互深度是評價的關鍵。通過對在線討論過程、交互特點、交互質量影響因素、評價內容和方法等進行充分的理論推演，經過訪談與專家咨詢，本研究以在線臨場感為評價依據，綜合技術層面上討論文本等數據的特征，面向基于文本挖掘的智能化評價，設計了如圖1所示的交互深度評價模型。模型遵循學習分析的邏輯，以在線臨場感為橋梁，建立了交互深度與多維交互數據的關聯(lián)。

圖1基于臨場感的在線討論交互深度評價模型

（一）臨場感框架：交互深度評價模型的構建依據

在線臨場感框架揭示了深度學習所必需的交互過程以及促成良好學習體驗的核心要素，對在線教育教學實踐與研究產生了重大影響，全球眾多研究者基于在線學習、混合學習、同步或異步交流等不同情境對其進行了驗證（吳祥恩amp;陳曉慧，2017;馮曉英等，2018;Hilliardamp;Stewart，2019）。在在線討論情境中，深度交互的發(fā)生同樣有賴于多維且高水平的臨場感。

一方面，臨場感具有主客觀雙重屬性，存在于個體和群體之間，可以反映交互的過程和狀態(tài)，進而反映交互深度。作為一種客觀存在，臨場感表示當某個人處于某一具體情境，該情境使個體獲得充分的現(xiàn)場感和存在感，也能讓其他人感知到此個體的存在（鄭燕林amp;柳海民，2013）。臨場感也常用以表征學習者的主觀感受，例如學習者感知到教學指導的存在。臨場感是由學習者與教師、學習伙伴、學習資源之間的交互創(chuàng)設出來的，也可以反映學習者實施相應行動或表現(xiàn)的能力。根據上述分析，臨場感能夠表征學習者個體的交互狀態(tài)和能力，又是學習者通過多方面的交互表現(xiàn)出來的。同時，豐富、深度的交互可以進一步增強臨場感，而高臨場感又可以進一步推動交互走向深入。

另一方面，在線臨場感框架所提出的細分的臨場感全面涵蓋了促成深度知識建構的交互要素。該框架最早可追溯至D.蘭迪·加里森（Garrison，D.R.）等將探究社區(qū)理論應用于在線學習領域，認為在線學習中存在三個關鍵要素：社會臨場感、教學臨場感、認知臨場感（Garrisonet al.，1999）。深層次的學習是通過三維臨場的相互作用發(fā)生的，只有當這三個方面的臨場感水平都較高時，有效的學習才會發(fā)生（Garrisonamp;Cleveland-Innes，20o5）。隨后有研究（Cleve-land-Innesamp;Campbell，2012）指出，學習者在情緒、情感等方面的表現(xiàn)應進行單獨考察，并由此提出情感臨場感這一要素。這些細分的臨場感能夠全面反映在線討論過程的多維交互深度，其中，認知臨場感能夠衡量學習者通過持續(xù)反思與對話建構知識的能力，能夠反映認知發(fā)展的深度（Garrisonetal.，2010）；社會臨場感反映學習者對討論社區(qū)的認同歸屬、對環(huán)境的信任，反映了群體為知識建構提供社會性對話支持的質量（Garrison＆Arbaugh，2007）；教學臨場感則強調學習群體在組織、調節(jié)、指導交互過程中所起的關鍵作用，直接關系到討論活動的有效推進與方向引領（Andersonetal.，2001）；情感臨場感與任務完成度、指導接受度以及社會關系等均緊密相關，是認知、社會、教學等要素與學習者感知交互作用的產物，也會反作用于交互過程，影響協(xié)作氛圍和交互深度。

綜上所述，臨場感框架所強調的“以交互創(chuàng)設臨場感進而實現(xiàn)深度學習”的理念與交互深度所關注的“深度交互、意義建構、能力發(fā)展”等目標有著高度的內在一致性。以臨場感作為交互深度評價框架的構建依據，可以全面考量交互過程的教學、認知、社會、情感等多方面的狀態(tài)，使評價面向深度學習，整合多維交互要素。

（二）多維臨場感的交互數據表征

已有研究編制了測量量表及內容分析框架用以判斷臨場感水平，以此表征在線學習的深度。典型的測量量表如英文版探究社區(qū)量表（Arbaugh et al.，2008）、中文版探究社區(qū)量表（馬志強，2017，p.190）、修訂的中文版探究社區(qū)量表（蘭國帥等，2018）等。典型的內容分析框架如臨場感內容分析框架（Shea etal.，2010）、在線協(xié)作交互文本編碼體系（劉君玲等，2020）等。已有量表和內容分析框架一般是從四維交互（社會、認知、情感、教學交互）角度進行設計的，量表法基于學習者自我判定進行測量，關注的是學習者的主觀體驗。內容分析法基于對討論文本內容的分析進行判斷，更關注學習者在討論過程中的客觀表現(xiàn)。無論是量表法還是內容分析法，由于分析數據較為單一，難以全面反映學習者的臨場感水平

面對在線討論情境下智能化評價的需求，需要建立合理的分析模型，通過多維的交互數據系統(tǒng)全面地表征臨場感。在線討論情境中，臨場感是通過教師、學習者、學習資源之間的交互創(chuàng)設的，同時也是由其交互表現(xiàn)出來的，因此，可以通過學習者的交互行為和交互內容來表征臨場感水平，進而反映交互深度。1）教學臨場感強調參與者（包括教師和學習者）實施組織和設計、促進和指導行動的能力。一方面，可以通過交互內容中所隱含的教學意義，即文本中所隱含的組織、幫助、指導類的意義表現(xiàn)出來；另一方面，還體現(xiàn)在學習者與學習伙伴之間的互助關系（交互關聯(lián)度）方面等，例如某學習者中心性較高，則表明該學習者會對討論起到一定的主導或組織作用，表現(xiàn)出較高的教學臨場感。2）社會臨場感強調學習者有目的地進行交流、社會化地表達自己、建立人際關系的能力。作為學習者人際交互和社會氛圍創(chuàng)設的關鍵衡量指標，主要通過學習者的活躍程度（交互頻度、交互持續(xù)度）、學習者之間的社會網絡關系（交互關聯(lián)度）以及交互內容中所隱含的社會意義（社會交流類話語）等表現(xiàn)出來。3）認知臨場感則主要關注學習者通過持續(xù)的協(xié)作與反思活動進行意義建構的能力（Redmondamp;Lock，2006），主要通過交互內容的相關性（是否與主題相關）、所隱含的認知意義（分享、反思等）等表現(xiàn)出來。4）情感臨場感側重關注學習者通過情感表達、情感反饋等來創(chuàng)設社區(qū)精神情感層面的歸屬感、信任感等方面的能力（Derksetal.，2008），主要通過交互內容的情感特征及其中隱含的表達情感的社會交流表現(xiàn)出來。

（三）交互深度評價維度與觀測指標

智能化評價是基于數據和算法做出智能化評判，綜合上述理論分析、交互數據特征等，本研究提出了交互深度評價維度與具體觀測指標（如表1所示）。

1.交互行為維度

交互深度的行為屬性表現(xiàn)為在線討論是學習者與學習伙伴、教師等通過文本進行的一系列互動行為。正是這些復雜的互動行為為信息流通與深度交互提供了渠道，是深度學習發(fā)生的基礎。交互行為動態(tài)揭示了學習者在討論過程中的外顯行為，反映出學習者在討論中的活躍程度、關聯(lián)程度、尋求互動的程度等。交互行為可以通過交互頻度、持續(xù)度和關聯(lián)度來刻畫。

表1在線討論交互深度評價維度與觀測指標

第一，交互頻度主要通過學習者的發(fā)言數量情況分析其是否積極參與了交互，對應的觀測指標如參與人數、發(fā)言數量、人均發(fā)帖量等，數量越多表示頻度越高，學習者越積極。

第二，交互持續(xù)度主要通過討論的持續(xù)情況和集中程度分析學習者是否專注、持續(xù)地參與交互，可以通過討論的響應時間、持續(xù)時間、發(fā)言間隔等指標觀測，響應時間短、發(fā)言間隔短、持續(xù)時間長，表示發(fā)言密集且持續(xù)，代表群體持續(xù)專注地參與了交互。

第三，交互關聯(lián)度主要通過社會網絡分析挖掘學習群體的社會網絡情況、學習者在交互網絡的位置和貢獻，從而判斷交互結構和社會關系緊密程度，一般通過網絡密度、點度中心度、中介中心度等指標來衡量。點度中心度高，代表此個體與其他個體的連接更緊密，其在社會網絡中的影響力也越大；中介中心度越大，表示該節(jié)點的控制能力越強，節(jié)點對應的學習者在引導其他成員進行知識共享和建構方面的話語權越大；網絡密度高，代表群體成員之間聯(lián)系緊密，成員之間的協(xié)作知識建構水平通常更高。

2.交互內容維度

交互深度的內容屬性表現(xiàn)為在線討論是基于文本的互動交流過程，個體的觀點、思想等均會表現(xiàn)或隱含在文本內容中，可以通過對文本內容的挖掘來判斷交互的深度水平。本研究認為，交互內容維度可以通過討論文本的話題特征、語言特征、情感特征和意義特征四個方面進行評價。首先以單條觀點為意義單元進行分析，進而基于統(tǒng)計結果判斷個體、小組和群體的交互內容深度。1）話題特征：主要判斷觀點與討論問題的相關性，是評判交互內容質量的最基礎的指標。相關性低表明觀點偏離主題，視為無意義發(fā)帖。2）語言特征：主要判斷觀點的可讀性，即觀點易于閱讀和理解的程度。從字詞句難度等語言特征的角度評判觀點表達是否易于理解，可讀性差的帖子也視為無意義發(fā)帖。3）情感特征：主要判斷觀點中所隱含的情感類型，一般分為積極、消極和中性三類。其中，積極情感指文本中隱藏著期待、愉快、放松、自信、滿足、興奮等正向情緒；消極情感指文本中隱含著焦慮、無助、羞愧、緊張、挫敗、沮喪、憤怒、厭倦、失望、悲傷等負向情緒；中性情感指文本中隱藏著專注、好奇等中性情緒（林銘煒 等，2024）。4）意義特征：主要判斷討論文本中的信息內容在深度交互中所起的作用，包括作用類型與層次。討論過程中基于文本的交流活動處于教學交互層次塔中的信息交互層（陳麗，2004），發(fā)帖中隱含的信息意義對于促進深度交互起著不同的作用，可以劃分為認知、社會、教學三類（李彤彤等，2023）。其中，認知意義是發(fā)帖所反映的對討論主題或內容的認知思考程度，是判斷發(fā)言質量或深度的直接依據，是在線討論認知目標達成的最關鍵要素（Kozanamp;Caskurlu，2018）；社會意義是發(fā)帖所具有的促進社會聯(lián)系、增強凝聚力和歸屬感的作用；教學意義是指發(fā)帖所隱含的對討論交互過程進行的設計、組織、促進和指導等作用（Garrison＆Arbaugh，2007）。需要特別說明的是，此處的教學意義和社會意義都是微觀層面發(fā)帖內容所隱含的信息意義，而且具有教學和社會意義的發(fā)帖對于促進學習者的認知深度有著顯著的正向影響（盧國慶等，2021;張屹等，2019）。僅靠認知單一要素難以維持高質量的討論，只有當教學、社會、認知等各要素都達到較高水平時，深度交互才能發(fā)生（Gar-rison etal.，2010）。因此，可以通過帖子內容所隱含的教學意義、社會意義、認知意義的類型與層次水平來刻畫帖子文本的意義特征。

（四）交互文本編碼體系

在交互內容維度的評價上，文本情感特征和意義特征的識別與評判是以文本編碼體系為依據，采用機器學習或深度學習算法進行文本挖掘來實現(xiàn)的。因此，可信度較高的編碼體系至關重要。本研究基于如前所述的交互深度評價維度，結合已有的編碼框架，經理論論證、實踐觀察、專家咨詢，構建了如表2所示的編碼體系。在意義特征中，最為直接體現(xiàn)交互水平的是認知意義。參考引用最為廣泛的交互分析模型（InteractionAnalysisModel，IAM）（Gunawardena etal.，1997），本研究將認知意義特征按認知水平從低到高分為共享、分析、協(xié)商、整合和反思五個層次，并將共享和分析歸為低層次認知，協(xié)商、整合和反思歸為高層次認知。高層次發(fā)言的數量越多代表學習者的反思程度和知識建構水平越高，交互深度也越深。教學意義和社會意義是反映交互深度的間接特征，以其對應的帖子數量多少來反映相應交互水平，例如某學習者教學意義類發(fā)帖多，則表明該學習者具有更高的組織管理能力，起到類似助學者的作用，其教學意義水平則相對較高。參考探究社區(qū)理論，將教學意義維度編碼為促進交流、設計組織和直接指導三類；社會意義維度編碼為凝聚和互助兩類（Garri-sonamp;Akyol，2013）。需要特別說明的是，一條帖子可能具備三種意義中的一種或多種類型，不是所有帖子都具備三種意義類型。情感特征編碼依據文本中所表現(xiàn)出來的情緒類型將其分為積極、中性和消極三類，而且一般認為積極的情緒對交互的促進效果更好。

表2意義特征和情感特征分析編碼

四、交互深度智能化評價算法設計

（一）基于自動統(tǒng)計計算的交互行為維度評價算法

交互行為維度的數據大多是頻次、時間等結構化數據，算法上采用統(tǒng)計計算來實現(xiàn)，針對個體和群體分別計算。

第一，交互頻度計算。個體維度上主要統(tǒng)計個體發(fā)言數量和發(fā)言貢獻，群體維度上主要統(tǒng)計小組或群體內參與人數、發(fā)言數量、人均發(fā)帖等指標。其中，參與人數指某個時間周期內某個群體中的發(fā)言人數；發(fā)言數量指個體或群體在某個時間周期內發(fā)言累計條數；人均發(fā)帖指某個時間周期內某討論群體的人均發(fā)帖條數；發(fā)言貢獻指個體為其所在群體的發(fā)言所做的貢獻，用某個時間周期內該個體在某群體的發(fā)言條數占整個討論群體總發(fā)言條數的比例來衡量。

第二，交互持續(xù)度計算。交互持續(xù)度主要通過討論的持續(xù)時間、發(fā)言間隔、響應時間來刻畫，基于平臺所記錄的每條帖子的發(fā)言時間進行計算。持續(xù)時間指個體或群體參與某時間周期內討論的實際時長；發(fā)言間隔指兩條帖子之間的時間間隔平均值；響應時間指發(fā)布討論問題的時間與成員首次發(fā)帖回應時間之間的時間間隔。

第三，交互關聯(lián)度計算。交互關聯(lián)度主要用于測算參與者互動所建構的社會網絡特征，由于個體和群體在社會網絡中所展現(xiàn)的屬性和側重點有所不同，因此研究選擇網絡密度作為群體交互關聯(lián)度的測算指標，選取中介中心度和點度中心度測算個體的交互關聯(lián)度。

網絡密度是衡量網絡中節(jié)點間連接緊湊程度的指標，指特定網絡內實際存在的連接數與潛在的最大連接數的比率，計算公式為：

式中， N 表示當前社會網絡所含節(jié)點數，即群體學習者數量； L 指實際存在的關系（邊）的數量，即成員間的互動次數。

點度中心度指網絡中某節(jié)點連接的其他節(jié)點的數量，反映了該節(jié)點與其他節(jié)點連接的緊密程度，由出度和入度來決定。出度代表一個成員評論他人的數目，人度代表他人評論該成員的數目。本研究采用斯坦利·沃瑟曼（Wasserman，S.）和凱瑟琳·福斯特（Faust，K.）（1994，p.180）提出的標準化度量方法，即用現(xiàn)有的點度中心度與該節(jié)點可能的最大連接數的比率來計算。公式如下：

式中， 是點 v_i 的入度，即網絡中指向該節(jié)點的節(jié)點數量； 是點 v_i 的出度，即該節(jié)點所指向的其他節(jié)點的數量； Cd_（vi） 是點度中心度， n 表示網絡中的節(jié)點總數，即討論群體的總人數。

中介中心度用于衡量一個節(jié)點在網絡中能夠連接其他節(jié)點對的能力，能夠反映出該節(jié)點的橋梁作用和影響力，可以通過計算該節(jié)點出現(xiàn)在其他兩個節(jié)點對最短路徑上的次數得出。本研究計算相對中介中心度，即絕對中介中心度除以最大中介中心度，公式如下：

式中， DB（S_i） 指節(jié)點 i 的絕對中介中心度； b_jk 表示節(jié)點 j 到節(jié)點 k 的最短路徑數量； b_jk（i） 表示這些路徑中經過節(jié)點 i 的數量； C_RBi 表示節(jié)點 i 的相對中介中心度， n 表示網絡中的節(jié)點總數，即討論群體總人數。

（二）基于人工智能的交互內容維度評價算法

交互內容維度的數據就是學習者發(fā)帖的文本內容，其評價采用文本挖掘技術實現(xiàn)。首先以單條發(fā)帖為意義單元進行評價，進而基于統(tǒng)計計算來分析個體或群體的交互狀態(tài)。其中，話題特征相關性的定量判定采用向量空間模型與余弦相似度算法；語言特征的可讀性評估采用基于多層級語言特征融合和BERT的文本可讀性分級模型（MLF-BERT）實現(xiàn)；情感特征和意義特征的分析，采用機器學習、深度學習、大語言模型算法進行自動文本分類來實現(xiàn)。

1.話題特征的相關性評價：余弦相似度算法

本研究參考劉金嶺和錢升華（2021，pp.52-53）提出的文本相似度計算方法，以向量在方向上的相似度表示學習者發(fā)帖與討論問題之間的相關程度，利用向量空間模型以及余弦相似度進行計算。向量空間模型的核心在于將文本映射到向量空間中，其中每段文本被表示為一個向量，利用這些向量之間的夾角余弦值來量化文本間的相似性。通過計算向量空間中代表討論問題和學習者發(fā)帖的兩向量間夾角的余弦值，來量化兩段文本的相似程度。兩向量方向越接近，其夾角度數越小，余弦值越高，代表文本相似度越高。余弦值為0一1之間的小數，通常通過計算向量內積得出。計算公式如下：

式中， 代表向量內積； D_i 和 D_j 分別代表討論問題向量和學習者發(fā)言向量； t_ik 和 t_jk 分別代表兩個向量中第 k 個詞項的權重值； θ 代表討論問題向量與學習者發(fā)言向量夾角度數。

本研究采用余弦值作為該條發(fā)言在話題相關性維度的得分，而個體、小組或群體的相關性評價則以帖子的相關性平均分進行計算。

2.語言特征的可讀性評價：MLF-BERT算法

可讀性一般指文本閱讀的難易程度（陳潔，2013）。已有研究提出了融合多層級語言特征（Multi-level Linguistic featureFusion，MLF）的BERT模型，通過對文本難度等級的分類處理來預測文本的可讀性水平，模型準確率達 94.2% （譚可人等，2024）。本研究借鑒此模型進行可讀性評價，該模型采用深度學習架構，綜合考慮漢字、詞匯以及語法難度等多層次語言特征，其算法結構如圖2所示。

圖2 MLF-BERT模型架構

第一，特征層：言語等級特征抽取。模型根據《國際中文教育中文水平等級標準》（以下簡稱《標準》）中的中文難度等級大綱，對文本中的漢字、詞匯和語法進行難度評級，分別構建特征向量。一是漢字等級特征抽取，通過算法自動遍歷文本中的每個漢字，依據《標準》中的漢字難度等級大綱來匹配相應的難度等級，為每個漢字賦予難度等級值；二是詞匯等級特征抽取，通過分詞算法和匹配算法來實現(xiàn)，將每個分詞后的詞匯與《標準》中的詞匯難度等級大綱進行匹配，為每一個詞賦予難度等級值；三是語法等級特征抽取，使用正則表達式和依存約束規(guī)則來識別文本中的語法點，依據《標準》中的語法難度等級大綱，為每一個語法點賦予難度等級值。依據匹配的結構，分別構建字、詞和語法的難度等級特征向量。

第二，融合層：言語等級與深度語義特征融合。基于多層級語言特征融合策略，將抽取的語言等級特征與BERT模型的深度語義特征進行融合，在嵌入層融合漢字和詞匯特征，在自注意力層融合語法特征，使得模型兼顧文本的表層語言特征和深層語義信息。

第三，輸出層：難度等級輸出。通過softmax函數輸出文本在各個難度等級上的概率分布，選擇概率最高的等級，作為預測文本的最終難度等級，共1—6六個難度等級，難度等級越高，可讀性越低。這是單條帖子的可讀性得分，而個體、小組或群體的可讀性評價則以帖子的可讀性平均分進行計算。

3.情感特征和意義特征：基于機器學習、深度學習、大語言模型的文本分類算法

情感特征和意義特征的判定采用文本分類算法來實現(xiàn)，算法的訓練過程包括數據采集與標注、文本預處理與向量化、模型訓練與選擇三個階段，我們基于機器學習、深度學習以及大語言模型算法訓練了相應的分類模型。

第一，數據采集與標注。本研究數據主要來源于中國大學MOOC、學習通平臺的課程討論區(qū)，采用Python數據采集程序共獲取22.362條在線討論文本數據，其中來自中國大學M00C的有14.235條，學習通平臺有8.127條。本研究將單條帖子作為分析單元進行編碼，基于所構建的編碼表，借助課題組自主構建的標注系統(tǒng)，由兩位非常熟悉編碼規(guī)則的研究者背對背進行人工標注。對于編碼結果不一致或無法分類的數據通過討論確認其所屬類別，提升標注準確性，這對于保障算法的準確率至關重要。標注完成后，利用SPSS軟件對編碼結果進行一致性分析，得到Kappa系數大于0.7，表明編碼結果基本一致。需要說明的是，對于情感特征，同一條帖子只具備三類屬性中的一種；而對于意義特征，同一條帖子可能具備認知、社會、教學意義中的一種或多種屬性。標注得到的情感特征數據集含文本22.362條，意義特征數據集中含認知意義文本12，247條，教學意義文本7，876條，社會意義文本4，565條。

第二，文本預處理與向量化。文本預處理是指過濾掉低質量和重復的文本數據，降低數據噪聲，為建模做準備，主要工作包括數據清洗、去停用詞等。本研究通過Python編程環(huán)境使用哈爾濱工業(yè)大學相關團隊構建的停用詞表完成去停用詞任務。經過預處理后，得到情感特征數據集19，303條，意義特征數據集共22，716條（其中，認知意義文本10，443條，教學意義文本7，751條，社會意義文本4，522條）。文本向量化是自然語言處理中的關鍵步驟，它涉及將文本表示成一系列能夠表達文本語義的數值向量，以便于計算機處理和理解。為解決文本缺乏上下文信息導致的特征不足問題，本研究從字和詞層面進行特征提取。利用Python環(huán)境下的gensim庫，基于Word2Vec神經網絡模型實施了向量訓練，成功構建了維度為300的字向量和詞向量模型。

第三，基于機器學習、深度學習、大語言模型的模型訓練。由于需要通過實驗測試來評估學習模型的泛化誤差，因此，在實際訓練過程中，將文本數據集劃分為訓練集和測試集，其中訓練集用于對交互文本分類模型的訓練評估，測試集用來測試分類模型對新樣本的判別能力，以測試集上的測試誤差作為泛化誤差的近似。本研究采用分層采樣的方法，將每個類別數據按照訓練集和測試集 7：3 的比例劃分，利用Python編寫算法并進行模型訓練。一是機器學習算法。本研究選取了支持向量機（SVM）、樸素貝葉斯（NB）、K-近鄰（KNN）和決策樹（DT）這幾種常用的、表現(xiàn)優(yōu)異的機器學習算法進行了模型訓練。二是深度學習算法。本研究選取了長短時記憶神經網絡（LSTM）、深度卷積神經網絡（DCNN），以及本團隊改進設計的“雙向長短時記憶神經網絡（Bi-LSTM） + 自注意力機制（Self-Attention）”深度學習算法進行了模型訓練。深度學習算法執(zhí)行文本分類任務的重點在于自動提取文本特征，這些特征反映了文本的內容、語義和情感傾向等，對于分類任務至關重要。不同深度學習算法最主要的區(qū)別在于特征提取方法的差異，相當于不同的特征提取器，它們以不同的方式學習和表示文本數據。LSTM算法通過結合當前輸人和上一個時間步長（即詞序）的信息來更新其內部狀態(tài)，從而有效地捕捉文本序列中的依賴關系。DCNN算法則主要利用卷積操作和層次化的網絡結構來捕捉文本特征，通過堆疊多個卷積層和池化層，逐層提取出文本中從低級到高級的特征表示。本團隊改進的\"Bi-LSTM + Self-Attention”算法則結合了多種方法和技術的優(yōu)勢，在利用知識圖譜補充話語知識背景信息的基礎上，通過前向LSTM和后向LSTM的組合，同時捕捉文本序列中的前向和后向上下文信息，在每個時間步長上同時考慮序列兩端的信息，從而更全面地理解文本的上下文。Self-Attention機制則關注句子內部元素間的關聯(lián)，通過計算序列中每個元素（token）與所有其他元素的相似性，得到該位置的注意力權重，使得模型能夠依此聚焦于序列中的關鍵信息。三是大語言模型。大語言模型本質上是一種深度學習算法，其核心優(yōu)勢在于能夠通過多次迭代來優(yōu)化模型，精準捕捉文本中長距離的依賴關系和上下文信息，從而能夠對文本含義進行更為深刻的解讀和分析。本研究基于文心一言大語言模型，運用ERNIE3.0的框架結構，借助EasyDL服務平臺訓練了相應的算法模型，通過其模型迭代方式，多次調整訓練大語言模型，提高模型的準確率。

第四，模型效果評估與選擇。本研究采用準確率（Accuracy）作為文本分類模型評估的標準，其是指模型預測正確的樣本數占總樣本數的比例，各模型訓練的準確率如表3所示。可見，“雙向長短時記憶神經網絡（Bi-LSTM） + 自注意力機制（Self-Attention）”深度學習算法表現(xiàn)最佳，因此選擇此算法作為意義特征和情感特征的分類識別算法。

表3情感特征與意義特征文本分類模型性能

通過算法可以自動對發(fā)帖進行分類，以相應類型對應的表2中編碼對應的數值進行賦分，例如若歸類為認知意義維度的共享類發(fā)帖，其對應編碼“C1”，那么其認知意義維度得分為1分，其余類型依此類推。而對于個體和群體來說，則以其各意義維度上得分的平均分來判斷其相對水平。

五、交互深度智能化評價工具的實踐應用

本研究基于上述算法開發(fā)了智能化評價工具并嵌人團隊前期開發(fā)的在線討論平臺，開展了實踐應用，在單條帖子、個體、小組或群體層次的評價功能與效果如下。

第一，針對單條帖子，該工具能夠實現(xiàn)對其話題特征、語言特征、情感特征、意義特征實時評價與可視化呈現(xiàn)（如圖3所示），基于此還可以進一步比較不同帖子的交互質量，也可用于篩選不同維度上的精華帖，如認知意義精華帖等。

圖3單條帖子交互深度評價結果

第二，針對個體，該工具可以實時統(tǒng)計個體在某次討論或某時間段內的交互深度狀態(tài)。交互行為方面，通過統(tǒng)計得出個體在當前討論中的交互頻度（如發(fā)言條數等）、交互持續(xù)度（如參與時長等）、交互關聯(lián)度（個體在社交網絡中的點度中心度、中介中心度等）。交互內容方面，則實時統(tǒng)計出個體發(fā)帖在各個維度上的平均值，以此表征個體在各個維度上的表現(xiàn)，其評價結果部分示例如圖4所示。

第三，針對小組或群體，該工具可以實時統(tǒng)計小組在某次討論或某時間段內的交互深度狀態(tài)。交互行為方面，實時統(tǒng)計小組發(fā)帖總量、討論持續(xù)時長、響應時間、網絡密度等；交互內容方面，可統(tǒng)計小組內所有發(fā)帖相應維度得分的平均值。同時，通過個體或小組之間的比較，可以發(fā)現(xiàn)不同個體或小組在不同維度上的相對水平、優(yōu)勢及劣勢等，這些都可以為教師的個性化干預提供依據。針對小組或班級群體的評價結果部分示例如圖5所示。

圖4個體交互深度評價結果示例

圖5小組交互深度評價結果示例

六、總結

評價難的困境已經成為在線討論研究與實踐發(fā)展的瓶頸。隨著人工智能技術的發(fā)展，智能化評價越來越必要且可行。本研究針對“如何科學有效地評價交互深度”的問題，構建了評價模型，設計了相應算法，開發(fā)了相應工具，其中的創(chuàng)新性體現(xiàn)在三個方面：1）以臨場感為依據確立相應評價維度與指標，綜合考慮討論過程中的多維要素，使得評價指向深度學習，符合以評促學（以討論促進高階思維）的目標；2）基于學習分析的邏輯構建評價模型，全面考量交互行為和交互內容等客觀數據，使評價更為真實、客觀；3）評價算法上基于智能化技術實現(xiàn)自動化評價，解決了人工評價難的問題，使得評價能夠真正走向常態(tài)化實踐。本研究評價對象是單條帖子、個體、小組、群體不同層次，能夠實現(xiàn)分維度的相對評價和自動實時評價，為在線討論活動的評價提供了科學可靠的方法。團隊已自主開發(fā)平臺并將相應算法嵌人實現(xiàn)，該評價方案能夠幫助發(fā)現(xiàn)高質量帖子，以及甄別不同學習者的思維水平或不同小組的討論氛圍和表現(xiàn)，進而為教師有針對性地干預提供了有效參考。但由于數據源大多來自教育技術學相關的課程，數據的學科覆蓋范圍和數據量還有待進一步改進，模型的可遷移性還有待進一步驗證。后續(xù)研究將關注抽樣范圍的擴大、數據量的擴充以及大語言模型的應用，進一步修正和完善模型，以更好地服務在線教學。

參考文獻

陳蓓蕾，張屹，楊兵，范福蘭，郭強，amp;周平紅.（2019）.技術支持的教學交互策略促進交互深度研究.中 國電化教育（8），99-107.

陳潔.（2013）.國內可讀性研究概述.黑龍江史志（9），212-213.

陳麗.（2004）.遠程學習的教學交互模型和教學交互層次塔.中國遠程教育（5），24-28，78.

戴心來，amp;劉聰聰.（2019）.基于學習分析的虛擬學習社區(qū)深度交互研究.現(xiàn)代遠距離教育（5），51-58.

馮曉英，劉月，amp;吳怡君.（2018）.學習者在線學習水平的學習分析模型研究——臨場感學習分析模型 構建與方法探索.電化教育研究（7），40-48.

郭玉娟，amp;陳麗.（2022）.如何設計問題支架促進深度聯(lián)通——基于問題支架類型與交互深度關系的研 究.中國遠程教育（1），52-59，93.

蘭國帥，鐘秋菊，呂彩杰，宋亞婷，amp;魏家財.（2018）.探究社區(qū)量表中文版的編制——基于探索性和驗 證性因素分析.開放教育研究（3），68-76.

李彤彤，周彥麗，邊雨迎，李國濤，amp;郭栩寧.（2023）.面向有效交互的在線教育視頻課程彈幕智能實時 管理機制設計.電化教育研究（1），61-69.

梁云真，朱珂，amp;趙呈領.（2017）.協(xié)作問題解決學習活動促進交互深度的實證研究.電化教育研究 （10），87-92，99.

林銘煒，許江松，林佳胤，劉健，amp;徐澤水.（2024）.面向在線教育的學習者情感識別綜述.控制與決策 （4），1057-1074.

劉金嶺，amp;錢升華.（2021）.文本數據挖掘與Python應用.清華大學出版社.

劉君玲，張文蘭，amp;劉斌.（2020）.在線協(xié)作交互文本編碼體系的設計與應用——基于情緒交互視角的 研究.電化教育研究（6），53-59.

劉清堂，張妮，amp;朱姣姣.（2018）.教師工作坊中協(xié)作知識建構的社會網絡分析.中國遠程教育（11）， 61-69，80.

劉三女牙，彭睨，劉智，孫建文，amp;劉海.（2017）.面向M00C課程評論的學習者話題挖掘研究.電化教育 研究（10），30-36.

盧國慶，劉清堂，鄭清，amp;謝魁. （2021）.智能教室中環(huán)境感知及自我效能感對個體認知投入的影響研 究.遠程教育雜志（3），84-93.

馬志強.（2017）.在線學習評價研究與發(fā)展.中國社會科學出版社

馬志強，郭文欣，amp;王萌.（2022）.面向協(xié)作知識建構會話內容的智能挖掘分析.現(xiàn)代遠距離教育（1），3-13.

彭敏軍，陸新生，amp;劉引紅.（2011）.基于數量和質量的在線學習參與度考量方法研究.現(xiàn)代教育技術 （1），103-106.

譚可人，蘭韻詩，張楊，amp;丁安琪.（2024）.基于多層級語言特征融合的中文文本可讀性分級模型.中文 信息學報（5），41-52.

王麗英，amp;張義兵.（2020）.融合知識建構和機器學習的觀點質量評價.現(xiàn)代教育技術（11），62-69.

吳祥恩，amp;陳曉慧.（2017）.混合學習視角下在線臨場感教學模型研究.中國電化教育（8），66-73.

閆寒冰，段春雨，amp;王文嬌.（2018）.在線討論質量分析工具的研發(fā)與實效驗證.現(xiàn)代遠程教育研究（1）， 88-97，112.

張屹，郝琪，陳蓓蕾，于海恩，范福蘭，amp;陳珍.（2019）.智慧教室環(huán)境下大學生課堂學習投入度及影響因 素研究——以\"教育技術學研究方法課\"為例.中國電化教育（1），106-115.

甄園宜，amp;鄭蘭琴.（2020）.基于深度神經網絡的在線協(xié)作學習交互文本分類方法.現(xiàn)代遠程教育研究 （3），104-112.

鄭婭峰，徐唱，amp;李艷燕.（2017）.計算機支持的協(xié)作學習分析模型及可視化研究.電化教育研究（4），47-52.

鄭燕林，amp;柳海民.（2013）.論網絡教師在師生互動中的印象管理.現(xiàn)代遠程教育研究（3），34-39，71.

衷克定.（2005）.基于人格結構理論的在線討論質量評價之研究.開放教育研究（4），74-78.

Almatrafi， O.，Johri，A.， amp; Rangwala，H. （2O18）. Needleina haystack： Identifying learner posts that require urgent response in MOOC discussion forums. Computers amp; Education（118），1-9.

Anderson，T.， Rourke，L.，Garrison，R.， amp; Archer， W. （2Oo1）. Assessing teaching presence in acomputer conferencing context. Journal of Asynchronous Learning Networks，5（2），2-17.

Arbaugh，J.B.，Cleveland-Innes，M.，Diaz，S.R.，Garison，D.R.，Ice，P.，Richardson，J.C.，amp; Swan，K.P. （2008）.Developing a community of inquiry instrument： Testing a measure of the community of inquiry framework using a multi-institutional sample.The Internet and Higher Education，11（3-4），133-136.

Cesareni，D.， Cacciamani，S.，amp;Fujita，N. （2O16）.Role taking and knowledge building ina blendeduniversity course.International Journal ofComputer Supported Collaborative Learning， II（1） ，9-39.

Chen，H.，Tan，E.，Lee，Y.，Praharaj，S.，Specht，M.，amp; Zhao，G.（202O）. Developing AI into explanatory supporting models： An explanation-visualized deep learning prototype. ICLS 2020 Proceedings，1133-1140.

Cleveland-Innes，M.，amp; Campbell，P. （2O12）.Emotional presence，learning，and the online learning environment. International Review of Research in Open amp; Distance Learning，13（4），269-292.

Derks，D.，F(xiàn)ischer，A.H.，amp; Bos，A.E.R.（2Oo8）.The role of emotion in computer-mediated communication： A review.Computers in Human Behavior， 24（3），766-785.

Duan，L.G.，Di，P.，amp;Li，A.P.（2O14）.A new naive Bayes text classification algorithm.TELKOMNIKA： Indo nesian Journal of Electrical Engineering， I2（2） ，947-952.

Fiacco，J.，amp; Rosé，C.（2O18）.Towards domain general detectionof transactive knowledge building behavior. In Proceedings of the Fifth Annual ACM Conference on Learning at Scale （L@S'18）（pp.1-11）. Association for Computing Machinery.

Garrison，D.R.，amp;Akyol，Z.（2013）.The communityof inquiry theoretical framework.InD.Seaman，amp;J.G. Gagliardi （Eds.）， Handbook of distance education （pp.104-120）. Routledge.

Garrison， D.R.，Anderson，T.，amp; Archer，W.（1999）. Critical inquiry in a text-based environment： Computer conferencing in higher education. The Internet and Higher Education，2（2-3），87-105.

Garrison， D.R.，amp; Arbaugh，J.B. （2Oo7）. Researching the community of inquiry framework： Review，issues， and future directions.The Internet and Hgher Education，10（3），157-172.

Garrison，D.R.，amp; Cleveland-Innes，M. （2Oo5）.Facilitating cognitive presence inonline learning： Interaction is not enough.American Journal of Distance Education，19（3），133-148.

Garrison，D.R.， Cleveland-Innes，M.，amp;Fung，T.S.（2010）. Exploring causalrelationships among teaching，cognitive and social presence： Student perceptions of the community of inquiry framework. The Internet and HigherEducation，13（1-2），31-36.

Gunawardena， C.N.，Lowe， C.A.，amp; Anderson，T.（1997）.Analysis of a global online debate and the development of an interaction analysis model for examining social construction of knowledge in computer conferencing. Journal of Educational Computing Research，17（4），397-431.

Hilliard，L.P.，amp; Stewart，M.K.（2019）.Time well spent： Creating acommunity of inquiry in blended first-year writing courses.The Internet and Higher Education， 41，11-24.

Jonassen，D.H.（1996）. Computers in the clasroom： Mindtools forcritical thinking.Prentice-Hall Inc.

Kent， C.，Laslo，E.，amp;Rafaeli， S. （2O16）. Interactivity inonline discussionsand learning outcomes.Computers amp; Education，97，116-128.

Kozan，K.，amp; Caskurlu， S. （2018）. On the N ?^th presence for the community of inquiry framework. Computers amp; Education， 122，104-118.

Levin，J. A.， Kim，H.，amp; Riel， M. M. （199O）.Analyzing instructional interactions on electronic message networks. In L. M. Harasim （Ed.），Online education： Perspectives on a new environment （pp.185-214）. Greenwood Publishing Group Inc.

Liu，J.，Gao，Z.，amp; Zhang，P.（2O2O）.Exploring how topic characteristics influence online discusson quality. Proceedings of the Association for Information Science and Technology， 57（1）， e376.

Murphy，E.（2OO4）.An instrument to support thinking criticaly about critical thinking inonline asynchronous discussions.Australasian Journal ofEducational Technology，20（3），295-315.

Pillutla，V.S.，Tawfik，A.A.，amp; Giabbanelli，P.J.（2O2O）.Detecting the depth and progressionof learning in masive open online courses by mining discusson data. Technology， Knowledge and Learning， 25， 881-898.

Redmond，P.，amp; Lock，J.V.（2Oo6）.A flexible framework foronline collaborative learning.The Internet and Higher Education， 9（4），267-276.

Shea，P.，Hayes，S.，Vickers，J.，Gozza-Cohen，M.，Uzuner，S.，Mehta，R.，Valchova，A.，amp;Rangan，P. （2010）. A re-examination of the community of inquiry framework： Social network and content analysis.The Internet and Higher Education，13（1-2），10-21.

Waserman，S.，amp;Faust，K.（1994）.Social network analysis： Methods and applications. Cambridge UniversityPress.

Zheng，L. （2O17）.A knowledge map approach to analyzing knowledge elaboration in collaborative learning. In L. Zheng （Ed.）， Knowledge building and regulation in computer-supported collaborative learning （pp. 19-31）. Springer.

Zhou，P.，Shi， W.， Tian，J.， Qi， Z.，Li，B.，Hao，H.，amp; Xu，B.（2016）.Atention-based bidirectional long short-term memory networks for relation clasification.In K.Erk，amp;N.A.Smith （Eds.），Proceedings of the 54th Annual Meeting of the Asociation for Computational Linguistics （Volume 2： Short Papers） （pp. 207-212）. Association for Computational Linguistics.

Resolving the Evaluation Dilemma of Online Discussions： Exploring Intelligent Evaluation Methods of Interaction Dept.

Li Tongtong， Li Guotao，Liu Jinyou， Ma Mengchun，Bian Yuying， Zhou Yanli and Guo Xuning

Abstract：How to effectively evaluate and promote interaction depth is the key to improving the quality of online asynchronous discussion. However， the current evaluation of the depth of interaction lacks systematic studies and operational evaluation methods or tools.Therefore， focusing on the issue of“how to evaluate the depth of interaction scientifically and effectively\"，this research builds an evaluation model suitable for intelligent evaluation based on the online presence framework and three-dimensional goals of cognition， ability and emotion. With text mining as the main technical support， it integrates various methods such as statistical computing，machine learning，deep learning and large language model. The statistical calculation algorithm of interaction frequency， duration and correlation in the interactive behavior dimension is designed， and the intelligent calculation algorithm of text language readability， topic correlation，emotional characteristics and meaning characteristics in the interactive content dimension is designed，which can realize real-time，automatic，and relative evaluation of the performance of a single post， individuals，and groups in different dimensions. The evaluation scheme proposed by the research comprehensively considers multi-dimensional indicators，and realizes automatic evaluation of interaction depth based on real-time mining and discussion of objective data by intelligent technology，so that the evaluation goal is oriented to deep learning and normalized practice，providing effective and feasible support for the optimization of online discussion activities.

Keywords： online discussion; interaction depth； intelligent evaluation; sense ofpresence

Authors：Li Tongtong，associate professor， director of the Department of Educational Technology in the Faculuty of Education， Tianjin Normal University （Corresponding Author： sdltt@126.com Tianjin 300387）； Li Guotao， graduate student of theFaculty of Education， Tianjin Normal University （Tianjin 300387）;Liu Jinyou， graduate student of the Faculty of Education，Tianjin Normal University （Tianjin 300387）;Ma Mengchun，graduate student of the Faculty of Education， Tianjin Normal University （Tianjin 3Oo387）； Bian Yuying，graduate student of the Faculty of Education，Tianjin Normal University （Tianjin 3Oo387）；Zhou Yanli， teacher of the Lvliang Shuixi Primary School （Lvliang O33ooO）；Guo Xuning， teacher of the Beihai Health School （Beihai 536007）