改進(jìn)CapsNet的文本自殺風(fēng)險(xiǎn)檢測(cè)模型

摘" 要： 針對(duì)現(xiàn)有模型未充分利用社交媒體中文本歷史動(dòng)態(tài)信息進(jìn)行自殺風(fēng)險(xiǎn)檢測(cè)的問(wèn)題，引入CapsNet模型。在CapsNet模型中，層與層之間傳遞的是有向神經(jīng)元組，能夠更好地感知長(zhǎng)文本中的空間信息，發(fā)現(xiàn)社交媒體用戶的情感趨勢(shì)，為自殺風(fēng)險(xiǎn)檢測(cè)提供依據(jù)。文中對(duì)CapsNet模型進(jìn)行改進(jìn)，首先改變尺度空間，增加網(wǎng)絡(luò)寬度，充分提取隱藏在句子中的特征信息；其次，使用指數(shù)函數(shù)對(duì)Squash函數(shù)進(jìn)行優(yōu)化，放大膠囊輸出，充分利用膠囊提取用戶歷史動(dòng)態(tài)中的特征信息；最后，在動(dòng)態(tài)路由中采用優(yōu)化算法對(duì)耦合系數(shù)進(jìn)行初始化，去除噪聲膠囊的干擾。使用預(yù)訓(xùn)練的SBERT模型對(duì)社交媒體文本數(shù)據(jù)進(jìn)行特征提取，得到改進(jìn)CapsNet文本自殺風(fēng)險(xiǎn)檢測(cè)模型二分類(lèi)的準(zhǔn)確率達(dá)到95.93%，F(xiàn)1分?jǐn)?shù)達(dá)到95.86%，優(yōu)于自殺風(fēng)險(xiǎn)檢測(cè)的其他模型。

關(guān)鍵詞： CapsNet模型； 自殺風(fēng)險(xiǎn)檢測(cè)； 社交媒體； 長(zhǎng)文本信息； 特征提??； SBERT模型

中圖分類(lèi)號(hào)： TN911.25?34； TP391" " " " " " " " " "文獻(xiàn)標(biāo)識(shí)碼： A" " " " " " " " " 文章編號(hào)： 1004?373X（2024）14?0009?06

Improved CapsNet text suicide risk detection model

CHEN Bin， LI Hongyan， LIANG Zhuo

（College of Electronic Information and Optical Engineering， Taiyuan University of Technology， Jinzhong 030600， China）

Abstract： In allusion to the problem that the existing models do not make full use of the historical dynamic information of text in social media for suicide risk detection， the CapsNet model is introduced. In the CapsNet model， groups of directed neurons are transmitted between layers， which can better perceive spatial information in long texts， find emotional trends of social media users， and provide a basis for suicide risk detection. The CapsNet model is improved. The scale space is changed and the network width is increased to fully extract the feature information hidden in the sentence. The exponential function is used to optimize the Squash function， so as to enlarge the capsule output， and make full use of the capsule to extract the feature information in user's historical dynamics. In dynamic routing， an optimization algorithm is used to initialize the coupling coefficient to remove the interference of noisy capsules. The pre?trained SBERT model is used to extract features of social media text data. The binary classification accuracy of the improved CapsNet text suicide risk detection model can reach 95.93%， and the F1 score can reach 95.86%， which is better than other models of suicide risk detection.

Keywords： CapsNet model; suicide risk detection; social media; long text information; feature exteraction; SBERT model

0" 引" 言

據(jù)世界健康組織（World Health Organization， WHO）的數(shù)據(jù)，自殺已經(jīng)成為全球三大死因之一，每30 s就有1人死于自殺，而這個(gè)問(wèn)題在青少年中更為明顯。研究人員發(fā)現(xiàn)，抑郁癥是導(dǎo)致自殺的主要原因之一，全球每年因抑郁而自殺人數(shù)高達(dá)100萬(wàn)人，自殺未遂的人更是自殺人數(shù)[1]的20倍。因此，對(duì)抑郁癥患者進(jìn)行自殺風(fēng)險(xiǎn)檢測(cè)的研究十分必要。

隨著Reddit、Twitter等社交媒體的流行，越來(lái)越多的人喜歡在網(wǎng)絡(luò)上分享自己的心情和生活，社交媒體也成為人們傾訴心情的一種方式，甚至具有自殺風(fēng)險(xiǎn)的人在社交媒體上公開(kāi)自己的自殺想法和計(jì)劃[2]。A. Lamont?Mills等證實(shí)，有自殺風(fēng)險(xiǎn)的人在網(wǎng)絡(luò)上的表達(dá)與他們的真實(shí)情緒幾乎一致，這也激勵(lì)了更多的研究人員考慮從社交媒體中獲取用戶在試圖自殺時(shí)的想法和情感狀態(tài)[3]。Ji等使用長(zhǎng)短期記憶（Long Short?Term Memory， LSTM）[4]網(wǎng)絡(luò)增強(qiáng)了文本表示和情感詞典之間的關(guān)系，并建立了自殺風(fēng)險(xiǎn)和抑郁癥的分類(lèi)模型，使用注意力機(jī)制來(lái)關(guān)注更加重要的關(guān)系特征，在Reddit等三個(gè)數(shù)據(jù)集上取得了優(yōu)于同行的表現(xiàn)[5]。M. M. Tadesse等使用LSTM與卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network， CNN）的組合模型對(duì)來(lái)自Reddit的帖子進(jìn)行自殺風(fēng)險(xiǎn)檢測(cè)，發(fā)現(xiàn)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和詞嵌入技術(shù)的結(jié)合可以實(shí)現(xiàn)更好的分類(lèi)結(jié)果[6]。A. Haque等使用基于Transformer的雙向編碼（Bidirectional Encoder Representations from Transformer， BERT）[7]模型進(jìn)行特征提取[8]，無(wú)監(jiān)督地統(tǒng)一流形逼近和投影（Uniform Manifold Approximation and Projection， UMAP）[9]聚類(lèi)算法對(duì)Reddit數(shù)據(jù)集標(biāo)簽進(jìn)行校正。采用雙向長(zhǎng)短期記憶（Bi?directional Long Short?Term Memory， BiLSTM）[10]網(wǎng)絡(luò)和門(mén)控循環(huán)單元（Gate Recurrent Unit， GRU）[11]的混合模型進(jìn)行自殺風(fēng)險(xiǎn)的檢測(cè)，達(dá)到了較好的效果。

由于自殺風(fēng)險(xiǎn)并不是突發(fā)性的，它是由持續(xù)的情緒低落引起的，所以長(zhǎng)距離的語(yǔ)義信息就顯得尤為重要?，F(xiàn)階段，自殺風(fēng)險(xiǎn)也已經(jīng)被證明和歷史狀態(tài)高度相關(guān)[1]，但是現(xiàn)有的研究并沒(méi)有充分利用社交媒體用戶的歷史動(dòng)態(tài)數(shù)據(jù)進(jìn)行自殺風(fēng)險(xiǎn)的檢測(cè)，從而導(dǎo)致自殺風(fēng)險(xiǎn)檢測(cè)丟失了重要的文本歷史情感依據(jù)。為了解決上述問(wèn)題，本文提出一種改進(jìn)CapsNet的自殺風(fēng)險(xiǎn)檢測(cè)模型。

1" 改進(jìn)CapsNet的自殺風(fēng)險(xiǎn)檢測(cè)模型

1.1" 網(wǎng)絡(luò)框架

本文提出一種改進(jìn)CapsNet的自殺風(fēng)險(xiǎn)檢測(cè)模型，模型主要分為三個(gè)部分：特征預(yù)處理、改進(jìn)CapsNet模型和分類(lèi)輸出，模型結(jié)構(gòu)如圖1所示。

本文使用經(jīng)過(guò)預(yù)訓(xùn)練的SBERT模型[12]進(jìn)行特征預(yù)處理，提取原始文本中的語(yǔ)義特征；再將語(yǔ)義特征輸入到多尺度的改進(jìn)CapsNet模型中，三個(gè)尺度的信息經(jīng)過(guò)卷積、改進(jìn)Squash函數(shù)和優(yōu)化的動(dòng)態(tài)路由等，成為更高級(jí)的特征；最后通過(guò)池化共同參與分類(lèi)的決策。

1.2" 改進(jìn)CapsNet模型

CapsNet是由Sabour等在2017年提出的一種稱(chēng)為膠囊網(wǎng)絡(luò)的方法，相對(duì)于傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)，CapsNet的層與層之間傳遞的是矢量而不是標(biāo)量，使其對(duì)于文本空間信息更加敏感，能夠更好地從文本數(shù)據(jù)中發(fā)掘社交媒體用戶的情感走向，為自殺風(fēng)險(xiǎn)檢測(cè)提供長(zhǎng)期文本依賴[13]。本文對(duì)CapsNet進(jìn)行改進(jìn)：首先，分別使用大小為3×3、4×4和5×5的卷積核對(duì)語(yǔ)義特征進(jìn)行卷積，充分提取位于句子不同位置的特征；其次，使用[ex]形式的指數(shù)函數(shù)對(duì)非線性Squash激活函數(shù)進(jìn)行優(yōu)化，將膠囊放大輸出，更好地捕捉文本語(yǔ)序和詞組的特征；最后，在動(dòng)態(tài)路由中，采用優(yōu)化算法[14]代替Softmax函數(shù)對(duì)耦合系數(shù)[c]進(jìn)行初始化，在不增加計(jì)算量的基礎(chǔ)上規(guī)避噪聲的干擾。

圖2所示為卷積核大小為3×3的改進(jìn)CapsNet模型結(jié)構(gòu)，其輸入為SBERT模型，提取并使用Reshape重整得到的28×28特征矩陣。

第1層Conv層是一個(gè)標(biāo)準(zhǔn)的卷積層，使用128個(gè)3×3、步長(zhǎng)為1的卷積提取位于句子不同位置的特征，激活函數(shù)為ReLU，輸出為26×26×128的標(biāo)量。

第2層PrimCaps層是第一個(gè)膠囊層，使用256個(gè)9×9、步長(zhǎng)為2的卷積提取更深層次的特征。在膠囊網(wǎng)絡(luò)中，每一個(gè)膠囊輸出矢量的長(zhǎng)度代表該膠囊在當(dāng)前輸入中的概率。因此，激活函數(shù)就要將模長(zhǎng)較小的矢量收縮到0，而模長(zhǎng)較大的矢量收縮到1。膠囊網(wǎng)絡(luò)中使用Squash函數(shù)作為激活函數(shù)，公式如下：

[v=s21+s2·ss] （1）

式中：[s]為輸入；[v]為輸出。本文使用[ex]形式的指數(shù)函數(shù)對(duì)Squash函數(shù)進(jìn)行優(yōu)化，優(yōu)化后Squash函數(shù)公式如下：

[v=1-e-s2ss] （2）

優(yōu)化的Squash函數(shù)可以將膠囊放大輸出，讓更多的膠囊參與到計(jì)算中，充分利用膠囊提取文中的情感信息。優(yōu)化的Squash函數(shù)使輸出變?yōu)?×9×8×32的矢量，即維度為8的2 592個(gè)初級(jí)膠囊，膠囊中保留了卷積提取到的單詞語(yǔ)義及順序等實(shí)例化參數(shù)，使模型對(duì)歷史動(dòng)態(tài)數(shù)據(jù)更加敏感。

第3層ConvCaps層是第二個(gè)膠囊層，使用128個(gè)7×7、步長(zhǎng)為1的卷積進(jìn)一步提取空間信息，使用優(yōu)化的Squash激活函數(shù)，將初級(jí)膠囊轉(zhuǎn)換為3×3×8×16的矢量，即維度為8的144個(gè)中級(jí)膠囊，中級(jí)膠囊中保留更為復(fù)雜的特征。

在動(dòng)態(tài)路由中，本文使用優(yōu)化算法代替Softmax函數(shù)對(duì)耦合系數(shù)[c]進(jìn)行初始化，可以在不增加運(yùn)算量的前提下減輕噪聲膠囊的干擾。優(yōu)化算法對(duì)耦合系數(shù)[c]的初始化步驟如下。

1） 在特征傳遞系數(shù)[b]前增加一列0，得到[b']。

2） 對(duì)[b']的行使用Softmax進(jìn)行初始化，得到[c']。

3） 刪除[c']的第一列，得到耦合系數(shù)[c]。

改進(jìn)的動(dòng)態(tài)路由算法步驟如下。

1） 對(duì)特征傳遞系數(shù)[b]初始化，[l]層膠囊[i]到[l+1]層膠囊[j]的特征傳遞系數(shù)[bij←0]。

2） 在膠囊網(wǎng)絡(luò)中引入膠囊耦合系數(shù)[c]，[l]層的膠囊[i]傳遞到[l+1]層的膠囊[j]，得到[l+1]層的膠囊耦合系數(shù)[c]，公式為：

[cij=f（bij）] （3）

式中[f（?）]為優(yōu)化算法。

3） [l]層的膠囊特征[ui]傳遞到[l+1]層的膠囊[j]，得到[l+1]層的膠囊特征[sj]，公式為：

[sj=i=1kcijuji] （4）

式中：[uji=Wijui]，[Wij]為權(quán)重，由誤差反向傳播更新。

4） 膠囊特征的長(zhǎng)度代表特征概率的大小，使用優(yōu)化的Squash函數(shù)保證[l+1]層膠囊特征[sj]的長(zhǎng)度壓縮到0～1的范圍內(nèi)，公式為：

[vj=1-e-sj2sjsj] （5）

式中[vj]為[l+1]層膠囊[j]壓縮后的特征。

5） 以迭代的方式更新[l]層膠囊[i]到[l+1]層膠囊[j]的特征傳遞系數(shù)[bij]，本文迭代次數(shù)為3，公式為：

[bij=bij+uji×vj] （6）

第5層使用L2正則化，使分類(lèi)器運(yùn)用盡可能多的高級(jí)膠囊進(jìn)行分類(lèi)，從而提升模型的泛化能力。損失函數(shù)為二元交叉熵?fù)p失函數(shù)，公式為：

[BCELoss=-1Ni=1Nyi?log（p（yi））+（1-y）?" " " " " " " " " " " " log（1-p（yi））] （7）

式中：[yi]表示樣本[i]的標(biāo)簽（抑郁或自殺）；[p（yi）]表示樣本[i]真實(shí)標(biāo)簽的預(yù)測(cè)值。

動(dòng)態(tài)路由原理圖如圖3所示。

2" 實(shí)驗(yàn)設(shè)計(jì)

2.1" 實(shí)驗(yàn)環(huán)境及數(shù)據(jù)集

實(shí)驗(yàn)所用的硬件配置為英特爾至強(qiáng)處理器；RAM為13 GB；GPU為NVIDIA TESLA?P100 16 GB；操作系統(tǒng)為L(zhǎng)inux；實(shí)驗(yàn)平臺(tái)為Python3.7，Keras2.11+TensorFlow 2.11框架。

數(shù)據(jù)集使用PushshuftAPI按照時(shí)間順序在社交媒體Reddit網(wǎng)站上收集，本文收集了“自殺觀察”板塊下從創(chuàng)建之初到2021年1月2日的所有帖子。“抑郁癥”板塊下從2009年1月1日—2021年1月2日的所有帖子，一共收集到232 074條數(shù)據(jù)，來(lái)自“自殺觀察”板塊的樣本數(shù)據(jù)標(biāo)記為“自殺”，來(lái)自“抑郁癥”板塊的樣本數(shù)據(jù)標(biāo)記為“抑郁”。

由于Reddit是一個(gè)網(wǎng)絡(luò)社交媒體，用戶的表達(dá)方式并不規(guī)范，表達(dá)方式各有不同，有些用戶喜歡使用疊詞，有些用戶喜歡轉(zhuǎn)發(fā)網(wǎng)頁(yè)，有些用戶喜歡使用表情，使得文本中存在不利于自殺風(fēng)險(xiǎn)檢測(cè)的噪聲。為得到一個(gè)干凈的文本數(shù)據(jù)集，通過(guò)自然語(yǔ)言處理技術(shù)對(duì)其進(jìn)行處理和篩選，即刪除所有標(biāo)點(diǎn)，刪除疊詞，刪除所有含有表情和超鏈接的帖子，對(duì)同一用戶ID發(fā)出的帖子進(jìn)行整合。最后，一共篩選出7 730個(gè)用戶的數(shù)據(jù)，其中，標(biāo)簽為“自殺”的用戶有3 830個(gè)，“抑郁”的用戶有3 900個(gè)，可近似看作是一個(gè)平衡的數(shù)據(jù)集。

2.2" 評(píng)價(jià)指標(biāo)

本文使用準(zhǔn)確率（Acc）和F1分?jǐn)?shù)2個(gè)評(píng)價(jià)指標(biāo)來(lái)對(duì)自殺風(fēng)險(xiǎn)檢測(cè)模型進(jìn)行評(píng)價(jià)，參數(shù)定義如下。

準(zhǔn)確率為預(yù)測(cè)正確的樣本占總樣本數(shù)的比例，公式如下：

[Acc=TP+TNTP+FP+TN+FN×100%] （8）

F1分?jǐn)?shù)為召回率和精確度的加權(quán)平均，可以表征模型的穩(wěn)健程度，公式如下：

[F1=2×TP2TP+FP+FN×100%] （9）

式中：TP表示實(shí)際為正被預(yù)測(cè)為正的樣本數(shù)量；FP表示實(shí)際為負(fù)但被預(yù)測(cè)為正的樣本數(shù)量；TN表示實(shí)際為負(fù)被預(yù)測(cè)為負(fù)的樣本數(shù)量；FN表示實(shí)際為正但被預(yù)測(cè)為負(fù)的樣本數(shù)量。

2.3nbsp; 不同尺度的CapsNet

為探究不同尺度大小對(duì)模型性能的影響，本文對(duì)CapsNet模型進(jìn)行二分類(lèi)實(shí)驗(yàn)，三層卷積層的步長(zhǎng)分別為1、2、2，卷積核大小及實(shí)驗(yàn)結(jié)果如表1所示。實(shí)驗(yàn)結(jié)果表明，CapsNet模型在卷積核尺度分別為5×5、7×7和9×9時(shí)，檢測(cè)模型可以有效地提取社交媒體用戶推文中的情感特征，使模型性能達(dá)到最佳，正確率為93.59%，F(xiàn)1分?jǐn)?shù)為93.37%，并以此模型作為CapsNet基線模型。

2.4" 增加網(wǎng)絡(luò)寬度的多尺度CapsNet

為探究增加網(wǎng)絡(luò)寬度以及改變尺度空間對(duì)模型性能的影響，在CapsNet模型的基礎(chǔ)上，增加兩條采用不同尺度空間的分支網(wǎng)絡(luò)，卷積核組合及實(shí)驗(yàn)結(jié)果如表2所示。

對(duì)比表2和表1數(shù)據(jù)可知，增加網(wǎng)絡(luò)寬度可以有效提升模型性能。當(dāng)卷積核組合為3×3、5×5和5×5，5×5、3×3和1×1，5×5、7×7和9×9時(shí)，增加網(wǎng)絡(luò)寬度的多尺度CapsNet模型的性能達(dá)到最佳，正確率可達(dá)94.70%，F(xiàn)1分?jǐn)?shù)可達(dá)94.63%，相較于單通道的CapsNet基線模型，正確率提高1.11%，F(xiàn)1分?jǐn)?shù)提高1.26%。

2.5" 優(yōu)化Squash函數(shù)的實(shí)驗(yàn)

為驗(yàn)證本文優(yōu)化Squash函數(shù)的有效性，使用優(yōu)化的Squash函數(shù)對(duì)CapsNet模型進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表3所示。

表3實(shí)驗(yàn)結(jié)果表明，優(yōu)化的Squash函數(shù)能夠放大膠囊輸出，將靠近0的膠囊放大輸出，讓更多的膠囊參加到向量的計(jì)算中，從而更加充分地發(fā)掘空間位置信息；相較于CapsNet基線模型，加入優(yōu)化Squash函數(shù)正確率提升1.16%，F(xiàn)1分?jǐn)?shù)提升1.28%。增加網(wǎng)絡(luò)寬度的多尺度CapsNet在使用優(yōu)化Squash函數(shù)后，性能也在一定程度上得到了提升，相較于最優(yōu)的多尺度CapsNet，正確率最大提升0.73%，F(xiàn)1分?jǐn)?shù)最大提升0.70%。

2.6" 改進(jìn)動(dòng)態(tài)路由的實(shí)驗(yàn)

為驗(yàn)證本文改進(jìn)動(dòng)態(tài)路由的有效性，使用改進(jìn)的動(dòng)態(tài)路由對(duì)CapsNet模型進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表4所示。

表4實(shí)驗(yàn)結(jié)果表明，改進(jìn)的動(dòng)態(tài)路由能夠去除噪聲的干擾，更加準(zhǔn)確地確定耦合系數(shù)，使CapsNet模型的性能得到提升；相較于CapsNet模型，改進(jìn)動(dòng)態(tài)路由能夠帶來(lái)正確率1.72%和F1分?jǐn)?shù)1.91%的性能提升。多尺度CapsNet模型使用優(yōu)化Squash函數(shù)和改進(jìn)動(dòng)態(tài)路由后，性能達(dá)到最佳，正確率可達(dá)95.93%，F(xiàn)1分?jǐn)?shù)可達(dá)95.86%，相較于CapsNet模型，正確率和F1分?jǐn)?shù)分別提升2.34%和2.49%。

2.7" 不同研究方法對(duì)比

為進(jìn)一步驗(yàn)證本文模型的有效性，將本文模型與其他自殺風(fēng)險(xiǎn)檢測(cè)相關(guān)文獻(xiàn)的模型進(jìn)行比較，對(duì)比結(jié)果如表5所示。

由表5可知，本文改進(jìn)CapsNet的準(zhǔn)確率能夠達(dá)到95.93%，F(xiàn)1分?jǐn)?shù)達(dá)到95.86%，優(yōu)于自殺風(fēng)險(xiǎn)監(jiān)測(cè)領(lǐng)域的其他分類(lèi)器。相較于文獻(xiàn)[16]中表現(xiàn)最優(yōu)的GRU+注意力模型，準(zhǔn)確率高出1.48%，F(xiàn)1分?jǐn)?shù)高出0.84%。

3" 結(jié)" 語(yǔ)

根據(jù)自殺風(fēng)險(xiǎn)檢測(cè)對(duì)歷史動(dòng)態(tài)有著強(qiáng)烈的依賴這一特性，本文提出一種基于改進(jìn)CapsNet的自殺風(fēng)險(xiǎn)檢測(cè)模型。在改進(jìn)CapsNet模型中，增加網(wǎng)絡(luò)寬度的多尺度卷積核，能從長(zhǎng)文本信息中提取隱藏在單詞和短語(yǔ)中的豐富信息；優(yōu)化Squash激活函數(shù)能夠放大膠囊輸出，充分發(fā)掘文本中的空間位置信息；改進(jìn)的動(dòng)態(tài)路由可以去除噪聲膠囊的干擾，更加準(zhǔn)確地計(jì)算網(wǎng)絡(luò)參數(shù)。

在未來(lái)的工作中，本文將考慮增加用戶的其他信息，如性別、職業(yè)和年齡等來(lái)擴(kuò)充用戶特征，使自殺風(fēng)險(xiǎn)檢測(cè)的準(zhǔn)確性進(jìn)一步提升。

注：本文通訊作者為李鴻燕。

參考文獻(xiàn)

[1] SAWHNEY R， JOSHI H， GANDI S， et al. A time?aware transformer based model for suicide ideation detection on social media [C]// Association for Computational Linguistics. [S.l.]： ACM， 2020： 7685?7697.

[2] ROHAN M， PRADYUMN P S， RAMIT S， et al. SNAP?BATNET： cascading author profiling and social network graphs for suicide ideation detection on social media [C]// Association for Computational Linguistics. [S.l.]： ACM， 2019： 147?156.

[3] LAMONT?MILLS A， BAYLISS L T， CHRISTENSEN S A. Online suicidal thoughts and/or behaviours talk： a scoping review protocol [J]. PLoS One， 2022， 17（10）： e0276776.

[4] LIU Q， JIA M， GAO Z， et al. Correntropy long short term memory soft sensor for quality prediction in industrial polyethylene process [J]. Chemometrics and intelligent laboratory systems， 2022， 231： 104678.

[5] JI S， LI X， HUANG Z， et al. Suicidal ideation and mental disorder detection with attentive relation networks [J]. Neural computing amp; applications， 2022， 34（13）： 10309?10319.

[6] TADESSE M M， LIN H， XU B， et al. Detection of suicide ideation in social media forums using deep learning [J]. Algorithms， 2020， 13（1）： 7?26.

[7] DEVLIN J， CHANG M W， LEE K， et al. BERT： pre?training of deep bidirectional transformers for language understanding [C]// Conference of the North?American?Chapter of the Association for Computational Linguistics. [S.l.]： ACM， 2019： 4171?4186.

[8] HAQUE A， REDDI V， GIALLANZA T. Deep learning for suicide and depression identification with unsupervised label correction [C]// International Conference on Artificial Neural Networks. [S.l.]： IEEE， 2021： 436?447.

[9] MCINNES L， HEALY J. UMAP： uniform manifold approximation and projection for dimension reduction [J]. The journal of open source software， 2018， 3（29）： 861?924.

[10] ZHANG Z， ZHANG W， YANG K， et al. Remaining useful life prediction of lithium?ion batteries based on attention mechanism and bidirectional long short?term memory network [J]. Measurement， 2022， 204： 112093?112105.

[11] ZARZYCKI K， ?AWRY?CZUK M. Advanced predictive control for GRU and LSTM networks [J]. Information sciences， 2022， 616： 229?254.

[12] REIMERS N， GUREVYCH I. Sentence?bert： Sentence embeddings using siamesebert?networks [EB/OL]. [2023?07?18]. https：//www.xueshufan.com/publication/2970641574.

[13] SABOUR S， FROSST N， HINTON G E. Dynamic routing between capsules [C]// Advances in Neural Information Processing Systems. [S.l.]： ACM， 2017： 1?11.

[14] ZHAO W， YE J， YANG M， et al. Investigating capsule networks with dynamic routing for text classification [C]// Conference on Empirical Methods in Natural Language Processing. Baltimore， MD， USA： IEEE， 2018： 3110?3119.

[15] XUE Y， LI Q， WU T， et al. Incorporating stress status in suicide detection through microblog [J]. International journal of computer systems science amp; engineering， 2019， 34（2）： 65?78.

[16] CAO L， ZHANG H， WANG X， et al. Learning users inner thoughts and emotion changes for social media based suicide risk detection [J]. IEEE transactions on affective computing， 2023， 14（2）： 1280?1296.