基于類型輔助引導的代碼注釋生成模型

摘 要：代碼注釋生成方法通常基于結構－序列（Ｓｔｒｕｃｔｕｒｅ-Ｓｅｑｕｅｎｃｅ，Ｓｔｒｕｃｔ２Ｓｅｑ）框架，但忽略了代碼注釋的類型信息，例如操作符、字符串等。由于類型信息之間的層次具有依賴性，將類型信息引入已有的Ｓｔｒｕｃｔ２Ｓｅｑ 框架并不適用。為了解決上述問題，提出一種基于類型輔助引導的代碼注釋生成（Ｃｏｄｅ Ｃｏｍｍｅｎｔ Ｇｅｎｅｒａｔｉｏｎ ｂａｓｅｄ ｏｎ Ｔｙｐｅ-ａｓｓｉｓｔｅｄ Ｇｕｉｄ-ａｎｃｅ，ＣＣＧ-ＴＧ）模型，將源代碼視為帶有類型信息的ｎ 元樹。該模型包含一個關聯類型編碼器和一個限制類型解碼器，可以對源代碼進行自適應總結。此外，提出一種多級強化學習（Ｍｕｌｔｉ-ｌｅｖｅｌ Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ，ＭＲＬ）方法來優化所提模型的訓練過程。在多個數據集上進行實驗，與多種基準模型對比，證明所提ＣＣＧ-ＴＧ 模型在所有評價指標上的性能最優。

關鍵詞：代碼注釋生成；類型信息；結構序列框架；類型輔助引導；強化學習

中圖分類號：ＴＰ３１１ 文獻標志碼：Ａ 開放科學（資源服務）標識碼（ＯＳＩＤ）：

文章編號：１００３－３１１４（２０２４）０４－０８０７－０８

０ 引言

程序員對代碼進行注釋對維護軟件項目代碼庫以及顯著提高可讀性至關重要。代碼注釋生成旨在借助深度學習技術將程序代碼自動轉換為自然語言，以提高代碼開發和維護的效率［１］。

現有方法利用代碼固有的結構特征，以編碼器－ 解碼器的方式解決結構－ 序列（Ｓｔｒｕｃｔｕｒｅ-Ｓｅｑｕｅｎｃｅ，Ｓｔｒｕｃｔ２Ｓｅｑ）的編碼生成任務。充分利用抽象語法樹（Ａｂｓｔｒａｃｔ Ｓｙｎｔａｘ Ｔｒｅｅｓ，ＡＳＴ）的語法結構或源代碼的解析樹，可以顯著提升注釋生成的質量［２－３］。另外，通過提取代碼的結構信息，使用圖神經網絡學習更新各節點信息也可以提高注釋生成的質量［３－５］。文獻［６］構建了一種結構感知的混合編碼模型，兼顧程序代碼的序列表示和結構表示，并利用聚合編碼過程將兩類信息融合至解碼器。

代碼注釋生成框架可以從源代碼片段，例如結構化查詢語言（Ｓｔｒｕｃｔｅｄ Ｑｕｅｒｙ Ｌａｎｇｕａｇｅ，ＳＱＬ）、ｌａｍｂｄａ 表達式等，生成自然語言。作為一種特定的自然語言生成任務［７－８］，主流的方法可分為文本驅動方法和結構驅動方法。

文本驅動方法：該類方法僅考慮源代碼的順序文本信息。文獻［９］使用主題模型和ｎ-ｇｒａｍ 來預測源代碼片段的注釋。Ｉｙｅｒ 等［１０］提出一種帶有注意力的長短期記憶網絡（Ｌｏｎｇ Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ，ＬＳＴＭ）語言模型，用于生成關于Ｃ＃和ＳＱＬ 的注釋。文獻［１１ ］提出一種基于卷積神經網絡（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ，ＣＮＮ）的自動化代碼注釋生成方法來緩解長期依賴問題，以生成更準確的注釋信息。文獻［１２］研究了１４ 個不同的Ｊａｖａ 軟件項目使用代碼注釋的風格，提出一種機器學習方法將行級Ｊａｖａ 代碼注釋自動分類。

結構驅動方法：該方法考慮了不同程序語言的結構信息，優于文本驅動方法。Ａｌｏｎ 等［１３］在ＡＳＴ中將代碼片段處理為組合路徑集，并在解碼過程中使用注意力機制選擇相關路徑。Ｈｕ 等［１４］提出一種基于神經機器翻譯的模型，該模型將ＡＳＴ 節點序列作為輸入，并捕獲Ｊａｖａ 代碼的結構和語義。Ｈａｑｕｅ等［１５］提出使用三類編碼器分別對給定子程序的代碼／ 文本、ＡＳＴ 和文件上下文進行編碼，其中文件上下文是子程序的代碼／ 文本嵌入矢量。

復制機制：通過重用部分輸入而不是從目標詞匯表中選擇單詞來解決生成任務中的域外詞（Ｏｕｔｏｆ Ｖｏｃａｂｕｌａｒｙ，ＯＯＶ）問題。文獻［１６］提出一種混合指針生成器網絡，將指針網絡［１７］用于抽象文本摘要的標準序列－序列（Ｓｅｑｕｅｎｃｅ-Ｓｅｑｕｅｎｃｅ，Ｓｅｑ２Ｓｅｑ）模型。Ｇｕ 等［１８］提出使用ＣＯＰＹＮＥＴ 將傳統的復制機制融入到Ｓｅｑ２Ｓｅｑ 模型中，并有選擇地將輸入片段復制到輸出序列中。文獻［１９］提出一種指針生成網絡模型，該模型結合了抽取式和生成式兩種文本摘要方法，能夠選擇從源文本中復制單詞或利用詞匯表來生成新的摘要信息。

為了解決上述問題，提出一種基于類型輔助引導的代碼注釋生成（Ｃｏｄｅ Ｃｏｍｍｅｎｔ Ｇｅｎｅｒａｔｉｏｎ ｂａｓｅｄｏｎ Ｔｙｐｅ-ａｓｓｉｓｔｅｄ Ｇｕｉｄａｎｃｅ，ＣＣＧＴＧ）模型，將源代碼視為帶有類型信息的ｎ 元樹。該模型包含一個關聯類型編碼器和一個限制類型解碼器，可以對源代碼進行自適應總結。此外，提出一種多級強化學習（Ｍｕｌｔｉ-ｌｅｖｅｌ Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ，ＭＲＬ）方法來優化所提模型的訓練過程。

１ 相關定義

定義１（令牌類型樹）令牌類型樹Ｔｘ，τ 是一棵ｎ 元樹，表示節點集Ｖ 的源代碼。Ｖ ＝ ｛ｖ１，ｖ２，…，ｖ Ｖ ｝表示偏序節點集，令節點ｖｉ ＝ ｛ｘｉ，τｉ ｝，ｘｉ 表示令牌序列，τｉ 表示語法類型集Ｔ 中的類型。可以從源代碼的令牌信息及其ＡＳＴ 的類型信息構造令牌類型樹。

定義２（代碼注釋生成任務）設Ｓ 為訓練數據集，標記樣本（Ｔｘ ，τ，ｙ）∈Ｓ，其中Ｔｘ，τ 為輸入的令牌類型樹，ｙ ＝（ｙ１，ｙ２，…，ｙＭ）為帶有Ｍ 個詞的真實注釋。代碼注釋生成的任務是設計一種模型，該模型將未標記的樣本Ｔｘ，τ 作為輸入，并預測輸出ｙ 作為注釋。

２ ＣＣＧＴＧ 模型

圖１（ａ）展示了使用樹型結構的長短期記憶網絡（Ｔｒｅｅ-Ｌｏｎｇ Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ，Ｔｒｅｅ-ＬＳＴＭ）編碼器提取ＳＱＬ 結構信息，關鍵字ＳＥＬＥＣＴ 的子樹和ＷＨＥＲＥ 子句的子樹具有相同的結構，但類型不同。如果忽略了類型信息，傳統編碼器使用相同的神經網絡參數對結構樹進行編碼，會導致注釋生成不準確。因此，充分利用類型信息，提出基于類型輔助引導的代碼注釋生成模型。

在圖１（ａ）的解碼器中，缺少ＴＯＭ 節點的類型通常會導致生成的注釋中出現未知符號或詞語（記作ＵＮＫ）。因此，解決局限性的關鍵是有效利用節點類型信息。

如圖１（ｂ）所示，在編碼階段，包含一個關聯類型編碼器，對ｎ 元樹的節點類型信息進行編碼；在解碼階段，利用類型信息輔助注釋生成，并通過操作選擇階段和詞語選擇階段來減少搜索空間大小，避免出現ＯＯＶ 的情況。考慮到解碼過程中的操作選擇結果沒有真實標簽，進一步設計一種ＭＲＬ 方法來優化訓練過程。

所提ＣＣＧ-ＴＧ 模型遵循編碼器－解碼器架構，主要由關聯類型編碼器和限制類型解碼器組成。如圖２ 左側所示，關聯類型編碼器循環地將令牌類型樹Ｔｘ，τ 作為輸入，并使用隱藏狀態保持源代碼的語義信息。關聯類型編碼器使用多組參數集來學習不同類型的節點。在處理輸入令牌類型樹時，根據當前節點的類型自適應地調用相應單元的參數，使結構化語義表示能夠包含源代碼的類型信息。

如圖２ 右側所示，限制類型解碼器以關聯類型編碼器的原始令牌類型樹Ｔｘ，τ 及其語義表示作為輸入，并生成相應的注釋。采用注意力機制計算注意力向量，通過兩階段解碼過程生成輸出詞：

① 根據操作的分布決定是從原始的令牌類型樹復制輸出詞還是從當前的隱藏狀態生成輸出詞。

② 如果選擇復制操作，則從Ｔｘ，τ 中選擇的節點復制具有類型限制的單詞；否則，將從目標字典中選擇候選詞。

兩階段解碼過程均由注意力機制從編碼器的隱藏狀態中提取類型來引導，實現了復制和生成過程之間的自適應切換，不僅減少了生成過程的搜索空間，而且復制機制解決了ＯＯＶ 問題。

盡管所提ＣＣＧ-ＴＧ 利用代碼中的類型信息提供了有效的解決方案，但其訓練過程面臨如下困難：① 沒有為操作選擇階段提供訓練標簽；② 評價指標與目標函數無法適配。因此，進一步設計一個ＭＲＬ 方法來訓練ＣＣＧ-ＴＧ 模型。在ＭＲＬ 訓練中，ＣＣＧ-ＴＧ 模型不依賴于操作選擇階段的真實標簽，將評價指標作為學習獎勵反饋到訓練過程。

２． １ 關聯類型編碼器

關聯類型編碼器用于學習輸入源代碼的語義表示，為具有相同結構但不同語義的子樹進行信息總結。關聯類型編碼器的本質是ｎ 元Ｔｒｅｅ-ＬＳＴＭ［２０］。將類型信息作為編碼器網絡學習參數集的索引進行集成，而不是直接將類型信息作為特征輸入到編碼器中進行學習。換句話說，通過不同的類型定義不同的參數集，提供了更詳細的輸入信息。令牌類型樹包含Ｎ 個有序子節點，索引１ ～ Ｎ。對于第ｊ 個節點，其第ｋ 個子節點的隱藏狀態和存儲單元分別表示為ｈｊｋ 和ｃｊｋ。為了有效地捕獲類型信息，設置和為第ｊ 個節點的權重和偏置，為第ｊ 個節點的第ｋ 個子節點權重，ｎ 元Ｔｒｅｅ-ＬＳＴＭ 的形式化表示如式（１）～ 式（６）所示。

式中：ｆｊｋ 表示第ｊ 個節點的第ｋ 個子節點參數向量，Ｕτｊｌ，ｋ 表示第ｋ 個遺忘門中第ｊ 個節點的第ｌ 個子節點的類型權重。

２． ２ 限制類型解碼器

本節介紹解碼階段的限制類型解碼器，將類型信息合并到兩階段解碼過程中。解碼時，使用高速ＬＳＴＭ（Ｈｉｇｈｗａｙ ＬＳＴＭ，ＨＬＳＴＭ）［２１］作為基本解碼單元。采用注意力機制，將編碼器的隱藏狀態作為輸入，生成注意力向量。得到的注意力向量作為兩階段解碼過程的輸入，分別稱為操作選擇階段和詞語選擇階段。操作選擇階段在生成操作和復制操作之間進行選擇。如果選擇生成操作，將從目標字典中生成預測的單詞。如果選擇復制操作，則啟用類型限制復制機制，通過屏蔽非法語法類型來限制搜索空間。此外，使用復制衰減策略解決由注意力機制引起的對特定節點的重復關注問題。

ＨＬＳＴＭ 重復利用記憶單元堆疊層之間的空間域連接。ＨＬＳＴＭ 僅在細胞狀態的計算方式上與傳統ＬＳＴＭ 不同，如式（７）～ 式（８）所示：

ｃｌｔ＝ｄｌｔ·ｃｌ－１ｔ ＋ｆ ｌｔ·ｃｌｔ－１ ＋ｉｌｔ·ｔａｎｈ（Ｗｌｘｃ·ｘｌｔ＋Ｗｌｈｃ·ｈｌｔ－１ ＋ｂｌｃ），（７）

ｄｌｔ＝σ（Ｗｌｘｄ ｘｌｔ＋Ｗｌｃｄ ｃｌｔ－１ ＋Ｗｌｃｄ ｃｌ－１ｔ ＋ｂｌｄ）， （８）

式中：ｄｌｔ表示連接第ｌ－１ 層的細胞狀態ｃｌ－１ｔ 和第ｌ 層細胞狀態ｃｌｔ的深度門，ｆ ｌｔ表示第ｌ 層遺忘門，ｉｌｔ表示輸入門。

編碼器中根節點的隱藏狀態記為ｈｒ，初始化解碼器的隱藏狀態ｚ０ ←ｈｒ。在時間步長為ｍ 時，給定輸出ｙｍ －１ 和時間步長ｍ－１ 時解碼器的隱藏狀態ｚｍ －１，由解碼器中的ＨＬＳＴＭ 單元計算隱藏狀態ｚｍ，如式（９）所示：

ｚｍ ＝ ＨＬＳＴＭ（ｚｍ －１，ｙｍ －１）。（９）

注意力向量ｑｍ 的計算方法如式（１０）～ 式（１１）所示：

式中：Ｗｑ 為注意力機制的權重參數，αｍｊ 為注意力分數，|Ｖｘ| 為節點數。注意力向量包含標記和類型信息。

操作選擇階段根據編碼器的注意力向量和隱藏狀態決定使用復制操作還是生成操作來選擇單詞。給定時間步長ｍ 的注意力向量ｑｍ，操作選擇階段估計條件概率計算方法如式（１２）所示：

ｐ（ａｍ |ｙ*＜ｍ；Ｔｘ，τ）＝ ｓｏｆｔｍａｘ（Ｗｓ·ｑｍ）， （１２）

式中：ａｍ∈｛０，１｝，０ 和１ 分別表示復制和生成操作，Ｗｓ 表示可訓練參數。式（１２）由一個全連接層和一個ｓｏｆｔｍａｘ 激活函數實現。由于沒有操作選擇的真值標簽，采用多級ＭＲＬ 方法訓練操作選擇階段，詳細內容見２． ３ 節。

詞語選擇階段也包括兩個分支，如果在操作選擇階段選擇了生成操作，注意力向量將被輸入ｓｏｆｔｍａｘ 層來預測目標詞分布式：

ｐ（ｙｍ| ａｍ ＝１，ｙ*＜ｍ；Ｔｘ，τ）＝ ｓｏｆｔｍａｘ（Ｗｇ·ｑｍ）， （１３）

式中：Ｗｇ 表示輸出層的可訓練參數。

如果選擇復制操作，使用點積（Ｄｏｔ-ｐｒｏｄｕｃｔ）得分函數計算節點隱藏狀態和注意力向量的得分向量ｓｍ。得分向量將被輸入到ｓｏｆｔｍａｘ 層來預測輸入詞的分布，計算方法如式（１４）～ 式（１５）所示：

ｓｍ ＝［ｈ１，ｈ２，…，ｈ |Ｖｘ| ］ Ｔ ·ｑｍ， （１４）

ｐ（ｙｍ| ａｍ ＝０；ｙ*＜ｍ；Ｔｘ，τ）＝ ｓｏｆｔｍａｘ（ｓｍ）。（１５）

為了過濾非法復制的候選項，在每個解碼步驟ｍ 中使用基于語法類型的掩碼向量ｄｍ，其每個維度對應于令牌類型樹的每個節點。如果令牌類型樹中節點的掩碼表明該節點需要被過濾掉，則設置為負無窮。否則，設置為０。受限復制階段如式（１６）所示：

ｐ（ｙｍ |ａｍ ＝０；ｙ*＜ｍ；Ｔｘ，τ）＝ ｓｏｆｔｍａｘ（ｓｍ ＋ｄｍ）。（１６）

在式（１３）和式（１６）中，詞語概率分布用輸入單詞或目標字典單詞的ｓｏｆｔｍａｘ 輸出表示。在每個時間步驟中，將選擇概率最高的詞語。

使用注意力向量作為指針來引導復制過程。帶有類型限制的復制機制可能關注特定節點，忽略其他可用節點，使得某些復制的令牌在單個生成的文本中重復出現，導致內容大量冗余。因此，引入復制衰減策略來微調某些未被復制節點的概率。定義第ｉ 個樹節點在第ｍ 個解碼步驟中的衰減率為λｍ，ｉ。如果在時間步長中復制一個節點，則將其衰減率初始化為１。在下一個時間步ｍ＋１ 中，衰減率通過系數γ∈（０，１）縮放，如式（１７）所示：

λｍ ＋１，ｉ ＝γ*λｍ，ｉ。（１７）

限制類型解碼器的完整公式如下：

ｐ（ｙｍ |ａｍ ＝０；ｙ*＜ｍ；Ｔｘ，τ）＝ ｓｏｆｔｍａｘ（ｓｍ ＋ｄｍ）⊙（１－λｍ）。（１８）

２． ３ 多級強化學習

訓練所提ＣＣＧＴＧ 存在２ 個挑戰：① 缺乏操作選擇階段的基礎真值標簽；② 評估指標與目標函數之間不兼容。為了解決上述問題，提出一種ＭＲＬ 方法來訓練操作選擇階段和詞語選擇階段。

將ＭＲＬ 的目標設置為最大化預測序列ｙ*和真值序列ｙ 之間獎勵Ｒ（ｙ*，ｙ）的期望值記為Ｌｒ，可以表示為輸入元組｛Ｔｘ，τ，ｙ｝的函數：

式中：Ｙ 表示候選注釋序列的集合。獎勵Ｒ（ｙ*，ｙ）是不可微的評價指標。通過從分布ｐ（ｙ* Ｔｘ，τ）中采樣ｙ*來近似期望值。預測序列ｙ*依賴于詞語選擇階段和操作選擇階段，令ａ 表示操作選擇階段的動作。將動作ａｍ 引入時間步長ｍ 中，兩個階段的聯合分布如式（２０）所示：

式中：模型從ｙ*＜ ｍ，ａｍ，Ｔｘ ，τ 為條件的詞語分布中選擇詞語ｙ*ｍ ，而操作選擇的動作ａｍ 需要單獨計算，在詞語選擇階段和操作選擇階段之間存在多級依賴關系。Ｙ 表示所有候選注釋的搜索空間，利用該搜索空間最大化Ｌｒ 的計算代價巨大。解碼過程可近似于從概率分布中采樣，采樣方法采用Ｇｕｍｂｅｌ-Ｍａｘ 算法［２２］。經過最大采樣步長Ｍ 時，Ｌｒ 可近似于：

３ 實驗與分析

３． １ 數據集描述

本文在３ 個通用的基準數據集上評估ＣＣＧＴＧ框架的性能，分別是ＷｉｋｉＳＱＬ［２３］、ＡＴＩＳ［２４］和ＣｏＮａＬａ［２５］。ＷｉｋｉＳＱＬ 是一個數據集，包含了８０ ６５４ 個手工標注的ＳＱＬ 查詢和自然語言注釋對示例，分布在維基百科的２ ４２４ 個表中。ＳＱＬ 查詢進一步分為訓練集（５ ６３５ 個）、開發集（８ ４２１ 個）和測試集（１ ５８７ 個）。ＡＴＩＳ 以ｌａｍｂｄａｃａｌｃｕｌｕｓ 的形式存在，是一個包含４ ４３４ 個訓練實例、４９１ 個開發實例和４４８ 個測試實例的５ ３７３ 個飛行信息查詢集合。ＣｏＮａＬａ 是一個與ｐｙｔｈｏｎ 相關的數據集，使用其原始版本，其中包括從Ｓｔａｃｋ Ｏｖｅｒｆｌｏｗ 抓取的２ ８７９ 個片段對，分為２ ３７９ 個訓練實例和５００ 個測試實例。從其訓練集中提取了２００ 個隨機樣本作為開發集。

根據抽象語法描述語言（Ａｂｓｔｒａｃｔ Ｓｙｎｔａｘ Ｄｅ-ｓｃｒｉｐｔｉｏｎ Ｌａｎｇｕａｇｅ，ＡＳＤＬ）語法，將ＷｉｋｉＳＱＬ 的ＳＱＬ查詢轉換成具有６ 種類型的ＡＳＴ，其中ＳＱＬ 查詢的ＡＳＤＬ 語法在文獻［２５］提出。根據文獻［２４］提出的方法，將ＡＴＩＳ 的ｌａｍｂｄａ-ｃａｌｃｕｌｕｓ 邏輯形式轉換為７ 種類型的樹結構。ＣｏＮａＬａ 的ｐｙｔｈｏｎ 代碼段則按照ｐｙｔｈｏｎ 的官方ＡＳＤＬ 語法轉化為２０ 種類型的ＡＳＴ。這些數據集的ＡＳＴ 數據如表１ 所示，其中顯示了ＡＳＴ 的最大深度（Ｍａｘ-Ｔｒｅｅ-Ｄｅｐｔｈ）、ＡＳＴ 中的最大子節點數（Ｍａｘ-ＣｈｉｌｄＣｏｕｎｔ）和ＡＳＴ 中的平均樹節點數（Ａｖｇ-Ｔｒｅｅ-ＮｏｄｅＣｏｕｎｔ）。

３． ２ 基準模型

選擇具有代表性的代碼注釋生成設計作為比較基準。選擇Ｃｏｄｅ-ＮＮ［１０］的原因在于其第一個將源代碼轉化為句子的模型；指針生成器（ＰＧ）是一種基于Ｓｅｑ２Ｓｅｑ 的模型，具有標準的復制機制。此外，選擇了Ｔｒｅｅ-ｔｏ-Ｓｅｑｕｅｎｃｅ （Ｔｒｅｅ２Ｓｅｑ）模型［２６］。在Ｔｒｅｅ２Ｓｅｑ 模型中加入了復制機制，作為基準模型（Ｔ２Ｓ＋ＣＰ）。Ｇｒａｐｈ-ｔｏ-Ｓｅｑｕｅｎｃｅ（Ｇｒａｐｈ２Ｓｅｑ）［２７］作為基于圖的基準模型進行比較，因為沒有發布數據預處理的代碼，于是將ＳＱＬ 數據源代碼的樹狀結構表示轉換成有向圖，用于復制。

３． ３ 超參數設置

Ｃｏｄｅ-ＮＮ 的嵌入大小和隱藏大小均為４００，使用隨機均勻初始化器進行初始化，初始化權重為０． ３５，并采用隨機梯度下降算法訓練模型，學習率為０． ５。Ｐ-Ｇ 采用１２８ 嵌入大小、２５６ 隱藏大小，并使用０． ０２ 初始化權重的隨機均勻初始化器進行初始化，采用Ａｄａｍ 優化器訓練模型，學習率為０． ００１。Ｇｒａｐｈ２Ｓｅｑ 采用１００ 嵌入大小、２００ 隱藏大小，并使用截斷正態初始化器進行初始化。使用Ａｄａｍ 優化器以０． ００１ 的學習率訓練模型。

使用Ｘａｖｉｅｒ 初始化器［２８］初始化提出的ＣＣＧ-ＴＧ框架的參數。嵌入的大小與ＬＳＴＭ 狀態和隱藏層的維度相當，ＡＴＩＳ 和ＣｏＮａＬａ 的維度為６４，ＷｉｋｉＳＱＬ 的維度為１２８。ＣＣＧ-ＴＧ 使用學習率為０． ００１ 的Ａｄａｍ優化器進行訓練。為了縮小詞匯量，源代碼詞匯和目標注釋詞匯中都不保留低頻詞。ＷｉｋｉＳＱＬ 和ＡＴＩＳ 的最小閾值頻率設為４，而ＣｏＮａＬａ 的最小閾值頻率設為２。所有基準模型和所提出模型的最小批大小都設為３２。

３． ４ 評估標準

使用基于ｎ-ｇｒａｍ 的ＢＬＥＵ［２９］和ＲＯＵＧＥ 評價來評估生成評論的質量，并在基于ＭＲＬ 的訓練中使用上述評價指標來設置獎勵。ＢＬＥＵ-４、ＲＯＵＧＥ-２ 和ＲＯＵＧＥ-Ｌ 被用來評估模型的性能，因為其為基于上下文的文本生成中最具代表性的評估指標。

３． ５ 不同基準模型對比

圖３ 給出了基準框架和所提出的框架的評估結果。由ＭＲＬ 可以切換到不同的獎勵函數，因此同時評估了框架的ＢＬＥＵ 定向訓練和ＲＯＵＧＥ 定向訓練，分別稱為ＣＣＧ-ＴＧ（Ｂ）和ＣＣＧ-ＴＧ（Ｒ）。相比之下，ＣＣＧ-ＴＧ（Ｂ）和ＣＣＧ-ＴＧ（Ｒ）的結果略有不同。不過，這兩個結果都明顯高于所有選定的同類結果，表明所提出的框架在所有使用不同編程語言的數據集上都具有最佳的生成質量。

具體而言，與Ｔ２Ｓ＋ＣＰ 相比，ＣＣＧ-ＴＧ 在ＷｉｋｉＳＱＬ上的ＢＬＥＵ-４ 指標提高了４％，ＲＯＵＧＥ-２ 指標提高了４． １％，ＲＯＵＧＥ-Ｌ 指標提高了２． ８％。對于與ｌａｍｂｄａ計算相關的語料庫，ＣＣＧ-ＴＧ 在ＡＴＩＳ 上的ＢＬＥＵ-４ 提高了３． ５％、ＲＯＵＧＥ-２ 提高了３． ７％、ＲＯＵＧＥ-Ｌ 提高了３． ６％。由于ＡＴＩＳ 中ｌａｍｂｄａ-ｃａｌｃｕｌｕｓ 邏輯形式的子樹差異很大，因此其性能比其他兩個語料庫更難提高。在與ｐｙｔｈｏｎ 相關的語料庫中，與基準中最好的語料庫相比，ＣＣＧ-ＴＧ 在ＣｏＮａＬａ 上的ＢＬＥＵ-４ 提高了１． ２％ ，ＲＯＵＧＥ-２ 提高了１． ８％ ，ＲＯＵＧＥ-Ｌ 提高了０． ７％ 。ＣｏＮａＬａ 的評估得分和改進幅度較低的原因在于語法結構復雜和缺乏足夠的訓練樣本，即僅有２ １７４ 個訓練樣本中的２０ 種類型，導致所提方法沒有充分發揮其優勢。在這兩個數據集上，ＣＣＧ-ＴＧ 模型仍然優于對比算法。

３． ６ 消融實驗

為了研究模型中每個組件的性能，對開發集進行了消融實驗。由于所有實驗結果趨勢相同，因此省略了其他數據集上的結果，僅介紹ＷｉｋｉＳＱＬ 數據集上的結果。模型的變體如下：

① ＣＣＧ-ＴＡ：移除類型相關編碼器，改用樹狀ＬＳＴＭ。

② ＣＣＧ-ＭＶ：移除掩碼向量ｄｍ。

③ ＣＣＧ-ＣＤ：刪除復制衰減策略。

④ ＣＣＧ-ＲＬ：用ＭＬＥ 替換，將操作選擇的動作邊緣化。

圖４ 給出了消融實驗的結果。總體而言，所有組件都是ＣＣＧ-ＴＧ 框架必需的，并對最終輸出做出了重要貢獻。與ＣＣＧ-ＴＡ 相比，標準ＣＣＧ-ＴＧ 的高性能得益于關聯類型編碼器，它能自適應地處理不同類型的節點，并提取出更好的源代碼摘要。ＣＣＧ-ＭＶ 和ＣＣＧ-ＣＤ 的性能下降表明了類型限制掩碼向量和復制衰減策略的優勢。共同確保了復制和選詞的準確執行。ＣＣＧ-ＴＧ 和ＣＣＧ-ＲＬ 的比較表明了對所提出的框架訓練的必要性。

４ 結束語

本文所提模型通過關聯類型編碼器和限制類型解碼器，充分利用了與代碼相關的類型信息，為模型的訓練提供了分層強化學習方法。實驗結果表明，與其他方法相比，本文所提模型有了顯著的改進，在軟件開發中具有很強的應用潛力。在未來的工作中，將通過設計高效的學習算法，將所提出模型擴展到更復雜的環境中。

參考文獻

［１］ ＣＡＩ Ｒ Ｃ，ＬＩＡＮＧ Ｚ Ｈ，ＸＵ Ｂ Ｙ，ｅｔ ａｌ． ＴＡＧ：ＴｙｐｅＡｕｘｉｌｉａｒｙ Ｇｕｉｄｉｎｇ ｆｏｒ Ｃｏｄｅ Ｃｏｍｍｅｎｔ Ｇｅｎｅｒａｔｉｏｎ［Ｃ］∥５８ｔｈ Ａｎｎｕａｌ Ｍｅｅｔｉｎｇ ｏｆ ｔｈｅ Ａｓｓｏｃｉａｔｉｏｎ ｆｏｒ ＣｏｍｐｕｔａｔｉｏｎａｌＬｉｎｇｕｉｓｔｉｃｓ． Ｓｔｒｏｕｄｓｂｕｒｇ：ＡＣＬ，２０２０：２９１－３０１．

［２］ 王瀚森，王婷，陳鐵明，等． 融合語法和語義的代碼注釋生成方法［Ｊ］． 小型微型計算機系統，２０２３，４４（１１）：２４５７－２４６３．

［３］ 陳翔，于池，楊光，等． 基于雙重信息檢索的Ｂａｓｈ 代碼注釋生成方法［Ｊ］． 軟件學報，２０２３，３４（３）：１３１０－１３２９．

［４］ ＸＵ Ｋ，ＷＵ Ｌ Ｆ，ＷＡＮＧ Ｚ Ｇ，ｅｔ ａｌ． ＳＱＬｔｏＴｅｘｔ Ｇｅｎｅｒａｔｉｏｎｗｉｔｈ ＧｒａｐｈｔｏＳｅｑｕｅｎｃｅ Ｍｏｄｅｌ ［Ｃ］∥２０１８ Ｃｏｎｆｅｒｅｎｃｅ ｏｎＥｍｐｉｒｉｃａｌ Ｍｅｔｈｏｄｓ ｉｎ Ｎａｔｕｒａｌ Ｌａｎｇｕａｇｅ Ｐｒｏｃｅｓｓｉｎｇ．Ｂｒｕｓｓｅｌｓ：ＡＣＬ，２０１８：９３１－９３６．

［５］ ＦＥＲＮＡＮＤＥＳ Ｐ，ＡＬＬＡＭＡＮＩＳ Ｍ，ＢＲＯＣＫＳ Ｍ． ＳｔｒｕｃｔｕｒｅｄＮｅｕｒａｌ Ｓｕｍｍａｒｉｚａｔｉｏｎ［Ｃ］∥７ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅｏｎ Ｌｅａｒｎｉｎｇ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ． Ｎｅｗ Ｏｒｌｅａｎｓ：ＩＣＬＲ，２０１９：１－１８．

［６］ 蔡瑞初，張盛強，許柏炎． 基于結構感知混合編碼模型的代碼注釋生成方法［Ｊ］． 計算機工程，２０２３，４９（２）：６１－６９．

［７］ 段瑞雪，劉鑫，張仰森． 融合依存關系的對話關系抽取［Ｊ］． 重慶理工大學學報（自然科學），２０２３，３７ （７）：２１７－２２６．

［８］ 王素芳，吳晨，陳志成． 智能節目輔助主持機器人系統與推薦算法［Ｊ］． 重慶理工大學學報（自然科學），２０２２，３６（１２）：１０２－１０９．

［９］ ＡＴＴＩＡＳ Ｄ Ｍ，ＣＯＨＥＮ Ｗ Ｗ． Ｎａｔｕｒａｌ Ｌａｎｇｕａｇｅ Ｍｏｄｅｌｓｆｏｒ Ｐｒｅｄｉｃｔｉｎｇ Ｐｒｏｇｒａｍｍｉｎｇ Ｃｏｍｍｅｎｔｓ［Ｃ］∥５１ｓｔ ＡｎｎｕａｌＭｅｅｔｉｎｇ ｏｆ ｔｈｅ Ａｓｓｏｃｉａｔｉｏｎ ｆｏｒ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｌｉｎｇｕｉｓｔｉｃｓ．Ｓｏｆｉａ：ＡＣＬ，２０１３：３５－４０．

［１０］ＩＹＥＲ Ｓ，ＩＯＡＮＮＩＳ Ｋ，ＣＨＥＵＮＧ Ａ，ｅｔ ａｌ． ＳｕｍｍａｒｉｚｉｎｇＳｏｕｒｃｅ Ｃｏｄｅ Ｕｓｉｎｇ ａ Ｎｅｕｒａｌ Ａｔｔｅｎｔｉｏｎ Ｍｏｄｅｌ［Ｃ］∥５４ｔｈＡｎｎｕａｌ Ｍｅｅｔｉｎｇ ｏｆ ｔｈｅ Ａｓｓｏｃｉａｔｉｏｎ ｆｏｒ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｌｉｎｇｕｉｓｔｉｃｓ． Ｂｅｒｌｉｎ：ＡＣＬ，２０１６：２０７３－２０８３．

［１１］彭斌，李征，劉勇，等． 基于卷積神經網絡的代碼注釋自動生成方法［Ｊ］． 計算機科學，２０２１，４８ （１２ ）：１１７－１２４．

［１２］ ＰＡＳＣＡＲ Ｌ，ＢＲＵＮＴＩＮＫ Ｍ，ＢＡＣＣＨＥＬＬＩ Ａ． ＣｌａｓｓｉｆｙｉｎｇＣｏｄｅ Ｃｏｍｍｅｎｔｓ ｉｎ Ｊａｖａ Ｓｏｆｔｗａｒｅ Ｓｙｓｔｅｍｓ［Ｊ］． ＥｍｐｉｒｉｃａｌＳｏｆｔｗａｒｅ Ｅｎｇｉｎｅｅｒｉｎｇ，２０１９，２４（３）：１４９９－１５３７．

［１３］ＡＬＯＮ Ｕ，ＢＲＯＤＹ Ｓ，ＬＥＶＹ Ｏ，ｅｔ ａｌ． Ｃｏｄｅ２Ｓｅｑ：ＧｅｎｅｒａｔｉｎｇＳｅｑｕｅｎｃｅｓ ｆｒｏｍ Ｓｔｒｕｃｔｕｒｅｄ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｏｆ Ｃｏｄｅ［Ｃ］∥７ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｌｅａｒｎｉｎｇ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ．Ｎｅｗ Ｏｒｌｅａｎｓ：ＩＣＬＲ，２０１９：１－２２．

［１４］ＨＵ Ｘ，ＬＩ Ｇ，ＸＩＡ Ｘ，ｅｔ ａｌ． Ｄｅｅｐ Ｃｏｄｅ Ｃｏｍｍｅｎｔ Ｇｅｎｅｒａｔｉｏｎ［Ｃ］∥２６ｔｈ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｐｒｏｇｒａｍ Ｃｏｍｐｒｅｈｅｎｓｉｏｎ． ＮｅｗＹｏｒｋ：ＡＣＭ，２０１８：２００－２１０．

［１５］ＨＡＱＵＥ Ｓ，ＬＥＣＬＡＩＲ Ａ，ＷＵ Ｌ Ｆ，ｅｔ ａｌ． Ｉｍｐｒｏｖｅｄ ＡｕｔｏｍａｔｉｃＳｕｍｍａｒｉｚａｔｉｏｎ ｏｆ Ｓｕｂｒｏｕｔｉｎｅｓ ｖｉａ Ａｔｔｅｎｔｉｏｎ ｔｏ Ｆｉｌｅ Ｃｏｎｔｅｘｔ［Ｃ］∥１７ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍｉｎｉｎｇ Ｓｏｆｔｗａｒｅ Ｒｅｐｏｓｉｔｏｒｉｅｓ． Ｓｅｏｕｌ：ＡＣＭ，２０２０：３００－３１０．

［１６］ＳＥＥ Ａ，ＬＩＵ Ｐ Ｊ，ＭＡＮＮＩＮＧ Ｃ Ｄ． Ｇｅｔ ｔｏ ｔｈｅ Ｐｏｉｎｔ：Ｓｕｍｍａｒｉｚａｔｉｏｎ ｗｉｔｈ Ｐｏｉｎｔｅｒｇｅｎｅｒａｔｏｒ Ｎｅｔｗｏｒｋｓ［Ｃ］∥５５ｔｈ ＡｎｎｕａｌＭｅｅｔｉｎｇ ｏｆ ｔｈｅ Ａｓｓｏｃｉａｔｉｏｎ ｆｏｒ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｌｉｎｇｕｉｓｔｉｃｓ．Ｖａｎｃｏｕｖｅｒ：ＡＣＬ，２０１７：１０７３－１０８３．

［１７］ＶＩＮＹＡＬＳ Ｏ，ＦＯＲＴＵＮＡＴＯ Ｍ，ＪＡＩＴＬＹ Ｎ． Ｐｏｉｎｔｅｒ Ｎｅｔｗｏｒｋｓ［Ｃ］∥Ａｄｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ２８：Ａｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ ＰｒｏｃｅｓｓｉｎｇＳｙｓｔｅｍｓ． Ｍｏｎｔｒｅａｌ：ＮＩＰＳ，２０１５：２６９２－２７００．

［１８］ＧＵ Ｊ Ｔ，ＬＵ Ｚ Ｄ，ＬＩ Ｈ，ｅｔ ａｌ． Ｉｎｃｏｒｐｏｒａｔｉｎｇ Ｃｏｐｙｉｎｇ Ｍｅｃｈａｎｉｓｍ ｉｎ ＳｅｑｕｅｎｃｅｔｏＳｅｑｕｅｎｃｅ Ｌｅａｒｎｉｎｇ［Ｃ］∥５４ｔｈ ＡｎｎｕａｌＭｅｅｔｉｎｇ ｏｆ ｔｈｅ Ａｓｓｏｃｉａｔｉｏｎ ｆｏｒ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｌｉｎｇｕｉｓｔｉｃｓ．Ｂｅｒｌｉｎ：ＡＣＬ，２０１６：１６３１－１６４０．

［１９］胡清豐，魏赟，鄔春學． 基于指針生成網絡的中文對話文本摘要模型［Ｊ］． 計算機系統應用，２０２３，３２ （１）：２２４－２３２．

［２０］ＴＡＩ Ｋ Ｓ，ＳＯＣＨＥＲ Ｒ，ＭＡＮＮＩＮＧ Ｃ Ｄ． Ｉｍｐｒｏｖｅｄ ＳｅｍａｎｔｉｃＲｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｆｒｏｍ Ｔｒｅｅｓｔｒｕｃｔｕｒｅｄ Ｌｏｎｇ Ｓｈｏｒｔ ＴｅｒｍＭｅｍｏｒｙ Ｎｅｔｗｏｒｋｓ［Ｃ］∥５３ｒｄ Ａｎｎｕａｌ Ｍｅｅｔｉｎｇ ｏｆ ｔｈｅ Ａｓｓｏｃｉａｔｉｏｎ ｆｏｒ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｌｉｎｇｕｉｓｔｉｃｓ． Ｂｅｒｌｉｎ：ＡＣＬ，２０１５：１５５６－１５６６．

［２１］ＺＨＡＮＧ Ｙ，ＣＨＥＮ Ｇ Ｇ，ＹＵ Ｄ，ｅｔ ａｌ． Ｈｉｇｈｗａｙ Ｌｏｎｇ ＳｈｏｒｔＴｅｒｍ Ｍｅｍｏｒｙ ＲＮＮＳ ｆｏｒ Ｄｉｓｔａｎｔ Ｓｐｅｅｃｈ Ｒｅｃｏｇｎｉｔｉｏｎ［Ｃ］∥２０１６ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｃｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ． Ｓｈａｎｇｈａｉ：ＩＥＥＥ，２０１６：５７５５－５７５９．

［２２］ＨＵＩＪＢＥＮ Ｉ Ａ，ＫＯＯＬ Ｗ，ＰＡＯＬＵＳ Ｍ Ｂ，ｅｔ ａｌ． Ａ Ｒｅｖｉｅｗｏｆ ｔｈｅ Ｇｕｍｂｅｌｍａｘ Ｔｒｉｃｋ ａｎｄ Ｉｔｓ Ｅｘｔｅｎｓｉｏｎｓ ｆｏｒ ＤｉｓｃｒｅｔｅＳｔｏｃｈａｓｔｉｃｉｔｙ ｉｎ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ［Ｊ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，２０２３，４５（２）：１３５３－１３７１．

［２３］ＺＨＯＮＧ Ｖ，ＸＩＯＮＧ Ｃ Ｍ，ＳＯＣＨＥＲ Ｒ． Ｓｅｑ２ＳＱＬ：ＧｅｎｅｒａｔｉｎｇＳｔｒｕｃｔｕｒｅｄ Ｑｕｅｒｉｅｓ ｆｒｏｍ Ｎａｔｕｒａｌ Ｌａｎｇｕａｇｅ Ｕｓｉｎｇ Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ［ＥＢ／ ＯＬ］． （２０１７－１１－０９）［２０２４－０１－０５］．ｈｔｔｐｓ：∥ａｒｘｉｖ． ｏｒｇ／ ａｂｓ／１７０９． ００１０３．

［２４］ＬＩ Ｄ，ＭＩＲＥＬＬＡ Ｌ． Ｌａｎｇｕａｇｅ ｔｏ Ｌｏｇｉｃａｌ ｆｏｒｍ ｗｉｔｈ ＮｅｕｒａｌＡｔｔｅｎｔｉｏｎ［Ｃ］∥５４ｔｈ Ａｎｎｕａｌ Ｍｅｅｔｉｎｇ ｏｆ ｔｈｅ Ａｓｓｏｃｉａｔｉｏｎｆｏｒ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｌｉｎｇｕｉｓｔｉｃｓ． Ｂｅｒｌｉｎ：ＡＣＬ，２０１６：３３－４３．

［２５］ＰＥＮＧＣＨＥＮＧ Ｙ，ＧＲＡＨＡＭ Ｎ． Ａ Ｓｙｎｔａｃｔｉｃ Ｎｅｕｒａｌ Ｍｏｄｅｌｆｏｒ Ｇｅｎｅｒａｌｐｕｒｐｏｓｅ Ｃｏｄｅ Ｇｅｎｅｒａｔｉｏｎ［Ｃ］∥５５ｔｈ ＡｎｎｕａｌＭｅｅｔｉｎｇ ｏｆ ｔｈｅ Ａｓｓｏｃｉａｔｉｏｎ ｆｏｒ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｌｉｎｇｕｉｓｔｉｃｓ．Ｂｅｒｌｉｎ：ＡＣＬ，２０１７：４４０－ ４５０．

［２６］ＡＫＩＫＯ Ｅ，ＫＡＺＵＭＡ Ｈ，ＹＯＳＨＩＭＡＳＡ Ｔ． ＴｒｅｅｔｏＳｅｑｕｅｎｃｅＡｔｔｅｎｔｉｏｎａｌ Ｎｅｕｒａｌ Ｍａｃｈｉｎｅ Ｔｒａｎｓｌａｔｉｏｎ［Ｃ］∥５４ｔｈ ＡｎｎｕａｌＭｅｅｔｉｎｇ ｏｆ ｔｈｅ Ａｓｓｏｃｉａｔｉｏｎ ｆｏｒ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｌｉｎｇｕｉｓｔｉｃｓ．Ｂｅｒｌｉｎ：ＡＣＬ，２０１６：８２３－８３３．

［２７］ＫＵＮ Ｘ，ＬＩＮＧＦＥＩ Ｗ，ＺＨＩＧＵＯ Ｗ，ｅｔ ａｌ． Ｇｒａｐｈ２Ｓｅｑ：Ｇｒａｐｈ ｔｏ Ｓｅｑｕｅｎｃｅ Ｌｅａｒｎｉｎｇ ｗｉｔｈ Ａｔｔｅｎｔｉｏｎｂａｓｅｄ ＮｅｕｒａｌＮｅｔｗｏｒｋｓ［ＥＢ／ ＯＬ］． （２０１８ －１２ －０３）［２０２４ －０１ －０５］．ｈｔｔｐｓ：∥ａｒｘｉｖ． ｏｒｇ／ ａｂｓ／１８０４． ００８２３．

［２８］ＸＡＶＩＥＲ Ｇ，ＹＯＳＨＵＡ Ｂ． Ｕｎｄｅｒｓｔａｎｄｉｎｇ ｔｈｅ Ｄｉｆｆｉｃｕｌｔｙ ｏｆＴｒａｉｎｉｎｇ Ｄｅｅｐ Ｆｅｅｄｆｏｒｗａｒｄ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ［Ｃ］∥１３ｔｈＩｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ ａｎｄ Ｓｔａｔｉｓｔｉｃｓ． Ｓａｒｄｉｎｉａ：ＪＬＭＲ，２０１０：２４９－２５６．

［２９］ＫＩＳＨＯＲＥ Ｐ，ＳＡＬＩＭ Ｒ，ＴＯＤＤ Ｗ，ｅｔ ａｌ． Ｂｌｅｕ：Ａ Ｍｅｔｈｏｄｆｏｒ Ａｕｔｏｍａｔｉｃ Ｅｖａｌｕａｔｉｏｎ ｏｆ Ｍａｃｈｉｎｅ Ｔｒａｎｓｌａｔｉｏｎ［Ｃ］∥４０ｔｈ Ａｎｎｕａｌ Ｍｅｅｔｉｎｇ ｏｆ ｔｈｅ Ａｓｓｏｃｉａｔｉｏｎ ｆｏｒ ＣｏｍｐｕｔａｔｉｏｎａｌＬｉｎｇｕｉｓｔｉｃｓ． Ｂｅｒｌｉｎ：ＡＣＬ，２００２：３１１－３１８．

作者簡介：

劉 利 男，（１９８８—），碩士，講師。主要研究方向：數據挖掘、大數據技術、人工智能。

呂韋岑 男，（１９８７—）碩士，講師。主要研究方向：電子技術應用、物聯網技術。

汪 洋 男，（１９８７—），碩士，講師。主要研究方向：人工智能、數據挖掘、軟件技術。

基金項目：瀘州市科技計劃項目（２０２１－ＪＹＪ－９６）