Text-to-SQL文本信息處理技術研究綜述

摘 要：信號與信息處理的需求日益增加，離不開數據處理技術，數據處理需要數據庫的支持，然而沒有經過訓練的使用者會因為不熟悉數據庫操作產生諸多問題。文本轉結構化查詢語言（Ｔｅｘｔ ｔｏ Ｓｔｒｕｃｔｕｒｅｄ Ｑｕｅｒｙ Ｌａｎｇｕａｇｅ，Ｔｅｘｔ-ｔｏ-ＳＱＬ）的出現，使用戶無需掌握結構化查詢語言（Ｓｔｒｕｃｔｕｒｅｄ Ｑｕｅｒｙ Ｌａｎｇｕａｇｅ，ＳＱＬ） 也能夠熟練操作數據庫。介紹Ｔｅｘｔ-ｔｏ-ＳＱＬ 的研究背景及面臨的挑戰；介紹Ｔｅｘｔ-ｔｏ-ＳＱＬ 關鍵技術、基準數據集、模型演變及最新研究進展，關鍵技術包括Ｔｒａｎｓｆｏｒｍｅｒ 等主流技術，用于模型訓練的基準數據集包括ＷｉｋｉＳＱＬ 和Ｓｐｉｄｅｒ；介紹Ｔｅｘｔ-ｔｏ-ＳＱＬ 不同階段模型的特點，詳細闡述Ｔｅｘｔ-ｔｏ-ＳＱＬ 最新研究成果的工作原理，包括模型構建、解析器設計及數據集生成；總結Ｔｅｘｔ-ｔｏ-ＳＱＬ 未來的發展方向及研究重點。

關鍵詞：文本轉結構化查詢語言；解析器；文本信息處理；數據庫；深度學習

中圖分類號：ＴＰ３９１． １ 文獻標志碼：Ａ 開放科學（資源服務）標識碼（ＯＳＩＤ）：

文章編號：１００３－３１０６（２０２４）０５－１０５３－１０

０ 引言

隨著信號與信息處理領域（圖像處理、文本處理、數據處理、語音處理等）研究工作的快速發展，需要考慮如何高效和準確地處理、查詢、存儲數據信息，因此數據庫成為首選工具。專業人員可以熟練使用結構化查詢語言（Ｓｔｒｕｃｔｕｒｅｄ Ｑｕｅｒｙ Ｌａｎｇｕａｇｅ，ＳＱＬ）對數據庫中的信息進行增刪改查，但是越來越多的應用開始投入到信號與信息處理領域，并非所有使用者都擁有專業的數據庫使用技巧，所以將用戶輸入的文本自動轉換為機器可執行ＳＱＬ 的文本轉結構化查詢語言（Ｔｅｘｔ ｔｏ Ｓｔｒｕｃｔｕｒｅｄ Ｑｕｅｒｙ Ｌａｎｇｕａｇｅ，ＴｅｘｔｔｏＳＱＬ）文本信息處理技術產生并蓬勃發展［１］。

Ｔｅｘｔ-ｔｏ-ＳＱＬ 研究面臨的挑戰主要集中在３ 個方面：① 對輸入的文本進行預處理，理解輸入的自然語言的含義，提取文本涉及的數據庫關鍵字、列名和表名，減小模型訓練難度；② 將經過預處理的文本轉換成一種中間表示，ＳＱＬ 的作用并非是方便閱讀，而是提高計算機處理數據庫的效率，它與文本之間存在巨大的差距，所以需要建立文本與數據庫語句之間的映射關系，提高文本轉化數據庫語句的效率；③ 將中間表示轉化為最終的ＳＱＬ 語句。

傳統的Ｔｅｘｔ-ｔｏ-ＳＱＬ 方法雖然有效，但需要耗費大量的人力，需要提前為各種場景下的ＳＱＬ 設置轉換模板，過程十分繁瑣［２］，并且傳統方法沒有解決上述Ｔｅｘｔ-ｔｏ-ＳＱＬ 面臨的挑戰，轉換模板沒有設置文本與ＳＱＬ 之間的中間表示，導致文本與ＳＱＬ 之間的轉換效率低下。隨著近年來深度學習的崛起，深度學習逐漸運用到Ｔｅｘｔ-ｔｏ-ＳＱＬ 中。在眾多深度學習模型中，循環神經網絡模型在這一領域的效果最佳，因為文本語言和ＳＱＬ 都可以當作序列信息，需要結合前后文信息預測當前信息，所以主要用于處理序列信息（文本、視頻和音頻等）的循環神經網絡模型在Ｔｅｘｔ-ｔｏ-ＳＱＬ 研究中效果較好。

１ 關鍵技術

文本和ＳＱＬ 都是序列信息，使用處理序列信息的序列模型訓練文本效果較好，本節針對常見的序列模型以及模型評判標準進行介紹。Ｔｅｘｔ-ｔｏ-ＳＱＬ工作過程示例如圖１ 所示。

長短期記憶（Ｌｏｎｇ ＳｈｏｒｔＴｅｒｍ Ｍｅｍｏｒｙ，ＬＳＴＭ）［３］神經網絡是循環神經網絡的變體，通過內部的４ 類門控單元：輸入門控單元、遺忘門控單元、候選記憶門控單元和輸出門控單元對序列信息進行篩選。ＬＳＴＭ 單元在循環神經網絡基礎上，除了隱藏狀態（對應短期記憶），還加入了記憶單元（對應長期記憶），解決了序列信息作為輸入面臨的長期信息保存和短期輸入缺失的問題。

門控循環單元（Ｇａｔｅｄ Ｒｅｃｕｒｒｅｎｔ Ｕｎｉｔ，ＧＲＵ）［４］是ＬＳＴＭ 神經網絡的簡化版本，將ＬＳＴＭ 神經網絡內部的４ 類門控單元簡化為２ 個門控單元：重置門控單元和更新門控單元。雖然ＧＲＵ 針對簡易輸入的訓練速度更快、效果更好，但面對輸入文本包含復雜語法和語義信息的情況，ＬＳＴＭ 神經網絡是更好的選擇。

Ｔｒａｎｓｆｏｒｍｅｒ［５］模型是當前主流深度學習模型，諸多文本處理工作都是基于Ｔｒａｎｓｆｏｒｍｅｒ 完成的。Ｔｒａｎｓｆｏｒｍｅｒ 是一種基于編碼器－ 解碼器的架構，編碼器用于編碼輸入序列，將輸入序列變成向量形式并添加位置編碼，然后將其編碼為隱藏狀態輸出到解碼器中。解碼器除了接收編碼器的輸出，在每一個當前時間步處理序列信息時，還會接受來自上一個時間步的輸出，解碼器也會將輸入信息轉變為向量并添加位置編碼。基于Ｔｒａｎｓ-ｆｏｒｍｅｒ 模型的Ｔｅｘｔ-ｔｏ-ＳＱＬ 模型工作原理如圖２所示。

Ｂｅｒｔ［６］模型是Ｔｒａｎｓｆｏｒｍｅｒ 模型的變體，Ｔｒａｎｓ-ｆｏｒｍｅｒ 基于編碼器－解碼器架構，Ｂｅｒｔ 模型雖然僅有編碼器架構，但其內部的參數是Ｔｒａｎｓｆｏｒｍｅｒ 的數倍，它是一種預訓練微調模型，設置好預訓練任務對模型進行訓練，訓練后的模型僅需要針對不同的任務對輸出層進行微調。Ｂｅｒｔ 模型具有極高的泛化性，基于Ｂｅｒｔ 的Ｔｅｘｔ-ｔｏ-ＳＱＬ 模型工作原理如圖３所示。

域外數據（Ｏｕｔ ｏｆ Ｄｏｍａｉｎ）。數據集分為訓練集、開發集和測試集。訓練集用于訓練模型，開發集用于驗證模型，測試集用于最后測試模型。因為測試集只能測試一次，不能用于多次訓練測試模型好壞，所以在數據集比較大的情況下，可以劃分出開發集對模型訓練效果進行驗證。域外數據是指訓練集與開發集中不同的部分，過多會導致訓練難度變大。

ＢＬＥＵ 分數（Ｂｉｌｉｎｇｕａｌ Ｅｖａｌｕａｔｉｏｎ ＵｎｄｅｒｓｔｕｄｙＳｃｏｒｅ）［７］用于評估序列模型語義解析的好壞，將文本解析為數據庫語句的好壞程度通常用ＢＬＥＵ 分數去評估。分數值介于０ ～ １，越接近１ 代表解析結果越接近參考值。除了ＢＬＥＵ 分數，還有ＭＥＴＥＯＲ、ＲＯＵＧＥ 和ＰＰＬ 等標準也可以評價解析模型的好壞，根據不同需求選擇不同的評價指標。

２ 基準數據集

高質量的數據集能夠直接決定模型訓練的效果，在Ｔｅｘｔ-ｔｏ-ＳＱＬ 領域，用于絕大多數模型檢驗常用的基準數據集為ＷｉｋｉＳＱＬ［８］和Ｓｐｉｄｅｒ［９］數據集，其為大規模、多領域的基準測試集，也是使用最為廣泛的基準數據集。

ＷｉｋｉＳＱＬ 是目前文本轉數據庫語句領域使用最頻繁的基準數據集，包含約２５ ０００ 個維基百科數據表和８０ ０００ 個由人工創建的自然語言與ＳＱＬ 句子對，數據集中每一行由一個自然語言文本、一個文本對應的ＳＱＬ 查詢還有ＳＱＬ 查詢中涉及的列和表組成。ＷｉｋｉＳＱＬ 中的ＳＱＬ 復雜性較低，因為其內部沒有使用復雜的ＳＱＬ 子句，如：“ＪＯＩＮ”“ＧＲＯＵＰ ＢＹ”“ＯＲＤＥＲ ＢＹ”“ＵＮＩＯＮ”“ＩＮＴＥＲＳＥＣＴＩＯＮ”等，且在執行查詢語句時不允許在單個查詢中選擇多個列。因此在訓練模型時，ＷｉｋｉＳＱＬ 的訓練難度比較低，這是ＷｉｋｉＳＱＬ 使用率最高的原因。

Ｓｐｉｄｅｒ 是一個大規模的、復雜的跨領域數據集，包含來自１３８ 個不同領域的２００ 多個關系數據庫。相較于ＷｉｋｉＳＱＬ，Ｓｐｉｄｅｒ 數據集具有更多復雜的嵌套查詢子句、更多的域外數據，讓訓練更加困難。經過Ｓｐｉｄｅｒ 訓練的機器學習模型可以變得更加泛化，研究人員廣泛依賴它訓練可以生成復雜ＳＱＬ 查詢的模型，適應更多的任務。還有數據集針對Ｓｐｉｄｅｒ做了擴展，用于訓練指定任務。Ｓｐｉｄｅｒ-ｄｋ 擴展了Ｓｐｉｄｅｒ，用于訓練跨領域泛化模型，探索模型在面對不同領域中專業名詞的表現；Ｓｐｉｄｅｒ-ｓｙｎ 側重于訓練模型區分同義詞、反義詞的性能。

此外，其他數據集，例如：ＫａｇｇｌｅＤＢＱＡ 是一個跨域數據集［１０］，雖然規模比不上ＷｉｋｉＳＱＬ 和Ｓｐｉｄｅｒ，但它是從Ｋａｇｇｌｅ 中提取出來的，包含相當多工業界的真實數據。

３ 模型演變

本節將按時間演變介紹文本轉數據庫領域的模型，模型發展歷程如圖４ 所示。

（１）理論提出

在文本轉數據庫語句領域，Ｌｉ 等［１１］提出的ＳＱＬＮｅｔ 是較早成理論體系的模型，該模型使用的方法基于草圖技術，草圖中包含數據庫語句的關鍵字、列名和表名，通過這個草圖，ＳＱＬＮｅｔ 僅需往草圖留空處添加信息，就可以實現自然語言到數據庫語句的轉換。

（２）理論發展

基于ＳＱＬＮｅｔ，Ｍｉｎ 等［１２］提出一種樹型結構返回輸出的模型———Ｓｅｑｕｅｎｃｅ-ｔｏ-Ｔｒｅｅ。該模型可以看作是序列到樹的模型，使用ＬＳＴＭ 網絡編碼器對輸入問題進行編碼，在編碼器處理輸入序列后，通過解碼器輸出樹型結構的ＳＱＬ 查詢語句。模型通過識別單個詞元來理解輸入，并將其轉化為樹型結構，樹節點上包括關鍵字（如ＳＥＬＥＣＴ、ＷＨＥＲＥ）、表名和列名。

（３）理論加工

這一階段數據庫領域開始大規模使用深度神經網絡構建模型，采用中間表示生成查詢，顯著提高了計算效率。Ｋｅｖｉｎ 等［１３］提出Ｓｅｑｕｅｎｃｅ-ｔｏ-ＳＱＬ 模型以深度學習模型為基準，引入了強化學習方法，將交叉熵損失和數據庫在運行中執行查詢的獎勵函數作為模型評價指標。該模型內部采用了一種增強指針網絡，該網絡是一種能夠改變輸出序列長度的網絡架構，相較于循環神經網絡輸入輸出的序列長度需要一一對應，增強指針網絡能使模型具有更好的性能。Ｓｅｑｕｅｎｃｅ-ｔｏ-ＳＱＬ 模型由聚合分類器、ＳＥＬＥＣＴ組件和ＷＨＥＲＥ 組件構成。

Ｓｅｑｕｅｎｃｅ-ｔｏ-ＳＱＬ 模型對查詢的聚合操作進行分類，將輸入的文本數據分類為最大最小升序降序這類約束條件。聚類分類器內部采用的是編碼器－解碼器架構，編碼器內部使用了雙向ＬＳＴＭ 網絡，解碼器內部采用普通的ＬＳＴＭ；ＳＥＬＥＣＴ 組件用于處理輸入文本中的列名和表名；ＷＨＥＲＥ 組件，用于確定用于轉換的數據庫語句約束條件。

（４）理論成型

這一階段文本轉數據庫語句技術趨于成熟，開始運用復雜跨域文本數據集訓練模型。大部分模型訓練選用基準數據集ＷｉｋｉＳＱＬ 進行訓練，但Ｇｕｏ等［１４］提出的ＩＲＮｅｔ 選用Ｓｐｉｄｅｒ 數據集訓練模型。相較于Ｓｐｉｄｅｒ 數據集，ＷｉｋｉＳＱＬ 的生態更加成熟，沒有復雜的嵌套查詢語句和大量域外數據，簡化了模型的訓練過程，但Ｇｕｏ 等［１４］的目的是訓練適用于復雜且有跨域文本的數據庫，所以選用更為復雜的Ｓｐｉｄｅｒ 對模型進行訓練。

ＩＲＮｅｔ 是基于編碼器－解碼器架構的模型，工作原理包括３ 個關鍵步驟：① 編碼器，分為問題編碼器（Ｑｕｅｓｔｉｏｎ Ｅｎｃｏｄｅｒ）和模式編碼器（Ｓｃｈｅｍａ Ｅｎ-ｃｏｄｅｒ）。問題編碼器內部是雙向ＬＳＴＭ 神經網絡，負責預處理輸入數據，將輸入的文本詞元化，并使用Ｎｇｒａｍ 算法對文本中出現的列名和表名賦予一個類，如果詞元是數據庫中的列則分配一個“Ｃｏｌｕｍｎ”，如果詞元是數據庫中的表則分配一個“Ｔａｂｌｅ”；模式編碼器負責為Ｎ-ｇｒａｍ 算法中識別的列名、表名的準確性匹配一個類型。其中有２ 個控制單元，模式單元和記憶單元，模式單元負責為Ｎ-ｇｒａｍ 算法識別正確的列名和表名分配一個“ＥｘａｃｔＭａｔｃｈ”類型，沒有正確識別的列名和表名分配一個“Ｐａｒｔｉａｌ Ｍａｔｃｈ”類型，分配好類型后將這些信息送入記憶單元進行存儲。② 解碼器，負責接收問題編碼器的輸出，將其作為自身的隱藏狀態，將文本數據轉化為樹型結構中間表示樹。解碼器中有一套樹型結構的轉化規則，樹中節點用字母Ｚ 表示數據庫中的交集（ｉｎｔｅｒｓｅｃｔ）、并集（ｕｎｉｏｎ）和補集（ｅｘｃｅｐｔ）操作，沒有這些操作時也用字母Ｚ 表示；樹中結點用字母Ｒ 表示“ＳＥＬＥＣＴ”關鍵字；樹中結點“Ｓｅｌｅｃｔ”可以分化出一個或多個節點；樹中結點“Ｏｒｄｅｒ”對應升序（ａｓｃ）和降序（ｄｅｓｃ）；樹中結點“Ｓｕｐｅｒｌａｔｉｖｅ”對應最大（ｍｏｓｔ）和最小（ｌｅａｓｔ）；樹中結點“Ｆｉｌｔｅｒ”表示過濾操作，對應條件關鍵字，比如：大于、小于、等于、ｂｅ-ｔｗｅｅｎ、ｎｏｔ ｉｎ 等；樹中結點“Ａ”表示可以分化出列和表，列和表分別用字母Ｃ 和Ｔ 表示。③ 輸出層，遍歷解碼器輸出的樹將其轉化為最終的ＳＱＬ 語句。

４ 最新研究進展

Ｏｃｔａｖｉａｎ 等［１５］以編碼器－解碼器架構為原型，提出了一個結合自動訓練數據增強及多模型集成技術的系統，該系統可以處理和提取輸入問題中的特定信息，從數據庫中將詞元連接到特定的表和列。編碼器中常用的實體識別（Ｎａｍｅ Ｅｎｔｉｔｙ Ｒｅｃｏｇｎｉｔｉｏｎ）模塊在該模型中被替換成消除歧義字典模塊（Ｄｉｓ-ａｍｂｉｇｕａｔｉｏｎ Ｄｉｃｔｉｏｎａｒｙ Ｍｏｄｕｌｅ），用于提供模型所需要的關鍵信息。系統具有以下優勢：① 集成了種子訓練數據增強技術，基于被稱為種子的初始訓練語料庫，利用這種方法生成更大的訓練集；② 使用不同的自動生成訓練數據集，訓練不同的模型，并使用集成技術來分析組合多個模型的輸出。

Ｌｉ 等［１６］提出了用于聚合表內文本到數據庫語句轉換的方法———Ｗａｇｇ，該方法使用了一種動態修剪策略對多個聚合表中的不相關項進行修剪，大大減少模型訓練的時間成本。聚合是一種數據批處理的操作，可以將數據分組，對每組數據執行多種批處理操作。聚合表為經過聚合處理的表，常用于頻繁使用查詢操作的情況。目前針對聚合表的文本轉數據庫語句方向的研究相對較少，主要面臨２ 個方面的挑戰：① 聚合表意味著更復雜的映射關系，在文本與數據庫語句進行轉換時面臨更多歧義；② 目前的深度學習模型處理聚合表會產生巨大的時間成本。Ｌｉ 等［１６］的方法使用動態修剪策略克服了上述困難，讓聚合表這種復雜的數據庫表可以輸入模型進行訓練。

Ｗ ｅｉ 等［１７］在解碼器中引入了多任務學習的共享機制，通過不同的子任務共享同一個解碼器來實現，可以有效降低模型的復雜性，并且允許不同子任務在訓練過程中共享知識，使模型能夠更好地學習到不同子任務之間的依賴關系。文本轉數據庫語句使用基于編碼器－解碼器架構的模型時，普通解碼器學習不同子任務之間相關性的能力有限，過于復雜的解碼器會增加訓練成本。文獻［１７］的方法避免了上面２ 種情況，保證模型訓練效果的同時避免了過高的模型復雜性。

Ｔｏｍｅｒ 等［１８］提出了一種基于弱監督學習的方法———Ｏｄｍｒｓ 來訓練模型中文本轉數據庫語句的解析器，其未使用手動標記的高質量數據作為訓練標準，而是使用非專業用戶提供的數據進行訓練，證明了模型強大的泛化性。解析器中合成ＳＱＬ 的算法流程，如算法１ 所示。

算法１ 的工作原理為：定義一個數組ｍａｐｐｅｄ 用于后續存儲變量（第１ 行）；利用啟發式函數ｆ 將ｘｉ表達為結構化形式Ｍｉ，根據模板推斷Ｍｉ 中的具體操作（第２ 行）；然后通過弱監督學習模型將結構化表示Ｍｉ 映射到數組中（第３ ～ １４ 行），針對每個結構化的表示Ｍｉ，提取出其中的列名和相關性強的ＳＱＬ 查詢，并創建數組ｊｏｉｎ（第３ ～ ７ 行）。根據列與列之間的相關性和構建的結構化模板去生成ＳＱＬ查詢（第８ ～ １４ 行），ＪＯＩＮＰ 函數用于連接表之間的不同列，ＯＰＴＹＰＥ 函數用于從結構化模板中推斷Ｍｉ中的具體數據庫操作，ＭＡＰＳＱＬ 函數將Ｍｉ 映射到ＳＱＬ 中；最后返回ＳＱＬ 查詢（第１５ 行）。Ｔｅｘｔ-ｔｏ-ＳＱＬ 最新研究進展總結如表１ 所示。

Ｇｅｕｎｙｅｏｎｇ 等［１９］提出了一種混合譯碼器，為ＳＱＬ 生成構建出基本結構，結構中包含每個查詢過程中可能需要使用的自行定義數據庫語句組件，混合解碼器依據該結構依次生成ＳＱＬ 查詢。Ｑｉ 等［２０］提出了一種基于Ｔｒａｎｓｆｏｒｍｅｒ 的架構，利用Ｔｒａｎｓｆｏｒｍｅｒ 中的自注意力機制識別表與表之間的關系，將模式連接和模式編碼等關系結構引入模型，讓模型生成更符合邏輯的ＳＱＬ。Ｘｕ 等［２１］提出一種基于循環神經網絡的方法———ＳｅａＤ，將自回歸模型與序列到序列模型結合，過濾輸入文本，克服解碼過程對模型的限制，提高文本到ＳＱＬ 的準確性。Ｑｉｎ等［２２］設計了一種基于神經網絡的方法———Ｓｕｎ，在Ｓｕｎ 中使用一種啟發式的約束規則來限制模型輸出，提高模型的泛化性和穩定性。Ｓｈｉ 等［２３］針對跨語言文本到ＳＱＬ 語義解析的問題，提出一種基于遷移學習的文本解析模型———Ｔｒａｎｓｆｅｒ Ｌｅａｒｎｉｎｇ ｉｎＣｒｏｓｓ-Ｌｉｎｇｕａｌ（ＸＲＩＣＬ），利用基于英文數據集的訓練成果遷移到其他語言模型中。Ｐｉ 等［２４］設計了一種名為Ａｄｖｅｔａ 的系統，用于測試Ｔｅｘｔ-ｔｏ-ＳＱＬ 模型魯棒性，使用Ａｄｖｅｒｓａｒｉａｌ Ｔａｂｌｅ Ｐｅｒｔｕｒｂａｔｉｏｎ（ＡＴＰ）指標評估模型魯棒性，該系統內部結構主要是對抗生成框架，在監測模型魯棒性的同時也能對模型進行改進。Ｈａｎ 等［２５］提出一種基于圖的方法———ＲｕｌｅＳＱＬｏｖａ，偏向于處理數據庫中的聚合操作符。Ｚｈｅｎｇ 等［２６］提出了一種基于模式連接圖的方法———ＨＩＥＳＱＬ，該方法增強輸入文本與ＳＱＬ 之間的連接，提升了模式連接的準確率。Ｘｉａｏ 等［２７］基于上下文相關文本序列問題提出Ｃｏｎｖｅｒｓａｔｉｏｎ Ｑｕｅｓｔｉｏｎ Ｒｅｆｏｒｍｕｌａｔｉｏｎ（ＣＱＲ）方法，該方法基于遞歸增強模式來生成文本與ＳＱＬ 之間的中間表示，讓模型充分理解上下文語義，增強ＳＱＬ 的解析能力。Ｗａｎｇ 等［２８］提出了一種基于大規模預訓練語言模型來誘導解析器對輸入文本進行處理的方法———Ｐｒｏｔｏｎ，該方法是無監督學習模型，無需對輸入文本進行預處理。Ａｂｈｉｊｅｅｔ等［２９］提出了一種名為ＲＥＦＩＬＬ 的框架，用于合成高質量、多樣化的并行數據集，ＲＥＦＩＬＬ 框架從現有模式中檢索和添加文本查詢，提高模型訓練效率。Ｃｈｅｎ 等［３０］提出了一種基準數據集修改器，用于預訓練基準數據集ＳＱｕＡＬＬ 時進行分割，該解析器由模式擴展和模式修剪組成，在訓練過程中對輸入數據ＳＱｕＡＬＬ 進行合成與分割。Ｌｅｅ 等［３１］設計了一種符合醫院應用場景的數據庫———Ｅｌｅｃｔｒｏｎｉｃ ＨｅａｌｔｈＲｅｃｏｒｄｓ（ＥＨＲｓ），用于醫學場景下的模型訓練。

５ 結束語

本文綜述了Ｔｅｘｔ-ｔｏ-ＳＱＬ 文本處理技術最新研究成果，包括關鍵技術、基準數據集、模型演變和最新研究進展。關鍵技術包括ＬＳＴＭ、ＧＲＵ、Ｔｒａｎｓｆｏｒｍｅｒ、Ｂｅｒｔ、域外數據和ＢＬＥＵ 分數等技術；基準數據集主要介紹了ＷｉｋｉＳＱＬ 和Ｓｐｉｄｅｒ；模型演變從４ 個階段詳述了Ｔｅｘｔ-ｔｏ-ＳＱＬ 技術，包括理論提出、理論發展、理論加工和理論成型；最新研究進展從模型構建、解析器設計和數據集生成３ 個方面概述了最新研究成果。

在模型的構建上，雖然大部分是基于Ｔｒａｎｓｆｏｒｍｅｒ 的編碼器－解碼器架構模型，但是ＣｈａｔＧｅｎｅｒａｔｉｖｅ Ｐｅ-ｔｒａｉｎｅｄ Ｔｒａｎｓｆｏｒｍｅｒ（ＣｈａｔＧＰＴ）模型的成功預示著這類架構具有很大的潛力，未來仍可以針對該結構進行改良，從不同角度提高模型性能。對于解析器而言，未來可以設計基于圖神經網絡的模型，利用圖中節點之間的關系解析上下文，增加文本與ＳＱＬ 之間的轉換效率。目前常用的數據集主要包括ＷｉｋｉＳＱＬ 和Ｓｐｉｄｅｒ，數據集是決定模型訓練效果好壞的重要因素，未來可以針對不同業務場景構建出適合的基準數據集用于該領域模型訓練，如針對性的構建適合法律、教育和互聯網等環境的訓練數據集，讓模型在上述領域具有更好的性能。

此外，文本信息處理涉及隱私數據，隱私保護問題是不可忽視的，通常獲取的文本信息是公開的、性比較低的，不能擅自使用未公開或是私密性高的數據，未來可以制定相關規范或是制定更多的基準數據集，吸引更多的研究者投入Ｔｅｘｔ-ｔｏ-ＳＱＬ 領域的研究。

參考文獻

［１］ ＧＥＯＲＧＥＫ Ｍ，ＧＥＯＲＧＩＡ Ｋ． Ａ Ｓｕｒｖｅｙ ｏｎ Ｄｅｅｐ ＬｅａｒｎｉｎｇＡｐｐｒｏａｃｈｅｓ ｆｏｒ ＴｅｘｔｔｏＳＱＬ［Ｊ］． Ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌｏｎ Ｖｅｒｙ Ｌａｒｇｅ Ｄａｔａ Ｂａｓｅｓ，２０２３，３２（４）：９０５－９３６．

［２］ ＧＵ Ｚ Ｈ，ＦＡＮ Ｊ，ＴＡＮＧ Ｎ，ｅｔ ａｌ． Ｓａｍ Ｍａｄｄｅｎ：ＦｅｗｓｈｏｔＴｅｘｔｔｏＳＱＬ Ｔｒａｎｓｌａｔｉｏｎ Ｕｓｉｎｇ Ｓｔｒｕｃｔｕｒｅ ａｎｄ ＣｏｎｔｅｎｔＰｒｏｍｐｔ Ｌｅａｒｎｉｎｇ［Ｊ］． Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＡＣＭ ｏｎ Ｍａｎａｇｅｍｅｎｔ ｏｆ Ｄａｔａ，２０２３，１（２）：１４７．

［３］ ＺＨＯＵ Ｓ Ｌ，ＬＩ Ｊ，ＷＡＮＧ Ｈ，ｅｔ ａｌ． ＧＲＬＳＴＭ：Ｔｒａｊｅｃｔｏｒｙ Ｓｉｍｉｌａｒｉｔｙ Ｃｏｍｐｕｔａｔｉｏｎ ｗｉｔｈ Ｇｒａｐｈｂａｓｅｄ Ｒｅｓｉｄｕａｌ ＬＳＴＭ［Ｃ］∥Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｔｈｉｒｔｙｓｅｖｅｎｔｈ ＡＡＡＩ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ． ［Ｓ． ｌ． ］：ＡＡＡＩ，２０２３：４９７２－４９８０．

［４］ ＣＨＥＮ Ｙ，ＣＡＯ Ｈ，ＺＨＯＵ Ｙ Ｑ，ｅｔ ａｌ． Ａ ＧＣＮＧＲＵ ＢａｓｅｄＥｎｄｔｏＥｎｄ ＬＥＯ Ｓａｔｅｌｌｉｔｅ Ｎｅｔｗｏｒｋ Ｄｙｎａｍｉｃ Ｔｏｐｏｌｏｇｙ Ｐｒｅｄｉｃｔｉｏｎ Ｍｅｔｈｏｄ［Ｃ］∥２０１６ ＩＥＥＥ Ｗｉｒｅｌｅｓｓ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓａｎｄ Ｎｅｔｗｏｒｋｉｎｇ Ｃｏｎｆｅｒｅｎｃｅ． Ｇｌａｓｇｏｗ：ＩＥＥＥ，２０２３：１－６．

［５］ ＣＨＡＴＺＩＡＮＡＳＴＡＳＩＳ Ｍ，ＬＵＴＺＥＹＥＲ Ｊ Ｆ，ＤＡＳＯＵＬＡＳ Ｇ，ｅｔ ａｌ． Ｇｒｐｈ Ｏｒｄｅｒｉｎｇ Ａｔｔｅｎｔｉｏｎ Ｎｅｔｗｏｒｋｓ ［ＥＢ ／ ＯＬ ］．（２０２２－０４－１１）［２０２３－０７－１０］． ｈｔｔｐｓ：∥ａｒｘｉｖ． ｏｒｇ ／ ａｂｓ ／２２０４． ０５３５１．

［６］ ＺＨＡＯ Ｗ Ｃ，ＨＵ Ｈ Ｚ，ＺＨＯＵ Ｗ Ｇ，ｅｔ ａｌ． ＢＥＳＴ：ＢＥＲＴＰｒｅｔｒａｉｎｉｎｇ ｆｏｒ Ｓｉｇｎ Ｌａｎｇｕａｇｅ Ｒｅｃｏｇｎｉｔｉｏｎ ｗｉｔｈ ＣｏｕｐｌｉｎｇＴｏｋｅｎｉｚａｔｉｏｎ［Ｃ］∥Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ３７ｔｈ ＡＡＡＩ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ． Ｗａｓｈｉｎｇｔｏｎ Ｄ． Ｃ． ：ＡＡＡＩ，２０２３：３５９７－３６０５．

［７］ ＳＡＭＡＮＴＡ Ｄ，ＶＥＮＫＡＴＥＳＨ Ｖ，ＭＯＮＩＫＡ Ｇ，ｅｔ ａｌ． Ｅｖａｌｕａｔｉｎｇ Ｃｏｍｍｉｔ Ｍｅｓｓａｇｅ Ｇｅｎｅｒａｔｉｏｎ：Ｔｏ ＢＬＥＵ ｏｒ Ｎｏｔ ｔｏＢＬＥＵ？［Ｃ］∥２０２２ ＩＥＥＥ ／ ＡＣＭ ４４ｔｈ ＩＥＥＥ ＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅ ｏｎ Ｓｏｆｔｗａｒｅ Ｅｎｇｉｎｅｅｒｉｎｇ：Ｎｅｗ Ｉｄｅａｓ ａｎｄＥｍｅｒｇｉｎｇ Ｒｅｓｕｌｔｓ． Ｐｉｔｔｓｂｕｒｇｈ：ＩＥＥＥ，２０２３：３１－３５．

［８］ ＳＥＭＩＨ Ｙ，ＩＺＺＥＤＤＩＮ Ｇ，ＳＵ Ｙ，ｅｔ ａｌ． Ｗｈａｔ Ｉｔ Ｔａｋｅｓ ｔｏＡｃｈｉｅｖｅ １００％ Ｃｏｎｄｉｔｉｏｎ Ａｃｃｕｒａｃｙ ｏｎ ＷｉｋｉＳＱＬ ［Ｃ］∥Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｅｍｐｉｒｉｃａｌ Ｍｅｔｈｏｄｓ ｉｎＮａｔｕｒａｌ Ｌａｎｇｕａｇｅ Ｐｒｏｃｅｓｓｉｎｇ． Ｂｒｕｓｓｅｌｓ： ＡＣＬ，２０１８：１７０２－１７１１．

［９］ ＹＵ Ｔ，ＺＨＡＮＧ Ｒ，ＹＡＮＧ Ｋ，ｅｔ ａｌ． Ｓｐｉｄｅｒ：Ａ ＬａｒｇｅｓｃａｌｅＨｕｍａｎｌａｂｅｌｅｄ Ｄａｔａｓｅｔ ｆｏｒ Ｃｏｍｐｌｅｘ ａｎｄ ＣｒｏｓｓｄｏｍａｉｎＳｅｍａｎｔｉｃ Ｐａｒｓｉｎｇ ａｎｄ ＴｅｘｔｔｏＳＱＬ Ｔａｓｋ［Ｃ］∥Ｐｒｏｃｅｅｄｉｎｇｓｏｆ ｔｈｅ ２０１８ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｅｍｐｉｒｉｃａｌ Ｍｅｔｈｏｄｓ ｉｎ ＮａｔｕｒａｌＬａｎｇｕａｇｅ Ｐｒｏｃｅｓｓｉｎｇ． Ｂｒｕｓｓｅｌｓ：ＡＣＬ，２０１８：３９１１－３９２１．

［１０］ ＬＥＥ Ｃ Ｈ，ＰＯＬＯＺＯＶ Ｏ Ｐ，ＲＩＣＨＡＲＤＳＯＮ Ｍ． ＫａｇｇｌｅＤＢＱＡ：Ｒｅａｌｉｓｔｉｃ Ｅｖａｌｕａｔｉｏｎ ｏｆ ＴｅｘｔｔｏＳＱＬ Ｐａｒｓｅｒｓ［Ｃ］∥Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ５９ｔｈ Ａｎｎｕａｌ Ｍｅｅｔｉｎｇ ｏｆ ｔｈｅ Ａｓｓｏｃｉａｔｉｏｎｆｏｒ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｌｉｎｇｕｉｓｔｉｃｓ ａｎｄ １１ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ ＪｏｉｎｔＣｏｎｆｅｒｅｎｃｅ ｏｎ Ｎａｔｕｒａｌ Ｌａｎｇｕａｇｅ Ｐｒｏｃｅｓｓｉｎｇ． ［Ｓ． ｌ． ］：ＡＣＬ，２０２１：２２６１－２２７３．

［１１］ ＬＩ Ｄ，ＭＩＲＥＬＬＡ Ｌ． Ｌａｎｇｕａｇｅ ｔｏ Ｌｏｇｉｃａｌ Ｆｏｒｍ ｗｉｔｈ ＮｅｕｒａｌＡｔｔｅｎｔｉｏｎ［Ｃ］∥ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ５４ｔｈ Ａｎｎｕａｌ Ｍｅｅｔｉｎｇｏｆ ｔｈｅ Ａｓｓｏｃｉａｔｉｏｎ ｆｏｒ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｌｉｎｇｕｉｓｔｉｃｓ． Ｂｅｒｌｉｎ：ＡＣＬ，２０１６：３３－４３．

［１２］ ＭＩＮ Ｑ Ｋ，ＳＨＩ Ｙ Ｆ，ＺＨＡＮＧ Ｙ． Ａ Ｐｉｌｏｔ Ｓｔｕｄｙ ｆｏｒ ＣｈｉｎｅｓｅＳＱＬ Ｓｅｍａｎｔｉｃ Ｐａｒｓｉｎｇ ［Ｃ］∥ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２０１９Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｅｍｐｉｒｉｃａｌ Ｍｅｔｈｏｄｓ ｉｎ Ｎａｔｕｒａｌ ＬａｎｇｕａｇｅＰｒｏｃｅｓｓｉｎｇ ａｎｄ ｔｈｅ ９ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｉｎｔ Ｃｏｎｆｅｒｅｎｃｅ ｏｎＮａｔｕｒａｌ Ｌａｎｇｕａｇｅ Ｐｒｏｃｅｓｓｉｎｇ （ＥＭＮＬＰＩＪＣＮＬＰ ）． ＨｏｎｇＫｏｎｇ：ＡＣＬ，２０１９：３６５２－３６５８．

［１３］ ＫＥＶＩＮ Ｓ，ＤＩＲＫ Ｋ． Ｓｅｑ２ＳＱＬＥｖａｌｕａｔｉｎｇ Ｄｉｆｆｅｒｅｎｔ ＤｅｅｐＬｅａｒｎｉｎｇ Ａｒｃｈｉｔｅｃｔｕｒｅｓ Ｕｓｉｎｇ Ｗｏｒｄ Ｅｍｂｅｄｄｉｎｇｓ ［Ｃ］∥１５ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ ａｎｄ ＤａｔａＭｉｎｉｎｇ ｉｎ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ． Ｎｅｗ Ｙｏｒｋ：ＭＬＤＢ，２０１９：３４３－３５４．

［１４］ ＧＵＯ Ｊ Ｑ，ＺＨＡＮ Ｚ Ｃ，ＧＡＯＹ，ｅｔ ａｌ． Ｔｏｗａｒｄｓ ＣｏｍｐｌｅｘＴｅｘｔｔｏＳＱＬ ｉｎ Ｃｒｏｓｓｄｏｍａｉｎ Ｄａｔａｂａｓｅ ｗｉｔｈ ＩｎｔｅｒｍｅｄｉａｔｅＲｅｐｒｅｓｅｎｔａｔｉｏｎ ［Ｃ ］∥ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ５７ｔｈ ＡｎｎｕａｌＭｅｅｔｉｎｇ ｏｆ ｔｈｅ Ａｓｓｏｃｉａｔｉｏｎ ｆｏｒ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｌｉｎｇｕｉｓｔｉｃｓ．Ｆｌｏｒｅｎｃｅ：ＡＣＬ，２０１９：４５２４－４５３５．

［１５］ ＯＣＴＡＶＩＡＮ Ｐ，ＩＲＥＮＥ Ｍ，ＮＧＯＣ Ｐ Ａ Ｏ，ｅｔ ａｌ． ＡｄｄｒｅｓｓｉｎｇＬｉｍｉｔａｔｉｏｎｓ ｏｆ ＥｎｃｏｄｅｒＤｅｃｏｄｅｒ Ｂａｓｅｄ Ａｐｐｒｏａｃｈ ｔｏ ＴｅｘｔｔｏＳＱＬ［Ｃ］∥Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２９ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｌｉｎｇｕｉｓｔｉｃｓ． Ｇｙｅｏｎｇｊｕ：ＩＣＣＬ，２０２２：１５９３－１６０３．

［１６］ ＬＩ Ｓ Ｑ，ＺＨＯＵ Ｋ Ｂ，ＺＨＵＡＮＧ Ｚ Ｙ，ｅｔ ａｌ． Ｔｏｗａｒｄｓ ＴｅｘｔｔｏＳＱＬ ｏｖｅｒ Ａｇｇｒｅｇａｔｅ Ｔａｂｌｅｓ［Ｊ］． Ｄａｔａ Ｉｎｔｅｌｌｉｇｅｎｃｅ，２０２３，５（２）：４５７－４７４．

［１７］ ＷＥＩ Ｃ，ＨＵＡＮＧ Ｓ Ｂ，ＬＩＲ Ｓ． Ｅｎｈａｎｃｅ ＴｅｘｔｔｏＳＱＬ ＭｏｄｅｌＰｅｒｆｏｒｍａｎｃｅ ｗｉｔｈ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｈａｒｉｎｇ ａｎｄ Ｒｅｗｅｉｇｈｔ Ｌｏｓｓ［Ｊ］． Ｍｕｌｔｉｍｅｄｉａ Ｔｏｏｌｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ，２０２２，８１ （１１）：１５２０５－１５２１７．

［１８］ ＴＯＭＥＲ Ｗ，ＤＡＮＩＥＬ Ｄ，ＪＯＮＡＴＨＡＮ Ｂ． Ｗｅａｋｌｙ ＳｕｐｅｒｖｉｓｅｄＴｅｘｔｔｏＳＱＬ Ｐａｒｓｉｎｇ Ｔｈｒｏｕｇｈ Ｑｕｅｓｔｉｏｎ Ｄｅｃｏｍｐｏｓｉｔｉｏｎ［Ｃ］∥Ｆｉｎｄｉｎｇｓ ｏｆ ｔｈｅ Ａｓｓｏｃｉａｔｉｏｎ ｆｏｒ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｌｉｎｇｕｉｓｔｉｃｓ：ＮＡＡＣＬ ２０２２． Ｓｅａｔｔｌｅ：ＡＣＬ，２０２２：２５２８－２５４２．

［１９］ ＧＥＵＮＹＥＯＮＧ Ｊ，ＭＩＲＡＥ Ｈ，ＳＥＵＬＧＩ Ｋ，ｅｔ ａｌ． ＩｍｐｒｏｖｉｎｇＴｅｘｔｔｏＳＱＬ ｗｉｔｈ ａ Ｈｙｂｒｉｄ Ｄｅｃｏｄｉｎｇ Ｍｅｔｈｏｄ ［Ｊ ］．Ｅｎｔｒｏｐｙ，２０２３，２５（３）：５１３．

［２０］ ＱＩ Ｊ Ｘ，ＴＡＮＧ Ｊ Ｙ，ＨＥ Ｚ Ｗ，ｅｔ ａｌ． ＲＡＳＡＴ：ＩｎｔｅｇｒａｔｉｎｇＲｅｌａｔｉｏｎａｌ Ｓｔｒｕｃｔｕｒｅｓ ｉｎｔｏ Ｐｒｅｔｒａｉｎｅｄ Ｓｅｑ２Ｓｅｑ Ｍｏｄｅｌ ｆｏｒＴｅｘｔｔｏＳＱＬ［Ｃ］∥Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２０２２ Ｃｏｎｆｅｒｅｎｃｅ ｏｎＥｍｐｉｒｉｃａｌ Ｍｅｔｈｏｄｓ ｉｎ Ｎａｔｕｒａｌ Ｌａｎｇｕａｇｅ Ｐｒｏｃｅｓｓｉｎｇ． ＡｂｕＤｈａｂｉ：ＡＣＬ，２０２２：３２１５－３２２９．

［２１］ ＸＵ Ｋ，ＷＡＮＧ Ｙ Ｂ，ＷＡＮＧＹ Ｌ，ｅｔ ａｌ． ＳｅａＤ：ＥｎｄｔｏＥｎｄＴｅｘｔｔｏＳＱＬ Ｇｅｎｅｒａｔｉｏｎ ｗｉｔｈ Ｓｃｈｅｍａａｗａｒｅ Ｄｅｎｏｉｓｉｎｇ［Ｃ］∥Ｆｉｎｄｉｎｇｓ ｏｆ ｔｈｅ Ａｓｓｏｃｉａｔｉｏｎ ｆｏｒ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｌｉｎｇｕｉｓｔｉｃｓ．Ｓｅａｔｔｌｅ：ＡＣＬ，２０２２：１８４５－１８５３．

［２２］ ＱＩＮ Ｂ Ｗ，ＷＡＮＧ Ｌ Ｈ，ＨＵＩ Ｂ Ｙ，ｅｔ ａｌ． ＳＵＮ：ＥｘｐｌｏｒｉｎｇＩｎｔｒｉｎｓｉｃ Ｕｎｃｅｒｔａｉｎｔｉｅｓ ｉｎ ＴｅｘｔｔｏＳＱＬ Ｐａｒｓｅｒｓ［Ｃ］∥Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２９ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｌｉｎｇｕｉｓｔｉｃｓ． Ｇｙｅｏｎｇｊｕ：ＩＣＣＬ，２０２２：５２９８－５３０８．

［２３］ ＳＨＩ Ｐ，ＺＨＡＮＧ Ｒ，ＢＡＩ Ｈ，ｅｔ ａｌ． ＸＲＩＣＬ：ＣｒｏｓｓｌｉｎｇｕａｌＲｅｔｒｉｅｖａｌａｕｇｍｅｎｔｅｄ Ｉｎｃｏｎｔｅｘｔ Ｌｅａｒｎｉｎｇ ｆｏｒ ＣｒｏｓｓｌｉｎｇｕａｌＴｅｘｔｔｏＳＱＬ Ｓｅｍａｎｔｉｃ Ｐａｒｓｉｎｇ［Ｃ］∥Ｆｉｎｄｉｎｇｓ ｏｆ ｔｈｅ Ａｓｓｏｃｉａｔｉｏｎ ｆｏｒ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｌｉｎｇｕｉｓｔｉｃｓ． Ａｂｕ Ｄｈａｂｉ：ＡＣＬ，２０２２：５２４８－５２５９．

［２４］ ＰＩ Ｘ Ｙ，ＷＡＮＧ Ｂ，ＧＡＯ Ｙ，ｅｔ ａｌ． Ｔｏｗａｒｄｓ Ｒｏｂｕｓｔｎｅｓｓ ｏｆＴｅｘｔｔｏＳＱＬ Ｍｏｄｅｌｓ Ａｇａｉｎｓｔ Ｎａｔｕｒａｌ ａｎｄ Ｒｅａｌｉｓｔｉｃ Ａｄｖｅｒｓａｒｉａｌ Ｔａｂｌｅ Ｐｅｒｔｕｒｂａｔｉｏｎ ［Ｃ］∥ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ６０ｔｈＡｎｎｕａｌ Ｍｅｅｔｉｎｇ ｏｆ ｔｈｅ Ａｓｓｏｃｉａｔｉｏｎ ｆｏｒ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｌｉｎｇｕｉｓｔｉｃｓ． Ｄｕｂｌｉｎ：ＡＣＬ，２０２２：２００７－２０２２．

［２５］ ＨＡＮ Ｓ Ｋ，ＧＡＯ Ｎ，ＧＵＯ Ｘ Ｂ，ｅｔ ａｌ． ＲｕｌｅＳＱＬｏｖａ：Ｉｍｐｒｏｖｉｎｇ ＴｅｘｔｔｏＳＱＬ ｗｉｔｈ Ｌｏｇｉｃ Ｒｕｌｅｓ［Ｃ］∥２０２２ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｉｎｔ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ． Ｐａｄｕａ：ＩＥＥＥ，２０２２：１－８．

［２６］ ＺＨＥＮＧ Ｙ Ｚ，ＷＡＮＧ Ｈ Ｂ，ＤＯＮＧ Ｂ Ｈ，ｅｔ ａｌ． ＨＩＥＳＱＬ：Ｈｉｓｔｏｒｙ Ｉｎｆｏｒｍａｔｉｏｎ Ｅｎｈａｎｃｅｄ Ｎｅｔｗｏｒｋ ｆｏｒ Ｃｏｎｔｅｘｔｄｅｐｅｎｄｅｎｔ ＴｅｘｔｔｏＳＱＬ Ｓｅｍａｎｔｉｃ Ｐａｒｓｉｎｇ［Ｃ］∥Ｆｉｎｄｉｎｇｓ ｏｆｔｈｅ Ａｓｓｏｃｉａｔｉｏｎ ｆｏｒ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｌｉｎｇｕｉｓｔｉｃｓ． Ｄｕｂｌｉｎ：ＡＣＬ，２０２２：２９９７－３００７．

［２７］ ＸＩＡＯ Ｄ Ｌ，ＣＨＡＩ Ｌ Ｚ，ＺＨＡＮＧ Ｑ Ｗ，ｅｔ ａｌ． ＣＱＲＳＱＬ：Ｃｏｎｖｅｒｓａｔｉｏｎａｌ Ｑｕｅｓｔｉｏｎ Ｒｅｆｏｒｍｕｌａｔｉｏｎ Ｅｎｈａｎｃｅｄ Ｃｏｎｔｅｘｔｄｅｐｅｎｄｅｎｔ ＴｅｘｔｔｏＳＱＬ Ｐａｒｓｅｒｓ［Ｃ］∥Ｆｉｎｄｉｎｇｓ ｏｆ ｔｈｅ Ａｓｓｏｃｉａｔｉｏｎ ｆｏｒ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｌｉｎｇｕｉｓｔｉｃｓ． Ａｂｕ Ｄｈａｂｉ：ＡＣＬ，２０２２：２０５５－２０６８．

［２８］ ＷＡＮＧ Ｌ Ｈ，ＱＩＮ Ｂ Ｗ，ＨＵＩ Ｂ Ｙ，ｅｔ ａｌ． Ｐｒｏｔｏｎ：ＰｒｏｂｉｎｇＳｃｈｅｍａ Ｌｉｎｋｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ ｆｒｏｍ Ｐｒｅｔｒａｉｎｅｄ ＬａｎｇｕａｇｅＭｏｄｅｌｓ ｆｏｒ ＴｅｘｔｔｏＳＱＬ Ｐａｒｓｉｎｇ［Ｃ］∥Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ２８ｔｈ ＡＣＭ ＳＩＧＫＤＤ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｋｎｏｗｌｅｄｇｅ Ｄｉｓｃｏｖｅｒｙａｎｄ Ｄａｔａ Ｍｉｎｉｎｇ． Ｎｅｗ Ｙｏｒｋ：ＡＣＭ，２０２２：１８８９－１８９８．

［２９］ ＡＢＨＩＪＥＥＴ Ａ，ＡＳＨＵＴＯＳＨ Ｓ，ＳＵＮＩＴＡ Ｓ． Ｄｉｖｅｒｓｅ ＰａｒａｌｌｅｌＤａｔａ Ｓｙｎｔｈｅｓｉｓ ｆｏｒ Ｃｒｏｓｓｄａｔａｂａｓｅ Ａｄａｐｔａｔｉｏｎ ｏｆ ＴｅｘｔｔｏＳＱＬ Ｐａｒｓｅｒｓ［Ｃ］∥Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２０２２ Ｃｏｎｆｅｒｅｎｃｅ ｏｎＥｍｐｉｒｉｃａｌ Ｍｅｔｈｏｄｓ ｉｎ Ｎａｔｕｒａｌ Ｌａｎｇｕａｇｅ Ｐｒｏｃｅｓｓｉｎｇ． ＡｂｕＤｈａｂｉ：ＡＣＬ，２０２２：１１５４８－１１５６２．

［３０］ ＣＨＥＮ Ｚ，ＳＵ Ｙ，ＡＤＡＭ Ｐ，ｅｔ ａｌ． Ｂｒｉｄｇｉｎｇ ｔｈｅ ＧｅｎｅｒａｌｉｚａｔｉｏｎＧａｐ ｉｎ ＴｅｘｔｔｏＳＱＬ Ｐａｒｓｉｎｇ ｗｉｔｈ Ｓｃｈｅｍａ Ｅｘｐａｎｓｉｏｎ［Ｃ］∥Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ６０ｔｈ Ａｎｎｕａｌ Ｍｅｅｔｉｎｇ ｏｆ ｔｈｅ Ａｓｓｏｃｉａｔｉｏｎｆｏｒ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｌｉｎｇｕｉｓｔｉｃｓ． Ｄｕｂｌｉｎ： ＡＣＬ， ２０２２：５５６８－５５７８．

［３１］ ＬＥＥ Ｇ，ＨＷＡＮＧ Ｈ，ＢＡＥ Ｓ，ｅｔ ａｌ． ＥＨＲＳＱＬ：Ａ ＰｒａｃｔｉｃａｌＴｅｘｔｔｏＳＱＬ Ｂｅｎｃｈｍａｒｋ ｆｏｒ Ｅｌｅｃｔｒｏｎｉｃ Ｈｅａｌｔｈ Ｒｅｃｏｒｄｓ［ＥＢ ／ ＯＬ］． （２０２３ － ０１ － １６）［２０２３ － ０７ － １８］． ｈｔｔｐｓ：∥ａｒｘｉｖ． ｏｒｇ ／ ａｂｓ ／ ２３０１． ０７６９５．

作者簡介

彭鈺寒 男，（１９９９—），碩士研究生。主要研究方向：人工智能數據庫。

（*通信作者）喬少杰 男，（１９８１—），博士，教授。主要研究方向：人工智能數據庫、時空數據庫、機器學習。

薛 騏 男，（１９９９—），碩士研究生。主要研究方向：時空數據庫。

李江敏 男，（１９９７—），碩士研究生。主要研究方向：人工智能數據庫。

謝添丞 男，（１９９７—），碩士研究生。主要研究方向：軌跡預測。

徐康鐳 男，（１９９９—），碩士研究生。主要研究方向：人工智能數據庫。

冉黎瓊 女，（１９９８—），碩士研究生。主要研究方向：數據挖掘、云計算。

曾少北 男，（１９８０—），碩士。主要研究方向：數據智能應用。

基金項目：國家自然科學基金（６２２７２０６６，６１９６２００６）；四川省科技計劃（２０２１ＪＤＪＱ００２１，２０２２ＹＦＧ０１８６，２０２２ＮＳＦＳＣ０５１１，２０２３ＹＦＧ００２７）；教育部人文社會科學研究規劃基金（２２ＹＪＡＺＨ０８８）；宜賓市引進高層次人才項目（２０２２ＹＧ０２）；成都市“揭榜掛帥”科技項目（２０２２-ＪＢ００-００００２-ＧＸ，２０２１-ＪＢ００-０００２５-ＧＸ）；四川省教育廳人文社科重點研究基地四川網絡文化研究中心資助科研項目（ＷＬＷＨ２２-１）；成都信息工程大學國家智能社會治理實驗基地開放課題（ＺＮＺＬ２０２３Ｂ０５）；成都信息工程大學科技創新能力提升計劃（ＫＹＴＤ２０２２２２）