量子自然語(yǔ)言處理算法在金融領(lǐng)域的應(yīng)用探析*

吳永飛，王彥博，周代數(shù)，靳志偉，陳 生，孫 喆，俞 淼，楊 璇

(1.華夏銀行股份有限公司，北京 100020；2.龍盈智達(dá)(北京)科技有限公司，北京 100020；3.科學(xué)技術(shù)部中國(guó)科學(xué)技術(shù)發(fā)展戰(zhàn)略研究院，北京 100038；4.財(cái)政部中國(guó)財(cái)政科學(xué)研究院，北京 100036；5.東軟集團(tuán)(北京)有限公司，北京 100094)

0 引言

1981年，理查德·費(fèi)曼(Richard Feynman)在麻省理工學(xué)院舉辦的第一屆計(jì)算物理會(huì)議上首次提出了量子計(jì)算機(jī)的概念。1994年，麻省理工學(xué)院的彼得·舒爾(Peter Shor)[1]提出了大整數(shù)質(zhì)因子分解的Shor算法——能夠在多項(xiàng)式時(shí)間復(fù)雜度求解RSA密碼體系中核心的大數(shù)質(zhì)因子分解問(wèn)題。舒爾的開(kāi)創(chuàng)性工作有力地促進(jìn)了量子計(jì)算機(jī)和量子密碼技術(shù)的發(fā)展，成為量子信息科學(xué)發(fā)展的重要里程碑之一，掀起了國(guó)際上研究量子計(jì)算的第一輪熱潮。當(dāng)前，量子計(jì)算蓬勃發(fā)展，各類(lèi)量子算法應(yīng)運(yùn)而生，量子自然語(yǔ)言處理(Quantum Nature Language Process，QNLP)[2]作為其中一個(gè)新興的研究領(lǐng)域，已開(kāi)始顯現(xiàn)出廣闊的發(fā)展前景。量子自然語(yǔ)言處理旨在通過(guò)利用某些量子現(xiàn)象，如疊加、糾纏、干涉等，設(shè)計(jì)和實(shí)施自然語(yǔ)言處理(Nature Language Process，NLP)模型，并在量子硬件上執(zhí)行與語(yǔ)言相關(guān)的任務(wù)。本文針對(duì)商業(yè)銀行的業(yè)務(wù)實(shí)踐，創(chuàng)新地對(duì)量子自然語(yǔ)言處理算法進(jìn)行適應(yīng)性改進(jìn)，并將其應(yīng)用于商業(yè)銀行外部的金融新聞情緒識(shí)別和內(nèi)部客戶(hù)服務(wù)評(píng)價(jià)等具體場(chǎng)景，為量子自然語(yǔ)言處理算法在金融行業(yè)的落地應(yīng)用提供新思路。

1 量子自然語(yǔ)言處理

2021年，劍橋量子發(fā)布了QNLP工具包和庫(kù)，稱(chēng)為“l(fā)ambeq”[3]。通過(guò)該方法可將句子轉(zhuǎn)化為量子線路，進(jìn)而實(shí)現(xiàn)量子計(jì)算。量子自然語(yǔ)言處理算法原理具體如下：

首先，根據(jù)選擇的成分模型(Compositional Model，CM)，通過(guò)組合范疇語(yǔ)法(Combinatory Categorial Grammar，CCG)可以獲得句子的句法樹(shù)(Parse Tree，PT)。而后，句法樹(shù)被轉(zhuǎn)換成線圖(String Diagram，SD)形式。線圖可以被看作是句子的抽象表示，反映了選擇的成分模型所定義的單詞之間的關(guān)系。線圖可以通過(guò)使用重寫(xiě)規(guī)則進(jìn)行簡(jiǎn)化或以其他方式進(jìn)一步轉(zhuǎn)換：例如，有的規(guī)則可用于刪除單詞之間多余的聯(lián)系，有的規(guī)則可以使線圖更適合量子處理單元的計(jì)算。隨后，根據(jù)特定的參數(shù)化方案和擬設(shè)的具體選擇，生成的線圖可以轉(zhuǎn)換為張量網(wǎng)絡(luò)(Tensor Network，TN)或量子線路(Quantum Circuit，QC)。最后，張量網(wǎng)絡(luò)可以在傳統(tǒng)計(jì)算機(jī)上進(jìn)行量子模擬來(lái)得到最優(yōu)化參數(shù)；而量子線路則會(huì)被量子編譯器處理，并上傳給量子計(jì)算機(jī)進(jìn)行參數(shù)學(xué)習(xí)與優(yōu)化。基本處理流程原理圖如圖1所示。

圖1 基本處理流程原理圖

比如，語(yǔ)句：′We are explaining how lambeq works′，通過(guò)預(yù)先訓(xùn)練好的CCG模型可以獲得其句法樹(shù)表示，如圖2所示。通過(guò)編碼可以將句法樹(shù)轉(zhuǎn)化為線圖形式。

圖2 句法樹(shù)示意圖

通過(guò)語(yǔ)句的圖形化表示可以展示其中單詞的含義是如何組合起來(lái)構(gòu)建整個(gè)句子的含義。每一個(gè)盒子代表了一個(gè)單詞的含義，而這些含義通過(guò)線形成的渠道來(lái)傳達(dá)。其中每個(gè)詞的標(biāo)記，則是pre-group語(yǔ)法的形式。

在如上示例中，主語(yǔ)“We”與賓語(yǔ)從句“how lambeq works”都被發(fā)送給了由助動(dòng)詞“are”和謂語(yǔ)“explaining”組成的謂語(yǔ)，然后它們一起構(gòu)成了句子的含義。實(shí)際上，這種表達(dá)形式可以追溯到1950年代最初由Chomsky和Lambek等人開(kāi)始的工作，這些工作根據(jù)復(fù)合數(shù)學(xué)模型構(gòu)建語(yǔ)法結(jié)構(gòu)與語(yǔ)義。線圖示意圖如圖3所示。

圖3 線圖示意圖

在得到線圖形式之后，有兩種選擇將其參數(shù)化。一是量子線路，將線圖轉(zhuǎn)成量子線路的形式，通過(guò)同步擾動(dòng)隨機(jī)逼近算法(Simultaneous Perturbation Stochastic Approximation，SPSA)[4]來(lái)訓(xùn)練；二是張量網(wǎng)絡(luò)，將線圖轉(zhuǎn)成張量網(wǎng)絡(luò)的形式，在參數(shù)化時(shí)需要給每個(gè)原子類(lèi)型設(shè)定維度，在這種形式下可以通過(guò)傳統(tǒng)計(jì)算機(jī)來(lái)訓(xùn)練。

2 量子自然語(yǔ)言處理算法在金融領(lǐng)域的實(shí)證研究

在NLP領(lǐng)域，情感分析是非常流行的一種分析技術(shù)[5]，在越來(lái)越多的領(lǐng)域發(fā)揮著重要的作用，如：口碑分析、市場(chǎng)情緒分析、輿情監(jiān)控等。其中情緒分類(lèi)的對(duì)象是一段語(yǔ)料中所蘊(yùn)含的主體情緒，是對(duì)蘊(yùn)含主觀情感色彩的文本進(jìn)行分析、處理、歸納以及推理的過(guò)程。

商業(yè)銀行的日常經(jīng)營(yíng)中存在大量情感分析場(chǎng)景。從銀行外部視角來(lái)看，金融市場(chǎng)上時(shí)時(shí)刻刻都有大量的新聞產(chǎn)生，特別是各大財(cái)經(jīng)網(wǎng)站、股票論壇中的消息所蘊(yùn)含的觀點(diǎn)及情緒，不僅代表著投資者的偏好和情緒的變化，更對(duì)商業(yè)銀行金融市場(chǎng)業(yè)務(wù)的決策和交易產(chǎn)生重大影響，運(yùn)用情感分析對(duì)其中蘊(yùn)含的觀點(diǎn)和情緒進(jìn)行識(shí)別，具有重要前瞻性指導(dǎo)意義。從銀行內(nèi)部視角來(lái)看，隨著互聯(lián)網(wǎng)的飛速發(fā)展，聚集了大量用戶(hù)的網(wǎng)絡(luò)社群媒體不再僅是單純的新聞發(fā)布平臺(tái)，而是已經(jīng)發(fā)展成為允許用戶(hù)創(chuàng)建、發(fā)表、交流內(nèi)容的平臺(tái)，其中也伴隨著大量的對(duì)于銀行服務(wù)和產(chǎn)品有價(jià)值的評(píng)論信息；此外，銀行工單數(shù)據(jù)也是價(jià)值較高的文本數(shù)據(jù)信息，其中不僅包括具體的問(wèn)題描述，還包括處理方法、過(guò)程、結(jié)果以及客戶(hù)反饋等信息，該類(lèi)評(píng)論信息中往往可以體現(xiàn)出客戶(hù)的批評(píng)、贊揚(yáng)等多種主觀情感表現(xiàn)。這些主觀性的文本每天以指數(shù)級(jí)的速度增長(zhǎng)，僅靠人工進(jìn)行分析需要消耗大量的人力和時(shí)間。采用NLP技術(shù)將客戶(hù)評(píng)論中包含的情感進(jìn)行量化分析，有利于銀行客觀評(píng)價(jià)服務(wù)質(zhì)量并進(jìn)行后續(xù)的改進(jìn)和提升，對(duì)商業(yè)銀行的經(jīng)營(yíng)管理具有重要意義。

本文針對(duì)商業(yè)銀行外部的金融新聞情緒識(shí)別和內(nèi)部客戶(hù)服務(wù)評(píng)價(jià)具體場(chǎng)景，將QNLP算法引入商業(yè)銀行應(yīng)用實(shí)踐，具體實(shí)證研究如下。

2.1 基于QNLP算法的金融新聞情緒識(shí)別

本文嘗試在金融新聞標(biāo)題上使用QNLP進(jìn)行情感分類(lèi)。使用Financial PhraseBank數(shù)據(jù)集，它是一個(gè)英文數(shù)據(jù)集，包含金融新聞?lì)^條以及從投資者的視角來(lái)看的情緒。實(shí)證分析從Financial PhraseBank數(shù)據(jù)集中隨機(jī)抽取情感標(biāo)簽為正面的數(shù)據(jù)樣本158個(gè)以及情感標(biāo)簽為負(fù)面的數(shù)據(jù)樣本75個(gè)，進(jìn)行QNLP創(chuàng)新技術(shù)應(yīng)用，部分?jǐn)?shù)據(jù)示例如表1所示。

表1 金融新聞情緒識(shí)別數(shù)據(jù)示例

首先需要進(jìn)行數(shù)據(jù)清洗，對(duì)文本去除標(biāo)點(diǎn)符號(hào)、去除停用詞。之后，借助自然語(yǔ)言處理工具包(Natural Language Toolkit，NLTK)進(jìn)行詞干提取，把基于單詞的變種轉(zhuǎn)換為統(tǒng)一形式。此外，由于當(dāng)前量子計(jì)算機(jī)運(yùn)算能力的限制，實(shí)證分析篩選了一些長(zhǎng)度較短的句子以及對(duì)一些長(zhǎng)句做了截?cái)嗵幚怼Ｍㄟ^(guò)數(shù)據(jù)清洗，得到了相對(duì)“干凈”的文本數(shù)據(jù)。

清洗后的文本數(shù)據(jù)使用預(yù)先訓(xùn)練好的語(yǔ)法模型[6]對(duì)句子進(jìn)行了語(yǔ)法和句法解析，并轉(zhuǎn)化為線圖形式以適配后續(xù)計(jì)算。每一個(gè)句子對(duì)應(yīng)一個(gè)線圖，通過(guò)轉(zhuǎn)化線圖完成對(duì)句子中的詞義與語(yǔ)法信息流的編碼。

對(duì)于獲得的線圖，需要對(duì)其進(jìn)行參數(shù)化處理。有兩種方法：張量網(wǎng)絡(luò)與量子線路。

經(jīng)典方法通過(guò)將線圖實(shí)例化為張量網(wǎng)絡(luò)的方法，將其參數(shù)化并進(jìn)行計(jì)算。句子中的每一條線路都被標(biāo)記為原子類(lèi)型或原子類(lèi)型組合。通過(guò)給原子類(lèi)型分配維度，每一個(gè)詞都可以看作為在其語(yǔ)法類(lèi)型所定義的空間中的某個(gè)狀態(tài)。之后使用交叉熵作為損失函數(shù)，并使用JAX作為后端來(lái)實(shí)現(xiàn)傳統(tǒng)計(jì)算機(jī)上的有監(jiān)督機(jī)器學(xué)習(xí)訓(xùn)練模型,從而計(jì)算損失與梯度，更新參數(shù)。

量子模擬方法將線圖實(shí)例化為量子線路。通過(guò)這種方法實(shí)現(xiàn)單詞含義的量子態(tài)編碼。量子線路的參數(shù)化創(chuàng)建了語(yǔ)義空間，從而實(shí)現(xiàn)對(duì)單詞含義及句子含義的編碼。這時(shí)，有了量子態(tài)編碼后的句子和標(biāo)簽便可以開(kāi)展有監(jiān)督量子機(jī)器學(xué)習(xí)了，從而學(xué)習(xí)參數(shù)，這些參數(shù)導(dǎo)致了正確測(cè)量真標(biāo)簽。本文基于IBM Quantum Experience量子計(jì)算實(shí)驗(yàn)環(huán)境，通過(guò)SPSA優(yōu)化算法學(xué)習(xí)更新參數(shù)。

實(shí)證分析使用了233條數(shù)據(jù)樣本作為訓(xùn)練集來(lái)訓(xùn)練模型，測(cè)試集由50條數(shù)據(jù)樣本構(gòu)成。同時(shí)，作為對(duì)比，使用TF-IDF作為特征提取器，之后使用Adaboost、Na?ve Bayes、Neural Network作 為 分 類(lèi) 器 來(lái) 進(jìn)行情感分類(lèi)，并將四種方法進(jìn)行了對(duì)比。從指標(biāo)來(lái)看，四種方法在相同的數(shù)據(jù)條件下進(jìn)行對(duì)比，QNLP的結(jié)果展現(xiàn)出訓(xùn)練集樣本量從233下降至20，其模型效果的穩(wěn)定性最佳。實(shí)證分析結(jié)果對(duì)比如圖4所示。

圖4 實(shí)證分析結(jié)果對(duì)比

通過(guò)逐步減少訓(xùn)練集的樣本數(shù)量，Adaboost、Na?ve Bayes和Neural Network三 類(lèi) 模 型 在 測(cè) 試 集 上的F1 Score呈現(xiàn)下降趨勢(shì)。然而，QNLP隨著訓(xùn)練集樣本量的下降，測(cè)試集結(jié)果表現(xiàn)穩(wěn)定，這展現(xiàn)出量子機(jī)器學(xué)習(xí)方法在小樣本學(xué)習(xí)問(wèn)題上，表現(xiàn)優(yōu)于傳統(tǒng)機(jī)器學(xué)習(xí)方法。

2.2 基于QNLP算法的銀行客戶(hù)服務(wù)評(píng)價(jià)分析

本文針對(duì)國(guó)內(nèi)商業(yè)銀行客戶(hù)服務(wù)評(píng)價(jià)文本數(shù)據(jù)，使用QNLP技術(shù)進(jìn)行情感分類(lèi)。數(shù)據(jù)包含用戶(hù)對(duì)銀行提供服務(wù)的評(píng)價(jià)和情感正、負(fù)面標(biāo)簽。在實(shí)證分析中，未訓(xùn)練中文的CCG模型，而是通過(guò)調(diào)用翻譯API獲取對(duì)應(yīng)的英文翻譯數(shù)據(jù)，隨后的研究方法論和實(shí)驗(yàn)過(guò)程與前述金融新聞情緒識(shí)別場(chǎng)景一致。在該場(chǎng)景下，脫敏處理后的部分?jǐn)?shù)據(jù)示例如表2所示。

表2 銀行客戶(hù)服務(wù)評(píng)價(jià)數(shù)據(jù)示例

通過(guò)訓(xùn)練，QNLP在銀行服務(wù)評(píng)價(jià)情感分類(lèi)數(shù)據(jù)集上，當(dāng)訓(xùn)練數(shù)據(jù)樣本量為40時(shí)，測(cè)試集評(píng)價(jià)指標(biāo)如表3所示。

表3 評(píng)價(jià)指標(biāo)

隨著訓(xùn)練集樣本量從70下降至20，QNLP在銀行服務(wù)評(píng)價(jià)分析情感分類(lèi)數(shù)據(jù)集上的測(cè)試結(jié)果表現(xiàn)穩(wěn)定，如圖5所示，QNLP在解決小樣本學(xué)習(xí)問(wèn)題方面已初步展現(xiàn)出良好的應(yīng)用潛力。

圖5 QNLP小樣本學(xué)習(xí)模型評(píng)價(jià)指標(biāo)

綜上，通過(guò)調(diào)用翻譯API獲取對(duì)應(yīng)的英文翻譯數(shù)據(jù)的方案，使得現(xiàn)有QNLP技術(shù)能夠?qū)χ形奈谋緮?shù)據(jù)進(jìn)行處理，可滿(mǎn)足商業(yè)銀行業(yè)務(wù)需求。

3 結(jié)論

當(dāng)前，QNLP算法的快速發(fā)展,已使得其在商業(yè)銀行的多個(gè)業(yè)務(wù)場(chǎng)景中展現(xiàn)出了巨大應(yīng)用潛力。雖然受限于當(dāng)前量子計(jì)算機(jī)比特?cái)?shù)目，QNLP算法暫時(shí)難以處理海量的文本數(shù)據(jù)，但已展現(xiàn)出在小樣本學(xué)習(xí)方面的優(yōu)勢(shì)潛力。未來(lái)，隨著量子計(jì)算機(jī)的進(jìn)一步發(fā)展以及量子比特?cái)?shù)目的不斷增加，量子算法有望進(jìn)一步與自然語(yǔ)言處理任務(wù)深入結(jié)合，在金融行業(yè)的非結(jié)構(gòu)化處理任務(wù)中進(jìn)一步深化應(yīng)用，為量子金融科技的快速發(fā)展提出新方向。