基于BERT的對AI理解語言方式的研究

王悅林

【摘 要】2010年之后AI進入高速發(fā)展期。尤其是在深度學習領(lǐng)域，新的算法層出不窮，屢次突破前人極限。但在技術(shù)高速發(fā)展的同時，人類自己的想象力也給自己造成了困擾，一些不實的報道充斥著人工智能機器人已經(jīng)有了自己的語言能力的宣傳。事實真的是這樣嗎？本論文通過剖析目前最強大的BERT技術(shù)，來一層層分析AI處理人類的語言的方式，以得出AI尚無法理解人類語言的結(jié)論。

【關(guān)鍵詞】預(yù)訓練模型;自注意;變壓器;BERT

中圖分類號： H319 文獻標識碼： A 文章編號： 2095-2457（2019）05-0088-002

1 關(guān)于語言模型

那么AI如何處理一種語言呢？首先看看語言是什么。把語言拆開，一篇文章由幾個段落組成，段落里是一句句的話。句子由詞詞連接而成，而詞語是由字組成的。語言的最小單位就是字。

如何了解語義呢？Harris 在1954 年提出了分布假說（distributional hypothesis）：上下文相似的詞，其語義也相似。 Firth 在1957 年對分布假說進行了進一步闡述和明確：詞的語義由其上下文決定（a word is characterized by the company it keeps）。有了這個假說，一個語言學問題就被轉(zhuǎn)化成了數(shù)學問題，可以利用計算機分析詞語的上下文，以獲得其語義。

語序的重要性不言而喻。“你給我一千萬”和“我給你一千萬”的區(qū)別實在太明顯了，必須知道如何按照正確的語序構(gòu)造一句話。

語言學的問題轉(zhuǎn)化成數(shù)學問題，就要構(gòu)造一個關(guān)于語言的模型。首先需要有一個足夠大的語料庫，然后需要一個比較深的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，訓練出有足夠多參數(shù)的語言模型。這個模型需要包含所有字詞之間的關(guān)系，也要包含句子之間的關(guān)系。

語言模型生成以后，由于語言中每個詞每個字在訓練模型的過程中都已經(jīng)被充分訓練，放入一個新的句子，就可以生成數(shù)學上的句子向量，會包含很多維度，512維，或者768維，以包含足夠的語言信息。

深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)只是生成一個語言模型的前提條件之一。除此以外，還需要更強大的算力，更強大的特征提取器，預(yù)訓練模式等等。

2 自注意力機制

NLP需求，最常用的解決方案就是Encoder Decoder架構(gòu)。先將輸入的序列做編碼操作，生成中間的語義編碼向量，再將向量輸出到解碼器。

注意力機制是什么？以翻譯舉例，輸入是Tom chase Jerry，輸出是三個詞依次輸出：湯姆、追逐、杰瑞。在生成三個中文詞的過程中，中間的語義編碼是動態(tài)的，就是說翻譯湯姆時，我們的注意力在Tom這個詞上多一些，占了60%的權(quán)重，而翻譯追逐時，輸入還是這句英文，但是注意力在Chase這個詞多一些。這種注意力權(quán)重動態(tài)調(diào)整的機制稱作Attention機制。

self-attention就是輸入的語句和輸出的語句是完全相同的語句，那它的意義在哪里呢？使用這個機制，在生成輸出的句子的過程中，可以發(fā)現(xiàn)每一個詞和這句話里面其他詞之間的關(guān)系，這就是新的特征提取器。

特征提取器是什么？NLP里語義就是指詞之間的關(guān)系，而這種關(guān)系就是語言學上的特征。CNN善于提取圖像里的特征，RNN可以用來提取每句話的特征，現(xiàn)在self-attention也可以用來提取特征。

那么self-attention和RNN相比，強大在哪里呢？RNN的一個很大的缺陷是無法并發(fā)運行，必須按照從左至右的順序來跑。另外RNN類的LSTM雖然聲稱擁有長短期記憶，但長度還是有限制。但是self-attention根本沒有距離的限制，幾十甚至幾百個字詞之間的關(guān)系仍然能找到。

3 Transformer架構(gòu)

Transformer架構(gòu)是以encoder/decoder架構(gòu)為基礎(chǔ)，由六個或者更多的Transformer塊構(gòu)成。每塊共四層架構(gòu)，最下面一層是self-attention，是Transformer里最重要的部分。上面一層是歸一化層、前饋網(wǎng)絡(luò)層、歸一化層。編碼層輸入經(jīng)過這樣的六個Transformer塊之后，分別生成不同的語義編碼，傳送給右側(cè)的decoder架構(gòu)，最后經(jīng)過一個線性回歸線和softmax層，生成最終的結(jié)果。

還有一個概念就是multi-head，中文叫‘多頭的一個概念。一個字或詞輸入到transformer，都是以向量的形式進入。假設(shè)這個向量是512維，當它經(jīng)過六層encoder時，是將這512維分成8份，每份64維分別進行計算。把一個字詞切成8部分，每份與句子中的其它詞進行交互，可謂你中有我，我中有你，交融得非常徹底。

4 BERT

下面詳細解釋一下BERT的特點。

首先BERT只有encoder沒有decoder。這很容易理解，因為BERT是一個通用的預(yù)訓練模型，可以接各種下游任務(wù)，它的輸出只是文本表示，所以不能使用固定的decoder。

第二點，BERT是百層左右的深度神經(jīng)網(wǎng)絡(luò)，才能把各種語言學的特征提取出來。BERT面世之前，NLP領(lǐng)域的神經(jīng)網(wǎng)絡(luò)基本上只有幾層，Transformer架構(gòu)之后才有可能將NLP網(wǎng)絡(luò)推向幾十上百層。淺層是分析語法，詞法層級的特征，深層進入語義的范疇。

第三點，非常重要的一點，BERT是一個預(yù)訓練模型，這意味著做NLP項目的起點已經(jīng)大幅提升。在2018年之前，任何一個NLP項目的起點都是以Word2Vec為代表的詞向量。我們拿到一句話的詞向量之后，自己構(gòu)建句向量，再實現(xiàn)下游任務(wù)。構(gòu)建句向量的過程往往是簡單的詞向量平均或者加總，難以實現(xiàn)深層語義的提取，導(dǎo)致下游任務(wù)效果較差。

相信從BERT開始，會出現(xiàn)各種細分領(lǐng)域的語言模型，效果也會越來越好。

第四個特點，BERT是用self-attention作為特征提取器的能力。

第五個特點，就是這個預(yù)訓練模型是直接設(shè)計了兩個下游任務(wù)作為預(yù)訓練模型的任務(wù)，產(chǎn)生的句向量只是副產(chǎn)品。這兩個任務(wù)一個是詞級別的，一個是句子級別的。詞任務(wù)就是單詞預(yù)測，隨機遮擋住15%的詞進行預(yù)測，要正確預(yù)測就需要精準學習每個詞與其它所有詞的關(guān)系，學習詞序。句子級別的任務(wù)就是預(yù)測兩句話是不是上下句。這兩個下游任務(wù)可以用作知識的來源。

第六個特點就是對多義詞的識別。在Word2Vec、GloVe等詞向量的年代，所有的詞向量都是靜態(tài)的，就是訓練之后詞向量就不再變化，而固定下來了。但是一個詞在不同句子不同語境里詞義是會有或大或小的變化的，例如apple可以指代水果，也可以指代一家公司，詞向量需要動態(tài)變化。

BERT在訓練過程中，同一個詞會在非常多的語料里出現(xiàn)，訓練后會混合所有的含義。使用時放到一個句子里，會根據(jù)上下文把這個詞的語義提煉出來，表達在這個上下文里的具體含義，以解決多義詞的問題。

第七個特點就是雙向語言模型。

5 總結(jié)

我們了解了目前階段智能機器人的能力，知道了AI是怎么一步步地處理語言數(shù)據(jù)，這是目前為止最先進的AI處理人類語言的方式。在前面的研究中，我們知道AI處理的全部都是數(shù)字，輸入時將每個字轉(zhuǎn)化為一個多維數(shù)學向量，然后通過大量數(shù)據(jù)的訓練，尋找每個字之間的關(guān)系。翻譯也好，對話也好，對于AI都是數(shù)字對數(shù)字的游戲，我們最終看到的語言輸出，只是這些數(shù)字最終通過字典翻譯回了人類的語言。

【參考文獻】

[1]Ashish Vaswani et al. Attention is All You Need. arXiv 1706.03762.

[2]Jonas Gehring et al. Convolutional sequence to sequence learning. arXiv：1705.03122.

[3]Yonghui Wu et al. Googles neural machine translation system： Bridging the gap between human and machine translation. arXiv：1609.08144.

[4]Christian Szegedy et al. Rethinking the inception architecture for computer vision. CoRR， abs/1512.00567.

[5]Jacob Devlin et al. BERT： Pre-training of Deep Bidirectional Transformers for Language Understanding. arXiv 1810.04805.

[6]Denny Britz et al. Massive exploration of neural machine translation architectures. CoRR， abs/1703.03906.

[7]Yonghui Wu et al. Googles neural machine translation system： Bridging the gap between human and machine translation. arXiv：1609.08144.