對(duì)文本分類算法選擇和數(shù)據(jù)標(biāo)注的研究

王悅林

摘要：本文針對(duì)層出不窮的文本分類需求，重點(diǎn)針對(duì)基礎(chǔ)算法和數(shù)據(jù)標(biāo)注進(jìn)行了研究。

[關(guān)鍵詞]自然語言處理 文本分類 主動(dòng)學(xué)習(xí)

1 文本分類引擎

對(duì)于一個(gè)文本分類項(xiàng)目，在架構(gòu)上分為數(shù)據(jù)處理、文本分類、文本挖掘和結(jié)果展現(xiàn)四個(gè)部分。本文著重在分類引擎的設(shè)計(jì)上。

引擎需要考慮的因素很多，基于目前的技術(shù)發(fā)展，以下幾點(diǎn)需要重點(diǎn)考慮并解決：

（1）分類效果如何評(píng)價(jià)。

（2）如何選擇基礎(chǔ)算法。

（3）如何減少標(biāo)簽數(shù)據(jù)量。

（4）如何處理訓(xùn)練數(shù)據(jù)的不均衡。

（5）如何處理多達(dá)幾十上百的類別。

篇幅所限，本文重點(diǎn)關(guān)注算法選擇和數(shù)據(jù)標(biāo)注

2 自然語言處理算法選擇

從2013年Word2Vec開始，可以選擇的常用基礎(chǔ)算法有GloVe，F(xiàn)astText，ELMo，GPT1.0，BERT，Bert as a service，MT-DNN，GPT2.0等等，最近一段時(shí)間發(fā)展的速度令人咋舌。具體如何進(jìn)行選擇呢？

首先要選擇句子級(jí)別的算法，因?yàn)樵~級(jí)別算法沒有考慮詞之間的關(guān)系和語序，不僅處理不了語義組合、多義詞、轉(zhuǎn)折、依賴等各種語言學(xué)上的語法現(xiàn)象，連簡單的語序也處理不了，我欠你一百萬和你欠我一百萬這種在語義上/現(xiàn)實(shí)社會(huì)中巨大的差異被忽視，語言處理能力較低。

其次要選擇預(yù)訓(xùn)練模型，而不是從零開始構(gòu)建。動(dòng)輒幾億參數(shù)的預(yù)訓(xùn)練模型以多層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和巨大的訓(xùn)練數(shù)據(jù)量，已經(jīng)學(xué)會(huì)了大量的語言知識(shí)，具有了超凡的語言理解能力。而且這類模型很多公司從成本角度是無法自己訓(xùn)練的，站在巨人的肩膀上會(huì)是明智的選擇。

再次，從實(shí)際應(yīng)用的角度，算法是否易用，網(wǎng)絡(luò)資料是否齊全，也是要考慮的因素。因此上述的各種選擇中，基于Transformer/Self一Attention，并能提供下游任務(wù)接口的BERT就成為不讓之選。

3 高成本的數(shù)據(jù)標(biāo)注

AI目前整體上還是處于弱人工智能階段，簡單說就是有人工才有智能，只有人類教會(huì)機(jī)器/算法如何工作，機(jī)器/算法才能分辨出不同的類別。這個(gè)教的具體動(dòng)作，就是提供打好標(biāo)簽的數(shù)據(jù)來訓(xùn)練模型。大家常說的數(shù)據(jù)是基礎(chǔ)，數(shù)據(jù)是燃料，數(shù)據(jù)是動(dòng)力都是這個(gè)意思。

而給數(shù)據(jù)打標(biāo)簽的工作，也是目前人工智能領(lǐng)域的痛點(diǎn)之一，還催生了專門做數(shù)據(jù)標(biāo)注的公司。常有人抱怨人工智能的項(xiàng)目一半以上的時(shí)間和費(fèi)用都投入到了做數(shù)據(jù)標(biāo)注上。

那么有沒有技術(shù)上的方法來減少這種痛苦呢？有，那就是主動(dòng)學(xué)習(xí)（Active Learning），其目的不是不再標(biāo)注數(shù)據(jù)，而是大大減少標(biāo)注的數(shù)據(jù)量。其基本的原理是，通過人工智能的方法來主動(dòng)選擇出標(biāo)注意義更大的數(shù)據(jù)，以達(dá)到用一半的數(shù)據(jù)標(biāo)注就能訓(xùn)練出滿意效果的目的。

此方法的理論依據(jù)是標(biāo)注數(shù)據(jù)量和模型正確率之間的關(guān)系。人們往往以為隨著數(shù)據(jù)量的增長，準(zhǔn)確率會(huì)持續(xù)提升，其關(guān)系是向右上方升起的一根直線，即線性關(guān)系。而根據(jù)實(shí)際試驗(yàn)，兩者的關(guān)系是一條弧線，在初始階段隨著標(biāo)注數(shù)據(jù)量的增長，多次訓(xùn)練的準(zhǔn)確率會(huì)大幅提升，之后增幅就逐漸減小，效果越來越不明顯。

如何主動(dòng)學(xué)習(xí)呢？方法很多，使用算法和信息熵迭代操作會(huì)大大提升效率。具體步驟說明如下：

第一個(gè)啟動(dòng)模型采用遷移學(xué)習(xí)的思路，選擇其它項(xiàng)目的成熟模型作為啟動(dòng)點(diǎn)。由于每個(gè)項(xiàng)目的具體分類不同，模型不能重用，但舉例來說，對(duì)洗衣機(jī)的負(fù)面評(píng)價(jià)判別模型，用在冰箱評(píng)價(jià)上也是一個(gè)好的起點(diǎn)，比起從零開始構(gòu)造模型，會(huì)大大減輕工作量和縮短項(xiàng)目時(shí)間。

以遷移過來的模型作為初始模型，對(duì)全部沒有標(biāo)注的數(shù)據(jù)直接分類。由于沒有標(biāo)注，分類結(jié)果無法判斷對(duì)錯(cuò)，但是每一行數(shù)據(jù)的分類結(jié)果可以生成總和為一的概率分布，而排在第一位的概率數(shù)字代表了模型對(duì)于分類的信心。概率越高，確定性越大，則信息熵越小，而我們需要挑選出來的是信息熵最大的那一批數(shù)據(jù)，對(duì)其進(jìn)行標(biāo)注。如果最難分類的數(shù)據(jù)都被成功歸屬到了正確的類別，那么其它數(shù)據(jù)就更容易分類了。這樣標(biāo)注的數(shù)據(jù)就不再是隨機(jī)進(jìn)行選擇，而是被精準(zhǔn)定位，從而大大降低標(biāo)注量。

用第一批標(biāo)注的數(shù)據(jù)來訓(xùn)練出第一個(gè)真實(shí)模型，而用此模型來挑選出下一批需要標(biāo)注的數(shù)據(jù)，多次重復(fù)此過程，直至準(zhǔn)確率曲線不再升高，或升高的幅度不值得再投入人員和時(shí)間進(jìn)行標(biāo)注，就結(jié)束模型訓(xùn)練，完成分類任務(wù)。

參考文獻(xiàn)

[1]AshishVaswani et al.Attention is All You Need. arXiv 1706.03762.

[2]Jonas Gehring et al.Convolutional sequence to sequence learning.arXiv：1705.03122.

[3]Yonghui Wu et al. Googles neural machine translation system：Bridging the gap between human and machine translation. arXiv：1609.08144.

[4]Christian Szegedy et al.Rethinking the inception architecture for computer vision.CoRR，abs/1512.00567.

[5]Jacob Dev1in et al.BERT：Pre-training of Deep Bidirectional Transformers for Language Understanding. arXiv 1810.04805.

[6]Denny Britz et al. Massive exploration of neural machine translation architectures.CoRR，abs/1703.03906.