悟道·文瀾：超大規模多模態預訓練模型帶來了什么？

盧志武/LU Zhiwu，金琴/JIN Qin，宋睿華/SONG Ruihua，文繼榮/WEN Jirong，

（1.中國人民大學高瓴人工智能學院，中國北京100872；2.中國人民大學信息學院，中國北京100872）

人腦是一個復雜的系統，能夠處理多種感官模態例如視覺、聽覺、嗅覺等的信息。這使得人們能夠準確、有效地完成感知、理解和決策任務。為了模仿人類的這些核心認知能力，人工智能模型利用大規模多模態數據來進行訓練。如何利用從互聯網上爬取的大規模多模態數據進行模型訓練，成為近期業界的研究熱點。如何能有效地利用這些爬取數據是一個巨大的挑戰，因為我們無法對其進行詳細的人工標注。另外，這些數據不可避免地存在一定量的數據噪聲。如圖1所示，學術界數據集多為由人工編寫的強相關文本，如“水果蛋糕上有一些蠟燭在燃燒”，規模多為幾萬到百萬圖文對。與此不同的是，從互聯網上搜集到的圖像的周邊文本通常與內容弱相關。

圖1 兩種不同的圖文數據

多模態預訓練的目標是對齊不同模式的大規模數據，從而可以將所學知識遷移到各種下游任務中，并最終接近通用人工智能。目前，多模態預訓練模型已經在廣泛的多模態任務中取得了巨大成功。然而，學術界往往只重視在有限規模的標注數據集上取得更好的效果，因此多采用單塔模型，并在英文數據集上進行訓練。這使得其應用場景被規模、性能和語言所局限。在北京智源研究院悟道項目的支持下，文繼榮教授帶領中國人民大學盧志武教授、宋睿華長聘副教授、金琴教授等師生團隊搜集了6.5億對中文圖文數據，率先提出圖文弱相關是更為現實的假設，并利用跨模態對比學習來自監督地訓練超大規模圖像-文本多模態預訓練模型文瀾BriVL。另外，我們認為：不同模態和不同語言都有可能表示相同的語義信息。如圖2所示，中文單詞“狗”、英文單詞“dog”或是一張狗的視覺圖像，都能表示狗這一動物。因此，我們研究了如何通過預訓練來捕捉視覺與語言在語義上的共通點，提供更好的視覺和語言特征，以支持不同的多語言多模態下游任務；同時提出文瀾多語言多模態預訓練模型MLMM。實驗證明，兩個模型均能在多項下游任務中獲得國際最佳性能。

圖2 不同語言和模態能夠表達相同的語義

此外，我們還著重討論了超大規模多模態預訓練帶來的影響，包括對文本編碼、圖像生成和圖文互檢的影響。總之，多模態預訓練帶來的改變才剛剛開始，它在人工智能方面有著巨大的潛力。

1 文瀾BriVL超大規模圖文預訓練模型

1.1 相關工作

自2018年以來，單模態預訓練模型（如BERT、GPT、ViT等）的出現，極大地促進了相關領域的發展。人們也在持續探索具有更強通用性的多模態預訓練模型，具有代表性的工作有UNITER、OSCAR等。然而，由于視覺數據集的標注需要的成本高昂，多模態數據集往往維持在百萬的數據量級，因此，難以在此基礎上訓練出具備良好通用性與泛化性的多模態模型。多模態預訓練模型根據其框架可分為兩類：單塔和雙塔。

最近的UNITER、Oscar、M6、VisualBERT、Unicoder-VL、VL-BERT等模型都采用單塔網絡，它們利用一個特征融合模塊（例如Transformer）來得到圖像-文本對的嵌入。其中，一些單塔模型還使用對象檢測器來檢測圖像區域，并將這些區域與相應的單詞進行匹配。UNITER作為單塔模型的代表，對560萬圖文對進行遮擋語言建模（MLM）、遮擋區域建模（MRM）和圖像文本匹配（ITM）的聯合訓練，從而學到通用的圖像文本表示。Oscar將語義相同的對象（名詞）作為圖像和文本對齊的基礎，從而簡化圖像和文本語義對齊的學習任務，即使用快速目標檢測器（Fast R-CNN）就可以將檢測到的對象標簽與文本中的單詞建立關聯。現有單塔結構通常依賴于強相關的圖文對數據，而這一強相關假設對大規模網絡數據集來說通常是無效的。此外，單塔模型在推理階段需要較高的計算成本。例如，需要將查詢內容（圖像或文本）輸入到單塔模型中，計算它和所有候選對象的匹配分數。

相比之下，采用雙塔結構的多模態預訓練模型使用單獨的圖像和文本編碼器，分別對圖像和文本進行編碼，然后進行圖文對匹配來完成檢索任務。這種模式的檢索效率更高，但由于缺乏更深層次的圖像-文本交互（即圖像區域與單詞的交互），通常只能達到次優性能。最近的雙塔工作，如LigntningDot，通過重新設計目標檢測過程來應對這一挑戰；CLIP、ALIGN、WenLan 1.0和WenLan 2.0則放棄了昂貴的對象檢測器，利用跨模態對比學習任務來進行模型訓練。

1.2 模型介紹

文瀾BriVL模型在預訓練數據的選擇上，不再遵循強相關語義假設，而是轉向弱相關假設；在網絡架構上，選擇雙塔結構而不是單塔結構；使用了更加節約計算資源的跨模態對比學習算法來進行預訓練。具體來說：（1）在弱相關語義假設下，圖文數據不再需要任何人工標注，互聯網上的海量多模態數據成為文瀾BriVL模型的預訓練數據來源。相比于人工標注的幾百上千萬強語義相關圖文數據，文瀾BriVL模型使用的預訓練數據全部爬取自互聯網，規模達到了6.5億對。更重要的是，弱語義相關數據包含了復雜、抽象的人類情感和想法，能夠幫助我們把文瀾BriVL模型訓練成一個更具認知能力的模型。（2）文瀾BriVL模型不再需要耗時的目標檢測器，使用的雙塔網絡架構在應用時也有明顯的效率優勢。雙塔包含兩個獨立的編碼器：一個用于圖片，另一個用于文本。因此，在跨模態檢索時，候選的圖片或者文本可以提前計算出嵌入表示并做好索引，以滿足現實應用的效率需求。（3）受到單模態對比學習算法MoCo的啟發，文瀾BriVL模型在使用跨模態對比學習的同時也引入Momentum機制以及動態維護負樣本隊列（如圖3所示）。這樣就解構了batch大小與負樣本數量，從而在相對較小的batch下（即較少的圖形處理器資源）就可以得到性能較好的預訓練模型。

圖3 文瀾BriVL的網絡架構圖與圖像編碼器

1.3 實驗分析

我們在圖像零樣本分類、文本零樣本分類兩個下游任務上進行實驗，以驗證文瀾BriVL模型的遷移能力。

（1）下游任務1：ImageNet的零樣本分類

我們利用文瀾BriVL的圖文編碼器，可以直接在ImageNet數據集的200類圖像子集上進行零樣本分類。這需要提前將這200個類名翻譯成中文。ImageNet 200類挑選的原則為：英文類名在翻譯成中文時無明顯錯誤。OpenAI CLIP則直接在英文數據集上進行測試。從表1可以發現，文瀾BriVL 2.0的零樣本圖片分類準確率要高于CLIP。這說明我們的模型具有更好的泛化能力。

表1 ImageNet 200類的零樣本分類結果

（2）下游任務2：中文學科的零樣本分類

我們利用文瀾BriVL1.0以及2.0的文本編碼器，在中文學科分類數據集（CSLDCP）上進行小樣本分類。我們采用被廣泛使用的prompt-tuning方法來為1-shot分類。針對文瀾BriVL模型，我們同時利用了視覺和文本兩個模態的信息來進行prompt-tuning。對比實驗考慮了單模態預訓練的RoBERTa-base和RoBERTa-large。從表2可以發現，相比于單模態預訓練模型RoBERTa，文瀾BriVL模型具有更好的中文小樣本分類能力。這說明多模態預訓練在純粹的NLP下游任務中也發揮了重要的作用。

表2 中文學科的1-shot小樣本分類結果

1.4 模型可視化

文瀾BriVL模型的可視化流程為：

（1）給定一個文本，輸入一張隨機噪聲圖像；

（2）通過模型的文本編碼器得到文本的特征表示；

（3）多模態神經元可視化的目標函數為：讓當前輸入圖像的視覺特征表示逼近文本特征；

（4）固定文瀾的所有參數，通過反向傳播來更新輸入的噪聲圖像。

總之，算法收斂后，得到的圖像是文瀾BriVL認為的對輸入文本最為接近的可視化處理結果。如圖4所示，大規模多模態預訓練后的神經網絡已經能夠理解古詩句的意境，展示了強大的中文理解能力。

圖4 文瀾BriVL對詩句的神經元可視化

2 文瀾MLMM多語言多模態預訓練模型

2.1 相關工作

目前，在多語言多模態的語義學習方面，已有一些工作陸續開展。M3P首次采用了預訓練來學習多語言多模態知識，以多任務學習的方式輪流將英文的圖像描述數據和單模態的多語言語料輸入到模型中，以進行預訓練；UC2使用機器翻譯對現有的圖像描述數據集進行多語言擴充，同時遮蔽兩種語言相同意義的詞來迫使模型根據圖像內容進行還原。文獻[17]采用英文圖像描述數據和平行語料進行預訓練，將Unicoder擴展到多語言多模態上。

這些工作雖然取得了一定的成果，但其預訓練規模仍局限于Conceptual Caption 3M數據集。較小規模的預訓練使得模型的零樣本跨語言遷移能力較弱。因此，我們致力于利用更大規模、更加開放領域的數據進行預訓練，以獲得更加通用、更加強大的多語言多模態預訓練模型。

2.2 模型介紹

我們設計的MLMM模型的整體結構如圖5所示。我們首先使用在Visual Genome數據集上預訓練的Faster R-CNN目標檢測器來提取圖像中的區域特征，并將這些特征與相應的多語言文本Token一同輸入到Transformer Encoder中。

圖5 MLMM模型結構圖

為了捕獲不同層次的視覺與語言特征，MLMM采用4個任務進行預訓練：

（1）ITM。為了建模圖像與多語言文本的全局語義信息，我們使用ITM任務對MLMM模型進行預訓練。該任務的目標是，判斷輸入的圖像和多語言文本是否是語義匹配的。在ITM任務中，模型需要理解輸入圖像和多語言文本的全局語義信息，進而做出判斷。

（2）MLM。我們采用MLM任務來建模多語言文本的細粒度語義信息。MLM的目標是根據圖像區域信息和文本上下文，讓模型來預測被遮蔽的多語言文本單詞。

（3）圖像區域回歸（MRFR）。為了增強模型對圖像的細致建模能力，MRFR任務要求模型根據文本和其他圖像區域還原被遮蔽的圖像區域特征。

（4）圖像區域分類（MRC）。為了讓模型能夠細粒度地識別圖像語義，我們實施了MRC任務，因此讓模型來預測被遮蔽圖像區域所屬類別。雖然數據集中沒有區域語義的標注信息，但是目標檢測器檢測得到的類別可以作為該任務的偽標注。目標檢測器預測的類別并不是完美的，我們將目標檢測器在目標類別上的分布作為軟標簽，通過計算MLMM預測分布與目標檢測器軟標簽的KL divergence，來優化整個模型。

我們使用的多語言多模態預訓練數據集涵蓋漢語、英語、德語、法語、捷克語、日語、韓語7種語言和與語義相匹配的圖像，包含2.1億對多語言圖文數據。該數據集在以下兩個數據集的基礎上通過機器翻譯進行構建：

（1）英文圖文數據集Conceptual Caption 3M+12M。該數據集是目前圖文預訓練的通用數據集，約有1 500萬圖文對。數據集中的文本具體描述了圖像中所包含的內容。針對該數據集，我們采用4種預訓練任務進行訓練。

（2）中文圖文數據集RUC-CAS-WenLan。該數據集是我們構建的，涵蓋新聞、百科、微博、微信等領域，文本內容與對應的圖像呈弱相關關系。我們選取其中的1 500萬圖文對進行預訓練。針對該數據集的特點，我們僅訓練ITM任務。

2.3 實驗分析

我們在多語言圖文檢索、多語言視覺問答兩個下游任務中進行了實驗，以驗證MLMM的多語言多模態能力。

（1）下游任務1：多語言圖文檢索

多語言圖文檢索任務為：給定一段多語言文本，模型可以從數據庫中找到與之語義最相關的一張圖像，或通過一張圖片找到與之最相關的多語言文本。對于多語言圖文檢索，我們在兩個常用的多語言圖文數據集Multi30K和MSCOCO上進行評測。Multi30K是英文圖文數據集Flickr30K的擴展，支持英語、德語、法語和捷克語4種語言；文獻[19-20]分別將最初的英文MSCOCO數據集擴展到中文和日文。通常，多語言圖文檢索評測包含以下幾個設定：

?Finetune on en。只使用英文下游數據對模型進行微調，然后測試模型在其他語言上的表現，以衡量模型在多語言上的擴展性。

?Finetune on each。使用多種語言的下游數據，分別對預訓練模型進行微調，以衡量模型的單語言能力

?Finetune on all。同時使用多種語言的下游數據對一個預訓練模型進行微調，以衡量模型的多語言容量。

與M3P和UC2相同，我們采用平均召回率，即圖像檢索文本、文本檢索圖像兩個檢索方向上的Recall@1、5、10的平均值，來衡量模型的檢索效果。3種微調設定下的實驗結果如表3所示。

從表3中可以看出，在3種設定上，MLMM都超過了現有最好的多語言預訓練模型M3P和UC2，達到當前最佳性能。尤其在英文上進行微調時，英文與其他語言之間的性能差距明顯小于現有的工作中兩者間的性能差距。這說明得益于更大規模的預訓練，MLMM能夠表現出很強的跨語言遷移能力。

表3 多語言圖文檢索平均召回率

（2）下游任務2：多語言視覺問答

給定一張圖像和一個與圖像內容相關的特定語言上的提問，多語言視覺問答任務要求模型能夠給出正確的答案。我們采用VQA 2.0和VQA VG Japanese兩個數據集進行多語言視覺問答的實驗。其中，VQA 2.0是英文視覺問答數據集，而VQA VG JA則是日文視覺問答數據集。與UC2相同，MLMM將視覺問答任務視為多標簽分類任務，即模型從一個固定的候選池中選擇問題的答案。對于VQA 2.0數據集，我們選擇最常見的3 129個回答作為答案候選池；對于VQA VG Japanese，我們選擇最常見的3 000個回答作為答案候選池。表4展示了MLMM在多語言視覺回答上的實驗結果。

從表4中可以看出，MLMM在多語言圖文檢索上超越了目前的預訓練模型，在兩個多語言視覺問答數據集上同樣表現出色。這驗證了通過大規模的預訓練，MLMM能夠輕松適配各種多語言多模態的下游任務。

表4 多語言視覺問答準確率

2.4 可視化分析

我們對MLMM學習到的跨語言跨模態的通用知識進行了可視化。我們將語義相匹配的多語言文本和圖像輸入到MLMM中，將最后一層Transformer Encoder的文本對圖像區域的注意力權重進行可視化，如圖6所示。對于中文和英文相同語義的單詞，其注意力權重在圖像區域上的分布基本一致。這說明通過大規模的預訓練，MLMM學習到了多語言單詞之間以及和圖像區域之間的語義對應關系。

圖6 MLMM模型在多語言圖文檢索中的注意力權重可視化

3 超大規模多模態預訓練模型帶來的影響

3.1 多模態信息對文本編碼的影響

公平起見，哈爾濱工業大學的車萬翔老師團隊使用文瀾的圖文訓練集中的所有文字，對RoBERTa進行了微調。在17萬的詞表上進行統計的結果如圖7所示。和微調后的RoBERTa相比，RoBERTa看上去是一個相似度均值在0.4附近的正態分布；但和微調后的RoBERTa相比，WenLan的相似度明顯變低，大部分樣本集中在0.1以下。這說明圖像對文本詞向量有著顯著的影響。

圖7 同樣的詞在兩個空間中的詞向量相似性分布

我們在查看了相似度較低的詞語后發現了一些共同點：

（1）如圖8所示，在單模態語言模型中，由于上下文類似，反義詞的詞嵌入向量經常會非常相似。例如，在圖8的左部分中，當RoBERTa微調后，離“成功”不遠的地方有一組與“失敗”相關的詞語；經過文瀾多模態預訓練，“成功”周圍則以“成功”為主了（如圖8右部分所示）。這可能是因為與“成功”和“失敗”相關聯的圖像在色調和內容上相差較大。

圖8 “成功”在單模態RoBERTa微調模型與多模態文瀾模型中所對應的空間上的鄰近詞語

（2）視覺上相似的詞語會被拉近距離。以圖9為例，RoBERTa微調模型會把“王子”與“王公”“獅子王”“貴公子”等語義上比較相近的詞語拉近。多模態預訓練模型會將“王子”和“美男子”“帥哥”“英俊小生”等詞語拉近。這些概念在人們的印象中確實有很強的視覺語義相關性。

圖9 “王子”在單模態RoBERTa微調模型與多模態文瀾模型中所對應的空間上的鄰近詞語

（3）同一情境的詞語被拉近。如圖10所示，RoBERTa微調模型通常會找到和“教育”同層次的近義詞語，如“保育”“國民教育”“教育界”等；文瀾模型則會找到一些“課業”“課堂”等詞語，這些詞語可能出現在類似的圖片周圍，并通過跨模態之間的對比學習拉近距離。

圖10 “教育”在單模態RoBERTa微調模型與多模態文瀾模型中所對應空間上的鄰近詞語

3.2 多模態預訓練對圖像生成的影響

基于單模態預訓練生成模型的主要問題是，輸入句子嵌入是由在單一模態中預先訓練的文本編碼器提取的，這在語義上與圖像模態不一致。因此，單模態預訓練生成模型需要學習、處理視覺和自然語言的不同統計特性，以便生成與給定文本對齊的真實圖像。為此，現有方法采用了對比學習，并仔細設計了基于注意的單詞和區域自我調節，以便更好地進行訓練，這種方式是相當耗時的。在跨模態生成中（如文本生成圖像），高效地彌補這兩種模態之間的差距非常具有挑戰性。

與以往方法不同，我們可以利用多模態預訓練模型對圖像和文本進行編碼。例如，借助VQGAN inversion，可以實現基于文瀾BriVL的文生成圖。具體地，給定一個文本，輸入一張隨機噪聲圖像，通過文瀾BriVL的文本編碼器就可以得到文本的特征表示。VQGAN inversion的目標函數為：當前輸入圖像經過VQGAN后輸出的圖像，其視覺特征（通過文瀾圖像編碼器得到）必須逼近輸入文本的特征。固定VQGAN和文瀾模型的所有參數，通過反向傳播可以更新輸入的噪聲圖像。算法收斂后，最終得到的圖像即可看作關于給定文本的文生成圖結果。如圖11所示，借助VQGAN，文瀾BriVL模型能夠生成更貼近自然的圖像。

圖11 借助VQGAN inversion得到的文瀾文生成圖結果

這里的關鍵之處在于，由多模態預訓練模型提取的文本嵌入可以自然地與圖像模態對齊，這避免了之前方法中的額外復雜架構。總之，多模態預訓練模型給文生成圖任務帶來了新的研究思路。

3.3 多模態預訓練對文本-圖像檢索的影響

當文瀾模型將圖像和文本映射到同一空間時，文本與圖像的互檢就變得非常容易。當文本檢索圖像時，不再需要圖像周圍的文字作為橋梁，因此文瀾模型可以匹配圖像周圍文字并沒有描述的意境。圖像檢索文本也成為可能，不僅能識別出物體、場景或情感等類別標簽，還可以和任意的句子、段落進行多模態共享語義空間上的匹配。這首次跨越了圖文的語義鴻溝，實現了真正的跨模態檢索。

基于文瀾BriVL模型，文瀾團隊實現了多個在線演示系統，具體見圖12。

圖12 基于文瀾模型開發的3款跨模態檢索小應用

4 結束語

我們嘗試了利用億級的、來自互聯網的圖文對數據來訓練多模態雙塔模型BriVL和多語言多模態單塔模型MLMM。這兩個預訓練模型均在多個下游任務中獲得了國際最佳性能。通過實驗，我們發現多模態預訓練模型將更多視覺相似或在同一場景中的詞語拉近；能為文生成圖提供統一的語義基礎，提升圖像生成的泛化能力和效果；能讓文字和圖像可以在映射到同一空間后實現真正的跨模態檢索。目前，文瀾BriVL 1.0已開源，可以通過以下網址訪問或者申請下載：

?文瀾BriVL 1.0源碼下載：https://github.com/BAAIWuDao/BriVL

?文瀾BriVL 1.0模型申請：https://wudaoai.cn/model/detail/BriVL

?文瀾BriVL 1.0在線API：https://github.com/chuhaojin/WenLan-api-document

自2021年3月發布以來，文瀾受到了騰訊、酷我音樂、愛奇藝、網易等多家企業的關注。與長城汽車合作，文瀾完成了由圖像檢索金句的“歐拉喵語”小應用，并在上海和成都車展以及ChinaJoy上與參觀者進行現場的品牌互動；與OPPO合作，文瀾模型實現了為視障人士讀取收集圖片的功能，踐行科技向善的理念。

文瀾模型的強大能力也產生了一些跨學科研究成果。由中國人民大學新聞學院和高瓴人工智能學院合作的《空間漫游與想象生產——線上影像策展中的網紅城市建構：基于視覺·語言多模態預訓練模型的計算傳播研究》，獲得了2021年計算傳播學年會學生論文三等獎。中國人民大學藝術學院師生與上海大學教師組成的“云端藝術”團隊，將文瀾融合到他們的微信程序“紅色夏天智能航宇”作品中，獲得2021年上海圖書館開放數據競賽優秀設計獎。

最后，如何平衡單雙塔的有效性和效率是未來的重要問題，目前主要方法有兩種：（1）對于單塔模型，可以在跨模式融合模塊之前放置雙塔體系結構，以減少巨大的檢索延遲，同時盡可能保持高性能優勢；（2）對于雙塔模式，可以考慮建立更精細/更緊密的模式相關性的學習目標，以提高其性能，同時保持高效率的優勢。