融合自注意力機制的跨模態食譜檢索方法*

林 陽，初 旭，王亞沙，毛維嘉，趙俊峰

1.高可信軟件技術教育部重點實驗室，北京 100871

2.北京大學計算機科學技術系，北京 100871

3.北京大學軟件工程國家工程研究中心，北京 100871

1 引言

人們日常的飲食習慣對于人們的身體健康有著極為重要的影響。隨著生活水平的不斷提升，人們對飲食健康的關注程度越來越高。而日常飲食攝入的記錄，作為飲食管理的關鍵環節，更是越來越受到人們的重視[1-2]。而對某些慢性病患者（如慢性腎病患者）而言，由于其疾病治療的需要，對營養攝入的監控更是至關重要[3-4]。

傳統的飲食攝入記錄工具的基本流程是，通過用戶拍攝的食物圖片，對食物類別和原材料種類進行預測，并進一步估計其中的營養成分含量[5-7]。然而，由于人們自制的食物的風格、外觀多變，實際上得到的結果不足以支持從食物圖片中進行營養含量的推定[8]。

隨著互聯網的發展，越來越多的人們開始將食物圖片和食譜上傳至社交網絡和公開的食譜網站。這使得大規模的收集食物圖片及其對應的食譜成為可能，也為解決飲食攝入記錄問題提供了新的思路。

在大規模的食譜數據的支持下，一個新的研究方向開始興起：食譜檢索，即通過一張食物的圖片在大規模的食譜中檢索其對應的食譜[9-11]。被檢索到的食譜中包含著食物的類別、原材料種類及用量等信息，在其基礎上可以進一步進行原材料識別、營養含量估計等其他相關工作，達到飲食攝入記錄的目的。除了在傳統預測方法使用到的標簽信息之外，食譜中還包含著食物制作的操作步驟信息，其中蘊含了比類別標簽更豐富的語義信息，可以幫助模型更好地理解食物圖片中所包含的語義，取得更高的準確率[10]。

食譜檢索問題是一個典型的跨模態（crossmodal）檢索問題[12]，即通過一個模態（如圖片）的數據在另一個模態（如文本）的數據庫中尋找對應的樣本。比如圖片與其簡單文字描述之間的相互檢索，就是跨模態檢索領域常見的問題。

與一般的跨模態檢索問題相比，食譜檢索問題的難點主要在于食譜中文字與食物圖片聯系的復雜性。食譜描述了從原材料到最終成品的一系列變化過程，而不是直接描述了成品食物圖片中可見的特征。這些變化過程之間的疊加和相互作用是十分復雜的,相同的原材料經過多重操作后外觀可能完全不同，而相似的成品外觀反而可能出自經歷了不同處理的不同原材料。因此，通過圖片特征檢索食譜，需要模型深入理解圖片中出現的原材料在食譜中的處理過程，換言之，需要充分捕捉對同一種原材料進行加工處理的多個步驟之間的依賴關系。

然而，在食譜中，同一原材料的多個處理步驟的文本并不總是緊靠在一起的。食譜中的加工步驟，根據其時序依賴關系一般可以表示為一個樹形結構[13]，對不同原材料的加工步驟分屬不同的沒有時序依賴關系的分支流程，最終不同原材料的多條處理流程匯總到一起。然而，大多數的食譜其格式要求把原本樹形結構的流程記錄成一個線性結構，對不同原材料加工處理的流程相互交織在一起，因此對某種原材料加工的兩個相鄰步驟之間文本可能相隔較遠。如圖1中食譜所示，步驟1與步驟4斜體文本都是關于同一種原材料（土豆）的加工步驟，它們之間的依賴關系明顯高于其相鄰步驟。

當前食譜檢索方向的工作，均采用了傳統的文本處理模型（RNN（recurrent neural network）或其變體LSTM（long short-term memory）、GRU（gate recurrent unit）等）對食譜文字進行處理。這些模型采用線性的方式處理文本數據，捕捉遠距離依賴關系的能力較差，使其難以充分理解圖片中出現的原材料在食譜中的處理過程。

Fig.1 Distant dependency in recipe圖1 食譜中的遠距離依賴

也有研究工作嘗試使用注意力機制來捕捉食譜中的依賴關系[10]，但是其在注意力機制中為所有的食譜選取了相同的環境向量（context vector），沒有考慮到食譜之間的差異性和獨特性，導致其準確率較差。

針對上述問題，本文結合最新的食譜檢索工作，并在其基礎上提出了一種新的食譜檢索模型。本文采用Transformer模型[14]來對食譜文字進行編碼，借助Transformer模型中的自注意力（self-attention）機制,來捕捉食譜文字中遠距離的依賴關系。同時，本文還對文獻[10]中使用的注意力機制進行了改進，選取食譜的標題這一人工從食譜中提取的抽象信息作為環境向量，并將改進后的注意力機制結合到本文的模型中，進一步提升了模型的效果。

為了使訓練得到的模型更加符合國內群眾的飲食習慣，本文從國內熱門的食譜網站上獲取數據，構建了一個新的大規模中文食譜數據集（large-scale Chinese recipe dataset，LCR）。LCR數據集包含超過17萬個中餐食譜，每個食譜包含標題、使用的原材料、操作步驟，同時數據集中還包括該食譜對應的最終成品圖片。

本文的貢獻在于：面向用食物圖片檢索文本食譜的跨模態檢索任務，提出了一個新的基于自注意力機制的跨模態食譜檢索方法框架；本文提出了基于Transformer網絡的食譜文本編碼器，并改進了傳統方法注意力機制的環境向量選取方式，綜上兩點提升了模型理解食譜復雜文本的能力。在LCR數據集上驗證了本文跨模態食譜檢索方法框架的有效性，檢索準確率（Recall@1）對比跨模態食譜檢索領域的現有先進基線方法提升22%。

2 相關工作

2.1 跨模態檢索

跨模態檢索是指在不同模態的數據中檢索與提供的查詢樣本相關的結果。常見的跨模態檢索問題有通過圖片檢索其相關描述，或者通過關鍵詞檢索圖片等。跨模態檢索問題的主要困難在于如何度量不同模態的數據之間的相似度。較為普遍的一種做法是將不同模態的元素映射到一個共享的隱空間（latent space）中，在其中將相互匹配的元素對齊，使在該隱空間中不同模態的數據之間可以進行比較。跨模態檢索領域的一種經典方法是典型關聯分析（canonical correlation analysis，CCA）。隨后CCA又發展出了諸多變種如核CCA（kernel CCA）[15]等。后來隨著深度神經網絡的發展，很多工作也開始采用深度神經網絡進行隱空間映射[16-19]。

相比于常見的跨模態檢索問題，如使用圖片檢索描述性文字或是相反[18]，食譜檢索中并不是所有文本信息都直接體現在圖片上，文本與圖片之間存在著復雜的關聯關系。

2.2 食譜檢索

食物相關的研究一直受到研究人員的關注和重視。常見的研究方向有食物識別[20]、原材料識別[8]、營養成分估計[21]等。

最初的食譜檢索工作可以看作是上述研究的一個延伸，關注于通過食物圖片預測食物屬性，如食物類別、原材料等，進一步根據這些屬性在候選集中尋找對應的食譜，如圖2（a）所示。Chen等人[8]提出通過多任務學習的方法同時預測食物類別和原材料，并通過條件隨機場（conditional random field，CRF）調整預測的結果。之后，Chen等人[22]認為可以加入更加豐富的食物屬性，在類別和原材料之外又考慮了處理步驟這一屬性。上述工作提出的模型，其訓練要基于食物圖片對應的標簽。而考慮越多的屬性，所需標簽就越復雜，對數據的要求越高，如文獻[22]就要求圖片需要有細粒度的料理步驟標簽，而這通常是很難獲得的。

Salvador等人[9]率先將跨模態檢索的經典的隱空間對齊思想引入食譜檢索，其模型框架如圖2（b）所示。這樣的結構使得檢索可以不受固定的食物屬性的限制，訓練時對人工提取的標簽的需求也較低。Chen等人[10]在上述模型的基礎上引入了注意力機制，使模型關注食譜中對食物外觀影響更大的部分，并且捕捉其中隱含的因果關系。同時針對檢索問題引入了排序損失（rankloss），加快了訓練速度。Carvalho等人[11]在排序損失的基礎上，提出了一個雙三元組（double-triplet）損失函數，更好地利用了食譜中不同層次的語義信息。同時其還提出了一種新的梯度下降和反向傳播的方法，以提升訓練效果。

Fig.2 Two frameworks in recipe retrieval圖2 食譜檢索的兩種框架

然而，這些方法仍存在一些不足之處。但在上述方法中，均使用了循環神經網絡（RNN）或其變形（LSTM、GRU）等線性處理文字的模型來編碼非線性的食譜文本。本文提出了一種基于自注意力機制的食譜文本編碼器，可以更好地處理食譜中長距離的步驟間依賴關系。

3 模型設計

3.1 模型框架概覽

本文模型框架如圖3所示，共由三部分組成，分別為食譜文字編碼模塊（text encoding module）、圖片編碼模塊（image encoding module）以及聯合嵌入模塊（joint embedding module）。

文字和圖片兩種模態的數據分別經過各自的編碼模塊得到對應的特征表示。其中食譜文字被分為標題、原材料、操作步驟三部分，分別由三個不同參數的文本編碼器進行編碼，并最終通過拼接得到食譜文字的特征表示；而食物圖片則通過深度卷積神經網絡進行編碼。接著兩個模態的特征向量進入聯合嵌入模塊，學習在一個共享的隱空間中的嵌入表示，使得匹配的文字與圖片之間的相似度盡量高。整個模型為端到端（end-to-end）訓練。接下來將分別介紹模型中的不同模塊。

3.2 文字編碼模塊

3.2.1 Transformer模型

Transformer模型是Google于2017年提出的一種模型[14]，其原本的目的是代替循環神經網絡解決自然語言處理中seq2seq的任務。與循環神經網絡相比，Transformer解決了兩個問題：一個是擺脫了串行的計算順序，提升了其并行能力；另一個是解決了循環神經網絡在處理長文本時，由于文本過長出現“遺忘”現象，導致難以處理遠距離依賴的問題。

Transformer模型之所以能夠處理遠距離依賴問題，主要依賴于其采用的自注意力（self-attention）機制。不同于循環神經網絡（RNN）只能通過上一個時間片傳遞的隱含層信息了解之前的信息，借助自注意力機制，Transformer模型可以“全局瀏覽”輸入的數據，并找到與其相關性更高的部分。舉例而言，如圖4，在處理食譜中“翻炒土豆絲”一步時，循環神經網絡（圖4（a））只能接收前一步傳遞的信息，而自注意力機制（圖4（b））可以在全局范圍內尋找與該步相關性較高的步驟（如“土豆切絲”這一步）。

Fig.3 Model framework圖3 模型框架

Fig.4 Comparison between RNN and self-attention mechanism圖4 循環神經網絡與自注意力機制對比

本文采用Transformer模型的encoder網絡作為文本編碼器，encoder網絡的結果如圖5所示。

Fig.5 Encoder in Transformer model圖5 Transformer模型中的encoder網絡

在本文剩余的部分中，將該網絡記為：

其中，x為輸入的詞向量；y為詞向量經模型編碼后的隱含層向量。

3.2.2 標題編碼

每個食譜均包含一個標題。食譜的標題通常是對食譜的一個高度總結，一般會包括食譜中使用的主要原材料和主要烹飪方式（如西紅柿炒雞蛋），有的也會包括風味或菜系（如香辣土豆絲、川味排骨等）。

給定一個食譜的標題，其中包含T個詞wt,t∈[1,T]。首先通過word2vec算法將其轉換為n維詞向量，之后將這T個詞向量輸入一個文本編碼器中，每一個向量均可以得到一個n維的隱含層表示ht：

接著本文采用注意力機制，來計算整個標題的編碼。注意力機制的原理就是為不同隱含層表示計算權重，并通過加權求和的方式得到最終的特征表示，以此來體現文本中不同部分的重要程度。在本文中，注意力機制是通過一個單層的多層感知機（multi-layer perceptron，MLP）和一個SoftMax層來實現的：

其中，Watt和batt為感知機層的參數，可以通過反向傳播進行訓練。

注意力機制最終得到的權重αt是通過ut與uc之間的相似度來衡量的。uc被稱為環境向量（context vector），用于表示對隱含層向量的選擇傾向。環境向量的選取方式詳見3.2.5小節。

最終，標題的編碼embtitle（64維）由標題中的每個詞的隱含層表示加權平均獲得：

3.2.3 原材料編碼

食譜中通常會有一個部分列出其中使用的各種原材料，其中包括可見的材料（如西紅柿、土豆等）與不可見的材料（如鹽、糖等）。

原材料編碼embingr的獲得的方式與標題編碼的方式基本相同。首先通過式（2）、式（3）得到隱含層表示，接著通過式（4）、式（5）計算權重，并最終通過式（6）得到最終的編碼embingr（64維）。

3.2.4 步驟編碼

操作步驟詳細描述了食物的制作過程，是食譜中語義信息最豐富的部分，也是最復雜的部分。通常該部分是由多個長句子組成的。操作步驟部分的描述通常與成品的外觀沒有直接的對應關系，比如，“放入鍋中翻炒”這個步驟，并沒有直接描述處理之后原材料顏色和形狀的變化，而需要模型自己去理解。

在對步驟信息進行編碼時，本文沒有選擇類似[10]的層次編碼的方法，即：先通過一個編碼模型，將詞向量轉換為句子級別的編碼，再通過第二個編碼模型，得到所有句子的整體編碼。本文沒有采用層次編碼方法，而是仍采用了單個Transformer模型，從詞向量直接得到最終的整體表示。這樣做的原因在于以下幾點：首先使用層次Transformer模型對計算資源的消耗是巨大的；其次，Transformer模型本身多個子層的堆疊已經起到了一定程度的抽象作用（本文在實際測試時也發現兩種方法準確率基本相同）。綜上所述，在編碼步驟信息時，將其視為一個較長的文檔，仍采用式（2）到式（6）得到最終的步驟編碼embinst（256維）。

3.2.5 環境向量的選擇

文獻[10]中使用了與本文類似的注意力機制。本文對文獻[10]中注意力機制的uc（環境向量）選擇方式進行了改進。文獻[10]中uc采用隨機初始化，在訓練的過程中不斷調整，并在所有食譜之間共享。這種方式并不是選取環境向量的最優方式，隨機初始化并且共享的uc難以反映不同食譜的獨特性。本文選擇使用標題的所有隱含層向量的最大池化作為uc，原因是食譜的標題可以看作是食譜的撰寫人提供的對食譜的整體總結，從中可以得到一個食譜更好的綜合表示，從而幫助注意力機制將更高的權重賦予該食譜更加重要的部分。實驗部分也證實本文采用的方式確實可以得到較高的準確率。

3.2.6 文字整體編碼

食譜文字整體的編碼由三部分的編碼拼接得到：

3.3 圖片編碼模塊

在處理圖片時，本文采用了當前圖像處理領域廣泛采用且效果較好的深度卷積網絡——深度殘差網絡（deep residual network，ResNet）[23]。

本文采用50層的殘差網絡版本ResNet50作為圖片編碼模塊，并采用該網絡在ImageNet數據集上預訓練的參數對網絡參數進行初始化。在將圖片輸入殘差神經網絡后，本文選取網絡的倒數第二層（即除去最后一層SoftMax分類層）作為圖片數據的編碼embimage，維度為2 048維。

3.4 聯合嵌入模塊

本文將文字與圖片中對應的信息分別通過一層全連接神經網絡編碼映射到同一個隱空間，分別表示為?R與?v。隱空間維度為1 024維。全連接網絡使用tanh激活函數，原因是希望在該隱空間中使用余弦相似度來度量樣本表示之間的相似度：

3.5 損失函數

本文中采用與文獻[11]相同的損失函數，其中包括兩部分：檢索損失Lretr與語義損失Lsem。總的損失函數為：

其中，λ為控制檢索損失與語義損失相對大小的超參數。

檢索損失的目標是，使得錨樣本與正例之間的相似度至少高于其與負例之間相似度一個正數α。

語義損失的計算方式與檢索損失基本一致，不同之處在于三元組構建時，正例和負例分別選取另一個模態中與錨樣本類別相同和不同的樣本的表示，記為

語義損失的目標，是希望盡量提高不同模態間同一類別樣本之間的相似度，降低不同類別樣本之間的相似度。

3.6 模型訓練

由于整體模型較大，參數較多，同時學習文字和圖片兩個編碼模塊的參數可能會造成訓練結果的震蕩。因此，本文借鑒跨模態領域訓練模型時常用的思路[24]，對模型進行分階段訓練。訓練過程共分為三個階段：

第一階段，固定圖片編碼器模塊的參數，反向傳播時，只更新文字編碼模塊及聯合表示學習模塊的參數，直到在驗證集上準確率收斂。

第二階段，固定文字編碼模塊和聯合表示學習模塊的參數，反向傳播時，只更新圖片編碼模塊的參數，直到在驗證集上準確率收斂。

第三階段，同時更新所有模塊的參數。經過前兩階段的訓練后，所有模塊的參數均已基本訓練完成，該階段僅對模型參數進行進一步的微調。

算法1對模型的訓練過程進行了總結。

算法1模型訓練過程

參數：食譜編碼模塊參數θR，圖片編碼模塊參數θv，聯合嵌入模塊參數θJ，批尺寸N，超參數α、λ。

輸入：食譜集合R，圖片集合V。

輸出：網絡參數θR、θv、θJ，食譜與圖片在隱空間內的嵌入?R、?v。

4 實驗驗證

4.1 數據集

為了使模型更符合國內的飲食習慣，本文從國內熱門的公開食譜網站中下載數據，構建了一個大規模的中餐食譜數據集——LCR數據集。

LCR數據集中共包括177 048個食譜及該食譜對應的成品圖片，在實驗時，本文隨機從中抽取15 000個作為驗證集（validation set），15 000個作為測試集（test set），剩余147 048個作為訓練集（training set）。

LCR數據集中的每個食譜均包括標題、原材料、操作步驟三部分。經統計，每個食譜的平均標題長度為6.83個字，每個食譜中平均包含6.89種原材料與7.34個操作步驟。

同時，本文參考文獻[9]的方法，通過二/三元組匹配的方法，將LCR數據集中的食譜分為了1 026類，其中第0類為背景類，表示類別無法確定的食譜。在全部食譜中，屬于背景類的食譜約占52%。

4.2 實驗設置

4.2.1 實現細節

本文代碼使用Pytorch框架實現。模型使用Adam優化器進行訓練，學習率為10-4，間隔α為0.3，λ為0.1，批尺寸（batch size）為50。以上超參數均在驗證集上進行選擇。

在計算損失函數時，選擇在每個批（batch）中為錨樣本選擇正例和負例。具體而言，將一個批中所有的樣本均視為錨樣本，對每個錨樣本，在該批中尋找所有符合條件的正負例構建三元組，以進行檢索損失和語義損失的計算。

4.2.2 評價指標

本文實驗選取了使用圖片檢索食譜（im2recipe）及使用食譜檢索圖片（recipe2im）兩個任務來衡量模型的準確率，并分別在1 000/5 000/10 000三種大小的備選集合上進行測試。

本文實驗采用中位序數（median rank，MedR）以及topK召回率（recall rate at topK，R@K）作為準確率評價指標。中位序數指所有檢索樣本對應的被檢索樣本在檢索結果中的序數的中位數，其值越低，代表模型的準確率越高；topK召回率，舉例而言如im2recipe任務中的top 5召回率，指使用圖片檢索食譜時，圖片對應的食譜出現在檢索結果前5位的比率，其值越高，代表模型準確率越高。

上述所有評價指標均在每種大小的候選集上獨立地計算30次后匯報平均值。

4.3 結果比較

本文選擇了三種食譜檢索領域近年提出的模型作為基準算法，與本文提出的算法進行準確率比較，分別為：（1）JNE（joint neural embedding）[9]；（2）ATTEN[10]；（3）Adamine[11]。實驗結果如表1所示。

由表1看出本文模型的準確率在不同的任務、不同的備選集合大小下均顯著優于三種基準算法。其中，在10 000備選集上im2recipe任務的top 1召回率相比最好的基準算法提高了22%。三種基準算法在文本編碼模塊上均使用了循環神經網絡模型線性處理文本，而本文模型通過：（1）自注意力機制更好地捕捉食譜中遠距離的依賴關系；（2）改進的環境變量更好地捕捉食譜的獨特性，提高了模型的語義理解能力，取得了更高的檢索準確率。

4.4 對照實驗

在比較準確率的同時，本文還進行了一些對照實驗，通過改變或刪除一部分模型中的模塊并進行準確率的比較，驗證本文模型中各模塊的有效性。

4.4.1 注意力機制

本文采用了與文獻[10]不同的機制來選取注意力機制中的環境向量（詳見3.2.5小節）。本文對兩種選取方式進行了比較，詳細結果見表2，其中Uc_glob為文獻[10]環境向量選取方式，Uc_title為本文模型中的選取方式。文獻[10]中對所有的食譜均使用同一組端到端學習的參數向量作為環境向量，而本文則選取各食譜標題編碼向量的最大池化作為環境向量，更好地捕捉了不同食譜之間的差異性和獨特性，在絕大多數情況下得到的結果要優于文獻[10]中的選取方式。

Table 1 Comparison between proposed model and baselines表1 本文模型與基線方法對比

Table 2 Comparison between two attention methods表2 兩種注意力方法對比

4.4.2 消融研究

圖6展示了采用食譜的各個部分及其組合的數據對模型進行訓練的結果（僅匯報在10 000大小的備選集im2recipe任務的準確率），該結果可以反映食譜中的各個部分的重要程度。

可以看到，單獨使用食譜的某一部分進行訓練時，在三部分中，使用“操作步驟”這一數據進行訓練得到的準確率最高，這反映了操作步驟在食譜中的重要性。同時，這也說明了模型在理解輸入的食譜時，除了標題和原材料部分包含的部分可見的特征之外，模型確實從復雜的操作步驟信息中學習到了更為豐富的隱式的語義信息，用于檢索最終的成品圖片。

同時，根據實驗結果可以看到，單獨使用標題或者原材料這兩部分數據訓練模型得到的結果不佳，但當兩部分組合使用時，準確率甚至要略優于單獨使用操作步驟數據。這說明這兩部分數據中與食譜檢索任務相關的信息是互補的。

4.4.3 參數靈敏度實驗

本文還對模型中使用到的兩個超參數λ和α進行了參數靈敏度測試，其中λ為控制語義損失與檢索損失相對大小的超參數，α為損失函數中的間隔（margin），表示本文對正樣本對和負樣本對相似度差異的期望值。詳細結果見圖7（10 000備選集上im2recipe任務的R@10準確率）。

從圖7中可以看出，λ過大過小均會影響模型準確率。λ過小時，模型可能無法充分利用語義損失中包含的高層語義信息；λ過大時，模型可能過于關注抽象的類別信息而不能準確地進行匹配。同樣，α過大過小也會對準確率造成不良影響。α過小時，正例和負例與錨樣本之間相似度的差距不明顯，容易混淆；α過大時，會使模型在訓練后期關注過多的三元組，其中很多可能并不需要進一步優化，導致真正需要進一步優化的三元組的訓練信號被掩蓋。

Fig.6 Experiments results of using different recipe parts and their combinations圖6 使用食譜不同部分及組合的實驗結果

Fig.7 Experiment results of parameter sensitivity圖7 參數靈敏度實驗結果

5 總結與期望

針對當前人們對便捷的飲食攝入記錄工具的需求，本文提出了一種基于自注意力機制的跨模態食譜檢索模型，可以根據輸入的食物圖片自動檢索與其對應的食譜，進而達到記錄飲食攝入的目的。

本文模型借助Transformer模型的自注意力機制，更好地捕捉食譜中出現的遠距離依賴關系，提升了模型的語義理解能力。同時，本文還對傳統食譜檢索模型中使用的注意力機制進行了改進，更好地捕捉了不同食譜之間的獨特性，進一步提升了模型準確率。

盡管本文模型相對傳統模型已經有了明顯進步，但還沒有達到盡善盡美的地步。當前方法僅在食譜文字編碼模塊中進行了有針對性的考慮，而在圖片編碼模塊部分則采用了較為常用的圖片處理模型。將來會對圖片編碼模塊進行針對食譜檢索問題的調整和優化。