基于雙路注意力機制的化學結構圖像識別

季秀怡,李建華

(華東理工大學 信息科學與工程學院,上海 200237)

0 概述

隨著通信、計算機、自動化等技術的不斷發展,以深度學習為代表的機器學習算法在圖像識別、語音識別、自然語言處理等領域得到廣泛應用。由于在科學文獻和網絡中包含的化學信息對分子結構檢索、新藥設計等具有重要作用,但大部分化學信息以JPEG、PNG、GIF及BMP等圖像格式呈現,因此失去了原有的化學意義。研究人員通過ChemDraw、ChemSketch等化學繪圖軟件人工繪制文獻中的化學結構圖像耗時耗力且容易出錯,甚至需要結合專業知識來消除結構之間的歧義性,所以利用深度學習算法將文獻中的化學結構圖像自動地轉化成計算機能夠識別的InChI、SDF、SMILES等結構化信息數據格式具有實際應用價值。

現有化學結構圖像識別方法一般基于傳統圖像處理技術并結合流水線方式,先識別化學原子符號,再識別原子間的化學鍵,且在識別過程中制定了大量規則。但此類方法需針對特定情況設計不同規則,且識別效果嚴重依賴于人工特征,如文獻[1]制定了18條規則用于識別原子之間的化學鍵。由于規則之間有可能存在相互依賴的情況,因此使得對于此類方法的改進變得異常困難。而且此類方法雖然對于常見的化學鍵識別效果較好,但是難以處理化學鍵與化學符號粘連的情況,同時對于雙鍵、苯環及楔形鍵等結構容易識別錯誤或者識別不完整。此外,流水線方式還容易產生誤差累積,導致最終識別準確率降低。

近年來,以深度學習算法為基礎的計算機視覺和自然語言處理技術得到快速發展,利用深度學習技術從圖像中提取出有價值的信息得到越來越廣泛的應用。深度神經網絡能自動提取特征,并且在化學結構圖像上具有較好的魯棒性和泛化能力。SMILES是一種常用的化學結構表示方法,其先將分子圖結構轉換為樹結構,再以縱向優先遍歷的順序獲得樹結構的序列表示。SMILES作為化學結構圖像的存儲格式,其利用深度神經網絡模型將化學結構圖像轉化為SMILES序列,并且需要學習SMILES序列的語法規則以及化學結構圖像的局部信息與SMILES序列子串之間的映射關系,若復雜化學結構對應的SMILES序列較長,則其在序列生成過程中需保持較長的記憶以及不同抽象層次的推理能力。

本文基于空間注意力機制與通道注意力機制,并結合基于卷積神經網絡(Convolutional Neural Network,CNN)與長短期記憶(Long Short-Term Memory,LSTM)網絡的深度神經網絡模型,提出一種新的化學結構圖像識別方法。該深度神經網絡模型由編碼和解碼兩部分組成,編碼部分使用預訓練的ResNet網絡提取圖像特征并對其參數進行微調。解碼部分將雙路注意力機制與LSTM網絡相結合預測SMILES序列。

1 相關工作

1.1 化學結構圖像識別

早期的化學結構圖像識別方法一般基于傳統圖像處理技術并結合流水線方式。CLiDE[2]通過識別階段、字符分組階段和解釋階段掃描化學結構的連接表,并利用霍夫曼方法進行線檢測。CLiDE Pro[3]是CLiDE的擴展版本,對化學結構圖像進行預處理并識別連接的組件和圖像區域后,結合相關組件的形狀、上下文分析以及化學知識,應用特殊規則檢測和解釋難以繪制的特征。ChemReader[4]根據像素的連接方式將像素分為字符和圖像兩部分,并采用霍夫曼變換和角點檢測算法表示鍵連接的圖像組件。開源OSRA[5]使用Potrace庫,采用OCR與線檢測相結合的方式進行化學結構識別。MLOCSR[6]基于模式識別技術與概率知識表示和推理的流水線集成方法識別化學結構。以上工作均基于規則進行化學結構圖像的重建,并且字符與圖像之間通常分開檢測,需要手工提取特征。

基于深度神經網絡的化學結構圖像識別方法因深度學習技術在計算機視覺和自然語言處理領域的快速發展而得到廣泛應用。文獻[7]提出一種基于深度學習技術的化學結構圖像識別方法,將輸入文檔生成對應的SMILES序列。該方法先分割化學結構圖像,再對分割出的圖像進行化學結構預測,但其主要用于識別低分率圖像。

1.2 序列生成

序列到序列(Sequence to Sequence,Seq2Seq)[8]模型由谷歌于2014年提出,其輸入與輸出均為不定長序列,并且主要用于機器翻譯任務。隨著深度學習技術在自然語言處理領域的發展,序列生成被應用于文本摘要生成[9-10]、機器翻譯[11-12]及圖像描述生成[13-14]等任務中。早期序列生成較多采用循環神經網絡(Recurrent Neural Network,RNN),其主要包括門控循環單元(Gated Recurrent Unit,GRU)[15]和LSTM[16]模型。在圖像描述生成任務中,文獻[17]采用編碼-解碼架構的序列生成模型,其中將CNN作為編碼器用于提取圖像特征,RNN作為解碼器用于序列生成。文獻[18]將注意力機制應用于翻譯任務并取得了良好的效果,因此注意力機制逐漸成為提高序列生成準確率的重要方法。2017年,谷歌提出的Transformer[19]完全通過自注意力機制學習文本的表示,并使用編解碼模型生成序列,在自然語言處理任務中取得了較好的應用效果。

2 基于注意力機制的化學結構圖像識別

本文基于雙路注意力機制,并結合基于CNN與LSTM的深度神經網絡模型,提出一種新的化學結構圖像識別方法。深度神經網絡模型結構如圖1所示,由編碼模塊、解碼模塊和字符嵌入模塊組成。編碼模塊旨在通過多層卷積等操作對圖像進行特征提取,得到的特征圖表示為fi(i=1,2,…,L),其中L代表特征圖的個數。字符嵌入模塊對SMILES序列進行字符嵌入獲得字符的向量表示,解碼模塊基于雙路注意力機制并結合編碼模塊得到特征圖、當前時刻的SMILES字符嵌入以及LSTM結構預測下一個時刻的SMILES字符,其中特征圖表示為zi(i=1,2,…,L)。

圖1 深度神經網絡模型

2.1 編碼模塊

V=Encoder(X)

(1)

Vs=Squeeze(V)

(2)

Vc=Squeeze(Permute(V))

(3)

2.2 解碼模塊

解碼模塊接收編碼模塊輸出的圖像特征表示并結合注意力機制生成SMILES序列。現有注意力機制通常是指被建模為空間概率的注意力機制,該機制對語義相關區域賦予較高的權重[23]。CNN具有空間性、通道性和多層性等特性,考慮到化學結構圖像的復雜性,除了空間注意力機制外,為通道維度賦予不同的權重對化學結構識別任務同樣具有重要作用。文獻[24]利用自注意力機制的上下文依賴關系,提出一種用于場景分割的雙路注意力機制并取得了較好的效果。針對傳統空間注意力存在的問題,本文在解碼階段將空間注意力機制與通道注意力機制相結合,具體過程如圖2所示。

圖2 解碼過程

目前,一般采用RNN作為序列生成網絡,考慮到LSTM對長序列的語義具有較好的表示能力[25],因此本文采用LSTM作為序列生成網絡。在圖2中,空間特征圖與通道特征圖對應的注意力權重分別表示為α和β。設t-1時刻利用空間注意力機制與通道注意力機制得到的特征融合表示為δt-1,t時刻SMILES的字符表示為wt,嵌入表示為vt,δt-1與字符嵌入向量進行拼接得到的xt為t時刻LSTM的輸入,LSTM的輸入還包括上一時刻隱層的信息ht-1,最終預測出當前時刻的字符y。t時刻字符的得分計算如式(4)～式(10)所示:

ft=σ(Wf·[ht-1,[δt-1;vt]]+bf)

(4)

it=σ(Wi·[ht-1,[δt-1;vt]]+bi)

(5)

(6)

(7)

ot=σ(Wo[δt-1;vt]+Uoht-1+bo)

(8)

ht=ot⊙tanh(ct)

(9)

scorest=Wsht+bs

(10)

其中,ft、it、ot、ht、ct分別表示遺忘門、輸入門、輸出門、隱狀態和中間狀態,Wf、Wi、Wo、Wc、bf、bi、bo、bc分別表示遺忘門、輸入門、輸出門和中間狀態的權值矩陣以及偏置。

2.2.1 空間注意力機制

在通常情況下,SMILES序列中的某一個字符或者某一個子序列只與圖像中的某個區域有關,例如預測子序列“c1ccccc1”(苯環)時,只與圖像中包含苯環的區域有關,因此僅使用一個全局圖像特征表示進行序列生成,但各區域的權重相同會導致預測結果變差,而利用空間注意力機制為語義相關的位置信息賦予更高的權重能顯著提高序列生成的準確率。

經過圖像編碼后得到的空間特征圖為Vs={s1,s2,…,si,…,sL},si表示第i個位置的視覺特征?？臻g注意力機制的計算公式如式(11)～式(13)所示:

(11)

(12)

et-1,i=ht-1Wesi

(13)

2.2.2 通道注意力機制

文獻[26]提出通道注意力機制并將其應用于目標檢測網絡模型SENet中。由于CNN卷積核提取的特征之間存在一定冗余性,因此對每個通道賦予不同的權重并計算特征圖的加權平均以重新生成一個特征圖,該特征圖包含通道之間的相關關系,可視作對空間注意力機制的二次篩選,即語義選擇過程。通道特征圖表示為Vc={c1,c2,…,ci,…,cC},與空間注意力機制類似,通道注意力機制的計算公式如式(14)～式(16)所示:

(14)

(15)

zt-1,i=ht-1Wzci

(16)

2.3 SMILES字符嵌入

{"C":1,"(":2,"=":3,"O":4,")":5,"[":6,"-":7,"]":8,"N":9,"+":10,"1":11,"P":12,"c":13,"l":14,"n":15,"2":16,"3":17,"H":18,"S":19,"4":20,"o":21,"#":22,"I":23,"s":24,"B":25,"r":26,"5":27,"F":28,"i":29,"A":30,".":31,"a":32,"g":33,"e":34,"6":35,"K":36,"Z":37,"7":38,"b":39,"M":40,"d":41,"u":42,"T":43,"G":44,"t":45,"V":46,"R":47,"h":48,"p":49,"W":50,"":51,"":52,"":53,"":0}

2.4 注意力機制與損失函數的融合

考慮到空間注意力機制和通道注意力機制分別存在相應權重,文獻[27]提出一種雙重隨機正則化激勵模型對圖像的每個部分賦予不同權重,且在同一時刻所有區域的注意力權重之和為1,根據LSTM前一時刻的輸出ht-1生成一個權重門控標量。本文在此基礎上提出一種基于雙路加權正則化的類別交叉熵損失函數,引入空間門控標量和通道門控標量融合空間注意力機制和通道注意力機制,通過最小化損失函數訓練深度神經網絡模型,具體計算公式如下:

gateα,t=σ(Wαht-1+bα)

(17)

gateβ,t=σ(Wβht-1+bβ)

(18)

(19)

λ1(1-α)2+λ2(1-β)2

(20)

3 實驗結果與分析

3.1 實驗數據集

本文實驗使用的數據集來自PubChem[28],包含10萬個不同的SMILES序列,每個SMILES序列包含的字符數量為20個～80個。圖3為序列長度分布情況。本文利用Rdkit[29]工具將SMILES序列轉換成相應的化學結構圖像,并將數據集劃分為訓練集、驗證集和測試集3個部分,其中序列數量分別為85 000、5 000、10 000。

圖3 SMILES序列長度分布

3.2 實驗評價指標

BLEU值[30]是一種評估機器翻譯質量的指標,通常采用BLEU值衡量預測序列的質量。本文除采用準確率、BLEU值作為評價指標外,還采用Tanimoto[6]相似性指標衡量預測SMILES序列與真實SMILES序列之間化學結構模式的一致性。Tanimoto相似度指標采用化學指紋進行兩種化學結構的相似性評估,例如兩種化學結構之間的差異僅為一個原子(中心氮),但由于它們之間的化學指紋不匹配,因此相似度較低[6]。Tanimoto相似度計算公式如下:

(21)

其中,m1、m2表示SMILES字符串,fp表示分子指紋計算函數。

3.3 實驗設置

為驗證本文基于雙路注意力機制的深度神經網絡模型(CNN+Dual+LSTM)的有效性,將其分別與無注意力機制的深度神經網絡模型(CNN+LSTM)、基于空間注意力機制的深度神經網絡模型(CNN+Spa+LSTM)以及基于通道注意力機制的深度神經網絡模型(CNN+Chan+LSTM)進行對比。在解碼階段,詞嵌入維度設置為16,LSTM與注意力機制的隱層維度設置為256?？臻g注意力機制和通道注意力機制的維度設置為512,批處理大小設置為16。此外,設置Dropout為0.5防止過擬合,使用Adam優化算法加快模型收斂速度。在測試階段,采用束搜索策略提高預測準確率,Beam Size設置為n,n取1、2、3。

實驗基于PyTorch深度學習框架,在Ubuntu 16.0、NVIDIA GeForce RTX 2080 Ti環境下運行。4種模型的參數量、批處理運行時間及運行時的顯存占用情況如表1所示?？梢钥闯?雖然本文CNN+Dual+LSTM模型的參數量大,但其運行時間與單注意力機制的深度神經網絡模型相比沒有較大差距。

表1 4種模型的參數量及運行時間比較

3.4 結果分析

在測試集中,4種模型在Beam Size分別取1、2、3時的準確率如表2所示?？梢钥闯?注意力機制對于化學結構圖像識別具有重要作用。在特征提取網絡相同的情況下,不含注意力機制的深度神經模型在化學結構圖像識別任務上表現一般,單獨引入空間注意力機制和通道注意力機制后識別準確率大幅提升。從整體上看,空間注意力機制優于通道注意力機制,雙路注意力機制比單獨使用空間注意力機制提升了3%的SMILES序列預測準確率,說明空間注意力機制與通道注意力機制的聯合有助于更好地預測SMILES序列。

表2 4種模型的準確率對比

表3給出了4種模型在Beam Size分別取1、2、3時的BLEU值,其中BLEU-N分別衡量了預測序列與真實序列在1個字符、2個連續字符、……、N個連續字符尺度上的相似程度,本文中N取1～4?？梢钥闯?本文提出的CNN+Dual+LSTM化學結構圖像識別模型在BLEU值指標上均優于其他3種模型。從表2和表3也可以看出,在Beam Size取3的情況下,準確率約提高1%,而BLEU值也有不同程度的提升。

表3 4種模型的BLEU值對比

表4給出了4種模型生成的無效化學結構比例以及Tanimoto相似度分數。由于生成的SMILES序列可能未遵守SMILES語法規則,因此是無效的化學結構?？梢钥闯?本文CNN+Dual+LSTM模型生成的無效化學結構序列最少,得到的Tanimoto相似度最高,表明本文CNN+Dual+LSTM模型在SMILES語法表示能力上優于其他模型。圖4為本文CNN+Dual+LSTM模型在訓練集和驗證集上的損失函數對比結果。損失函數共訓練了20個輪次,其在前兩輪次時損失函數值下降較快,之后開始緩慢下降,驗證集的損失函數值也緩慢下降,最終在第18輪收斂,模型性能達到最優。

表4 4種模型的Tanimoto相似度對比

圖4 CNN+Dual+LSTM模型在訓練集和驗證集上的損失函數對比

通過選取測試集中的一部分圖像,對比不同模型預測的SMILES序列,如表5所示,其中SMILES序列這列中的第1行～第5行分別表示真實化學結構圖像的原始SMILES序列及CNN+LSTM、CNN+Spa+LSTM、CNN+Chan+LSTM和CNN+Dual+LSTM模型預測的SMILES序列。本文將識別出的SMILES序列應用Rdkit重新轉化為化學結構圖像,如圖5所示,其中,黑楔形線表示方向向外的鍵,灰楔形線表示方向向內的鍵。圖5(a)為不包含黑楔形鍵和灰楔形鍵的普通化學結構圖像,可以看出4種模型都能識別出圖像中的原子,但是前3種模型對原子之間的關系識別有誤。圖5(b)給出的化學結構圖像包含了黑楔形鍵和灰楔形鍵,4種模型均能較好地識別出原子信息,然而前3種模型難以區分黑楔形鍵和灰楔形鍵,表明雙路注意力機制在識別復雜化學結構方面具有一定優勢。由圖5(c)可以看出,雖然4種模型都未能完全正確地識別出SMILES序列,但是CNN+Dual+LSTM模型在原子及原子間關系識別上的性能表現要優于其他模型。

表5 4種模型預測的SMILES序列對比

圖5 4種模型預測的SMILES序列識別出的化學結構圖像

4 結束語

本文提出一種化學結構圖像識別方法,將化學結構圖像識別看作序列生成任務,分別采用預訓練的ResNet網絡以及基于雙路注意力機制與LSTM相結合的深度神經網絡進行圖像編碼與解碼。實驗結果表明,本文方法能夠有效捕捉圖像中化學結構與SMILES序列之間的對應關系,并且識別出的SMILES序列準確率較高。但由于本文實驗僅針對不含基團且分辨率較高的化學結構圖像,因此下一步將通過篩選更長的SMILES序列進行化學結構圖像生成,并對圖像添加噪聲增強圖像多樣性,同時針對取代基數據,引入取代基字母與角標的組合表示,使其更適用于專利文獻中存在的數據表示形式,從而提高深度神經網絡模型在復雜且分辨率較低的化學結構圖像中的泛化性能。