基于跨模態深度度量學習的甲骨文字識別

張頤康 張恒劉永革 劉成林,3

甲骨文字是早在中國商朝時期就出現的文字,是世界上最古老的文字之一,同時也是中國及東亞已知的最早成體系的一種文字形式.自動識別甲骨文字對考古學、古文字學以及歷史年代學等多個領域都有著非常重要的應用價值.目前甲骨文字標注基本只能依靠甲骨文專家手動處理,計算機自動檢測與識別技術剛剛起步,性能遠不能達到實用化水平.隨著人工智能技術的發展,如何讓計算機像處理現代文字一樣處理甲骨文字,成為計算機學者和文字與語言學者共同關注的課題.

如圖1所示,甲骨文字圖像可以分為臨摹甲骨文字圖像與拓片甲骨文字圖像兩類.拓片甲骨文字圖像是從龜甲、獸骨等載體上獲取的原始拓片圖像,臨摹甲骨文字圖像是專家臨摹拓片甲骨文字后得到的高清圖像,修復了拓片甲骨文字圖像的殘缺和噪聲等問題.臨摹甲骨文字圖像可以通過臨摹、手繪得到大量樣本,而拓片甲骨文字因為客觀條件的限制難以獲取.由于缺少訓練樣本,拓片甲骨文字識別很難取得較高的識別精度[1].因此,本文研究如何用臨摹甲骨文字樣本輔助訓練分類器進行拓片甲骨文字識別.同時,由于一些拓撲甲骨文字類別沒有訓練樣本,甲骨文字的增量識別也是輔助甲骨文字專家進行語言研究的重要手段.

圖1 不同模態的甲骨文字圖像Fig.1 Oracle character images with different modals

圖2 拓片甲骨文中的字形殘缺、大量噪聲問題Fig.2 Incomplete and noisy oracle character images

由于甲骨文字本身具有噪聲嚴重、圖像殘缺(如圖2所示)、類內樣本少、類間樣本不均衡等問題,文字識別領域性能優異的深度學習方法[2?4]由于依賴大量樣本訓練而難以得到滿意的識別性能.Guo等[5]提出了一種基于卷積神經網絡(Convolutional neural network,CNN)的甲骨文字分類方法,他們在基于Gabor算子的低層特征和基于稀疏自編碼器[6]的中層特征表示基礎上,設計了一種多特征融合的層次化特征表示方法,繼而通過CNN[7]實現了更好的識別效果.這種方法依然是基于常規分類任務的CNN框架,并沒有充分利用甲骨文字自身的特點,所以對樣本極少的類別很難取得良好的識別性能.

為了充分利用臨摹甲骨文字訓練樣本以提高拓片甲骨文字的識別性能,我們提出一種基于深度度量學習的跨模態甲骨文字識別方法.基于CNN和深度度量學習分別將拓片甲骨文字與臨摹甲骨文字映射到相同維度的特征空間,并通過對抗學習算法使相同類別的拓片甲骨文字和臨摹甲骨文字具有相似的特征分布,再使用深度度量學習對拓片甲骨文字特征進行修正,以增大拓片字符樣本與異類臨摹甲骨文字特征的距離,同時減小與同類臨摹甲骨文字特征的距離,實現甲骨文字的跨模態特征空間建模.在跨模態特征學習的基礎上,我們以臨摹甲骨文字特征作為原型,使用最近鄰分類方法對拓片甲骨文進行識別,不僅可以提高已知(已訓練)類別的識別性能,還可以對沒有訓練樣本的拓片甲骨文字進行增量識別(使用臨摹甲骨文字原型).根據已有資料來看,本文工作首先在甲骨文字識別中提出跨模態學習方法,通過利用臨摹甲骨文字明顯提高了拓片甲骨文字的識別精度,并且可以實現對無訓練樣本的新類別拓片甲骨文字增量識別.

本文接下來的組織結構如下:第1節主要介紹與本文研究相關的甲骨文字識別和草圖識別,以及深度度量學習和跨模態特征學習;第2節介紹本文提出的跨模態甲骨文字識別方法;第3節介紹實驗設置和實驗結果及分析;第4 節給出全文總結.

1 相關工作

1.1 基于深度學習的甲骨文字識別和草圖識別

甲骨文字帶有明顯的圖畫痕跡,因而也可以被看作是一種草圖.早期的草圖識別工作,一般都是先提取一些人工設計的特征,例如形狀上下文特征(Shape context,SC)[8]、方位形狀直方圖(Histogram of orientation shape context,HOOSC)[9]等;然后將這些特征送入支撐向量機(Support vector machine,SVM)[10]等分類器進行識別.

隨著深度學習的發展,研究者們開始采用深度學習方法進行草圖識別.Yu等[11]提出了一種多尺度、多架構的CNN框架以及兩種新穎的數據增強策略,通過基于聯合貝葉斯的方案對多個子網絡進行融合后,得到了較高識別性能.Creswell 等[12]提出了一種基于生成對抗神經網絡(Generative adversarial networks,GAN)[13]的CNN特征提取器.其采取了一種無監督的方式來訓練生成對抗神經網絡,使之能夠生成可以以假亂真的數據,然后把去掉最后一層全連接層的網絡作為特征提取器.該方法在一個商業圖標數據集上進行草圖檢索實驗,取得了不錯的效果.

相對而言,基于深度學習的甲骨文字識別的工作目前十分稀缺.Guo等[5]提出了一種基于CNN的甲骨文字分類方法,他們設計了一種多層次特征融合的表示方法,繼而通過結合CNN提高了識別精度.然而,他們在實驗中丟掉了小樣本量的類別,僅僅在一個樣本量類間分布均衡且類別數較小的數據集上進行了相關實驗.

1.2 深度度量學習

度量學習的目標是學習一個可以衡量樣本間相似性的度量方法[14?16].深度度量學習是指用一個深度神經網絡(如CNN)來建模上述度量函數或特征空間.早期的深度度量學習是應用于已經人工設計好的特征上的,而近年來的工作主要用CNN來建模從特征提取到度量函數的整個流程.Schroff 等[17]提出了一個框架FaceNet,基于CNN直接將人臉數據映射到一個歐氏距離度量空間.在該度量空間內,人臉驗證或者聚類等問題便可以基于距離度量的方法較為簡單地實現.在訓練過程中,FaceNet基于兩個對應同一人的人臉圖像與一個他人的人臉圖像構建三元組來對CNN進行訓練,并提出了一個動態的三元組選擇方法.

1.3 基于領域自適應的共享特征空間學習

計算機視覺和模式識別任務中經常遇到一類跨領域問題:有兩類數據,一類數據有標簽信息,而另一類沒有標簽信息或者標簽信息較少.已知這兩類數據非常相關的情況下,如何利用有標簽的數據學習得到一個可以應用于無/少標簽數據的模型.這就是典型的領域自適應問題[18?20],其中有標簽的數據與無標簽的數據對應的域分別稱為“源域”與“目標域”.領域自適應方法是解決跨模態共享特征空間學習、實現跨模態識別的一種有效方法.

如果直接在源域訓練模型并將其應用于目標域,效果往往不好.這是因為盡管兩個域具有較強相關性,但兩者的特征分布還是會存在一定的差別.為了消除這個差別,近年來的主流方法大多是基于對抗學習的方法[21?23],即通過對抗訓練的方式使得兩個域上學到的特征服從相同的分布.通過該方式,實現了源域上訓練得到的模型在目標域上應用的目的.本文提出的跨模態甲骨文字識別方法中,同樣基于對抗訓練的思路,將拓片甲骨文字映射到與臨摹甲骨文字相同的特征空間中,并約束二者服從盡可能相似的分布.為了令對抗訓練的過程更加穩定,我們采用了Wasserstein GAN[24]的框架與訓練技巧[25].

2 基于跨模態學習的甲骨文字識別

圖3為本文方法的總體框架圖.該框架包括一個基于CNN的臨摹甲骨文字特征編碼器、一個拓片甲骨文字特征編碼器.通過學習共享特征空間,實現跨模態分類.由于臨摹甲骨文字有更多樣本和類別,本方法首先基于單模態度量學習的方式對臨摹甲骨文字編碼器進行訓練,將臨摹甲骨文字圖像映射到一個特征空間.然后,基于領域自適應與度量學習算法訓練拓片甲骨文字編碼器(網絡結構和臨摹甲骨文字編碼器相同,而參數不同),將拓片甲骨文字映射到同樣的共享特征空間.由于拓片甲骨文字樣本的特點(類別數大、類內樣本不均衡、噪聲嚴重···),采用Softmax 輸出的神經網絡由于輸出概率的閉集特性,難以推廣到新類別進行增類識別.因此,我們采用擴展性更強、更接近人類模式識別方式的原型分類器.在上述深度神經網絡(CNN)學習得到的特征空間內,用最近鄰分類得到識別結果.最近鄰分類所使用的原型來自于與待識別輸入(拓片甲骨文字)不同的模態(臨摹甲骨文字),故而稱為“跨模態最近鄰分類”.此外,通過跨模態最近鄰分類與Softmax 分類進行結合的方式,可以進一步提升拓片甲骨文字的識別性能.同時,只要提供相應的臨摹甲骨文字樣本,便可以基于跨模態最近鄰分類識別新增類別的拓片甲骨文字.

圖3 基于跨模態深度度量學習的拓片甲骨文字識別Fig.3 Oracle character recognition based on cross-modal deep metric learning

下面對臨摹甲骨文字編碼器的訓練算法、拓片甲骨文字編碼器的訓練算法和跨模態識別方法進行詳細闡述.

2.1 臨摹甲骨文字編碼器訓練

2.1.1 臨摹甲骨文字編碼器

考慮識別性能,我們采用視覺識別中常用且性能優良的DenseNet作為甲骨文字識別的編碼器[26],如圖4 所示.編碼器的輸入是一個64×64的單通道圖像,輸入圖像先經過一個卷積層,再先后經過4個Dense block,相鄰的Dense block之間會基于Transition對特征進行下采樣.Transition由Batch Normalization層、輸入輸出通道數相等的1×1卷積層以及一個2×2的平均池化層組成.最后一個Transition的輸出經過Dropout層[26]后作為全連接層的輸入.全連接層的輸出為128維的向量,經過L2范數歸一化后便是整個網絡的輸出特征.

圖4 甲骨文字編碼器結構Fig.4 Embedding of oracle character images

上述每一個Dense block內,各個層之間的特征會采用稠密連接的方式,即第l層的輸入就是前l?1層的輸出,每個Dense block 包含9個卷積層,且每層的輸出特征通道數均為6,第l層的輸出Ol可以形式化表達為:

其中,[·]表示特征的連接操作,H l表示由Batch normalization (BN)[27]、ReLu[28]以及一個3×3卷積層組成的復合函數.

2.1.2 訓練算法

給定一個臨摹甲骨文字圖像x,它會由臨摹甲骨文字編碼器映射到特征空間f(x),特征間的歐氏距離衡量了臨摹甲骨文字圖像間的差異.由于臨摹甲骨文字編碼器(圖4)的輸出經過了L2范數歸一化,故而f(x)滿足||f(x)||2=1.在距離度量學習框架下,本文使用三元組損失函數[17]來優化特征表示,具體來說,第i個三元組包括一個錨點一個與錨點同類的正樣本一個與錨點異類的負樣本我們的編碼器優化目標是同類樣本更近、異類樣本更遠(如圖5所示):

其中,α為超參,表示三元組中錨點與正樣本、負樣本特征距離的間隔,本文中α設定為0.2(與Schroff等[17]的設置保持一致),τ表示容量為N的三元組集合,故而i=1,2,···,N.

圖5 三元組損失函數的學習目標Fig.5 Learning objective of triple loss function

由于訓練的過程中,大部分三元組很快就會滿足式(2),不會再對編碼器參數的更新產生影響,故而為了使得訓練更加高效,在訓練過程中會動態選擇難以區分的三元組,即不滿足式(2)的三元組.在整個訓練過程中,三元組的構建分為兩個階段:

階段1.由于網絡參數隨機初始化后,大部分三元組仍然不滿足式(2),所以在第一階段三元組采用完全隨機的策略進行構建.

2.2 拓片甲骨文字編碼器訓練

拓片甲骨文字編碼器的網絡結構與臨摹甲骨文字編碼器(見第2.1.1節)完全一致.其訓練過程分為兩個步驟:先基于跨模態對抗訓練進行領域自適應,使同類的不同模態文字具有相似的特征分布;然后基于度量學習對特征進行修正,使不同模態的文字特征可以更好的度量歐氏距離.

2.2.1 基于對抗訓練的領域自適應

如圖6所示,對每個類別c均引入一個判別器D c(x)與拓片甲骨文字編碼器進行對抗訓練,各個類別的判別器共享最后一層之前的網絡參數.網絡輸入為128維的多模態甲骨文字特征,經過兩層以LeakReLU為激活函數的全連接層后,再基于全連接回歸對應各個類別的D c(x).

圖6 判別器的網絡結構Fig.6 Network structure of discriminator

2.2.2 基于度量學習的特征修正

第2.2.1節的領域自適應可以使得拓片甲骨文字與臨摹甲骨文字在每個類內都有著相似的特征分布.然而該方法并不能保證拓片甲骨文字與異類臨摹甲骨文字具有足夠的特征分布差異,直接使用上述特征進行跨模態最近鄰分類不一定能得到正確分類.舉例說明如下.

圖7(a)表示未經訓練的甲骨文字特征分布,其中每個點代表一個樣本,包括屬于A、B兩類的臨摹甲骨文字和拓片甲骨文字.此時拓片甲骨文字編碼器尚未訓練,故而拓片甲骨文字特征近似隨機分布.圖7(b)表示經過對抗訓練后的特征分布,每個類別的拓片甲骨文字樣本會服從以同類臨摹甲骨文字為中心的類高斯分布.然而此時由于沒有利用異類臨摹甲骨文字樣本進行判別學習,部分樣本會越過最近鄰分類的“分類面”落入其他類別所在的區域.我們在本文采用度量學習的方式,可以使拓片甲骨文字的特征與同類臨摹甲骨文字特征更近、與異類臨摹甲骨文字特征更遠,如圖7(c)所示,此時基于跨模態最近鄰分類可以達到更好的效果.

圖7 不同階段特征分布示意圖Fig.7 Feature distributions in different stages

此處的度量學習方法與第2.1.2節類似,同樣是基于三元組式(2).三元組包含一個拓片甲骨文字樣本(錨點樣本)、一個與錨點同類的臨摹甲骨文字樣本(正樣本)以及一個與錨點異類的臨摹甲骨文字樣本(負樣本).以式(2)為目標對拓片甲骨文字編碼器進行訓練,以減小正樣本與錨點的距離、同時增大負樣本與錨點的距離.與第2.1.2節不同,由于拓片甲骨文字編碼器已經進行過對抗訓練,多數三元組都滿足式(2),故而度量學習的訓練過程略過階段1,僅包括階段2.

我們利用反卷積方法對臨摹甲骨文和拓片甲骨文特征進行可視化,如圖8所示.對于128維特征的每個維度,我們均可獲得一個與輸入圖像同尺寸的特征圖,為了更清晰的觀察特征的分布區域,我們將128個特征圖通過在每個空間位置求和的方式融合為一個特征圖.可以看出,無論是臨摹甲骨文還是拓片甲骨文,學到的共享特征均集中于文字區域(而不是背景區域),反映了文字本質結構特點.

2.3 基于跨模態最近鄰分類的拓片甲骨文字識別

以臨摹甲骨文字的特征為原型,檢索待識別的拓片甲骨文字特征,距離最近的臨摹甲骨文字的類別就是拓片甲骨文字的識別結果.只要存在對應類別的臨摹甲骨文字,就可以對拓片甲骨文字進行識別,所以可以實現新類拓片甲骨文字的增量識別(即使拓片甲骨文字沒有訓練過).

針對已知類識別,為了進一步提高識別性能,我們可以采用單模態CNN模型和跨模態最近鄰分類相結合的方法.單模態CNN的網絡結構與甲骨文字編碼器基本一致(僅將圖4最后的全連接層輸出維度設置為與類別數相等,并且將L2歸一化層替換為Softmax層).這里分兩步分類:當單模態CNN的分類置信度較高時(類別置信度最大值高于一個閾值),直接輸出CNN的分類結果;否則,通過跨模態最近鄰分類給出識別結果.這樣很好地利用了兩個分類器的互補性.為了提高最近鄰分類器的計算效率,原型檢索僅僅在單模態CNN輸出置信度最高的若干類別中進行.

3 實驗

3.1 數據集介紹

本文使用的甲骨文字數據集由安陽師范學院甲骨文信息處理實驗室提供.拓片甲骨文字[1]包含樣本數較多的241個類別,共295466個樣本,其中每個類別最少16個、最多25 898個、平均1 226個樣本.樣本量的類間分布不均衡,如圖9所示.本實驗會對圖像進行縮放使得長邊為64像素,然后將其置于一個大小為64×64的黑色背景圖像的中心.臨摹甲骨文字數據集[26]包含2583個類別,共39 062個樣本,其中每個類別最少2個、最多287 個、平均16個樣本.我們使用了其中241個對應于拓片甲骨文字的類別進行實驗.其余類別的樣本可用于拓片甲骨文字增量識別(也就是只要有臨摹文字樣本的類別,就可以識別對應的拓片甲骨文字),但由于這些類別沒有拓片甲骨文字測試樣本,我們沒有進行評測,而是用241類拓片甲骨文字樣本中的41類進行新類的增量識別評測(詳見第3.4 節),已知類別識別的數據是全部241類拓片甲骨文字樣本(詳見第3.2節、第3.3節).

圖9 拓片甲骨文字中241個類別的樣本個數分布Fig.9 Sample distribution of oracle characters scanned from bones and shells

3.2 基于對抗訓練的領域自適應

如圖10所示,對于拓片甲骨文字,每一類內往往包含了多種字形.如果在特征空間,某拓片甲骨文字與某臨摹甲骨文字的特征距離十分相近,他們對應的圖像應該不僅僅屬于同一類,更應該對應相近的字形.由于我們只有拓片甲骨文字與臨摹甲骨文字的類別信息,而沒有類別下具體的字形標簽,故而在構建三元組的時候無法選擇合適的錨點與正樣本.如果錨點與正樣本來自同一類下的兩個不同字形,通過優化令二者在度量空間相近是難以做到的.基于上述分析,在利用度量學習的方式訓練拓片甲骨文字編碼器前,先對拓片甲骨文字特征進行基于對抗訓練的領域自適應學習.

圖10 拓片甲骨文字類內樣本示例,每一列屬于同一類Fig.10 Oracle images with the same characters in each array

實驗設置訓練集的構建方式為(241類):

1)對于樣本量小于900的類別,隨機調取2/3的樣本加入訓練集.

2)對于樣本量大于等于900的類別,隨機調取600個樣本加入訓練集.

其余樣本作為后續已知類識別實驗的測試集.圖11展示了領域自適應后的五組最近鄰對,觀察數據可以發現,進行領域自適應之后,同一類內不同模態的最近鄰對已經在字形上非常相似.可以看到盡管拓片甲骨文字圖像被噪聲污染嚴重,其字形結構與最近鄰的臨摹甲骨文字是一致的.故而可以基于對抗訓練的結果,以上述最近鄰對作為三元組中的錨點與正樣本進行深度度量學習.

圖11 領域自適應后的最近鄰對示例Fig.11 Nearest neighbor pairs after domain adaption

3.3 拓片甲骨文字已知類別識別

這里比較4個分類方法的性能:單模態最近鄰分類器[26]、單模態CNN、跨模態最近鄰分類器、融合跨模態信息的CNN.單模態最近鄰分類和單模態CNN的訓練集構建與第3.2節一致,訓練樣本之外的拓片甲骨文字樣本為測試集.單模態最近鄰分類中,拓片甲骨文字編碼器訓練方法與第2.1.2節臨摹甲骨文字編碼器的訓練方法一致.單模態CNN的網絡結構與甲骨文字編碼器基本一致(如第2.3節所述).跨模態最近鄰分類的原型來自臨摹甲骨文字特征,臨摹甲骨文字特征編碼器的相關設置和文獻[26]相同.融合跨模態信息的CNN是指CNN分類置信度(輸出類別置信度最大值)低于給定閾值τ時采用跨模態最近鄰分類,并在CNN置信度最高的K個類別上搜索最近鄰原型.下面我們首先分別研究閾值τ和參數K對融合跨模態信息的CNN分類性能的影響.再對4種不同的甲骨文識別方法進行比較.

圖12反映了閾值τ對融合跨模態信息的CNN分類性能的影響.當閾值τ過小時,主要由CNN分類模塊發揮作用.由于甲骨文字的特點,即使本實驗中數據充足(每個類平均1226個樣本),單憑該模塊也難以達到較高的識別性能.當置信度閾值過大時,主要由跨模態最近鄰分類發揮作用.由于對應較高置信度的CNN分類結果往往比較可靠,如果沒有利用該信息,同樣會降低識別性能.通過曲線可以看到,本文所采用的閾值0.66是一個相對較好的平衡點,后續實驗的τ值固定為0.66.

圖12 置信度閾值與識別精度關系曲線圖Fig.12 Relationship between confidence threshold and recognition accuracy

圖13展示了參數K對融合跨模態信息的CNN分類性能的影響.可以看到,當K小于4 時,由于考慮的類別數太小,識別精度會很低.當K大于4時,不僅僅最近鄰檢索效率變低,算法精度也會逐漸變低.這說明考慮置信度過低的類別不僅僅會增加最近鄰檢索的計算量,同時這些類別會對最近鄰識別產生干擾并降低精度.后續實驗的K值設定為4.

圖13 最近鄰檢索的類別數與識別精度關系圖Fig.13 Relationship between character number of nearest neighbor retrieval and recognition accuracy

在進行不同識別方法的對比前,我們首先對不同尺度圖像的識別性能進行比較.如表1所示,我們分別對32×32、64×64、128×128三個大小的甲骨文圖像進行了識別.可以看出,圖像分辨率是32×32時,性能比64×64降低很多.圖像分辨率是128×128時,性能僅僅提升一個百分點,但是由于圖像寬度和高度同時增加一倍,所以計算量增大到4 倍.所以本文設置的圖像分辨率64×64是一個識別率和計算效率都比較合理的選擇.

表1 不同圖像尺度對性能的影響Table 1 Effects of different image scales

4種不同的拓片甲骨文識別方法如表2所示,融合跨模態信息的CNN分類可以將拓片甲骨文字的識別精度相對于單模態CNN從84.4%提高到86.7%.這說明了臨摹甲骨文字信息對拓片甲骨字的識別是有促進的.同時也可以看到,單模態的最近鄰分類精度非常低,相對于跨模態最近鄰分類低了7.96%,進一步證明了跨模態識別的有效性.這里,僅用拓片甲骨文字樣本訓練CNN得到的識別精度比較高(84.40%),這是因為訓練樣本數比較大而類別數比較小.而且,該CNN分類器不能識別訓練樣本類別(已知類別)以外的新類別樣本.

表2 拓片甲骨文字分類精度對比Table 2 Comparison of different oracle character recognition methods

本文進一步對實驗結果進行分析,發現基于常規的CNN分類難以準確地對包含多種字形結構的類別進行識別.如圖14所示,該類別包含的字形結構差異很大,單模態CNN的識別精度僅達到66.6%,而基于跨模態最近鄰分類,可將精度提升至88.4%,由此可見我們提出的跨模態最近鄰分類方法的優勢.

圖14 來自同一類別的多種字形結構Fig.14 Different glyph images of the same character

3.4 拓片甲骨文字的新類別識別

基于本文所提出的跨模態最近鄰分類方法,可以實現新類別拓片甲骨文字的增量識別.將241類的拓片甲骨文字樣本分為兩部分,第一部分包括200類,作為已知類,用于訓練拓片甲骨文字編碼器;其余41類數據作為新類識別的測試樣本.以度量學習訓練臨摹甲骨文字編碼器得到的特征作為原型,并在已知類上使用第2.2.1節與第2.2.2節的方法訓練拓片甲骨文字編碼器,然后在41個新類上進行跨模態最近鄰識別(度量學習+領域自適應+特征修正).同時本文設置了一個對比實驗,只使用第2.2.1節的領域自適應方法訓練拓片甲骨文(度量學習+領域自適應),驗證第2.2.2節特征修正的有效性.

如表3所示,利用第2.1.2節提出的方法訓練臨摹甲骨文字編碼器,而后基于第2.2.1節提出的領域自適應方法訓練拓片甲骨文字編碼器,新類別上的識別精度可以達到43.67%.基于第2.2.2節提出的方法對拓片甲骨文字編碼器進一步進行特征修正,識別精度便可提升到62.1%.由此可見,本文提出的跨模態最近鄰分類方法可以對新類別進行較好的識別,從而輔助語言學專家進行甲骨文字鑒別.

表3 新類別拓片甲骨文字識別Table 3 Recognition performance of new oracle characters

4 結論

本文提出了一種基于深度度量學習和最近鄰分類的跨模態甲骨文字識別框架,相對于傳統的CNN分類框架和單模態識別方法都具有明顯的優勢.首先,基于領域自適應的方式將拓片甲骨文字和臨摹甲骨文字映射到相同的特征空間,并保證來自同類的拓片甲骨文字與臨摹甲骨文字特征具有相近的分布;接著,通過基于深度度量學習的特征修正,增大拓片甲骨文字特征與異類臨摹甲骨文字特征的距離,同時減小拓片甲骨文字特征與同類臨摹甲骨文字特征的距離;最后,以臨摹甲骨文字特征為原型,使用最近鄰分類方法對拓片甲骨文字進行識別,并在已知類識別和新類增量識別中驗證了算法的有效性.

本文方法基于臨摹甲骨文字原型可以對沒有訓練樣本的拓片甲骨文字類別進行增類識別,這對實際應用場合的拓片甲骨文字解讀提供幫助.如果臨摹甲骨文字和拓片甲骨文字的訓練樣本能提供細粒度的同類異形標記,將有助于訓練更好的模型,進一步提高識別精度.