融合人工智能圖像特征的知識(shí)圖譜表示學(xué)習(xí)研究

顧亞麗,曾志宏

(1.漳州職業(yè)技術(shù)學(xué)院 電子信息學(xué)院,福建 漳州 363000;2.龍巖學(xué)院 數(shù)學(xué)與信息工程學(xué)院,福建 龍巖 361000)

0 引言

人工智能在現(xiàn)實(shí)世界中扮演著十分重要的角色,通過人工智能技術(shù)進(jìn)行語音交互,可以利用語音程序進(jìn)行拼寫、語法更正以及信息搜索等.在自然語言處理程序的使用中,許多研究者努力提高智能機(jī)器人學(xué)習(xí)語言的能力,生成了多種識(shí)別和問答技術(shù),在多年的應(yīng)用和發(fā)展進(jìn)程中,已經(jīng)形成了大量的語料庫,由此產(chǎn)生了對(duì)應(yīng)的知識(shí)圖譜[1].知識(shí)圖譜就是智能應(yīng)用中的知識(shí)庫,可以將知識(shí)信息從半結(jié)構(gòu)或者非結(jié)構(gòu)化的數(shù)據(jù)中進(jìn)行提取和儲(chǔ)存,在信息檢索和問答系統(tǒng)中具有廣泛的應(yīng)用.將知識(shí)圖譜看作為一個(gè)實(shí)體描述的三元組集,在不同的組集中記錄多種數(shù)據(jù)信息,用來表示現(xiàn)實(shí)世界中的抽象概念.工程師通過手動(dòng)構(gòu)建方法,利用自然語言及時(shí)描述知識(shí)圖譜,在自動(dòng)構(gòu)建的基礎(chǔ)上對(duì)自然語言模塊不斷訓(xùn)練,以此對(duì)數(shù)據(jù)文本進(jìn)行目標(biāo)識(shí)別.知識(shí)圖譜的質(zhì)量很大程度上取決于構(gòu)圖機(jī)制,在領(lǐng)域?qū)＜抑惺謩?dòng)構(gòu)成的圖譜具有較高質(zhì)量,但存在成本高和擴(kuò)展性差等問題,并且隨著信息量的不斷增加,上述問題更加明顯.在更大規(guī)模知識(shí)庫公開的前提下,其中包含大量的不同實(shí)體和關(guān)系事實(shí),由于數(shù)據(jù)體積的不斷變化,在數(shù)據(jù)與語言任務(wù)的對(duì)應(yīng)關(guān)系下,會(huì)存在不完整構(gòu)建的可能性.為保證知識(shí)圖譜的正確性和完整性,本文選擇融合人工智能圖像的特征技術(shù),設(shè)計(jì)知識(shí)圖譜的表示方法,為知識(shí)圖譜的有效構(gòu)建提供理論支持.

1 最大似然值理論定義知識(shí)圖譜實(shí)體

l(g1,g2,…,ge|q1,q2,…,qe),

(1)

(2)

其中:text表示文本中包含的所有單詞,|y|表示單詞個(gè)數(shù);mentions表示文本中所有存在鏈接的實(shí)體組合集合,|t|表示可鏈接數(shù)據(jù)的數(shù)量[3].將知識(shí)圖譜按照三元組表示為p=(a,s,d,f),其中:

(3)

其中:a代表知識(shí)圖譜實(shí)體集合,共含有|a|個(gè)不同實(shí)體,并且實(shí)體在知識(shí)圖譜中存在唯一指代;s表示圖譜中的屬性關(guān)系,包含有|s|種不同關(guān)系,由映射實(shí)體關(guān)系和映射字面量的屬性關(guān)系構(gòu)成;d表示字面量集合,存在有實(shí)體的可能屬性、特征和參數(shù);f表示知識(shí)圖譜中所有三元組集合.

(4)

其中:j表示多模態(tài)知識(shí)表示方法;k表示知識(shí)圖譜的實(shí)體映射函數(shù);sim表示相似性計(jì)算函數(shù),可以評(píng)估可鏈接數(shù)據(jù)在知識(shí)圖譜實(shí)體的特征相似程度.實(shí)體命名是利用數(shù)據(jù)文本從知識(shí)圖譜,以字符串相似度為召回依據(jù),預(yù)先召回一批實(shí)體作為候選實(shí)體庫,再將文本和圖像輸入至多模量鏈接中得到對(duì)應(yīng)的實(shí)體.

(5)

其中:新的輸出標(biāo)記表示為g′[4];可學(xué)習(xí)的轉(zhuǎn)移方程表示為Ωw(·);轉(zhuǎn)移方法中的參數(shù)為z.將選擇概率最大的序列作為標(biāo)記序列,利用條件最大似然值對(duì)實(shí)體識(shí)別命名任務(wù)進(jìn)行估計(jì),其表達(dá)式為:

(6)

在給定的文本信息中讓數(shù)據(jù)對(duì)應(yīng)的單詞,通過實(shí)體鏈接模量將這些數(shù)據(jù)鏈接到知識(shí)圖譜的實(shí)體上,以此來解決實(shí)體的命名問題.

2 殘差網(wǎng)絡(luò)提取知識(shí)圖譜局部特征

在知識(shí)圖譜的命名任務(wù)中為了準(zhǔn)確識(shí)別目標(biāo)信息,需要對(duì)其特殊的特征進(jìn)行提取,為避免數(shù)據(jù)集合中的重讀處理,選擇殘差網(wǎng)絡(luò)算法和目標(biāo)檢測(cè)算法相結(jié)合的形式對(duì)數(shù)據(jù)的特征進(jìn)行局部抽取[5-6].兩種算法進(jìn)行結(jié)合,將數(shù)據(jù)分為多個(gè)模塊,形成一個(gè)堆積的殘差學(xué)習(xí)單元結(jié)構(gòu).設(shè)置某一個(gè)殘差單元為x,與之對(duì)應(yīng)的學(xué)習(xí)特征為c(x),則該單元可以學(xué)習(xí)到的殘差表示為:

v(x)=c(x)-x,

(7)

其中:v(x)為學(xué)習(xí)到的殘差.當(dāng)殘差c(x)=0時(shí)堆積層在輸入特征中僅做恒等映射,殘差單元學(xué)習(xí)結(jié)構(gòu)如圖1所示.

圖1 殘差單元學(xué)習(xí)結(jié)構(gòu)

由圖1可知,在殘差學(xué)習(xí)過程中需要設(shè)定學(xué)習(xí)規(guī)則,但由于殘差一般為較小數(shù)據(jù),學(xué)習(xí)的難度就小很多,學(xué)習(xí)的內(nèi)容也相對(duì)較少.殘差單元可表示為:

(8)

其中:xb+1為第b個(gè)殘差單元輸出結(jié)果;v為殘差函數(shù);c(xb)=xo表示恒等映射關(guān)系;m為規(guī)則nb的激活函數(shù);殘差結(jié)構(gòu)的淺層表示為b-1,深層表示為o-1;從b-1到o-1的學(xué)習(xí)特征為xo.

殘差網(wǎng)絡(luò)既可以簡(jiǎn)化學(xué)習(xí)過程又可以增強(qiáng)梯度傳播,打破結(jié)構(gòu)模型的不對(duì)稱性,以此提高知識(shí)圖譜的泛化能力.在殘差網(wǎng)絡(luò)的優(yōu)化過程中,參考數(shù)據(jù)的轉(zhuǎn)化優(yōu)勢(shì)對(duì)知識(shí)圖譜的局部特征提取,以卷積網(wǎng)絡(luò)的結(jié)構(gòu)層級(jí)設(shè)置特征輸出維度,參數(shù)設(shè)置如表1所列[7].

表1 特征輸出維度與參數(shù)設(shè)定

圖2 知識(shí)圖譜表示學(xué)習(xí)的卷積層

對(duì)特征提取時(shí)需要保證數(shù)據(jù)真實(shí)度,建立對(duì)應(yīng)的損失函數(shù)為:

(9)

其中:Q(W)表示損失函數(shù);W表示數(shù)據(jù).在特征提取時(shí)會(huì)通過目標(biāo)屬性分類來確定,而函數(shù)值由概率值決定,其計(jì)算公式為:

(10)

式中:ER為函數(shù)概率;ECLS表示特征分類的代價(jià)函數(shù)概率;ELOC表示特征邊界的代價(jià)函數(shù)概率[8];R表示提取特征時(shí)存在的背景,分為[background]和[foreground]兩種形式;β表示平衡參數(shù),本文中將其設(shè)定為β=0.1、β=0.25、β=0.5、β=0.75、β=1.0共5個(gè)類型,分別對(duì)應(yīng)網(wǎng)絡(luò)5個(gè)卷積層,以此提取知識(shí)圖譜中的局部特征.

3 融合人工智能圖像特征實(shí)現(xiàn)知識(shí)圖譜表示

在上文提取局部特征的基礎(chǔ)上描述知識(shí)圖譜實(shí)體信息,給出相對(duì)應(yīng)表示符號(hào),設(shè)實(shí)體和關(guān)系集合為V和B,將一個(gè)三元組表示為(Z,X,C),存在以下關(guān)系:

(11)

按照不同的表示形式:以結(jié)構(gòu)化設(shè)定ZX為實(shí)體頭部、CX實(shí)體尾部;以實(shí)體概念描述頭部和尾部表示為ZN和CN[9].對(duì)實(shí)體的向量文本進(jìn)行描述,公式為:

(12)

其中:M表示實(shí)體的向量描述文本;SA表示第A個(gè)句子的向量;D表示轉(zhuǎn)化參數(shù).大多數(shù)實(shí)體在不同場(chǎng)景中會(huì)有多種圖像表現(xiàn)形式,因此需要確定最佳的圖像表示結(jié)果.設(shè)計(jì)每個(gè)實(shí)體圖像均融合智能圖像特征,并從圖像中提取信息特征,將多個(gè)圖像數(shù)據(jù)聯(lián)合起來.多個(gè)實(shí)例下構(gòu)造實(shí)體的圖像聚合過程為:

(13)

(14)

I=Iα+Iη+Iγ,

(15)

其中:函數(shù)I由3組能量函數(shù)組成,Iα為基于結(jié)構(gòu)表示的函數(shù);Iη為基于圖像表示的能量函數(shù);Iγ為基于描述表示的能量函數(shù).為保證表示函數(shù)的能量發(fā)揮在同一向量空間,對(duì)Iη和Iγ進(jìn)行定義,公式為:

(16)

(17)

其中:TX表示投影矩陣.通過關(guān)系融合將相類似的實(shí)體進(jìn)行表示,利用能量函數(shù)對(duì)三元組進(jìn)行優(yōu)化分析,實(shí)現(xiàn)知識(shí)圖譜的表示學(xué)習(xí)全過程,至此完成融合人工智能圖像特征的知識(shí)圖譜表示學(xué)習(xí)設(shè)計(jì),最終的可視化知識(shí)圖譜結(jié)構(gòu)如圖3所示.

圖3 知識(shí)圖譜表示學(xué)習(xí)的卷積層

4 實(shí)驗(yàn)測(cè)試分析

4.1 實(shí)驗(yàn)環(huán)境

該實(shí)驗(yàn)采用Windows 10系統(tǒng),512 G固態(tài)硬盤,32 GB內(nèi)存容量,英特爾酷睿 i9-13900H的CPU,NVIDIA GeForce RTX4090顯卡.實(shí)驗(yàn)過程軟件為Matlab,方法訓(xùn)練基于PyTorch框架,采用Adam優(yōu)化器算法提高網(wǎng)絡(luò)收斂速度,本文方法迭代訓(xùn)練500次,每100次更新學(xué)習(xí)率,初始學(xué)習(xí)率設(shè)置為0.001.

4.2 實(shí)驗(yàn)數(shù)據(jù)集

為論證本文方法的實(shí)用性,將實(shí)體圖像信息和實(shí)體類別信息與知識(shí)圖譜三元組聯(lián)合學(xué)習(xí),以目前存在的FB5K數(shù)據(jù)集為測(cè)試對(duì)象,該數(shù)據(jù)集只包含實(shí)體圖像信息和三元組信息,需要對(duì)FB5K數(shù)據(jù)集擴(kuò)充,補(bǔ)充所需要的實(shí)體信息類別FB5K-Q,原數(shù)據(jù)集情況如表2所列.

表2 原數(shù)據(jù)集情況

知識(shí)圖譜數(shù)據(jù)集FB5K的三元組是數(shù)據(jù)集FB5K的子集,所以對(duì)于該集合的類別信息直接通過FREEBASE進(jìn)行收集,具體情況如表3所列.

表3 數(shù)據(jù)集合FB5K-Q擴(kuò)充情況

由表3可知, 此次FB5K-Q數(shù)據(jù)集含有實(shí)體關(guān)系和實(shí)體個(gè)體,并針對(duì)數(shù)據(jù)集給定訓(xùn)練、驗(yàn)證以及測(cè)試集.擴(kuò)充數(shù)據(jù)集的過程也稱為知識(shí)圖譜的補(bǔ)全任務(wù),是對(duì)知識(shí)表示學(xué)習(xí)領(lǐng)域性能的基礎(chǔ)評(píng)估任務(wù),也是知識(shí)推理的基礎(chǔ)任務(wù)之一.對(duì)于知識(shí)圖譜中的三元組,若給定出缺失的某個(gè)個(gè)體或者關(guān)系時(shí),可以通過模型學(xué)習(xí)到的知識(shí)表示剩余的三元組項(xiàng)目正確推理出缺失的一項(xiàng),實(shí)現(xiàn)知識(shí)的推理.根據(jù)預(yù)測(cè)對(duì)象的不同,將知識(shí)推理分為實(shí)體預(yù)測(cè)任務(wù)和關(guān)系預(yù)測(cè)任務(wù)兩個(gè)部分,完成下文的測(cè)試驗(yàn)證.

4.3 實(shí)驗(yàn)指標(biāo)

為驗(yàn)證融合人工智能圖像特征的知識(shí)圖譜表示方法的有效性,選擇TRANSE、IKRL、CONV-KB和CONVE作為待預(yù)測(cè)模型,并分別為上述模型加入本文表示學(xué)習(xí)方法再進(jìn)行預(yù)測(cè)實(shí)驗(yàn),確保測(cè)試的公平性,選擇模型中的一個(gè)模型進(jìn)行訓(xùn)練,并確保每個(gè)模型的知識(shí)向量維度值都相同.對(duì)知識(shí)推理預(yù)測(cè)設(shè)定評(píng)價(jià)指標(biāo),具體內(nèi)容如下:

(1)“MEAN-RANK”指標(biāo).表示所有測(cè)試樣本中正確結(jié)果在預(yù)測(cè)結(jié)果中的平均排名,可以反映知識(shí)圖譜表示學(xué)習(xí)模型的整體性能;

(2)“HITS@10”指標(biāo).表示正確預(yù)測(cè)的實(shí)體和關(guān)系,排名前10名結(jié)果的出現(xiàn)概率反映知識(shí)圖譜表示學(xué)習(xí)模型的實(shí)用性.

為更精細(xì)地分析兩個(gè)指標(biāo)的評(píng)價(jià)結(jié)果,在每個(gè)指標(biāo)中在設(shè)定“RAW”和“FILTER”兩個(gè)二級(jí)指標(biāo),更加客觀和準(zhǔn)確地對(duì)知識(shí)圖譜表示學(xué)習(xí)模型進(jìn)行評(píng)估,具體流程如圖4所示.

圖4 知識(shí)推理預(yù)測(cè)實(shí)驗(yàn)流程

上文中設(shè)定知識(shí)圖譜三元組為實(shí)體缺失狀態(tài),在知識(shí)推理測(cè)試過程中,對(duì)于每個(gè)測(cè)試集中的每個(gè)測(cè)試樣本需要進(jìn)行實(shí)體替換,即對(duì)于測(cè)試集中的每個(gè)測(cè)試樣本,均隱藏其實(shí)體和尾部實(shí)體.通過訓(xùn)練集對(duì)預(yù)測(cè)模型進(jìn)行練習(xí),并利用訓(xùn)練中的實(shí)體和相關(guān)向量,對(duì)測(cè)試集中的三元組進(jìn)行數(shù)據(jù)推理實(shí)驗(yàn),并重點(diǎn)研究實(shí)體模型的結(jié)果.

4.4 實(shí)驗(yàn)結(jié)果分析

將TRANSE[A]、IKRL[A]、CONV-KB[A]和CONVE[A]分別表示為TRANSE、IKRL、CONV-KB和CONVE模型增加表示學(xué)習(xí)后的模型.對(duì)待預(yù)測(cè)的模型進(jìn)行訓(xùn)練,結(jié)果如圖5所示.

(a)“MEAN-RANK”指標(biāo)

由圖5可知,每一個(gè)測(cè)試模型在融合新方法后實(shí)體預(yù)測(cè)的各項(xiàng)指標(biāo)評(píng)估均有所提高,主要是因?yàn)樵黾訄D像特征的篩選后能夠獲取更多信息實(shí)體表示形式,促使模型能夠捕捉到更豐富的實(shí)體特征,更好地挖掘?qū)嶓w之間的聯(lián)系,從而對(duì)模型知識(shí)圖譜的表示能力有了一定的提升.證明本文方法具有很好的魯棒性,可以應(yīng)用在多個(gè)不同的知識(shí)表示模型中.

5 結(jié)語

本文以人工智能圖像特征為基礎(chǔ),分析了多個(gè)技術(shù)的優(yōu)勢(shì),針對(duì)知識(shí)表示模型存在的問題,設(shè)計(jì)了新的表示方法,并在不同的模型中論證了新方法的應(yīng)用效果.由于本次時(shí)間有限,在知識(shí)圖譜表示中存在不足之處,如對(duì)外部信息的真實(shí)度未進(jìn)行查證,后續(xù)研究中解決信息與圖譜中是否存在矛盾問題,以此保證知識(shí)圖譜的完善.