基于圖文多模態(tài)融合的文檔片段語(yǔ)義相似度判定算法

潘媛，梁國(guó)迪，邵馨葉，李芹

（云南電網(wǎng)有限責(zé)任公司信息中心，云南昆明 650214）

圖文多模態(tài)融合是在圖文融合機(jī)制基礎(chǔ)上發(fā)展起來(lái)的新型圖文混排信息標(biāo)注方法，能夠根據(jù)多模態(tài)特征的排列形式，將文本參量與圖片像素點(diǎn)結(jié)合起來(lái)；并可以聯(lián)合自然語(yǔ)言、計(jì)算機(jī)視覺(jué)等多項(xiàng)應(yīng)用技術(shù)，建立完整的圖文標(biāo)記向量集合，以供網(wǎng)絡(luò)主機(jī)的直接調(diào)取與利用[1-2]。由于圖片像素點(diǎn)的排列始終滿足統(tǒng)一性原則，所以在實(shí)施圖文多模態(tài)融合技術(shù)時(shí)，要求文本參量與像素點(diǎn)信息之間的對(duì)應(yīng)性關(guān)系必須保持不變。

相似性文本是指信息權(quán)重部分相同的文本數(shù)據(jù)參量。在互聯(lián)網(wǎng)環(huán)境中，相似性文本存儲(chǔ)于同一數(shù)據(jù)庫(kù)主機(jī)中。由于文檔片段語(yǔ)義遷移行為的存在，如何保障網(wǎng)絡(luò)主機(jī)對(duì)于相似性文本的差異性賦值能力，成為一項(xiàng)亟待解決的應(yīng)用難題[3]。基于半監(jiān)督AP 聚類(lèi)的判定算法通過(guò)精準(zhǔn)定義文檔片段語(yǔ)義特征的方式，確定相似性文本參量之間的細(xì)微差異性，再聯(lián)合互聯(lián)網(wǎng)應(yīng)用主機(jī)，完成對(duì)這些數(shù)據(jù)信息參量的按需判別[4]。然而，與此方法相關(guān)的差異性賦值指標(biāo)的均值水平相對(duì)較低，并不能完全保障網(wǎng)絡(luò)主機(jī)對(duì)于相似性文檔片段語(yǔ)義信息的準(zhǔn)確判別能力。為解決上述問(wèn)題，引入圖文多模態(tài)融合技術(shù)，并以此為基礎(chǔ)，設(shè)計(jì)一種新型的文檔片段語(yǔ)義相似度判定算法。

1 基于圖文多模態(tài)融合的文檔片段標(biāo)注

1.1 圖像區(qū)域檢測(cè)

圖像區(qū)域檢測(cè)決定了圖文多模態(tài)融合技術(shù)的實(shí)踐能力。對(duì)于既定文檔片段參量而言，圖像區(qū)域檢測(cè)指標(biāo)的取值結(jié)果越大，單一文檔片段的待檢長(zhǎng)度值越大。傾斜校正系數(shù)也叫圖像區(qū)域內(nèi)的傾斜校正指標(biāo)，為避免局部偏差融合行為的出現(xiàn)，在定義圖像區(qū)域的傾斜校正系數(shù)時(shí)，應(yīng)同時(shí)考慮局部量差值在x軸、y軸、z軸方向上的數(shù)值分量[5-6]。設(shè)Gx表示圖像局部量差在x軸方向上的數(shù)值分量，Gy表示y軸方向上的數(shù)值分量，Gz表示z軸方向上的數(shù)值分量。聯(lián)立上述物理量，可將圖像檢測(cè)區(qū)域內(nèi)的傾斜校正指標(biāo)G表示為：

規(guī)定ax表示x軸方向上的圖像待檢系數(shù)，ay表示y軸方向上的圖像待檢系數(shù)，az表示z軸方向上的圖像待檢系數(shù)，aˉ表示系數(shù)ax、ay與az的平均值，?表示圖像區(qū)域內(nèi)的文檔片段語(yǔ)義信息檢測(cè)特征。圖像區(qū)域檢測(cè)定義式為：

對(duì)于文檔片段語(yǔ)義信息參量而言，圖像區(qū)域檢測(cè)表達(dá)式?jīng)Q定了待檢數(shù)據(jù)信息的實(shí)際分布形式。

1.2 文本區(qū)域檢測(cè)

文本區(qū)域檢測(cè)決定了圖文多模態(tài)融合技術(shù)對(duì)于待匹配數(shù)據(jù)信息參量的處理能力[7]。在圖文多模態(tài)融合算法的認(rèn)知中，文本區(qū)域檢測(cè)表達(dá)式的定義必須以圖像區(qū)域檢測(cè)結(jié)果為基礎(chǔ)，故而后者的定義數(shù)值越大，待檢測(cè)文本區(qū)域內(nèi)所包含的文檔片段語(yǔ)義信息參量也就越多[8]。設(shè)χ表示文檔片段語(yǔ)義信息的區(qū)分系數(shù)，α表示語(yǔ)義參量識(shí)別指征，ΔK表示文檔片段語(yǔ)義信息的單位遷移量，A表示文檔片段語(yǔ)義信息的實(shí)時(shí)累積量。在上述物理量的支持下，聯(lián)立式（2），可將文本區(qū)域檢測(cè)條件定義為：

在實(shí)施相似性文檔片段語(yǔ)義信息參量判定處理的過(guò)程中，圖文多模態(tài)融合條件的建立必須同時(shí)參考圖像區(qū)域檢測(cè)表達(dá)式與文本區(qū)域檢測(cè)表達(dá)式。

1.3 詞袋模型

詞袋模型也叫文本信息檢索模型，在圖文多模態(tài)融合算法的作用下，單一詞袋模型中所包含的相似性文檔片段語(yǔ)義信息越多，系統(tǒng)主機(jī)所承擔(dān)的數(shù)據(jù)判別壓力也就越大。為實(shí)現(xiàn)對(duì)文檔片段語(yǔ)義相似度的準(zhǔn)確判定，在建立詞袋模型時(shí)，要求圖像區(qū)域檢測(cè)表達(dá)式與文本區(qū)域檢測(cè)表達(dá)式應(yīng)同時(shí)取得最大或最小賦值結(jié)果[9-10]。設(shè)δ1、δ2表示兩個(gè)不相等的相似性文檔片段語(yǔ)義信息檢索系數(shù)，f表示基于圖文多模態(tài)融合條件的語(yǔ)義信息檢測(cè)向量，β表示語(yǔ)義信息的相似性度量值，L表示圖文信息匹配特征。基于圖文多模態(tài)融合的相似性文檔片段語(yǔ)義信息詞袋模型表達(dá)式為：

若互聯(lián)網(wǎng)應(yīng)用主機(jī)的處理能力始終保持不變，在判定相似性文檔片段語(yǔ)義信息時(shí)，應(yīng)對(duì)詞袋模型表達(dá)式進(jìn)行全局性取值。

2 文檔片段語(yǔ)義相似度判定算法設(shè)計(jì)

2.1 文本數(shù)據(jù)預(yù)處理

相似性文檔片段語(yǔ)義信息文本是大量關(guān)鍵詞數(shù)據(jù)按照?qǐng)D文多模態(tài)融合排列規(guī)則，所形成的關(guān)鍵詞序列條件。在實(shí)施信息操作指令前，應(yīng)對(duì)相似性文檔片段語(yǔ)義信息文本數(shù)據(jù)進(jìn)行初步預(yù)處理[11]。在制定判定指令的過(guò)程中，若相似性文檔片段語(yǔ)義信息為中文文本，則應(yīng)遵循完整性原則對(duì)文本數(shù)據(jù)進(jìn)行預(yù)處理；若相似性文檔片段語(yǔ)義信息為英文文本，則應(yīng)遵循時(shí)態(tài)變化規(guī)則對(duì)文本數(shù)據(jù)進(jìn)行預(yù)處理[12]。設(shè)p?基于圖文多模態(tài)融合的文本信息取值系數(shù)，wmin表示已定義相似度文本的語(yǔ)義判別特征最小值，wmax表示語(yǔ)義判別特征最大值，φ表示相似度語(yǔ)義信息度量系數(shù)，ε表示相似度文檔片段語(yǔ)義信息的初始賦值。在上述物理量的支持下，聯(lián)立式（4），可將相似度文檔片段語(yǔ)義信息文本數(shù)據(jù)的預(yù)處理表達(dá)式定義為：

在圖文多模態(tài)融合原則的作用下，文本數(shù)據(jù)預(yù)處理表達(dá)式可以同時(shí)影響關(guān)鍵詞權(quán)值指標(biāo)與相似性度量值的計(jì)算結(jié)果。

2.2 關(guān)鍵詞權(quán)值計(jì)算

關(guān)鍵詞權(quán)值計(jì)算是實(shí)現(xiàn)文檔片段語(yǔ)義相似度判定處理的關(guān)鍵執(zhí)行環(huán)節(jié)，在已知文本數(shù)據(jù)預(yù)處理結(jié)果的前提下，關(guān)鍵詞權(quán)值指標(biāo)的物理取值越大，就表示互聯(lián)網(wǎng)主機(jī)對(duì)于相似度文檔片段語(yǔ)義信息的處理能力越強(qiáng)[13-14]。規(guī)定γ、ι表示兩個(gè)隨機(jī)選取的文檔片段語(yǔ)義信息敏感性度量值，且γ≠ι的不等式條件恒成立。設(shè)cγ表示基于度量值γ的語(yǔ)義信息相似度標(biāo)記參量，cι表示基于度量值ι的語(yǔ)義信息相似度標(biāo)記參量。相似度文檔片段語(yǔ)義信息關(guān)鍵詞權(quán)值計(jì)算表達(dá)式為：

式中，κγ表示基于度量值γ的語(yǔ)義信息判別權(quán)限量，κι表示基于度量值ι的語(yǔ)義信息判別權(quán)限量。在實(shí)際運(yùn)算過(guò)程中，要求κγ≠1、κι≠1、κγ≠κι的不等式條件同時(shí)成立。

2.3 相似性度量值

相似性度量值指標(biāo)決定了文檔片段語(yǔ)義信息之間的可替代關(guān)系。在圖文多模態(tài)融合技術(shù)的支持下，只有確保待檢信息參量之間的相似性度量指標(biāo)取值不完全相等，才可以實(shí)現(xiàn)對(duì)文檔片段語(yǔ)義信息的準(zhǔn)確判定[15-16]。設(shè)?表示可替代參量的一般性賦值條件，θ?表示文檔片段語(yǔ)義信息的向量殘差值，θ0表示向量殘差的初始賦值，?表示相似性指標(biāo)的初始賦值，b1、b2、…、bn表示n個(gè)不同的相似度文檔片段語(yǔ)義信息分類(lèi)指標(biāo)。聯(lián)立上述物理量，可將相似性度量值表達(dá)式定義為：

按照?qǐng)D文多模態(tài)融合技術(shù)，對(duì)所求得數(shù)據(jù)參量指標(biāo)進(jìn)行處理，實(shí)現(xiàn)文檔片段語(yǔ)義相似度判定算法的順利應(yīng)用。

3 實(shí)例分析

為突出基于圖文多模態(tài)融合的文檔片段語(yǔ)義相似度判定算法的實(shí)用性價(jià)值，設(shè)計(jì)如下對(duì)比實(shí)驗(yàn)。首先，選擇型號(hào)為W4900os 的互聯(lián)網(wǎng)主機(jī)作為實(shí)驗(yàn)設(shè)備，通過(guò)人工調(diào)試的方式，使實(shí)驗(yàn)主機(jī)的各項(xiàng)指標(biāo)示數(shù)趨于穩(wěn)定。然后，利用基于圖文多模態(tài)融合的文檔片段語(yǔ)義相似度判定算法對(duì)實(shí)驗(yàn)主機(jī)進(jìn)行控制，將所得實(shí)驗(yàn)數(shù)據(jù)作為實(shí)驗(yàn)組變量。其次，利用基于半監(jiān)督AP 聚類(lèi)的判定算法對(duì)實(shí)驗(yàn)主機(jī)進(jìn)行控制，將所得實(shí)驗(yàn)數(shù)據(jù)作為對(duì)照組變量。最后，對(duì)比實(shí)驗(yàn)組、對(duì)照組變量指標(biāo)，總結(jié)實(shí)驗(yàn)規(guī)律。圖1 為在實(shí)驗(yàn)組、對(duì)照組算法的作用下，互聯(lián)網(wǎng)主機(jī)對(duì)于相似性文檔片段語(yǔ)義信息的處理原則。

圖1 實(shí)驗(yàn)數(shù)據(jù)處理原則

選擇六種不同相似性文檔片段語(yǔ)義信息作為實(shí)驗(yàn)數(shù)據(jù)，分別將其定義為“1 號(hào)文本”“2 號(hào)文本”“3 號(hào)文本”“4 號(hào)文本”“5 號(hào)文本”“6 號(hào)文本”。表1 給定了六種不同相似性文檔片段語(yǔ)義信息差異性指標(biāo)的初始取值。

表1 差異性指標(biāo)的初始賦值

分析表1 可知，相似性文檔片段語(yǔ)義信息差異性指標(biāo)賦值的最大值為1.21，與1 號(hào)文本相對(duì)應(yīng)。差異性指標(biāo)賦值的最小值為0.98，與6 號(hào)文本相對(duì)應(yīng)，二者之間的指標(biāo)賦值差等于0.23。

在不超過(guò)差異性指標(biāo)初始賦值條件的情況下，所得實(shí)驗(yàn)數(shù)值越大，就表示網(wǎng)絡(luò)主機(jī)對(duì)于相似性文檔片段語(yǔ)義信息的準(zhǔn)確判別能力越強(qiáng)。表2 記錄了實(shí)驗(yàn)組、對(duì)照組相似性文檔片段語(yǔ)義信息差異性指標(biāo)的實(shí)驗(yàn)數(shù)值。

表2 差異性指標(biāo)的實(shí)驗(yàn)數(shù)值

利用表2 中的記錄數(shù)據(jù)，計(jì)算實(shí)驗(yàn)組、對(duì)照組相似性文檔片段語(yǔ)義信息差異性指標(biāo)的平均值，具體記錄數(shù)值如圖2 所示。

圖2 差異性指標(biāo)平均值

分析圖2 可知，在整個(gè)實(shí)驗(yàn)過(guò)程中，實(shí)驗(yàn)組、對(duì)照組相似性文檔片段語(yǔ)義信息差異性指標(biāo)平均值都沒(méi)有超過(guò)差異性指標(biāo)的初始賦值。但明顯實(shí)驗(yàn)組指標(biāo)的平均值水平更高，實(shí)驗(yàn)組最大值為1.1，與1 號(hào)文本相對(duì)應(yīng)，對(duì)照組最大值為0.9，與1 號(hào)文本、3 號(hào)文本相對(duì)應(yīng)。綜上可知，在圖文多模態(tài)融合技術(shù)的作用下，相似度文檔片段語(yǔ)義信息差異性賦值指標(biāo)的均值水平得到了明顯提升，對(duì)于網(wǎng)絡(luò)主機(jī)而言，其在準(zhǔn)確判別相似性文檔片段語(yǔ)義信息方面的應(yīng)用能力確實(shí)得到了有效保障。

4 結(jié)束語(yǔ)

新型文檔片段語(yǔ)義相似度判定算法在圖文多模態(tài)融合技術(shù)的作用下，通過(guò)建立詞袋模型的方式，對(duì)文本數(shù)據(jù)進(jìn)行初步處理，又根據(jù)關(guān)鍵詞權(quán)值計(jì)算結(jié)果，實(shí)現(xiàn)對(duì)相似性度量值指標(biāo)的按需統(tǒng)計(jì)。在實(shí)用性方面，隨著這種新型判定算法的應(yīng)用，差異性賦值指標(biāo)的最大值達(dá)到了1.10。且在整個(gè)實(shí)驗(yàn)過(guò)程中，賦值指標(biāo)均值始終沒(méi)有超過(guò)其初始賦值結(jié)果，在準(zhǔn)確判別相似性文檔片段語(yǔ)義信息方面具有較強(qiáng)的實(shí)用性價(jià)值。