基于多示例學(xué)習(xí)的圖像檢索方法

◆陳濤

( 深圳職業(yè)技術(shù)學(xué)院教育技術(shù)與信息中心 廣東 518055 )

0 引言

近幾十年來(lái)，基于內(nèi)容的圖像檢索技術(shù)成為研究熱點(diǎn)。用戶提交一個(gè)或幾個(gè)樣例圖像，檢索系統(tǒng)從圖像數(shù)據(jù)庫(kù)中選出一組相關(guān)圖像作為檢索結(jié)果返回給用戶[1]。在圖像檢索中，用戶感興趣的一般是圖像中的一個(gè)或幾個(gè)區(qū)域，而不是整幅圖像。用戶對(duì)圖像的一個(gè)區(qū)域感興趣，就認(rèn)為該幅圖像為感興趣圖像。例如，一幅馬的圖像，除了具有“馬”的區(qū)域特征，可能它還包含有草叢、灌木等背景區(qū)域，只要圖像中含有一個(gè)“馬”特征的區(qū)域，就會(huì)被認(rèn)為是感興趣圖像。圖像中的全部區(qū)域均不是“馬”特征區(qū)域，才會(huì)被認(rèn)為是不感興趣圖像。圖像檢索問(wèn)題與多示例學(xué)習(xí)的假設(shè)十分相似，能夠使用多示例學(xué)習(xí)框架來(lái)處理圖像檢索問(wèn)題[2]。

多示例學(xué)習(xí)首先被Dietterichet等人[3]提出并用在藥物活性分子預(yù)測(cè)研究。它是一類(lèi)處理粗糙標(biāo)簽信息的學(xué)習(xí)算法，近來(lái)年，很多國(guó)內(nèi)外學(xué)者致力于這方面的研究工作[4]。在多示例學(xué)習(xí)算法研究中，代表性算法有多樣性密度（DD）算法、ED-DD算法等。DD算法是Maron等人提出，通過(guò)在特征空間中尋找一個(gè)目標(biāo)概念點(diǎn)，使得每個(gè)正包中至少有一個(gè)示例離該點(diǎn)較近，而負(fù)包中的示例均遠(yuǎn)離該點(diǎn)。找到該點(diǎn)后，就可以把這個(gè)點(diǎn)作為參照點(diǎn)來(lái)判斷新包的標(biāo)簽。DD算法使用梯度上升法求解目標(biāo)函數(shù)。以每個(gè)示例作為一次搜索起點(diǎn)，在示例空間中執(zhí)行搜索，一次搜索找到一個(gè)局部極大值。最后通過(guò)比較極值，得到全局最大值。它的缺點(diǎn)是需要多次搜索特征空間，計(jì)算時(shí)間開(kāi)銷(xiāo)較大[5]。EM-DD算法是將期望最大(EM)算法與DD算法相結(jié)合來(lái)得到目標(biāo)概念點(diǎn)。

1 基于多示例學(xué)習(xí)的圖像檢索方法實(shí)現(xiàn)

首先將每幅圖像分割成若干個(gè)區(qū)域，每個(gè)區(qū)域析取出一個(gè)9維的區(qū)域特征[6]，將圖像和區(qū)域分別看作為多示例學(xué)習(xí)中的包和示例，這樣，將圖像檢索問(wèn)題轉(zhuǎn)換到多示例學(xué)習(xí)框架處理。多示例學(xué)習(xí)算法，本文采用EM-DD算法[7]。

在EM-DD算法中，包的標(biāo)記由包中具有最大可能為正的示例決定，通過(guò)EM算法來(lái)估計(jì)每個(gè)包中對(duì)包的標(biāo)記起決定作用的示例。令為帶有最大DD值的目標(biāo)概念點(diǎn)，為第i個(gè)包，為包的標(biāo)簽，有公式：

M-Step：對(duì)這些訓(xùn)練示例求得公式(1)的最大值，得到新的概念點(diǎn)。

EM-DDE-Step算法通過(guò) 步將包中的多示例轉(zhuǎn)換成單示例代表包，降低了求解優(yōu)化函數(shù)的復(fù)雜度和計(jì)算量。

相關(guān)反饋技術(shù)是通過(guò)用戶與檢索系統(tǒng)進(jìn)行交互反饋，來(lái)提煉用戶所想的語(yǔ)義。系統(tǒng)從反饋的圖像標(biāo)記中學(xué)習(xí)用戶的檢索需要，自動(dòng)調(diào)整相似性度量標(biāo)準(zhǔn)，形成新的查詢，循環(huán)幾個(gè)輪次，直到用戶得到滿意的圖像。因而，它被融合到本文提出的圖像檢索方法，算法流程圖如圖1所示。

算法的實(shí)現(xiàn)描述如下：

輸出： 從未標(biāo)簽圖像集U中返回相似度成績(jī)排名前k名的圖像

(1) 用戶選擇一組相關(guān)圖像和一組不相關(guān)圖像作為查詢圖像。

(2) 將每幅圖像分割成若干個(gè)區(qū)域，每個(gè)區(qū)域析取出一個(gè) 9維的區(qū)域特征。將圖像和區(qū)域分別看作為多示例學(xué)習(xí)中的包和示例。

(3) 使用 EM-DD多示例學(xué)習(xí)算法，求得特征空間中的目標(biāo)概念點(diǎn)。

(4) 將未標(biāo)簽圖像集U中的圖像與目標(biāo)概念點(diǎn)的向量距離作為該圖像與檢索圖像的相似度成績(jī)。排名前k 幅圖像被作為檢索結(jié)果返回給用戶。

(5) 執(zhí)行幾輪的用戶相關(guān)反饋，直到一組滿意的圖像集被返回給用戶。在返回圖像中，用戶標(biāo)簽一些相關(guān)樣本作為正反饋，一些不相關(guān)樣本作為負(fù)反饋。為了減少用戶標(biāo)注的工作量，用戶可以僅標(biāo)注負(fù)類(lèi)圖像（不感興趣類(lèi)圖像），其余圖像被作為正類(lèi)圖像，這些正類(lèi)圖像和負(fù)類(lèi)圖像被加入到上輪的圖像一起作為新的訓(xùn)練集。在相關(guān)反饋過(guò)程中，不斷提煉用戶的高級(jí)語(yǔ)義概念，直至返回滿意的圖像給用戶，由用戶終止查詢過(guò)程。

圖1 算法流程圖

2 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)在Corel圖像集上進(jìn)行。為了估算檢索算法的性能，我們做了3個(gè)實(shí)驗(yàn)：第1個(gè)是圖像檢索一個(gè)樣例；第2個(gè)是與DD多示例學(xué)習(xí)圖像檢索方法的檢索有效性能比較；第3個(gè)是相關(guān)反饋技術(shù)對(duì)檢索精度的提高。

Corel圖像集為COREL 2000，來(lái)自：http://www.cs.olemiss.edu/～ychen/ddsvm.html。它有 20 類(lèi)，每類(lèi)有100幅圖像。類(lèi)別分別為：非洲人和村莊、海灘、歷史建筑、公共汽車(chē)、恐龍、大象、花、馬、山和冰川、食物等。圖像分割采用文獻(xiàn)[] 的分割方法，每個(gè)圖像被分割成2-10個(gè)區(qū)域，每個(gè)區(qū)域用一個(gè)9維特征表示其顏色、紋理、形狀特征。

實(shí)驗(yàn)1：圖像檢索的一個(gè)樣例。

設(shè)置一類(lèi)圖像作為目標(biāo)類(lèi)，從目標(biāo)類(lèi)別圖像中隨機(jī)選擇3幅興趣圖像作為正類(lèi)圖像；另外，從其它3類(lèi)圖像中各隨機(jī)選擇1幅圖像，組成負(fù)類(lèi)圖像。圖2給出了一個(gè)圖像檢索“馬”類(lèi)圖像且沒(méi)有帶相關(guān)反饋技術(shù)的樣例，返回與查詢圖像相似概率高的前20幅圖像。從圖2的返回圖像看，方法取得了較好的檢索結(jié)果。

圖2 檢索“馬”類(lèi)圖像的一個(gè)樣例

實(shí)驗(yàn)2: 與DD多示例學(xué)習(xí)圖像檢索方法檢索效率性比較。

采用計(jì)算耗時(shí)來(lái)評(píng)測(cè)檢索的效率。計(jì)算耗時(shí)是指從用戶提交檢索圖像給系統(tǒng)到第一輪圖像返回之間的時(shí)間。實(shí)驗(yàn)條件為Intel Core i5-4570 CPU 3.2GHz，3.2GHz和內(nèi)存8GB的微機(jī)。圖像庫(kù)為Corel 2000，返回排序前20幅圖像。兩個(gè)方法的計(jì)算時(shí)間如表1所示：

表1 計(jì)算耗時(shí)比較（秒）

從表1可以看出，EM-DD方法相較DD方法，它的計(jì)算耗時(shí)大大減少，約為DD方法的1/3。這是因?yàn)椋篋D方法需要將所有正包的正示例作為一個(gè)初始點(diǎn)，來(lái)尋找局部極大值，最后比較這些局部極值點(diǎn)。這個(gè)過(guò)程耗時(shí)較長(zhǎng)。而EM-DD方法，結(jié)合EM方法來(lái)尋找DD函數(shù)最大值，能快速收斂，減少耗時(shí)。

實(shí)驗(yàn)3：相關(guān)反饋技術(shù)對(duì)方法的性能提高。

相關(guān)反饋技術(shù)能有效的提高檢索性能。圖3顯示了沒(méi)有帶相關(guān)反饋，帶1輪、2輪、3輪相關(guān)反饋的“精度-召回率”曲線：

圖3 帶相關(guān)反饋技術(shù)的“精度-召回率”曲線

從圖3可以看出，每輪相關(guān)反饋后的精度，均較上輪的檢索精度高。經(jīng)過(guò)3輪的用戶反饋后，檢索精度得到了大幅提高。這是因?yàn)椋阂粋€(gè)是通過(guò)用戶相關(guān)反饋的標(biāo)記，更多的標(biāo)記圖像加入到學(xué)習(xí)中。另一個(gè)是通過(guò)負(fù)相關(guān)反饋，系統(tǒng)不斷的提煉用戶感興趣的圖像。

3 結(jié)束語(yǔ)

本文提出了一個(gè)基于多示例學(xué)習(xí)的圖像檢索方法。它有兩個(gè)特點(diǎn)：一是通過(guò)多示例學(xué)習(xí)框架來(lái)處理圖像檢索問(wèn)題；二是通過(guò)相關(guān)反饋技術(shù)提煉用戶查詢圖像的語(yǔ)義概念，縮小語(yǔ)義概念與視覺(jué)特征表示之間的“語(yǔ)義鴻溝”。在Corel圖像集上的實(shí)驗(yàn)表明，提出的方法具有較好的檢索性能。