淺談基于情感的圖像檢索系統(tǒng)

(陜西職業(yè)技術學院，陜西西安，710100)

淺談基于情感的圖像檢索系統(tǒng)

張 騫

(陜西職業(yè)技術學院，陜西西安，710100)

介紹了基于情感的圖像檢索系統(tǒng)產生的原因及概念，分析了圖像特征提取技術和圖像特征與情感空間映射技術，提出了系統(tǒng)設計的五個模塊，以其對系統(tǒng)的建立有一定的參考價值。

視覺特征提取；情感空間；檢索系統(tǒng)

0 引言

圖像信息以其能直接、客觀地表達信息內容而成為網絡中重要的信息資源，隨著圖像信息的幾何級增長，如何更加準確、快速地獲取圖像，成為圖像信息檢索系統(tǒng)成敗的一個重要因素。圖像信息檢索系統(tǒng)經歷了基于文本的圖像檢索系統(tǒng)、基于內容的圖像檢索系統(tǒng)到基于語義的圖像檢索系統(tǒng)，并隨著計算機技術的發(fā)展不斷向智能化、專業(yè)化、個性化方向發(fā)展，基于情感的圖像檢索系統(tǒng)正是在這種環(huán)境下被提出并被廣泛研究和實踐的系統(tǒng)。

1 基于情感的圖像檢索系統(tǒng)

早期的圖像檢索系統(tǒng)主要利用對圖像進行主題描述，進而通過關鍵詞匹配實現(xiàn)檢索，由于個人對圖像的感知的差異，使得對圖像的描述主題不盡相同，因此對圖像的描述往往存在誤差，檢索到的結果相關性也比較低。為解決圖像信息描述不準確問題，接著出現(xiàn)了基于內容的圖像檢索系統(tǒng)，它可以對圖像的顏色、大小、紋理、等客觀信息進行描述實現(xiàn)檢索，提高了檢索相關性。但這些都只考慮了圖像的客觀屬性，忽略了用戶檢索圖像時的主觀需求，即用戶在瀏覽圖像時的主觀感情體驗。

為了解決這一問題基于情感的圖像檢索系統(tǒng)被提出，并被大量的研究和廣泛的實踐。用戶在進行圖像信息檢索時，往往對檢索對象有一定情感反應，如：厭惡，喜歡，憂郁，壓抑等。這些感情因素對檢索系統(tǒng)具有重要的參考價值，如果檢索系統(tǒng)在設計的時候能借助一定的模型和參數量化這些感情因素，那么會對圖像信息檢索結果相關度將是一個極大的提高。

基于情感的圖像檢索系統(tǒng)事實上是基于語義的圖像檢索系統(tǒng)的發(fā)展結果，其本質是圖像檢索從客觀內容層次向主觀體驗層次的發(fā)展，是檢索系統(tǒng)智能化的重要表現(xiàn)。情感信息對用戶檢索檢索和瀏覽具有重要的參考價值，在對歌曲的檢索系統(tǒng)中許多都利用了基于情感的檢索，音樂檢索中關于心情的檢索如：平靜、溫柔、興奮、樂觀、憂愁、冷酷等，這些都是基于情感的檢索例子。可見基于圖像情感的考量是非常有必要的。

2 基于情感的圖像檢索系統(tǒng)關鍵技術

常用的檢索系統(tǒng)涉及到的關鍵技術主要有索引技術、分詞技術、搜索技術和匹配技術，基于情感的圖像檢索技術不僅要利用這些技術，同時要利用其它方法和技術來實現(xiàn)對情感要素的量化和匹配。基于情感的圖像檢索系統(tǒng)首先要進行的是圖像特征的提取，在此基礎之上建立圖形特征與情感之間的映射。圖像的特征提取主要是顏色特征和形狀特征的提取，這就涉及到顏色和形狀特征提取技術，接著是如何將圖像的特征與情感建立關聯(lián)，這就需要特征與情感映射技術。

2.1視覺特征提取技術

顏色特征的提取常用的是顏色直方圖。它主要通過軟件計算出不同色彩在圖像中的比例并量化成具體的參數,通過這些參數的分析可以得到各種所需的數據，任何一副圖像都會得到與之相對應的直方圖信息，這對圖像信息的感情屬性判定具有重要的參考價值。現(xiàn)在出現(xiàn)較多的是CCV（Color Coherence Vector）它是色彩直方圖的改進技術，它可以提高相同圖像色彩相似度的判定。

形狀特征提取主要采用傅里葉描述子（FD）進行，它是對物體形狀特征進行識別和分析的一種常用方法。通過對傅里葉變換性質的分析，到的物體形狀，大小，方向和位置的相關數據。另外還有小波變化描述方法，它是一個時間和頻域的局域變換，因此通過它能夠有效的從圖像中提取信息，解決了傅里葉變換不能解決的許多困難問題。

2.2圖像特征與情感空間映射技術

當利用圖像特征提取技術對圖像的特征數據提取完成以后，形成圖像的特征數據庫，每個圖像具有相對唯一的特征值，但如何將感情語義與特征數據建立關聯(lián)，就需要利用圖像特征與情感空間映射技術。情感空間的建立有很多種方法和技術，常用的方法是建立情感標簽，通過建立情感標簽可以將情感劃分為幾個大類，每個類都有幾個情感標簽，以此方法來將大量的情感反應劃分到相應的情感標簽類里面，這樣可以方便建立情感空間，有利于情感要素與圖像特征之間映射的建立。

圖像特征與情感空間的映射主要利用樸素貝葉斯模型（Naive Beyesian Model）來實現(xiàn)，它一般有下面幾個階段。首先是預備階段，這個階段的工作將對映射的結果有重大的影響，對映射相關性的高低有決定作用。它主要是通過人工對圖像特性的屬性進行劃分，并將部分分類項與情感空間的情感標簽進行關聯(lián)與歸類，形成訓練樣本集合。接著就是生成自動映射，這個階段主要由計算機來完成，根據預備階段的訓練樣本集合，計算每個特征屬性在樣本中出現(xiàn)的頻率和每個特征屬性劃分對情感空間中情感標簽的條件概率估計，記錄并保存概率估計和頻率。最后是實踐階段，就是根據前兩個階段產生的算法和步驟，對所有圖像的特征進行情感分類，當輸入圖像特征的時候，得到的是圖像的情感表現(xiàn)，實現(xiàn)圖像特征到情感空間的映射。

3 基于情感的圖像檢索系統(tǒng)設計模塊

基于情感的圖像檢索系統(tǒng)設計模塊與傳統(tǒng)的圖像檢索系統(tǒng)設計模塊差別不大，在延續(xù)了傳統(tǒng)檢索系統(tǒng)，檢索模塊、索引模塊、搜集模塊之上，更加注重對情感信息的提取和檢索，使信息檢索提高到語義層次的檢索層面上來，大大提高了檢索效率。主要有以下模塊如圖1所示：

圖像信息搜集模塊：通過網絡蜘蛛對網絡上的圖像信息按照主題和視覺特征進行進行抓取，并將圖像存儲在圖像數據庫中，方便用戶的檢索和利用。網絡蜘蛛的設計應該更趨向于對圖像信息的抓取，在抓取廣度和深度上應該與傳統(tǒng)搜索引擎的網絡蜘蛛有所區(qū)別，使圖像信息采集庫里面的數據更加準確，內容更加合理。

預處理模塊：與傳統(tǒng)檢索系統(tǒng)相比，預處理模塊是基于情感的圖像檢索系統(tǒng)增加的模塊，正是因為有此模塊的存在，才使得基于情感的圖像檢索系統(tǒng)能專注于用戶的情感需求，能針對情感關鍵詞進行檢索。它主要是對圖像的視覺特征進行預處理，通過圖像視覺處理技術提取圖像的相關數據，存儲在圖像特征數據庫中，并通過圖像特征與情感映射技術對圖像的情感內容進行表述，使得圖像擁有情感的主題，它還要對圖像的情感語義進行標引和描述，使圖像數據庫中存儲的不僅僅是圖像還有圖像的情感描述。預處理模塊還要對反饋模塊提供的結果進行處理，根據用戶的反饋結果，及時更改圖像的主題或者增加圖像的主題，使得對圖像的情感描述更加符合用戶的感覺，提高標引的準確性。

圖像索引模塊：圖像索引模塊和其他搜索系統(tǒng)的索引模塊差別不大，區(qū)別的地方主要是這里面存儲的主要是情感方面的主題詞，圖像的情感描述完成之后要將圖像的情感標引和描述建立索引，并存儲在索引數據庫中。索引數據庫一般是按照一定的算法進行排序和分類，排序的結果主要看算法的設計。

檢索模塊：用戶通過輸入情感相關的關鍵詞與索引數據庫中的主題進行匹配，找出相關圖像并呈現(xiàn)給用戶。同時，要對用戶的檢索詞進行規(guī)范性約束和提示，以提高檢索相關性。檢索模塊要將檢索結果呈現(xiàn)給用戶，用戶可以自主的選擇呈現(xiàn)結果。

反饋模塊：檢索系統(tǒng)將結果呈現(xiàn)給用戶的同時，要有相關性反饋機制，讓用戶對檢索結果進行評價，并統(tǒng)計用戶的檢索選擇結果，及時反饋給預處理模塊，修改圖像的的描述和主題，提高索引的高相關性。

圖1 基于情感的圖像檢索系統(tǒng)模塊結構

4 結論

檢索系統(tǒng)的發(fā)展方向是更加貼近用戶的個性化需求，更加符合人機結合的發(fā)展規(guī)律，使得檢索系統(tǒng)真正成為用戶獲取知識的知識中心。基于情感的圖像檢索系統(tǒng)考慮了圖像檢索過程中用戶對圖像擁有感情這一維度，滿足了用戶的檢索感性需求，提高了圖像檢索的效率，滿足了用戶個性化的需求，使檢索系統(tǒng)向專業(yè)化邁進了一步。但基于情感的圖像檢索系統(tǒng)仍需要解決很多問題來提高檢索的相關性。在圖像特征的提取技術上有待全面提高特征的獨特性和全局性，在特征與情感類型的映射研究上，還不是很成熟，還不能全面反映用戶內心真實的情感需求，需要建立更加科學化、系統(tǒng)化、合理化的算法來實現(xiàn)圖像特征與情感要素之間的關聯(lián)。因此將來要注重研究用戶情感表達與圖像視覺特征的關系，注重更加科學、客觀的情感計算模型。也要注重用戶個性表達情感的方式，研究個性化的情感檢索系統(tǒng)，對提高檢索系統(tǒng)的人性化。

[1] 張大展.基于色彩情感的圖像檢索系統(tǒng)設計與實現(xiàn)[D].杭州：浙江大學,2013.

[2] 陳慧.基于顏色和情感語義特征的感性圖像檢索[J].莆田學院學報,2013(10):70-73

[3] 劉琳.基于情感語義的圖像檢索系統(tǒng)模型[C].第十二屆全國圖象圖形學學術會議,2013

[4] 陸泉.基于情感的圖像檢索研究綜述[J].情報理論與實踐,2013(2):119-123.

[5] 張秀秀.基于圖像服裝檢索系統(tǒng)設計與實現(xiàn)[D].成都:電子科技大學,2012.

Discussion On Image Retrieval System Based On Emotion

Zhang Qian
(Shaanxi Vocational&Technical college，Shaanxi Xian，710100)

This paper introduced the concept and reason of image retrieval system based on emotion,analyzed the technique of visual feature extraction and the mapping of image characteristics and emotional space ,proposed five designing modules of the system,in order has certain reference value to build system .

Visual feature extraction;emotional space;retrieval system