圖片購物檢索研究

王召義

（安徽商貿職業技術學院，安徽蕪湖，241002）

隨著電子商務和計算機視覺技術的高速發展，電子商務網站上的圖片信息量已經遠遠超過了文本信息量。然而，這些圖片是無序地分布在各個電子商務網站中的，圖片中所包含的商務信息無法被有效地訪問和充分地利用。對于消費者來說，在眾多的電子商務圖片購物網站中尋找滿意的商品，無異于大海撈針，此時此刻，傳統關鍵字搜索已經越來越不適應電子商務的發展了，特別是圖片購物檢索領域。對于電子商務企業來說，需要提供一種能夠快速而且準確地檢索圖片的技術，即圖片檢索技術。

圖片檢索技術是一種根據用戶的興趣使用圖片特征從數據庫搜索圖片的技術，圖片特征是圖片檢索技術的核心要素之一。從廣義角度來講，圖片特征主要有兩種類型，即圖片的外部特征和內容特征。外部特征主要包括圖片的標題、作者、創建日期、尺寸、流派等，也有學者稱其為圖片的語義內容；內容特征主要包括圖片的顏色、紋理、形狀和空間布局等，也有學者稱其為圖片的可視化內容。其中，圖片的外部特征是基于文本的關鍵字進行描述的；圖片的內容特征是基于顏色、紋理、形狀和空間關系等特征進行描述的，即基于內容進行描述的。

根據圖片特征可以把圖片購物檢索分為兩種類型：基于文本的圖片購物檢索和基于內容的圖片購物檢索。

一、基于文本的圖片購物檢索

基于文本的圖片購物檢索沿用了傳統關鍵字檢索技術，回避對圖片內容特征的分析，而使用文本標注圖片的外部特征，且對圖片的查詢是通過對圖片的外部特征檢索來實現的。為了實現檢索，需要對圖片的外部特征進行文字或數字標簽的描述，這樣，對圖片的查詢就轉換成了基于文字或數字標簽的查詢。

基于文本的圖片購物檢索的基本思想是：采用文本對圖片的外部特征進行描述，建立圖片外部特征的索引數據庫，這樣圖片的存儲地址和文本之間就建立了聯系，而圖片本身還是以外部的方式存儲。［1］對圖片外部特征的檢索一般都是通過分類目錄瀏覽和關鍵字提問的方式進行，查詢操作本質上是對文字內容描述的精確匹配或概率匹配，盡管有些檢索模型還有數據字典支持，但我們檢索的只是圖片外部特征的人工描述信息，與圖片的內容特征沒有多大關系。在電子商務領域中，很多比較購物網站采用的圖片購物搜索也是基于這種檢索技術，此外使用百度和Google查詢圖片也是如此。

基于文本的圖片購物檢索對檢索技術的要求不是很高，操作較方便，也便于標注人員和普通用戶理解與掌握。但是，由于圖片資源的增長速度非常快，所以對圖片進行文本描述的方式已經滿足不了電子商務的要求了。

首先，圖片包含的信息內容很難用文本完全標注。盡管基于文本的描述方法利用文字來對圖片特征進行描述，但由于圖片特征具有豐富的內涵，并且其中有一些難以用字符和數字符號描述的特征線索，例如：圖片的顏色、紋理和形狀等特征。因此，當圖片中包含多個物體時，就難以用簡短的描述信息來全面體現它的含義，并且作為關鍵字的圖片特征的選取具有很強的主觀性，不同的標注者或同一標注者在不同環境下對同一幅商品圖片可能給出不同的描述，很難表達圖片的空間關系。這使得在很多情況下文本標注難以滿足電子商務實際需求，例如，電子商務企業要注冊新的商標時需要對已經注冊商標進行檢索，看是否雷同，此時僅靠對商標進行文本標注是難以解決的。

其次，人工對圖片內容進行標注十分費力費時。因為對于廣泛的圖片自動地生成描述性的文本是不可行的，大部分基于文本的圖片購物檢索系統需要對圖片進行人工標注。很顯然，人工標注圖片對于大型圖片數據庫來說是一項棘手和昂貴的任務，并且經常是主觀的、上下文敏感的和不完整的。例如，同一款商品，有不同角度、不同款式、不同顏色的圖片，僅依靠人工進行圖片描述，是達不到電子商務企業要求的。

由此可見，對圖片檢索需要借助計算機技術從圖片的語義內容到可視化內容進行處理、分析和理解以有效獲取其內容特征，并根據圖片內容特征實現快捷準確的檢索。

二、基于內容的圖片購物檢索

（一）基于內容的圖片購物檢索概述

隨著圖片信息資源的普及，人們在電子商務應用中不僅要對圖片進行基于關鍵字的檢索，而且要對圖片進行語義內容的分析和理解，以便達到更深的檢索層次。于是，基于內容的購物搜索便應運而生。

基于內容的圖片購物檢索的主要思想是：首先，根據圖片的索引來計算查詢圖片和目標圖片的相似距離；然后，按照相似性匹配來進行檢索。［2］如圖1所示：

圖1 工作原理示意圖

從圖1中可以看出：其工作原理主要包括圖片檢索與圖片索引兩個子系統。在圖片索引子系統中，通過對圖片進行自動分析，提取圖片的內容特征，如顏色、紋理、形狀等，以及這些特征的組合，作為特征向量存入圖片特征庫；在圖片檢索子系統中，對用戶提交的每一幅檢索樣圖進行圖片分析提取特征向量，利用相似匹配算法計算查詢示例圖片與圖片特征庫中圖片特征向量的相似度，根據相似度大小輸出檢索結果。

與基于文本的圖片購物檢索，它有如下特點：［3］

（1）從圖片內容中提取信息線索?；趦热莸膱D片購物檢索突破了傳統的基于關鍵字檢索的局限，直接對圖片進行分析，抽取特征，使得檢索更接近于圖片對象。

（2）提取特征的方法多種多樣?？梢蕴崛⌒螤?、顏色、紋理和輪廓等多種特征。

（3）人機交互。一般來說，用戶對特征比較敏感，能夠迅速分辨出圖片的顏色、形狀等。如果圖片很多，則用戶很難記住這些特征，從大量數據中查找目標的效率也非常低，但計算機能夠輕松做到這一點。因此，在使用基于內容的圖片購物檢索時，用戶與計算機配合進行檢索。

（4）近似匹配。在檢索過程中，采用逐步求精的辦法，每一層的中間結果是一個集合，不斷地減小該集合的范圍，直到定位到目標時為止。這一特點與數據庫檢索的精確匹配算法顯然不一樣。

（二）基于內容的圖片購物檢索應用實例——淘淘搜

基于內容的圖片購物檢索，通俗來講就是“以圖搜圖”。所謂“以圖搜圖”，顧名思義，用戶可以通過上傳本地圖片或輸入網絡圖片的URL地址來搜索相同或相似的圖形圖像。

淘淘搜（http://www.taotaosou.com/）就是典型的“以圖搜圖”、“想圖購物”的電子商務網站，即基于內容的圖片購物檢索網站。它是國內最大的圖片購物搜索引擎，只需一張圖片，淘淘搜就能通過強大的視覺計算技術幫你在海量的商品中快速找到心儀的寶貝，讓購物變得更快捷、更輕松。淘淘搜和淘寶網合作的“圖想”（http://imagine.taobao.com/）是全球第一個大規模商業化運營的圖片搜索產品，面向淘寶網用戶提供便捷的圖片搜索服務，解決了用戶不能和不愿用文字進行搜索的困難，得到了用戶的高度評價。

淘淘搜的服務主要有：（1）同款比價和服務：通過上傳圖片或使用商品地址搜索，用戶能夠用最快的時間搜索到全網同款商品進行比價，用戶可以在結果中輕松地比較產品質量、價格、服務和商城信息。在上千萬家商店的同款商品中挑選出最滿意結果，淘淘搜的服務能讓用戶在微笑愉快中享受購物花的每一分錢是物有所值。（2）相似搜索和服務：通過圖片搜索，用戶選擇搜索的類目后，淘淘搜系統根據上傳的圖片特征值，為用戶搜索出指定類目下最相關的相似商品和最相關的最熱門搜索。當網絡上沒有同款商品時，用戶能夠找到最相似的商品進行選擇。（3）搜索商品和服務：關鍵詞、類目搜索功能讓用戶迅速找到相關的商品的價格、運費、折扣、銷售信息等。點擊圖片即可全網同款比價，實現一站式輕松比價。

淘淘搜為客戶提供了三種以圖片搜商品的方法。如圖2所示：

圖2 淘淘搜查詢接口

第一，上傳本地圖片。在圖2上，選擇“本地圖片”，點擊“從本地上傳圖片”按鈕，將您電腦中的商品圖片上傳后，按照需要框出要搜索的商品（排除背景），選擇要搜索的商品類目，然后點擊“搜索相似商品”按鈕就能找到與您上傳圖片相似的商品了。如圖3所示：

圖3 上傳本地圖片

圖4 粘貼圖片地址

第二，粘貼圖片地址。在網絡上看到了一件商品，想購買，怎么辦？右鍵點擊圖片復制圖片地址，然后在圖2上，選擇“網絡圖片”，在輸入框粘貼圖片地址就可以找到與圖片相似的商品了。如圖4所示。

第三，粘貼商品地址。網上購物時，相中了心儀商品，想看看這款商品相同款，怎么辦？復制商品地址，在圖2上，選擇“商品搜索”，在輸入框粘貼商品地址就可以找到心儀商品的相同了。如圖5所示：

圖5 粘貼商品地址

通過以上分析，我們可以發現二者的實現原理是相同的，主要體現在以下三方面：一方面對用戶檢索需求的分析和轉化，形成可以檢索索引數據庫的提問；另一方面，收集和加工圖片資源，提取圖片特征，分析并進行標注，建立圖片的索引數據庫；最后是根據相似度算法，計算用戶的提問與索引數據庫中記錄的相似度大小，提取出滿足閾值的記錄作為結果，按照相似度降序的方式輸出。兩者的區別主要體現在圖片特征上，基于文本的圖片購物檢索是借助傳統文本信息檢索技術來實現圖片信息檢索，采用文本的形式標注圖片外部特征；基于內容的圖片購物檢索是從圖片中自動提取內容特征，如色彩、紋理、形狀等，這些客觀特征是前者無法精確描述的。

基于文本與內容的圖片購物檢索有著各自的優勢和不足，在電子商務應用背景下，基于文本的圖片購物搜索一定程度上回避了對復雜的可視化元素的識別難題，符合人們熟悉的檢索習慣，充分利用了網頁上下文和超文本結構信息，實現簡單，但是因為仍舊局限在文本檢索的范圍下，通過受控詞匯來描述圖片，因此容易出現主題歧義、標注不一、無法對圖片內容理解等問題。基于內容的圖片購物搜索恰恰相反，主要利用對直觀形象的特征元素的分析來標注圖片，具有一定的客觀性，但是其算法復雜，實現成本高。［4］

基于文本和基于內容是圖片購物檢索發展的兩個分支，不過從目前圖片購物檢索研究的趨勢而言，應結合文本和內容，進行融合性研究。發揮各自的優勢促進圖片的高效、簡單檢索方式的實現，尤其是網絡環境下，結合圖片所在Web文檔的特征分析，推斷圖片的外部特征，同時結合對圖片的內容特征分析，共同標注達到對圖片的分析和檢索。

［1］張帆.信息存儲于檢索［M］.北京：高等教育出版社，2007.

［2］肖明.基于內容的多媒體信息索引與檢索概論［M］.北京：人民郵電出版社，2009.

［3］多媒體信息檢索與管理［M］.劉曉冬，譯.北京：清華大學出版社，2009.

［4］張騫.基于文本的與基于內容的圖像檢索技術比較研究［J］.情報探索，2012（1）.