基于可視化搜索技術的新一代3G移動電子商務

黃 輝,張 濤,談 璽,楊德利

(1.中國電信股份有限公司廣東研究院 廣州 510630；2.廣州必視谷信息技術有限公司 廣州 510640)

基于可視化搜索技術的新一代3G移動電子商務

黃 輝1,張 濤1,談 璽2,楊德利1

(1.中國電信股份有限公司廣東研究院 廣州 510630；2.廣州必視谷信息技術有限公司 廣州 510640)

論述了可視化搜索技術的基本原理及其在3G互聯網電子商務中的應用。通過把可視化搜索技術與3G電子商務結合起來，形成嶄新的移動可視化電子商務模式，該模式利用了3G網絡的優點，同時也充分利用了手機及其攝像頭這一信息獲取方式，是對傳統無線電子商務的突破性擴展。

可視化搜索；移動電子商務；移動互聯網

1 引言

目前,依托寬帶互聯網的電子商務模式，在3G市場移動數據傳輸速度達到一定水平的情況下，將會衍生出新的基于3G網絡的手機電子商務的商業模式。相比于現有的電子商務模式，基于移動通信網絡的手機電子商務，能讓用戶隨時隨地地進行電子商務活動，能最大程度地抓住人們沖動性消費的商機，也就能創造更多的電子商務效益。

當然，對于手機這種便攜性較強的設備，用戶操作受到諸多限制，如何采用有別于傳統有線互聯網的用戶人機交互方式，是形成完整無線3G電子商務的關鍵。針對這一關鍵問題，可視化搜索技術的出現，將大大改善手機電子商務的整體環境。

2 圖像搜索技術及其電子商務應用

可視化搜索技術基于圖像檢索技術，從基本原理上講，圖像檢索技術主要分為兩大類：基于文本的圖像檢索技術和基于內容的圖像檢索技術。

基于文本的圖像檢索技術始于20世紀70年代，即利用文本描述的方式表示圖像的特征，并利用相應的文字檢索引擎對圖片進行檢索。這種技術的特點是簡單、易于理解，但是很難找到客觀描述圖像的關鍵字。自20世紀90年代以來，基于內容的圖像檢索技術得到了長足發展[1,2]，該技術利用圖像的顏色、形狀、紋理、輪廓、對象的空間關系等基本視覺特征進行匹配、查找（即檢索）。目前一些著名的圖像檢索系統相繼被推出，有IBM的QBIC系統[3]、哥倫比亞大學開發的Visual-SEEK[4,5]、MIT多媒體實驗室開發的Photo-Book[6]和 UC Berkeley開發的Chabot[7]系統等。

隨著計算機技術和國際互聯網的飛速發展，圖像數量正以驚人的速度增長，并且互聯網上海量圖像的數量和來源途徑均不確定，如何對這些圖片進行檢索是一個關鍵和迫切的問題。目前，國際IT業巨擎都在這一新興領域投入了大量資金展開研究及商業活動。美國谷歌（Google）、微軟（Microsoft）、雅虎（Yahoo）等提供的圖像檢索服務，采用的都是文本標注的方式，即建立文字與網頁中圖像的標注和索引。

近年來，谷歌、微軟、諾基亞等國內外IT企業都在開展基于圖像內容的圖像檢索技術研究，在一定地區范圍內推出了有限的圖像搜索服務，并嘗試著讓本技術服務于電子商務。谷歌于2009年12月份推出基于可視化搜索技術的手機拍照搜索服務應用“Goggles”，可同時進行圖像和文字識別搜索服務。2009年6月美國電子商務巨擎亞馬遜（Amazon）收購圖像搜索技術公司SnapTell，并將其可視化搜索技術整合應用到電子商務平臺。

3 移動可視化電子商務

3.1 移動可視化電子商務的業務流程

基于以上對圖像搜索技術的介紹，綜合現在手機平臺傳感器及機器性能的特點，利用手機攝像頭結合可視化搜索技術，實現用戶對感興趣物體的一鍵拍照搜索，從而進一步導引電子商務活動。整體的移動可視化電子商務系統業務流程如圖1所示。

通過在手機客戶端引入可視化搜索功能，把舊有的移動電子商務平臺，升級為具有視覺感知能力的、更貼近用戶使用體驗的新一代電子商務平臺，完全有能力實現對用戶全天候移動終端的電子商務活動。

3.2 移動可視化電子商務的技術架構

基于圖1的技術架構，移動可視化電子商務的技術架構如圖2所示，需要集中解決以下系統環節。

系統的核心功能單元可視化搜索引擎及相關技術，在整個可視化電子商務領域里都屬于最核心的部分，它是一切業務的基礎，在此基礎上，形成一套完整的可視化搜索引擎體系。可視化搜索引擎由圖像精確識別和圖像語義相似度匹配技術組成，圖像精確識別功能單元可以通過形狀、紋理、輪廓等來對圖像進行精確匹配與識別，從而開展相關的電子商務活動；而圖像語義相似度匹配，則通過顏色、紋理、模板等方面，通過模糊匹配技術，尋找最接近于原圖像的目標圖像。

通過第三方技術授權的合作方式，與第三方合作伙伴進行合作，提供可視化搜索服務。通過此服務，達到推廣使用可視化搜索服務的目的；同時，通過這樣的實際應用，完善自有互聯網圖片數據自動采集與分析的機制。

在可視化搜索引擎的基礎上，構建可視化電子商務平臺，在業務層面為各種電子商務模式提供定制搜索系統。

可視化搜索引擎需要對用戶數據分析與挖掘環節做大量的研究工作。在前兩個階段里，可視化搜索引擎及電子商務平臺將采集到大量的用戶點擊數據，通過分析這些第一手的用戶數據，輔以專家的分類訓練，可以得到更接近人類思維的可視化搜索結果。

下面就對其中涉及的關鍵環節給予進一步的論述。

3.3 可視化搜索技術

可視化搜索技術的目的是對圖片庫進行圖像檢索，即核心技術是圖像檢索算法，主要涉及的技術包括圖像匹配識別、圖像檢索、大規模并行處理等技術。圖像檢索技術必定是以提高圖像的查準率、查全率和查詢速度為目標。

圖1 移動可視化搜索系統架構

圖2 移動可視化電子商務技術架構

從目前的可視化搜索技術及電子商務的發展現狀來看，主要面臨幾大關鍵技術需要著重解決。

3.3.1 圖像檢索算法里提取特征值的方法

互聯網上的圖像數量和圖像來源途徑均具有不確定性，捕獲圖像的共同點十分困難。用傳統的圖像檢索方法對這些圖像進行檢索，其效果遠不能令人滿意，主要的瓶頸介紹如下。

（1）關鍵點的提取、存儲、匹配

在關鍵點的處理上，目前通常采用大維向量、結構存儲、逐一匹配，這直接導致圖片庫的容量受限和搜索效率的低下。

（2）圖像語義層的信息描述缺失

在圖像識別的技術層面上，目前的解決方案更多的是僅僅考慮了圖像顏色、紋理、形狀和輪廓等低層物理特征，沒有考慮到圖像內容的塊狀特征、形狀特征、對比度特征等更多維豐富信息在圖像識別中的作用。

（3）缺乏有效的用戶反饋機制

現有的圖像檢索技術，并沒有充分利用用戶參與圖像分析，沒有使用數據挖掘技術客觀分析與學習圖像信息與所處搜索結果的相關性。

（4）現有圖像檢索算法難以適應互聯網電子商務的應用需求

隨著互聯網圖像數量越來越多、來源途徑越來越復雜，基于顏色和紋理的傳統圖像檢索算法將無法滿足檢索需要，必須從圖像的形狀、塊狀、對比度、空間關系等特征著手，建立新的圖像檢索算法。

3.3.2 對圖像多維特征進行存儲與快速搜索的技術

不管使用何種算法來對圖像進行特征提取，最后都面臨一個圖像特征庫保存與搜索的問題。當一個圖像用多維特征來進行描述后，如何對這個特征庫進行快速的搜索與匹配，成了圖像檢索技術的瓶頸問題。

搜索速度對于可視化搜索電子商務的影響尤其重要。在電子商務的應用領域內，更加強調用戶體驗，如何提供更加符合用戶搜索習慣與使用習慣的可視化搜索方案，是當前可視化搜索需要解決的主要問題。

有效的圖像特征讀寫機制，可以為特征的快速搜索提供有力的支撐，尤其是在電子商務應用擴大后，圖像數量與日俱增，更加需要有效的圖像特征讀寫機制。這個機制有別于傳統數據庫，需要專門進行設計。

3.4 可視化移動搜索技術應用層問題

上述實現的可視化搜索技術，具有傳統文本關鍵字搜索所不可比擬的優勢，應用于手機領域，不僅能大大減少用戶在手機端的輸入，還能大大避免文字描述圖像內容帶來的不準確性。應用這種可視化移動搜索技術，同樣面臨以下幾大難題。

（1）無線圖片傳輸的速度問題

用戶查詢的圖片以及結果圖片，在無線網絡傳輸，都需要耗費大量的帶寬，尤其是在需要用戶反復地搜索與查找的應用場景里，無線網絡的速度及穩定性將是挑戰。為從根本上解決圖片內容傳輸的問題，需要把更多圖片預處理的功能放在手機終端，實現圖片采集終端更加智能化的實現。

（2）結果內容的展示方式

在無線終端上的電子商務展示形式，需要專門進行研究與定制，以適應手機用戶的使用習慣。結合現在的電子商務形式，可以綜合考慮用多角度的圖片、立體模型以及增強現實技術來多角度展示電子商務內容。

（3）適配無線終端的電子商務操作方式

移動可視化搜索電子商務的最終產品設想，將有別于其他形式：手機用戶通過安裝移動可視化搜索手機客戶端，在看到了有興趣深入了解的圖片時，可以對該圖片進行拍攝，并顯示后臺服務器返回的相關搜索信息。通過使用可視化移動搜索系統，手機用戶可以靈活、快速、準確地搜索與視覺信息相關的產品數據，顛覆傳統的以關鍵字為核心的搜索技術，以最直觀的影像表達方式來實現信息搜索。

4 移動可視化電子商務應用場景創新

基于移動可視化搜索技術帶來的高用戶流量以及信息的高度關聯，完全可以打造一個完整的可視化搜索電子商務平臺。電信運營商可以通過手機客戶端，方便用戶調用攝像頭進行圖像采集并上傳的工作，在后臺服務器通過可視化搜索技術進行圖像識別，通過識別出來的目標物體為移動用戶提供完整的可視化搜索電子商務服務。

根據可視化搜索引擎的技術特點，可以實現圖像精確匹配與識別、圖像語義相擬度匹配等兩種類型的可視化搜索引擎，對應于這兩種技術，可以實現不同類型的電子商務平臺。

4.1 基于精確識別的可視化搜索電子商務

對于一些具有標準圖像的產品，可采用圖像精確識別算法和標準圖像庫的形式，來打造可視化搜索引擎，從而提供基于精確識別的可視化搜索電子商務。對于這一模式，用戶只需要拍攝標準圖像，可視化搜索引擎就可以準確地知道用戶希望獲得的產品信息。這一技術，主要可以應用在以下場景。

（1）訂票

通過可視化搜索技術，對電影海報、音樂會海報進行拍攝、搜索，從而進行購票和確認，還可以提供團體訂票等服務。移動電子商務使用戶能在票價優惠或取消時立即得到通知，借助可視化搜索技術，用戶可以以最簡單的接入方式瀏覽電影剪輯、閱讀評論，然后訂購鄰近電影院的電影票。

（2）購物

通過可視化搜索客戶端，用戶能夠通過其移動通信設備進行網上購物。即興購物會是一大增長點，如看到友好提示的商標、物品標志，拍照搜索后即可直接訂購該商品。傳統購物也可通過可視化搜索技術來進行商品搜索。

（3）娛樂

移動可視化電子商務將帶來一系列娛樂服務。用戶不僅可以從他們的移動設備上收聽音樂，還可以拍照搜索感興趣的唱片封面、演唱會海報等，訂購、下載或支付特定的曲目，并且可以在網上與朋友們玩交互式游戲，還可以游戲付費，并進行快速、安全的博彩和游戲。

4.2 基于圖像語義相似度的可視化搜索電子商務

據分析，用戶很大一部分的購物消費，是通過類比的方式來產生的。例如，當用戶看到好友穿了一件好看的襯衣，他也希望能購買類似風格的襯衣，但是又不希望與好友的衣服完全類似。這時，通過圖像的語義相似度匹配技術，可以打造基于圖像語義相似度匹配的可視化搜索電子商務模式，實現以下幾種類型的電子商務。

（1）服飾購買

通過讓用戶拍攝樣板衣服，可視化搜索引擎可通過模板匹配、紋理、特征等語義匹配，有根據地輸出同樣風格、類型的衣服搜索結果給用戶挑選，從而方便地實現購買、好友推薦等電子商務活動。此種類型的電子商務有很廣闊的適用場景，最重要的是，它提供給用戶一種用非語言的方式來描述想購買商品的途徑，讓商家以更直觀的方式對用戶進行導購等。

（2）輪廓性商品描述及商品購買

很多情況下，用戶可能只保留了對以前見過的某種商品的模糊記憶，或者只是單純地想找某一種輪廓、外形的商品，但是對這一商品并不具備更具體的印象，很難用語言來對該商品進行描述。這個時候，通過輪廓識別打造可視化搜索引擎，可讓用戶畫出商品的簡筆畫，通過可視化客戶端拍攝并進行商品搜索，從而找到類似形狀的商品。這一操作，可大大縮短用戶操作，也免去了用戶用語言來進行商品外觀描述。最重要的是，本模式提供給用戶從最基本的信息發散尋找商品的機會，盡最大努力去挖掘潛在商機。這一功能為智能程度更高的電子商務模式，需要更加豐富的商品數據庫、更加智能化的可視化搜索技術進行支撐。

4.3 可視化電子商務的輔助手段

針對現有高端智能手機默認搭載了越來越多的傳感器（如GPS定位傳感器、重力傳感器、電子羅盤等），移動可視化電子商務完全可以針對這一部分高端用戶，來進行顯示模型的特殊化定制，以期提供更友好的電子商務界面。

利用 GPS定位，結合電子羅盤、重力傳感器等，利用增強現實來實現實景和虛擬景物的疊加，可以更加直觀的方式來提供物品導購、簽到優惠，甚至于以增強現實的形式來提供游戲的功能，形成社會化應用，從而提供團購、會員等多樣化電子商務功能。

5 結束語

目前，移動電子商務在我國已經完成了起步階段，正在進入大規模爆炸式增長的階段，移動電子商務模式和平臺技術還在摸索中前進。移動可視化電子商務作為一種新型的電子商務模式，利用了移動無線網絡的優點，同時也充分利用了手機及其攝像頭這一信息獲取方式，是對傳統無線電子商務的突破性擴展。盡管目前移動可視化電子商務的開展還存在安全與帶寬等很多問題，但是與傳統的無線電子商務方式相比，通過可視化搜索技術能帶給用戶全新的電子商務體驗，將成為移動電子商務突破的一個新方向。

1 黃祥林,沈蘭蓀.基于內容的圖像檢索技術研究.電子學報,2002,30(7)

2 徐杰,施鵬飛.基于內容的圖像檢索技術.中國圖像圖形學報,2003,8(A9)

3 FL I M,Sawhney H,Niblackw,et al.Query by image and video content:the QBIC system.IEEE Comp uter,1995,28(9)

4 Smith J R,Chan G.Visual Seek:a fully automated content2based image query system.http://citeseer.ist.psu.edu/smith96visual seek.htm1

5 Smith J R,Chan G.Local color and text ure ext raction and spatial query.http://iee2explore.ieee.org/ie13/4140/12210/00560998.pdf?arnumber=560998

6 Pen Tland A,Picard R W,Sclaroffs.Photobook:content2Based manipulation of image databases.International Journal of Computer Vision,1996,18(3)

7 Stonebra K M.Chabot:retrieval from a relational database of images.IEEE Computer,1995,28(9)

8 肖志輝.移動互聯網研究綜述.電信科學，2009，25（10）

9 羅志強，沈軍.移動電子商務用戶溯源認證技術研究與應用.電信科學，2009，25（6）

10 金鐸，徐雄，梁冰，李云.號百電子商務平臺架構建設探討.電信科學，2010，26（8）

A New Generation of 3G Mobile e-Commerce Based on Visual Search Technology

Huang Hui1,Zhang Tao1,Tan Xi2,Yang Deli1
(1.Guangdong Research Institute of China Telecom Co.,Ltd.,Guangzhou 510630,China；2.Guangzhou PixCoo Information Technologies Co.,Ltd.，Guangzhou 510640，China)

The paper presents the basic theory of visual search technology,and discusses its application over 3G mobile Internet.By integrating 3G and e-commerce with visual search technology,we can create a brand new mobile visual e-commerce business model.This business model breaks through the limitation of traditional mobile e-commerce while it gives us the chance to make full use of the high speed advantage of 3G mobile network,and maximizes the human-computer interaction benefit of cellular phone’s camera to snap the image of an object to further do understanding and shopping.

visual search,mobile e-commerce,mobile Internet

2011－04－28)