微軟搜圖志

馬　薈

“這是第一個真正實現大規模的基于圖片內容的商業搜索。因為基于圖片內容的搜索從研究領域來講，已經研究了很多年，但是一直都沒能真正把它運用到這么大規模的互聯網的圖片上。”微軟亞洲研究院視覺計算組主管研究員孫劍，在采訪的最后才給記者總結了“顯示類似圖片”給微軟必應圖片搜索帶來的革命性改變。

搜索，一直都不是微軟的強項。關鍵詞搜索成就了谷歌，搜索經濟一時間成了互聯網最有說服力的盈利金礦。不過，在讀圖時代，微軟讓谷歌的自信心開始松動。正如達爾文在《物種起源》中那段關于“叢林法則”的經典論述，同樣適用于IT生態：“存活下來的物種，不是那些最強壯的種群，也不是那些智力最高的種群，而是那些對變化做出最積極反應的物種。”

微軟亞洲研究院的圖片搜索技術，選擇回歸計算機運算的本質，從另外一種思路出發改善用戶的體驗。

按圖尋道

在微軟亞洲研究院，創新唯一不變的就是變化。也正是技術所幻化出的科技魔力，給成千上萬用戶帶來使用習慣的改變。

在博士期間，孫劍在模式識別與人工智能研究所，接觸到了與計算機視覺相似的研究。2003年7月，孫劍加入微軟亞洲研究院，目前主要研究交互式計算視覺和網絡計算視覺兩個方向。“計算機視覺研究其實就是告訴計算機怎么識別東西。”

現在市場上的圖片搜索引擎多少有些讓用戶無所適從。搜索圖片時碰到的問題常常是，要么很難描述這個圖片，要么是關鍵詞本身的簡單或模糊，導致搜索結果雜亂無章。

做圖片搜索，有基于計算機視覺和基于純文本的兩種方式。有這樣一項規律：在搜索過程中，圖像是需要一定時間來瀏覽的，基于文本的搜索引擎。用戶越早離開，說明結果越精準，而基于圖像的正好相反，用戶越早離開，說明什么也沒有搜到。

“一圖抵千言”這句話也只是過于保守的陳述。但是，如果有一種對結果進行微調的方法會怎樣呢?

“基于內容的圖片搜索性能不是很好，當有很多數據的時候做不快；基于文本的搜索，不適合輸入長的信息，并且往往含有與圖片無關的有歧義和閑雜的信息。微軟將兩者結合，先輸如關鍵字，返回文本的搜索結果，然后用圖像的相似度，重新排序，這樣就更容易找到想要的搜索結果。”孫劍對記者說。

用一種并非基于文字查詢的方法對返回的圖片進行重新排序，微軟亞洲研究院的“顯示類似圖片”工具恰恰能夠讓使用者做到這一點：從一定的搜索結果范圍中選定一個圖片(這些結果是根據文字搜索初步確定的)，然后再次提交請求，只需點擊一下，就可以根據與選定圖片的視覺相似度對結果中的圖片進行重新排序。

看圖說“化”

“在微軟亞洲研究院做研究常常是拍拍腦袋的事情，不過，大部分自己拍腦袋做的都沒有轉成產品。”在孫劍看來，“研究本身就是這樣的”。孫劍對記者表示，做研究，需要站在做產品的角度來思考，思考一個技術對于一個成熟的產品來說，哪些功能是很重要的，哪些是不需要的。

2007年7月，微軟亞洲研究院視覺計算組研究員聞芳就動了通過“圖片找圖片”的念頭。“當時我們沒想到要做到網上，只是把這個技術應用在本機搜索中，用來查找家庭照片。后來無意中，發現網上基于文本搜索的文本本身有很多語義上的模糊性，于是把顯示相似圖片技術在網上試了試，發現效果出奇的好。”

2008年初，聞芳和同事做出了研究的原型，演示給當時的圖片搜索產品組的同事看。“當時我們一拍即合，這正是他們想要的功能。接著，我們就開始討論怎么把技術真正的產品化。”在克服了包括計算復雜度、與現有產品設計的整合等等一系列問題后，2008年lO月，“顯示相似圖片”技術成功轉化到了微軟的圖片搜索服務中。

2006年9月，微軟公司宣布在中國市場正式推出Live搜索服務中文版(測試版)。2007年7月，微軟LiveSearch團隊又推出了三項Live圖片搜索新功能，包括允許用戶查找臉部圖片、肖像圖片和黑白圖片。“顯示相似圖片”技術為圖片搜索開辟出一個全新的方法，并把微軟圖片搜索又推向了一個新的階段。

技術搜圖

如何界定有效視覺相似度?如何有效地提取視覺特征，用于全網絡范圍的圖片搜索引擎?這兩個問題成了“顯示相似圖片”查詢方法面臨的兩個主要挑戰。

孫劍和聞芳所在的研究組對用戶選定的圖片根據特征確定了五大類別：一般物體、簡單背景下的物體、風景圖片、肖像，和人物，對于不同類型的圖片使用不同視覺特征相似度組合。這種不同類相似度組合形成結果，比用固定特征組合的效果好。計算機通過“尋找”視覺特征(如面部、紋理、邊緣、顏色、空間分布等)，把這些特征分類后存在數據庫中，并用這些特征計算相似度，按照相似度大小依次排列。

“這里的關鍵在于，設法了解用戶究竟在查找什么，或者說用戶的意圖。例如，如果該系統能夠了解用戶打算尋找面部圖片，而這些圖片被歸類為人像，那么就會調用面部識別算法，就會比一般的紋理分類算法更加有效。”孫劍說。

對用戶而言，這種類型的搜索引擎有很多好處。用戶可以簡單而快捷地對初步搜索結果加以進一步完善和過濾，使用圖片查詢而不是依靠文字。這樣，就可以更靈活和更準確地對圖片進行搜索，提供更符合用戶期望的搜索結果集。“圖片相似度在研究領域也是個開放的問題，還需要很多基礎的研究去改進，只有把這些東西做好了，功能才能完善。”孫劍說，技術本身是不存在門檻的，只有不斷進步，才能保持領先。