微軟搜圖志

馬　薈

“這是第一個真正實現(xiàn)大規(guī)模的基于圖片內(nèi)容的商業(yè)搜索。因為基于圖片內(nèi)容的搜索從研究領(lǐng)域來講，已經(jīng)研究了很多年，但是一直都沒能真正把它運用到這么大規(guī)模的互聯(lián)網(wǎng)的圖片上。”微軟亞洲研究院視覺計算組主管研究員孫劍，在采訪的最后才給記者總結(jié)了“顯示類似圖片”給微軟必應(yīng)圖片搜索帶來的革命性改變。

搜索，一直都不是微軟的強項。關(guān)鍵詞搜索成就了谷歌，搜索經(jīng)濟一時間成了互聯(lián)網(wǎng)最有說服力的盈利金礦。不過，在讀圖時代，微軟讓谷歌的自信心開始松動。正如達爾文在《物種起源》中那段關(guān)于“叢林法則”的經(jīng)典論述，同樣適用于IT生態(tài)：“存活下來的物種，不是那些最強壯的種群，也不是那些智力最高的種群，而是那些對變化做出最積極反應(yīng)的物種。”

微軟亞洲研究院的圖片搜索技術(shù)，選擇回歸計算機運算的本質(zhì)，從另外一種思路出發(fā)改善用戶的體驗。

按圖尋道

在微軟亞洲研究院，創(chuàng)新唯一不變的就是變化。也正是技術(shù)所幻化出的科技魔力，給成千上萬用戶帶來使用習(xí)慣的改變。

在博士期間，孫劍在模式識別與人工智能研究所，接觸到了與計算機視覺相似的研究。2003年7月，孫劍加入微軟亞洲研究院，目前主要研究交互式計算視覺和網(wǎng)絡(luò)計算視覺兩個方向。“計算機視覺研究其實就是告訴計算機怎么識別東西。”

現(xiàn)在市場上的圖片搜索引擎多少有些讓用戶無所適從。搜索圖片時碰到的問題常常是，要么很難描述這個圖片，要么是關(guān)鍵詞本身的簡單或模糊，導(dǎo)致搜索結(jié)果雜亂無章。

做圖片搜索，有基于計算機視覺和基于純文本的兩種方式。有這樣一項規(guī)律：在搜索過程中，圖像是需要一定時間來瀏覽的，基于文本的搜索引擎。用戶越早離開，說明結(jié)果越精準，而基于圖像的正好相反，用戶越早離開，說明什么也沒有搜到。

“一圖抵千言”這句話也只是過于保守的陳述。但是，如果有一種對結(jié)果進行微調(diào)的方法會怎樣呢?

“基于內(nèi)容的圖片搜索性能不是很好，當有很多數(shù)據(jù)的時候做不快；基于文本的搜索，不適合輸入長的信息，并且往往含有與圖片無關(guān)的有歧義和閑雜的信息。微軟將兩者結(jié)合，先輸如關(guān)鍵字，返回文本的搜索結(jié)果，然后用圖像的相似度，重新排序，這樣就更容易找到想要的搜索結(jié)果。”孫劍對記者說。

用一種并非基于文字查詢的方法對返回的圖片進行重新排序，微軟亞洲研究院的“顯示類似圖片”工具恰恰能夠讓使用者做到這一點：從一定的搜索結(jié)果范圍中選定一個圖片(這些結(jié)果是根據(jù)文字搜索初步確定的)，然后再次提交請求，只需點擊一下，就可以根據(jù)與選定圖片的視覺相似度對結(jié)果中的圖片進行重新排序。

看圖說“化”

“在微軟亞洲研究院做研究常常是拍拍腦袋的事情，不過，大部分自己拍腦袋做的都沒有轉(zhuǎn)成產(chǎn)品。”在孫劍看來，“研究本身就是這樣的”。孫劍對記者表示，做研究，需要站在做產(chǎn)品的角度來思考，思考一個技術(shù)對于一個成熟的產(chǎn)品來說，哪些功能是很重要的，哪些是不需要的。

2007年7月，微軟亞洲研究院視覺計算組研究員聞芳就動了通過“圖片找圖片”的念頭。“當時我們沒想到要做到網(wǎng)上，只是把這個技術(shù)應(yīng)用在本機搜索中，用來查找家庭照片。后來無意中，發(fā)現(xiàn)網(wǎng)上基于文本搜索的文本本身有很多語義上的模糊性，于是把顯示相似圖片技術(shù)在網(wǎng)上試了試，發(fā)現(xiàn)效果出奇的好。”

2008年初，聞芳和同事做出了研究的原型，演示給當時的圖片搜索產(chǎn)品組的同事看。“當時我們一拍即合，這正是他們想要的功能。接著，我們就開始討論怎么把技術(shù)真正的產(chǎn)品化。”在克服了包括計算復(fù)雜度、與現(xiàn)有產(chǎn)品設(shè)計的整合等等一系列問題后，2008年lO月，“顯示相似圖片”技術(shù)成功轉(zhuǎn)化到了微軟的圖片搜索服務(wù)中。

2006年9月，微軟公司宣布在中國市場正式推出Live搜索服務(wù)中文版(測試版)。2007年7月，微軟LiveSearch團隊又推出了三項Live圖片搜索新功能，包括允許用戶查找臉部圖片、肖像圖片和黑白圖片。“顯示相似圖片”技術(shù)為圖片搜索開辟出一個全新的方法，并把微軟圖片搜索又推向了一個新的階段。

技術(shù)搜圖

如何界定有效視覺相似度?如何有效地提取視覺特征，用于全網(wǎng)絡(luò)范圍的圖片搜索引擎?這兩個問題成了“顯示相似圖片”查詢方法面臨的兩個主要挑戰(zhàn)。

孫劍和聞芳所在的研究組對用戶選定的圖片根據(jù)特征確定了五大類別：一般物體、簡單背景下的物體、風(fēng)景圖片、肖像，和人物，對于不同類型的圖片使用不同視覺特征相似度組合。這種不同類相似度組合形成結(jié)果，比用固定特征組合的效果好。計算機通過“尋找”視覺特征(如面部、紋理、邊緣、顏色、空間分布等)，把這些特征分類后存在數(shù)據(jù)庫中，并用這些特征計算相似度，按照相似度大小依次排列。

“這里的關(guān)鍵在于，設(shè)法了解用戶究竟在查找什么，或者說用戶的意圖。例如，如果該系統(tǒng)能夠了解用戶打算尋找面部圖片，而這些圖片被歸類為人像，那么就會調(diào)用面部識別算法，就會比一般的紋理分類算法更加有效。”孫劍說。

對用戶而言，這種類型的搜索引擎有很多好處。用戶可以簡單而快捷地對初步搜索結(jié)果加以進一步完善和過濾，使用圖片查詢而不是依靠文字。這樣，就可以更靈活和更準確地對圖片進行搜索，提供更符合用戶期望的搜索結(jié)果集。“圖片相似度在研究領(lǐng)域也是個開放的問題，還需要很多基礎(chǔ)的研究去改進，只有把這些東西做好了，功能才能完善。”孫劍說，技術(shù)本身是不存在門檻的，只有不斷進步，才能保持領(lǐng)先。