“Robots協議”與公平競爭

2013年10月16日，百度起訴360不正當競爭案在北京一中院開庭審理，百度稱360違反“Robots協議”抓取其網站內容，索賠金額1億元。同時，360對百度惡意“強制轉跳”等不正當競爭行為也提起了訴訟，北京高院已經受理此案。此次雙方的訴訟是去年3B搜索大戰的延續，百度認為360違反“Robots協議”抓取百度知道、貼吧、文庫、百科等站點的內容，而360認為這些內容實際上由網友提供，相關權利屬于網友，360索引這些頁面的內容并不涉及侵權。

交鋒“Robots協議”

“Robots”協議。也稱為爬蟲協議、機器人協議等，其全稱是“網絡爬蟲排除標準”（Robots Exclusion Protocol），內容網站通過“Robots協議”告訴搜索引擎哪些內容不應該被抓取，哪些可以抓取。“Robots協議”的本質是網站和搜索引擎爬蟲的溝通方式，用來指導搜索引擎更好地抓取網站內容，而非搜索引擎之間互相限制和不正當競爭的工具。

維基百科對“Robots協議”的解釋中稱，Robots.txt協議并不是一個規范，而只是約定俗成的，所以并不能保證網站的隱私。百度百科的解釋中稱，“Robots協議”是國際互聯網界通行的道德規范，本質是網站和搜索引擎爬蟲的溝通方式，用來指導搜索引擎更好地抓取網站內容，而不是作為搜索引擎之間互相限制和不正當競爭的工具。然而正是這一協議的“非規范”性成為了百度和360搜索攻防的爭議點。百度指出，360公司未經許可，抓取百度網站頁面并生成“快照”復制件存儲于被告自身服務器中，并將快照內容提供給網民，違反“Robots協議”的規則和百度權利聲明。

隨后百度通過“Robots協議”禁止360搜索的爬蟲抓取其旗下百度知道、百科、貼吧、旅游等站點的內容，而360認為，“Robots協議”不是法規、不是標準，也不是合約，不存在違反與不違反的問題，百度的“Robots協議”并沒有對谷歌、必應、雅虎、搜狗、搜搜等搜索引擎進行屏蔽，唯獨屏蔽了360搜索，完全違背了“Robots協議”的初衷，也違背了互聯網的開放精神，以不正當競爭為由對百度發起了訴訟。

2012年11月1日，在工信部指導下，百度、360、搜狗、網易、即刻搜索等12家搜索引擎簽訂了《互聯網搜索引擎服務自律公約》，公約規定，各簽約方遵循“Robots協議”，對于違反公約內容的，相關網站應及時刪除、斷開鏈接，公約同時規定，限制搜索引擎抓取應有行業公認合理的正當理由，不利用機器人協議進行不正當競爭行為。

基于此，百度認為360無視“Robots協議”違反公約，而360則認為百度濫用“Robots協議”和“強制跳轉”的行為與公約相悖。

“Robots協議”的作用

“Robots協議”旨在推動尊重信息提供者意愿，保護網站及其使用者的信息和隱私。百度以“Robots協議”白名單方式將360搜索引擎排除在百度知道、百度貼吧、百度文庫等訪問權限之外，是否超出了合理限度？

對此，搜索引擎技術專家李哲表示，第一，“Robots協議”是一個網絡爬蟲的排他協議。從其本身命名來看，協議是針對爬蟲的。第二，協議是放在根目錄下使用的。以taobao為例，其表現形式就是taobao.com/robots.txt。協議編寫好以后，就期待爬蟲在抓取時先讀取該協議，以獲知哪些允許抓取哪些不允許抓取。

李哲舉例說明，User-agent是指爬蟲來源，或者是表明接下來的參數命令是指向誰的。以京東為例，user-agent后有*，disallow后面有*，后面還有很多*。最后還有特別指向的etaospider。學知識產權的都知道，京東與一淘是有矛盾的。我分別解釋一下。第一個User-agent中*的意思是通用規則，針對所有爬蟲。Disallow只限定什么不能抓取，除此以外都能拿。以第二行為例Disallow：/pop/*.html，這意味著京東不允許所有搜索引擎抓取jingdong.com/pop/目錄下所有以.html結尾的頁面，其后的*代表所有可能性。再以Disallow：/pinpai/*.html/*為例，這意味著不允許所有搜索引擎抓取pinpai后所有有問號的，或是問號后面有*的內容。協議還可以針對特定來源的爬蟲User-agent： EtaoSpider Disallow：/，其中disallow：/代表所有內容一淘都不能抓取。除此以外，spider還分版本，由于robots協議分大小寫，所以一個網站可能有幾個spider。

為什么要運用“Robots協議”？除了保護隱私之外，是否還有其它目的？李哲解釋說：我先對搜索引擎原理做個解釋。搜索引擎的工作分為三個階段：第一，釋放蜘蛛，將所有能抓取的網站內容收集起來，其為信息收集階段；第二，入庫，分析，做詞表，建立索引；第三，響應用戶請求。用戶通常只感知到第三個階段。耗時最長的是第一個階段，占總耗時80%左右。另兩個階段主要在于技術高度，在競爭中占有更重要的位置。如果競爭對手直接抓取我的信息，他只要有足夠的財力和人力，前期可以把我的信息都爬完。

那么，從技術角度來看，如果不遵守“Robots 協議”會有什么后果？據了解，技術人員往往具有兩面性。一方面不愿意遵守“Robots協議”；另一方面不遵守協議可能造成以下危害：1、分流目標網站流量。當網站不夠大時，是歡迎爬蟲的；但當網站足夠大時，入口的重要性就顯現出來了。當網站不是該網站所有信息的唯一入口時，會降低網站的展示率。以攜程網為例，訂酒店時，一般遵循“看評價，選擇區域，選擇酒店，下單”的順序。假如被spider抓取，那么攜程網就不是唯一入口，會對信息的展示幾率造成影響。再以Etao網為例，該網站會對消費信息提供比較，從京東買8600，從其他網站買8200，這樣用戶就不會去點擊京東了。2、安全。“Robots協議”一般不允許索引管理者網頁，如果不遵守“Robots協議”，會危害網站安全。

“Robots協議”的法律定性

在百度訴360不正當競爭案中，360公司認為，“Robots協議”不是法規、不是標準，也不是合約，不存在違反與不違反的問題。相關資料也表示，“Robots協議”并不是一個規范，而只是約定俗成的，所以并不能保證網站的隱私。那么，“Robots協議”在法律上終究該如何定性？

華中科技大學法學院教授鄭友德：“Robots 協議”在法律上如何定性很重要。是自律性的公約，是行為準則，是同業工會的規則。我國法律對此沒有規定，但德國競爭法2008年修改時做了明確界定，專門納入規范范疇。自律公約是惡規還是良規，在德國法上，要以是否違反善良風俗加以判斷。

北京理工大學法學院碩導楊華權：我們討論爬蟲協議時，要區分1994年互聯網公開郵件組里討論的爬蟲協議，和依據爬蟲協議制定具體的Robots.TXT文本文件。這是兩個不同層次的概念。首先，從1994年開始為爬蟲協議制定了強調搜索引擎需要遵循的規則。不管是稱作習慣法還是什么法，或者叫做“慣例”。它是搜索引擎都要遵循的慣例。第二，爬蟲協議確定了每一個網站要編寫Robots.txt 的語法規則。就像我們看到GOOGLE.TXT 寫的是“.”，對所有搜索引擎都是一樣的；第二種寫法，百度是分別針對不同的搜索引擎，比如對百度對搜狗，對谷哥允許抓什么，不允許抓什么，其他都不允許抓，這也是黑白名單問題。第三，爬蟲協議要注意確定信息交流，信息溝通的原則。搜索引擎本身是促進信息流動。

中國互聯網協會研究中心秘書長胡鋼：中國有關“Robots協議”的法學文章、經濟學、計算機學文章，都認可這是一個行業慣例。2012年經過多輪協商，達成了《互聯網搜索引擎服務自律公約》。本案當事人兩方都是互聯網協會的重要成員。在研究方面，中國司法判決對“Robots協議”比國外還早，國外法律對該協議的法律性質認定也比較一致。美國、歐洲設置的協議大多針對內容，而中國則很多針對主體。這兩者有很大區別，無法說哪個更合理，至少都是事實。去年8月份之前，中國這種情況普遍存在，業界也一般認同。互聯網協會的立場是，協議的制定要經過當事人協商，協商不成的要進行票決，但這個票決規定還沒有實施。

上海市協力律師事務所合伙人傅鋼：第一，“Robots協議”的地位。從根本上來說，協議是基于經濟學考慮而設定的，旨在加強信息快速流通，是促進信息流通便利的協定。第二，具體到本案，百度針對部分搜索引擎實施了歧視性待遇，是出于限制競爭目的，客觀上限制了競爭、阻礙了信息傳播、妨礙了大眾自由獲取信息，因而不具有合理性。

百度“白名單”的競爭法考量

“Robots協議”從1994年制定以來，設定了兩個原則。第一，搜索技術應服務于人類，同時應尊重信息提供者的意愿，并維護其隱私。第二，網站有義務保護使用者個人信息及其隱私。搜索國內和美國系列網站協議后發現，美國十大網站，極少禁止某個特定爬蟲來爬行；絕大多數網站設置的協議只是禁止爬行一些可能涉及用戶隱私和網站經營者隱私的內容。而中國的網站運用“黑白名單”比例遠遠超過美國網站。競爭法只保護競爭而非競爭者，規制不正當競爭行為而不限制競爭者。那么，百度設計的針對特定競爭者的“黑白名單”行為是否符合競爭法基本理念？

華中科技大學法學院教授鄭友德：協議與協議禁止訪問的內容，是兩個概念。百度既然設計了白名單，就意味著有相應黑名單，即把360排除出去。這一行為，是否涉及反法某個條文？我覺得很難說。除非適用反法第二條的一般條款。這讓我聯想到傅鋼律師提出的歧視行為。這個行為是不是歧視行為呢？所謂歧視，是沒有正當理由對條件相同的交易相對人在交易價格等交易條件上實行差別待遇。我認為，這是一種單方拒絕交易的行為。白名單包含的都是我愿意與之交易的伙伴，黑名單屬于拒絕交易。

我看了《自律公約》第八條，限制搜索引擎抓取應當有合理的正當理由，不得利用協議進行不正當競爭。其行為是否是屬于拒絕交易呢？百度在搜索引擎市場上占有支配地位，壟斷法中規定沒有正當理由不能拒絕與交易相對人交易。當然，在適用該條款之前要特別研究，雙方之間是否具有交易關系。第二，1994年“Robots協議”一個原則是，要尊重內容提供者的意愿。有的權利人沒有設置“Robots協議”，他希望自己的信息能夠自由傳播使用。設置“Robots協議”明顯違背信息提供者意愿，這一點違背了協議的基本原則。

中山大學法學院教授謝曉堯：第一，“Robots協議”的性質必須從多個維度去考量。其一，協議是一種計算機語言；其二，一種自力性救濟手段；其三，是行業內的經驗性做法。第二，使用協議本身并不違法，有其合理性。判斷不正當競爭，不以公民道德為標準，而以經濟人為標準。反不正當競爭法一般條款判斷的主體是經濟人。第三，具體到本案，盡管這個措施有其合理正當性，也并不表示百度以不正當競爭一般條款進行訴訟是正確的。一般條款尋求競爭法的支持需要更多理由。從一般商業倫理規范走向一個具體判決，需要做的事情更多。剛才說到繞開協議可能只是侵犯一種技術措施，但如果要構成不正當競爭行為，從目前我國法律來看，它所侵犯的法律必須危及公共競爭秩序。這一點在我國司法實踐中一直被忽略。

中國互聯網協會研究中心秘書長胡鋼：在中國環境下來說，我認為白名單和黑名單都是合理的。我認為，不能以歐美的標準為標準，中國有中國的做法。第二，互聯網精神是開放自由流動，黑名單制度是否符合開放流動原則應該讓市場說話。

上海市海華永泰律師事務所合伙人吳民平：白名單的設置是不合理的。首先，百度的內容不涉及隱私與網絡安全。第二，其主張的內容都來源于網民。從檢索到的用戶協議來看，用戶同意百度享有網民內容的非排他性權利，并不限制他人的訪問。

上海市協力律師事務所合伙人傅鋼：第一，“Robots協議”構成了互聯網行業的商業道德。第二，“Robots協議”的適用是有條件的。我傾向針對內容設定白名單。假如內容具有強烈的私權性質，協議應當認可，但對本身就有公開性質的內容來說，要以同創共享原則為主。尤其UCG 網站，主要內容源于網民或其他網站。百度的行為與同創共享的初衷相違背。除了“Robots協議”外，還有互聯網行業必須遵守的其它公序良俗。假如百度只是為了打擊競爭對手，其效力不應認可。

（感謝華東政法大學知識產權研究中心對本文的支持）