論爬蟲協議對互聯網競爭關系的影響

楊華權

論爬蟲協議對互聯網競爭關系的影響

楊華權

從爬蟲協議的法律性質出發，研究了爬蟲協議的內容，區分了爬蟲協議以及根據爬蟲協議制定的robots.txt。從反不正當競爭法角度而言，設置排斥性條款的robots.txt可能違背爬蟲協議的自由和公平精神，從而違反公認的商業道德和誠實信用原則。從反壟斷法角度而言，如果沒有合理理由，具有市場支配地位的服務商利用robots.txt進行拒絕交易和歧視對待行為，可構成壟斷行為。

搜索引擎爬蟲協議行業慣例競爭關系壟斷行為

互聯網經濟是知識經濟向縱深發展的高級階段。當前，互聯網市場競爭主體日益增多，競爭日趨激烈，細分市場格局高度集中。互聯網行業正經歷著從自由競爭時代向壟斷競爭時代的轉折，在某些領域已經出現了寡頭壟斷，基于商業模式模仿的同質化競爭助長了不正當競爭行為和濫用市場支配地位行為，a朱乾 龍：《我國 互聯網市場 競爭現狀與問題 分析》，http ∶//www.miit.gov.cn/n11293472/n11293832/n15214847/ n15218234/15475341.html；丁道勤：《我國互聯網市場競爭對監管的挑戰及應對思考》，http∶//www.cttl.cn/tegd/flfg/201304/ t20130415_917440.html，最后訪問日期：2013年8月22日最后訪問。損害了市場秩序，破壞了正常競爭。因此，對互聯網行業壟斷行為和不正當競爭行為要高度重視。

北京市第一中級人民法院于2013年2月8日正式受理，并于同年10月16日開庭審理了北京百度網訊科技有限公司、百度在線網絡技術（北京）有限公司（以下合稱“百度公司”）訴北京奇虎科技有限公司（以下簡稱“奇虎公司”）基于搜索引擎領域里robots協議（即Robots Exclusion Protocol，網絡爬蟲排除標準，亦稱爬蟲協議、爬蟲規則、機器人協議、蜘蛛協議等）的不正當競爭糾紛一案。b本案由百度公司在2012年10月16日向北京市第一中級人民法院提起訴訟而引發，訴由包括不正當競爭及著作權侵權。起訴后，其間經歷了庭前調解階段，百度公司后來放棄了著作權侵權的訴求。該案是百度公司與奇虎公司相互爭奪搜索引擎市場網絡資源的商業競爭c這場 競 爭 被 稱 為 “ 3B 大 戰 ” ， 更 進一 步的 介紹可 參 見 互 動 百 科 詞 條 “ 3B 大 戰 ” ， http ∶//www.baike.com/ wiki/3B%E5%A4%A7%E6%88%98， 最后訪問日期：2013年6月28日。在訴訟領域的延續，引起了廣泛關注。此案一出，robots協議的法律性質面臨正式的司法認定，它對互聯網競爭關系的影響以及應如何完善該協議迫切需要進一步的研究。

在該案中，百度公司訴稱其依據國際互聯網行業規則即robots協議設置robots.txt文件，但奇虎公司違反該規則，其所推出的360搜索服務違規抓取百度公司經營的百度網站（http:// www.baidu.com）及百度知道（http://zhidao.baidu. com）、百度百科（http://baike.baidu.com）、百度貼吧（http://tieba.baidu.com）等多個欄目的內容，生成“網頁快照”復制件存儲于其自身服務器中，當用戶點擊相應搜索結果的鏈接時，直接向網民提供該“網頁快照”以替代百度公司向網民提供相應服務。d楊華權、曲三強：《論爬蟲協議的法律性質》，載《法律適用》2013年第4期，第30頁。奇虎公司則表示，robots.txt僅僅是指導和提示搜索引擎蜘蛛程序“善意的提示性txt文件”，既不是法規或標準，也不是合約，因而不存在違法與不違法的問題。e王 曉 雁 ： 《 百 度 訴 奇 虎 360 索 賠 一 億 元 法 院 立 案 》 ， 載 http ∶//www.legaldaily.com.cn/index/content/2013-02/21/ content_4215407.htm?node=20908，最后訪問日期：2013年2月28日。

從競爭法角度而言，此案對互聯網領域的競爭關系提出了新課題、新挑戰。為此，需要從robots.txt文本文件入手，研究robots協議的法律性質，f本文作者已在另一篇論文中詳細論述了robots協議的法律性質，部分觀點在本文中直接引述。具體參見楊華權、曲三強：《論爬蟲協議的法律性質》，載《法律適用》2013年第4期。需要注意的是，本文對其中的觀點有進一步的發展。明確與搜索引擎相關的不正當競爭行為與壟斷行為，以期規范互聯網產業的發展。

一、爬蟲協議對不正當競爭認定的影響

不管是國內還是國外的法院，盡管判決結果存在差別，但對robots協議的性質的認識還比較一致，即：從權利人角度而言，robots.txt是網絡環境下權利人依據robots協議采取的控制訪問的技術手段，或者至少肯定了設置恰當的robots.txt可以向搜索引擎蜘蛛程序起到告知（是否允許復制）的作用；g張金平：《有關爬蟲協議的國外案例評析》，載《電子知識產權》2012年第12期，第84頁。從搜索引擎蜘蛛程序角度而言，公平、合理的robots.txt應該得到尊重和遵守，忽略robots.txt的禁止性規定而抓取網站相關內容，則可能構成惡意行為。從這個意義上來講，中外法院認定robots協議構成搜索行業的慣例方面是比較一致的。不過，這些案例僅僅是認定robots協議可以作為行業慣例，但是并沒有任何判例對根據robots協議設立的robots.txt的公平性、合理性進行評定，也沒有任何案例對搜索引擎蜘蛛程序忽略不公平的robots.txt的禁止性規定而抓取網頁的行為性質作出評定。如果僅僅是簡單認定robots協議可以作為行業慣例，但罔顧設定robots.txt的不公平、不合理之處，從而對案件作出簡單的裁定，顯然過于武斷。

在認定不正當競爭案件時，當事人之間是否具有競爭關系往往是構成不正當競爭行為的要件之一。當事人之間如果不具有競爭關系，就不會構成不正當競爭行為。因此，首先確定當事人之間是否具有競爭關系具有舉足輕重的作用。

（一）競爭關系

競爭將在競爭者之間產生一定的競爭關系，存在競爭關系是競爭法得以調整競爭者關系的前提和基礎?！案偁庩P系是取得經營資格的平等市場主體之間在競爭過程中形成的社會關系。認定不正當競爭，除了要具備一般民事侵權行為的構成要件以外，還要注意審查是否存在競爭關系。存在競爭關系是認定構成不正當競爭的條件之一?！県曹建明：《加大知識產權司法保護力度 依法規范市場競爭秩序──在全國法院知識產權審判工作座談會上的講話》（2004年11月11日）。對于競爭關系，學界區分為廣義競爭關系和狹義競爭關系，認為：“反壟斷法所要求的競爭關系是嚴格意義上的競爭關系，或者說狹義的競爭關系；反不正當競爭法上的競爭關系是一種廣義的競爭關系。”i孔祥俊：《反壟斷法原理》，中國法制出版社2001年版，第260頁。從狹義上而言，競爭關系的主體限于同一相關市場上的經營者之間，非同一相關市場上的經營者之間不存在競爭關系。從廣義上來說，競爭關系的主體還包括經營不相同業務的經營者，如果該經營者的行為違背了《反不正當競爭法》第2條規定的競爭原則，也可以認定相互間存在競爭關系。j曹建明：《加大知識產權司法保護力度 依法規范市場競爭秩序──在全國法院知識產權審判工作座談會上的講話》（2004年11月11日）。

（二）與robots.txt相關的網絡環境下的競爭關系

robots.txt是存放于網站根目錄下的ASCII編碼的文本文件，它通常告訴搜索引擎蜘蛛程序在此網站中可以抓取和禁止抓取的內容。因此，與robots.txt最直接相關的網站，就是提供搜索引擎服務的網站以及提供內容服務的網站。與此相關的競爭就是在它們之間展開，不過其中一方必定是搜索引擎服務提供者。

1.搜索引擎服務之間的競爭

搜索引擎是指“根據一定的策略、運用特定的計算機程序從互聯網上搜集信息，在對信息進行組織和處理后，為用戶提供檢索服務，將用戶檢索相關的信息展示給用戶的系統。”k百度百科：“搜索引擎”，http∶//baike.baidu.com/view/1154.htm，最后訪問日期：2013年10月25日。如果沒有搜索引擎，就難以對無序的網絡信息資源進行檢索、交接和共享乃至深層次的開發利用，形成信息孤島。搜索引擎技術的目的就是要消除信息孤島，實現互聯網上所有資源的全面連通。搜索引擎是用戶訪問互聯網的向導，搜索引擎能夠根據用戶輸入的關鍵詞，全面、迅速地將用戶需要的信息從海量的互聯網信息中揀選出來并提供給用戶。

搜索引擎按其工作方式主要可分為三種：全文搜索引擎（Ful智庫百科：“互聯網內容提供商”，http∶//wiki.mbalib.com/wiki/互聯網內容提供商，最后訪問日期：2013年10月25日。l Text Search Engine）、目錄索引類搜索引擎（Search Index/Directory）和元搜索引擎（Meta Search Engine）。搜索引擎按照其搜索范圍又可分為站內搜索、分類導航搜索和全網搜索。

按照狹義競爭關系的分析，同類產品極易產生競爭關系，尤其對于消費者無需重復消費的產品和服務，這樣的競爭是明顯的。在搜索引擎服務商之間，搜索服務本身具有同一性，即為用戶提供搜索結果的整合排序，不同搜索平臺在這個過程中是彼此獨立的，用戶選擇是排他的。因此，同類搜索引擎服務商之間的競爭關系明朗，例如全網全文搜索之間存在競爭關系的有百度（Baidu）、google、Bing、360搜索、搜狗搜索等。

另外，不同類型搜索引擎之間也具有競爭關系。不同類型的搜索引擎往往存在疊加使用的情況，用戶可能在全網搜索出相關網站后，并不能立刻鏈接到檢索的具體信息，而是需要再進入網站進行分類導航或者站內搜索，以使搜索結果更準確，這時候，不同類型的搜索引擎并不是排他的，相反，小范圍垂直搜索或站內搜索反而成為通用搜索的推廣客戶，彼此合作關系勝過競爭關系。但隨著不同產品的革新和完善，各類搜索引擎將更加完善，垂直搜索引擎正在逐漸蠶食通用搜索的市場份額，競爭將日趨明顯。

2.搜索引擎服務與提供內容服務之間的競爭

互聯網內容提供商（Internet Content Provider, ICP）是向廣大用戶綜合提供互聯網信息業務和增值業務的運營商，如新浪、搜狐、163等。按服務對象和提供的信息內容等劃分，ICP主要包括網上媒體運營商、數據庫運營商、信息咨詢商和信息發布代理商。網上媒體運營商主要通過免費為上網用戶提供信息服務來聚集消費者，普通用戶通過自己的瀏覽器輸入媒體運營商Web網址，進入其服務網站即可獲得媒體運營商所提供的信息，這些免費的信息服務包括新聞、Internet上的信息目錄分類、Internet上的網頁和網站搜索、個人的個性化信息服務配置、聊天室和分類廣告等。數據庫運營商是通過互聯網將按專業領域分類的各種統計數據、文獻書目和論文期刊等提供給用戶，用戶在網上憑會員用戶名和密碼進入數據庫運營商的Web網站，提交自己要查詢信息的各種要求，數據庫運營商將使用用戶指定的通信方式，將檢索信息結果返回給用戶。信息咨詢商主要是為企業提供戰略規劃和決策咨詢服務。信息發布代理商的業務是在傳統的信息中介代理在Internet上展開代理撮合的全新業務方式。l智庫百科：“互聯網內容提供商”，http∶//wiki.mbalib.com/wiki/互聯網內容提供商，最后訪問日期：2013年10月25日。

搜索引擎提供信息定位服務，達到互聯網的互聯互通。因此，搜索信息的全面性是搜索引擎應當滿足的最基本也最重要的要求，而搜索的快速、搜索結果順序編排合理以及盡量減少和屏蔽搜索結果中的垃圾信息及風險網站等則是搜索引擎在全面性基礎之上需要達到的更高的要求?；ヂ摼W內容服務就是為用戶提供各種信息，包括國內外的政治、經濟、文化、體育、生活、娛樂等信息，具體表現為文字、圖片、文檔、音頻、視頻等，不僅可以在線瀏覽，而且在一定條件下可以提供下載。有了搜索引擎服務，可以幫助用戶快速訪問互聯網內容服務。從這個意義上說，搜索引擎服務商與互聯網內容提供商并不是具有直接競爭關系的經營者。

（三）基于robots.txt的不正當競爭行為的認定

競爭的本質是市場主體爭取交易機會或者獲取交易上競爭優勢的活動。所謂不正當競爭行為，就是經營者采取不正當手段爭取交易機會的行為。

1.搜索引擎服務與提供內容服務的競爭關系

在百度公司訴奇虎公司案件中，盡管雙方都是搜索引擎服務提供商，但該案爭議的焦點不在于百度搜索與360搜索兩種服務之爭，而在于百度公司提供的內容服務與360搜索引擎服務之間的爭端。這是確定競爭關系時首先需要明確的。

如前所述，搜索引擎服務商與互聯網內容提供商并不是具有直接競爭關系的經營者。但是，反不正當競爭法上的不正當競爭行為不必是經營同類或者替代商品的對方經營者爭奪交易機會的行為，而是以不正當手段謀取競爭優勢或者破壞他人競爭優勢的行為，也即是以不正當方式與競爭對手或者其他經營者直接或者間接爭奪交易機會的行為，競爭關系就是由此產生的損害與被損害的關系。mm孔祥?。骸斗床徽敻偁幏ㄔ怼罚R產權出版社2005年版，第76頁。據此，競爭關系可以歸為三種基本的類型：同業經營者之間的競爭關系、為自己或者他人爭取交易機會而產生的競爭關系以及因破壞他人競爭優勢而產生的競爭關系。第一種類型是狹義上的競爭關系；后兩種類型是廣義上的競爭關系。

從狹義上而言，從百度公司訴奇虎公司的案件事實和當初發生的客觀情況來看，奇虎公司是作為搜索引擎服務商而不是作為內容服務商出現的；百度公司盡管也是搜索引擎服務商，但在該案中，其主要作用在于提供內容服務，如百度知道、百度百科、百度文庫、百度貼吧、百度旅游等，而不是提供搜索服務。這些內容網站與百度自身的搜索服務無關。因此，在該案中，雙方提供的服務不同，二者之間不具有替代關系。

從廣義上說，盡管搜索引擎服務商與互聯網內容提供商并不是同業經營者，雙方之間不存在直接競爭關系，但如果存在謀取競爭機會、破壞對方競爭優勢的行為，違反了商業道德和行業慣例，就可以認為雙方之間存在競爭關系。這是從廣義角度來理解的。目前我國司法實踐也是從這個角度來理解不正當競爭行為中的競爭關系。

2.區分作為商業慣例的爬蟲協議與具體的robots.txts.txt

在民商法領域，法律所未規定者，可依習慣處理。《保護工業產權巴黎公約》第10條之2款規定，凡在工商業活動中違反誠實的習慣做法的競爭行為，構成不正當競爭行為。在對該條款的權威解釋中，在認定某一行為是否構成不正當競爭，不限于在請求保護的該成員國所存在的誠實的習慣做法，而且也必須考慮國際貿易中形成的誠實的習慣做法。n［ 奧地利］博登浩森：《保護工業產權巴黎公約指南（附英文文本）》，段瑞林、湯宗舜譯，中國人民大學出版社2003年版，第97頁。我國《反不正當競爭法》第2條也要求經營者在市場交易中，應當遵循自愿、平等、公平、誠實信用原則，遵守公認的商業道德。已經有學者指出，不管是國際通用的技術標準或行業慣例，還是自愿性的規范或者基于商業道德和行業慣例的自律規則，都應當得到法律的支持，在不正當競爭案件中，可以適用反不正當競爭法的一般條款。爬蟲協議就屬于上述的一種情形。o張平：《違反“爬蟲協議”能否適用反不正當競爭法一般條款》，載《人民法院報》2013年6月5日第7版。爬蟲協議主要基于安全與隱私的原因而建立：“（1）搜索技術應服務于人類，尊重信息提供者的意愿，并維護其隱私權；（2）網站有義務保護其使用者的個人信息和隱私權不被侵犯?！眕百度百科：robots協議，http∶//baike.baidu.com/view/9274458.htm， 最后訪問日期：2013年11月23日。作為一種行業慣例，在搜索行業中已得到經常的遵循，從而使人有理由期望它在有爭議的交易中也將得到遵守。q參見美國《統一商法典》第1—205（2）條。

值得注意的是，作為行業慣例的爬蟲協議與具體的robots.txt并非同一概念，但將二者混淆的大有人在，如“Robots協定r是搜索引擎在抓取網站信息時要遵守的一個規則，是國際互聯網界通行的道德規范。網站主人通過Robots協議明示自動抓取程序，服務器上什么內容可以被抓取，什么內容不可以被抓取?！薄叭绻蛔裱璕obots協議，將會破其業界信任，使得網站不愿意被抓取的內容被搜索引擎索引，最終傷害用戶的利益。”s百度百科：robots協議，http∶//baike.baidu.com/view/9274458.htm，最后訪問日期：2013年11月23日。即使搜索引擎服務與內容服務具有競爭關系，在不正當競爭行為的認定上，還需進一步區分爬蟲協議以及具體的robots.txt文本本身。可以說，網站是通過robots.txt文本文件實現爬蟲協議，爬蟲協議確定了robots.txt需要遵循的原則。作為一種行業慣例，爬蟲協議具體內容應該是：

（1）設置了robots.txt語法規則；

（2）確定蜘蛛程序訪問的范圍并置放于站點根目錄下，作為蜘蛛程序訪問該站點的第一個文件；

（3）確立了公平、開放和促進信息自由流動的原則。

爬蟲協議作為一種行業慣例，體現了一定的商業道德，其被遵循的應該是上述原則和精神。但是，如果將作為一種行業慣例的爬蟲協議混同于某一具體的robots.txt，則完全混淆了一般與個別的界限。不遵守爬蟲協議是一個概念，不遵守某一個具體的robots.txt又是另外一個概念，不能混同。

3. 含有拒絕交易、歧視對待內容的 robots.bots. txt與商業道德的關系

某一具體的robots.txt如果完全符合爬蟲協議的精神，則要體現公平、開放和促進信息自由流動的原則。對robots協議的尊重以及對robots. txt的遵守，體現了一種有序競爭的商業道德。從網站角度而言，網站有權根據爬蟲協議來設置robots.txt，從而控制蜘蛛程序訪問，防止未經許可對網站內容的使用，維護合法權益不受侵犯；從搜索引擎蜘蛛程序角度而言，robots.txt協議是訪問某一網站內容的路徑指令，理應得到尊重和遵守，忽略robots.txt而違規抓取網站內容可能構成惡意行為。t楊華權、曲三強：《論爬蟲協議的法律性質》，載《法律適用》2013年第4期，第34頁。

但是，如果某一具體的robots.txt文本文件采取了拒絕交易、歧視規定的措施，是否違反誠實信用原則，是否違背商業道德？

以百度公司訴奇虎公司為例，百度公司設置的各種robots.txt具體如下：在百度網站的robots.txtu在http∶//www.baidu.com/robots.txt可以訪問。中，允許訪問的搜索引擎蜘蛛程序有Baiduspider、Googlebot、MSNBot、Baiduspiderimage、YoudaoBot、Sogou web spider、Sogou inst spider、Sogou spider2、Sogou blog、Sogou News Spider、Sogou Orion spider、JikeSpider、Sosospider、PangusoSpider。禁止Baiduspider抓取網頁地址以“www.baidu.com/baidu”和“www. baidu.com/s?”開頭的所有網頁的內容；對于其他搜索引擎，還有禁止訪問“www.baidu.com/ shifen”、“www.baidu.com/homepage”目錄及其中的所有內容，以及網頁地址以“www. baidu.com/cpro”為開頭的所有網頁。除上述所列以外，禁止所有其他搜索引擎蜘蛛程序訪問“www.baidu.com”的所有內容。在百度知道的robots.txtv在http∶//zhidao.baidu.com/robots.txt可以訪問。中，允許抓取的搜索引擎在百度網站允許范圍基礎上增加了Googlebot-Mobile。除了Baiduspider不得抓取網頁地址以“zhidao.baidu. com/w?” 開頭的所有網頁內容外，允許前述所列其他搜索引擎抓取百度知道欄目的所有內容。除上述所列以外，禁止所有其他搜索引擎抓取百度知道欄目的任何內容。百度百科的robots.txtww在http∶//baike.baidu.com/robots.txt可以訪問。和百度貼吧的robots.txtx在http∶//tieba.baidu.com/robots.txt可以訪問。也有大致相似的規定。

在前述幾個robots.txt中，360搜索蜘蛛程序（360Spider）均被禁止訪問百度網站、百度知道、百度百科和百度貼吧的任何內容，但其忽略上述robots.txt的禁止性規定，抓取相應的內容，從而引發訴訟。對此，百度公司的解釋是，“百度并沒有禁止所有爬蟲抓取問答、知道和貼吧的內容，百度只是禁止了不規矩的、存在潛在安全風險的爬蟲，這恰是保護市場秩序，保護用戶隱私權的合理舉措?！眣百度百科：“robots協議”，http∶//baike.baidu.com/view/9274458.htm， 最后訪問日期：2013年11月23日。這樣的解釋是否充分合理？

對于一個網站來說，設置robots.txt主要目的在于告訴搜索引擎蜘蛛程序的爬行路徑，保護網站內部信息不被蜘蛛程序抓取，引導蜘蛛程序不要抓取對用戶沒有價值的信息，保護中小網站的流量平衡，避免爬蟲快速抓取給網站服務器帶來過大壓力。一般來說，用戶在利用搜索引擎檢索到內容網站時，對內容網站并不構成傷害，反而會為內容網站帶來更多用戶。如果某一搜索引擎蜘蛛程序“快速抓取導致網站過載，影響網站正常運行；重復抓取相同的文件，抓取層級很深的虛擬樹狀目錄，浪費服務器資源；抓取網站管理后臺等內部敏感信息，或抓取臨時文件等對用戶沒有價值的信息；抓取會對投票等CGI腳本造成負面影響，可能出現虛假的投票結果”z360百科：《robots協議》，http∶//baike.so.com/doc/4854891.html，最后訪問日期：2013年11月23日。的時候，可能會被禁止抓取該網站的相關內容。事實上，百度公司方面未曾有足夠的證據證明360搜索具有“不規矩的、存在潛在安全風險”，也未曾證明其具有侵犯隱私方面的證據，因而其辯解的可信度遭到質疑。相反，360搜索為百度公司帶來不小的流量。

有人可能會爭辯說，網站通過robots.txt限定允許他人訪問的范圍，是法律所允許的自由。即使這種限定是明顯針對某特定搜索引擎，在其資源不屬于公共資源或因其他原因法律要求必須對他人平等開放的資源之外，也很難有違法性或違反商業道德及誠信原則的問題可言。在網站已明確拒絕特定搜索引擎訪問的情況下，該搜索引擎的強行“訪問”構成民法上的“侵入”（trepass）。有人還發表評論指出，robots. txt“就類似客人在酒店住宿時在門上掛了一塊‘請勿打擾’的牌子，但現在有服務員說要給客人提供貼心的服務，強行摘下牌子進入房間。”還有人指出“360通過隱蔽訪問來源等技術繞開了百度設置的保護措施，未經許可加以抓取，則涉及不正當競爭?！盄7敖 祥菲：《3B大戰起訴與反起訴：1億元 PK 4億元》，http∶//www.cq.xinhuanet.com/2013-10/17/c_117753344.htm，最后訪問日期：2013年10 月25日。實際上這樣的評論只是看到表面，并未了解進一步的實質。

由于爬蟲協議中不僅包括是否允許搜索引擎進行抓取的內容，還包括允許誰和不允許誰進行搜索的內容。這些排斥性條款可能會被具有市場支配地位的搜索引擎公司利用，用來強迫一些內容網站訂立排他性協議。Google搜索在擁有壟斷地位之后，就曾利用這些排斥性規則阻礙后來的競爭者。因此，對于含有拒絕交易、歧視對待內容的robots.txt，需要結合該網站是否具有市場支配地位進行分析。如果該網站具有市場支配地位，則可能構成拒絕交易、歧視對待的壟斷行為，本文將對此展開分析。如果該網站不具有市場支配地位，該搜索引擎的強行“訪問”未必構成民法上的“侵入”（trepass）。

在eBay v. Bidder's Edge中，審理該案的Ronald M. Whyte法官指出，eBay的服務器是私有財產，eBay授予公眾可以有條件的訪問，并禁止包括BE在內所采取的自動化式的訪問。Whyte法官認為，超出同意的范圍，就構成對他人財產的侵犯；而BE的行為明顯超越了eBay允許的使用范圍，構成非授權的使用，是對eBay財產的侵犯。@8e Bay, Inc. v. Bidder's Edge, Inc., 100 F. Supp. 2d 1058 (N.D. Cal. 2000).但Whyte法官是基于滑坡謬誤（Slippery slope）理論，即如果BE的行為被允許繼續而不受限制，將會鼓勵其他拍賣門戶去使用蜘蛛程序參與到類似的查詢中來，最終將導致對eBay不可彌補的損害。這種理論通過對連串因果關系的不合理使用，將“可能性”轉化為“必然性”，得出錯誤的結論。2003年，在Intel Corp. v. Hamidi一案中，加利福尼亞州最高法院就暗示地推翻了Whyte法官的觀點。在Ticketmaster Corp. v. Tickets.Com, Inc.中，法院則強調“由于‘蜘蛛’并不會對動產造成實質損害，必須存在證據證明使用或利用被‘蜘蛛化的’電腦（或網絡）時受到了‘蜘蛛’使用行為的不利影響。于此未見此種證據。不失尊敬地，本院不同意其他地區法院關于以下的認定，即認定僅僅是使用蜘蛛進入一個對公眾開放的網頁來收集信息的行為就足以滿足侵害動產中損害的條件?！盄9“Since the spider does not cause physical injury to the chattel, there must be some evidence that the use or utilityof the computer (or computer network) being ‘spiderized’ is adversely affected by the use of the spider. No such evidence is presented here. This court respectfully disagrees with other district courts' finding that mere use of a spider to enter a publicly available web site to gather information, without more, is sufficient to fulfill the harm requirement for trespass to chattels.” See Ticketmaster Corp. v. Tickets.Com, Inc., 2003 WL 21406289 (C.D.Cal. Mar.7, 2003)。

相反，互聯網的本質要求是“互聯互通”。誠然，互聯互通并不意味著網站必須允許所有人平等地訪問和利用網站，除非網站中的資源屬于公共資源或因其他原因法律要求必須對他人平等開放的資源，網站可以通過robots.txt設定授權性條款和排斥性條款，將訪問的范圍限制于特定的地域或特定的人，或者排除特定地域的訪問或特定人的訪問。但是，這應該有一個界限，即該種設定不應違背公平、開放和促進信息自由流動的原則。搜索引擎的使命在于信息定位，為用戶提供訪問信息的路徑。百度公司允許Google等搜索引擎蜘蛛程序的訪問，卻排斥了360搜索引擎蜘蛛程序的訪問，如果僅僅以其網站不屬于“公共資源或因其他原因法律要求必須對他人平等開放的資源”，理由缺乏正當性。

需要注意的是，最高人民法院在山東省食品進出口公司、山東山孚集團有限公司、山東山孚日水有限公司與馬達慶、青島圣克達誠貿易有限公司不正當競爭糾紛案（“海帶配額”案）中指出：“在規范市場競爭秩序的反不正當競爭法意義上，誠實信用原則更多的是以公認的商業道德形式體現出來的。商業道德要按照特定商業領域中市場交易參與者即經濟人的倫理標準來加以評判，它既不同于個人品德，也不能等同于一般的社會公德，所體現的是一種商業倫理。反不正當競爭法所要求的商業道德必須是公認的商業道德，是指特定商業領域普遍認知和接受的行為標準，具有公認性和一般性。即使在同一商業領域，由于是市場交易活動中的道德準則，公認的商業道德也應當是交易參與者共同并普遍認可的行為標準，不能僅從買方或者賣方、企業或者職工的單方立場來判斷是否屬于公認的商業道德。具體到個案中公認的商業道德，應當根據特定商業領域和個案情形（如特定行業的一般實踐、行為后果、交易雙方的主觀狀態和交易相對人的自愿選擇等）具體分析確定。”#0#0 最高人民法院（2009）民申字第1065號民事裁定書。#1 孔祥俊：《反不正當競爭法原理》，知識產權出版社2005年版，第67頁。#2 王先林：《中國反壟斷法實施熱點問題研究》，法律出版社2011年版，第341頁。

在所有主流搜索引擎中，百度公司唯獨限制360搜索的蜘蛛程序，有違公平原則；百度公司的限制使得360搜索的用戶無法正常通過360搜索獲取百度網站的內容，有違開放原則和促進信息自由流動原則。在沒有正當理由的前提下，百度公司設置的robots.txt嚴重違反了誠實信用原則和公認的商業道德，從而具有不正當性。如果要求其他搜索引擎服務商遵守這樣有失公平合理的文本文件，顯然會違背robots協議的精神，同時也與搜索引擎的信息定位服務以及互聯網的公平、開放和促進信息自由流動的原則精神格格不入。違背了商業道德的robots.txt不應被遵守。因此，即使從廣義上看，具體到該案，360搜索引擎忽略百度公司設置的各種robots.txt文本的禁止性規定而抓取相關內容，并沒有違背誠實信用原則和公認的商業道德。從而，在忽略robots.txt的禁止性規定而抓取相應內容時，需要首先明確robots. txt是否滿足公平、合理和促進開放的原則，而不能泛泛地認為“robots.txt”構成商業慣例而要求搜索引擎一概無條件地遵守。

二、爬蟲協議對壟斷行為認定的影響

如前所述，反壟斷法要求的競爭關系一般為狹義的競爭關系。反壟斷法如此嚴格界定競爭關系，是與其制止限制競爭行為、維護競爭自由的立法目的分不開的。不過，如果經營者已經取得了壟斷地位，特定的市場結構已不具有競爭性或者競爭不充分，該經營者的壟斷行為既可能損害競爭對手或者其他經營者的利益，也可能損害消費者的利益，在這種情況下，其壟斷行為的構成并不必然以具有競爭關系為必要，但最終破壞的都是市場競爭的機制。因此，壟斷行為的構成也并非一概要求具有競爭關系。#1#0 最高人民法院（2009）民申字第1065號民事裁定書。#1 孔祥俊：《反不正當競爭法原理》，知識產權出版社2005年版，第67頁。#2 王先林：《中國反壟斷法實施熱點問題研究》，法律出版社2011年版，第341頁。

在我國《反壟斷法》第17條規定的7種濫用市場支配地位的行為中，包含了拒絕交易和歧視交易兩種行為。拒絕交易是指“沒有正當理由，拒絕與交易相對人進行交易”；歧視交易是指“沒有正當理由，對條件相同的交易相對人在交易價格等交易條件上實行差別待遇”。

（一）爬蟲協議對認定拒絕交易的影響

拒絕交易是具有市場支配地位的經營者拒絕向消費者或者其他經營者提供產品或服務的行為。拒絕交易行為往往是為了阻止經營者提供同等服務或者以拒絕交易為要挾實現其他目的。#2#0 最高人民法院（2009）民申字第1065號民事裁定書。#1 孔祥俊：《反不正當競爭法原理》，知識產權出版社2005年版，第67頁。#2 王先林：《中國反壟斷法實施熱點問題研究》，法律出版社2011年版，第341頁。合同自由是市場經濟的基本法律原則，反壟斷法并不一般性地給經營者強加與其他市場主體交易的義務。只有當市場主體濫用合同原則并對競爭的損害程度超過合同自由本身受到的限制的損害程度時，法律才對合同自由加以限制。受到反壟斷法規制的拒絕交易方擁有的產品或者服務往往是獨有的或者是進入某一市場所必須事先購買的產品或者服務。拒絕許可的目的就是排除競爭，鞏固和加強自身壟斷地位。

反壟斷法審查知識產權拒絕許可行為時，通常需要考慮以下因素：具有市場支配地位的經營者是否濫用該優勢地位，對相關市場的損害以及拒絕許可的理由與動機，知識產權是否構成關鍵設施和產生壟斷杠桿作用等。
1.拒絕許可的企業具有市場支配地位
英文中的“獨占（monopoly）”常被譯為“壟斷”。在反壟斷法上的，獨占泛指企業能夠將價格提高到競爭水平以上而獲取利潤的所有情形或者狀態#3#3 孔祥?。骸斗磯艛喾ㄔ怼?，中國法制出版社2001年版，第494頁。#4《反壟斷法》第18條：認定經營者具有市場支配地位，應當依據下列因素：（一）該經營者在相關市場的市場份額，以及相關市場的競爭狀況；（二）該經營者控制銷售市場或者原材料采購市場的能力；（三）該經營者的財力和技術條件；（四）其他經營者對該經營者在交易上的依賴程度；（五）其他經營者進入相關市場的難易程度；（六）與認定該經營者市場支配地位有關的其他因素。。獨占地位與市場力量的概念大體相當，在我國，稱之為市場支配地位。我國《反壟斷法》第17條定義市場支配地位“是指經營者在相關市場內具有能夠控制商品價格、數量或者其他交易條件，或者能夠阻礙、影響其他經營者進入相關市場能力的市場地位?！备鲊鴮κ袌鲋涞匚坏谋硎雎杂胁煌?，我國采取了與歐盟一致的表述，我國《反壟斷法》第18條#4#3 孔祥?。骸斗磯艛喾ㄔ怼罚袊ㄖ瞥霭嫔?001年版，第494頁。#4《反壟斷法》第18條：認定經營者具有市場支配地位，應當依據下列因素：（一）該經營者在相關市場的市場份額，以及相關市場的競爭狀況；（二）該經營者控制銷售市場或者原材料采購市場的能力；（三）該經營者的財力和技術條件；（四）其他經營者對該經營者在交易上的依賴程度；（五）其他經營者進入相關市場的難易程度；（六）與認定該經營者市場支配地位有關的其他因素。規定了認定經營者具有市場支配地位的必備因素，其列舉方面是較為完全的。然而，即使在必要因素列舉詳細的情況下，仍然很難認定是否具有市場支配地位，因此，第19條規定了推定經營者具有市場支配地位的情形，通過市場占有份額的劃定，判斷經營者是否具有市場支配地位。這樣的推定排除了確有證據證明不具有市場支配地位的經營者。不過，市場支配地位本身是一個復雜的經濟學問題，根據不同的相關市場，其取得支配地位的標準也不盡相同，以市場份額這一標準判斷經營者的地位具有一定的可行性。但進一步，以什么數值判斷市場份額，又是一個值得探討的問題。
當然，界定市場支配地位需要首先界定相關市場。界定相關市場是一個回溯過去的過程，是在找尋可以維持該行為的最小邊界，要判斷一個經營者是否實施了壟斷行為，其前提就是相關市場的界定，只有對市場邊界進行了科學劃分，才能有效判斷經營者的行為是否對其他經營者構成限制競爭，是否侵害了消費者的相關權益。相關市場是行為人開展競爭的區域或者范圍。從世界各國的規定來看，以產品和地域界定相關市場已經成為國際共識。
具體到百度公司，百度網站對其提供的內容服務都強調其是全球“最大”，如“百度百科—全球最大中文百科全書”、“百度知道——全球最大中文互動問答平臺”、“百度貼吧——全球最大中文社區”、“百度新聞——全球最大的中文新聞平臺”、“百度統計——最大中文網站分析工具”、“百度MP3——全球最大中文音樂搜索平臺”，“百度無線——全球最大的中文手機搜索引擎”等。從這些百度公司自己對相關網站的介紹亦可看出，百度公司經營的內容網站幾乎均是相關領域內全球最大的中文網站，該等網站的內容數量及其在中文互聯網中所占比例可見一斑。由上述可知，百度公司已經成為我國最大的內容網站提供商。在界定百度公司提供的上述服務的市場支配地位時，需要首先準確界定相關市場的范圍，才能計算其占有的市場份額。例如，針對百度百科、百度貼吧、百度知道等欄目，不能采用都是“內容服務”的標準，而應根據不同內容的特征、用途、品質，細分相關市場。如百度公司自己所陳述的，可以考慮界定“全球中文百科市場”、“全球中文互動問答平臺市場”、“全球中文社區市場”等。根據最高人民法院《關于審理因壟斷行為引發的民事糾紛案件應用法律若干問題的規定》第10條規定，經營者對外發布的信息能夠證明其在相關市場內具有支配地位的，人民法院可以據此作出認定，但有相反證據足以推翻的除外。當然，需要認定百度公司分別在百度百科、百度貼吧、百度知道等欄目享有市場支配地位，還需要相關證據的支持。

2.拒絕許可損害了市場競爭

由式(22)即可得到優化矢量選擇器所需要的參考電壓矢量,然后對所處的扇區進行判斷,得到3個電壓矢量.最后由價值函數對所在扇區的3個電壓矢量進行優化評估,得到最接近的電壓矢量,即最優電壓矢量.例如,當位于第一個60°扇區中時,則選擇u0(000/111),u1(100)和u2(110)這3個電壓矢量用于價值函數的優化求解.

考察拒絕許可對競爭造成的損害，主要是比較拒絕許可產生的競爭優勢與反競爭的效果。如果被拒絕的企業可以在相關市場上尋找到替代性商品，在合理時間內以合理的成本與第三方進行了同樣的交易，那么就沒有造成限制競爭的效果。如果具有市場支配地位的經營者拒絕將其知識產權許可給其他經營者，包括潛在經營者，會對其他經營者構成市場進入障礙。尤其在互聯網領域，拒絕許可會導致其他經營者完全無法與之競爭或完全無法進入該相關市場，無法實現信息的互聯互通和開放流動。這不僅對公平的市場競爭秩序造成了破壞，而且剝奪了消費者選擇的權利，將會或者可以合理預期會對相關市場的競爭有所削弱或消除，損害了市場競爭。

百度公司提供的內容服務總體上在我國所占的比例可能高達15%甚至以上，而且每一個單一內容服務市場所占的比例則更高。如果百度公司禁止某一個搜索引擎抓取其內容，則該搜索引擎的搜索結果中有相當于中國互聯網內容的15%左右成為搜索盲區?？梢哉f，百度公司拒絕360搜索引擎抓取的內容構成了360搜索引擎服務不可缺少的核心措施。這將導致兩個嚴重后果，一是作為搜索服務基本要求的搜索內容的全面性無法實現，用戶無法在該搜索引擎中全面搜索信息；二是該搜索引擎無法在搜索引擎服務市場中生存。這無疑是對市場競爭的嚴重損害。百度公司設置的各個robots.txt明確排除360搜索蜘蛛程序抓取其內容，而這些內容顯然在短期內無法尋找到替代性商品。如果認定百度公司具有市場支配地位，百度公司的行為顯然是打擊競爭對手，消滅競爭。

3.拒絕許可缺乏合理的理由與動機

反壟斷法在審查權利人拒絕交易時，一般從合理分析原則出發，要求權利人提出合理的理由，以解釋其拒絕許可的動機不存在違法的故意。在衡量拒絕理由的合理性時，既需要分析具有市場支配地位的企業本身的情況，又需要分析被許可方自身的狀況。例如，對于前者，企業可以舉證說明拒絕交易是為了取得對其投資的適當回報；對于后者，可以考慮被許可方的資信狀況不佳、瀕臨破產等。

從目前的情況來看，百度公司設置的robots. txt未遵循公平、開放和促進信息自由流動的原則, 限制360搜索引擎的蜘蛛程序抓取沒有合理理由，更沒有行業公認的合理及正當的理由。首先，360搜索蜘蛛程序對百度內容網站的抓取相對于百度網站每天4～5億用戶的訪問量來講數量很小，不會對百度的服務器或帶寬造成任何影響，也不會給百度帶來任何技術上的問題或障礙；其次，360搜索蜘蛛程序對百度內容網站的抓取完全遵循了百度設置的robots.txt對于其他搜索引擎蜘蛛程序抓取網頁內容的指導，360搜索蜘蛛程序并未抓取百度不希望被其他搜索引擎蜘蛛程序抓取的內容；再次，百度公司所控訴的360搜索蜘蛛程序抓取的內容均是百度內容網站在互聯網上公開發布的內容，用戶可以直接訪問該等網頁，也可以通過百度搜索訪問，還可以通過其他搜索引擎訪問，該等網頁內容既不涉及任何隱私或保密的信息，也不是收費信息，360搜索蜘蛛程序抓取并在搜索結果中體現該等網頁的鏈接不但對該等百度內容網站毫無影響，相反，還會給百度帶來可觀的訪問量。

（二）爬蟲協議對認定歧視交易的影響#5#5 本部分內容得到北京理工大學碩士研究生李婧同學的大力協助。#6 孔祥俊：《反壟斷法原理》，中國法制出版社2001年版，第581頁。#7 在http∶//www.dianping.com/robots.txt可以訪問。

歧視交易，又稱歧視待遇，是指行為人沒有正當理由而對條件相同的客戶（交易對方）提供不同的價格或者其他交易條件，致使有些客戶處于不利的競爭地位。#6#5 本部分內容得到北京理工大學碩士研究生李婧同學的大力協助。#6 孔祥俊：《反壟斷法原理》，中國法制出版社2001年版，第581頁。#7 在http∶//www.dianping.com/robots.txt可以訪問。歧視交易是典型的濫用市場支配地位的行為，在許多國家和地區以及國際組織的法律文件都對其進行了規定，如美國《克萊頓法》第2條（a）、德國《反對限制競爭法》第20條、日本《禁止私人壟斷及確保公正交易法》第2條第9項。我國《反壟斷法》第17條第6項也規定，沒有正當理由，對條件相同的交易相對人在交易價格等交易條件上實行差別待遇，是歧視交易行為。

根據robots協議的語法規則，網站可以自行設置以指示搜索引擎的訪問路徑，正如前面所述，不同的robots.txt被放置在不同層級的網站域名后，并有目的、有針對性地設置了不同限制，網站的設置決不是隨性為之，相反，這種設置直接關系到網站的競爭與合作關系。如：在上海漢濤信息咨詢有限公司（大眾點評網的經營者）訴愛幫聚信（北京）科技有限公司、愛幫聚信（北京）信息技術有限公司（愛幫網的經營者）不正當競爭糾紛中，原告稱愛幫網與大眾點評網在受眾人群、盈利模式、經營范圍、客戶群落等方面完全重合，被告通過愛幫網長期大量復制大眾點評網站內容的“搭便車”行為，獲取不當瀏覽量和競爭優勢，構成不正當競爭。在該案中，原告提出大眾點評網的robots.txt中，明確禁止同行業搜索并復制其信息，但愛幫網并未遵守該文件。此后，大眾點評網的robots.txt 中，出現限制愛幫網蜘蛛程序抓取的指令，完全限制愛幫網搜索引擎訪問大眾點評網的內容，#7#5 本部分內容得到北京理工大學碩士研究生李婧同學的大力協助。#6 孔祥?。骸斗磯艛喾ㄔ怼?，中國法制出版社2001年版，第581頁。#7 在http∶//www.dianping.com/robots.txt可以訪問。從中我們不難看出大眾點評網與愛幫網明確且惡化的競爭關系。由此可見，robots.txt已經不僅僅是網站維護其安全與隱私的協議，更是網站之間競爭的工具。

對于搜索引擎企業運用robots.txt排除競爭者訪問的行為是否限制了競爭，是否構成濫用市場支配地位，同樣需要首先確定相關市場的范圍，進而界定該企業在相關市場具有市場支配地位。如果某robots.txt 通過設定訪問權限，使未被允許訪問的搜索引擎蜘蛛程序無法搜索并獲得網站資源，另一些企業則因具有訪問權限而獲得了競爭優勢，而該網站資源在相關市場的地位很大程度上決定了這些企業的競爭地位，網站資源地位越重要，對于競爭的損害越大，一旦這些資源是不可或缺、難以重建的，那么無法取得這些資源的企業的競爭力將明顯降低，限制競爭效果顯而易見。例如，百度公司經過多年經營，已經建立了自己的更大的、更全面的搜索數據庫，假設百度已經具有在相關內容服務市場具有市場支配地位，百度公司的robots.txt文件內容就具有高于一般公司的義務，在沒有正當理由的前提下，不得以交易自由為由，允許與其具有直接競爭關系的搜索引擎服務商訪問其相關欄目，而禁止360搜索訪問。這樣的限制有歧視交易之嫌。

三、結 語

互聯網的競爭紛紛擾擾，層出不窮。對爬蟲協議的理解以及因該協議而引起的紛爭，成為當今我國互聯網競爭的主角，這不免讓人深思。本文的研究就是這方面的一種嘗試。

搜索引擎服務商與互聯網內容提供商并不具有直接競爭關系。即使經營業務不相同，但其行為違背了《反不正當競爭法》第2條規定的競爭原則，也可以認定具有競爭關系。換言之，如果存在謀取競爭機會、破壞對方競爭優勢的行為，就可以認為雙方之間存在競爭關系。

爬蟲協議作為一種行業慣例和事實標準，其具體內容應該是：（1）設置了robots.txt語法規則；（2）確定蜘蛛程序訪問的范圍并置放于站點根目錄下，作為蜘蛛程序訪問該站點的第一文件；（3）確立了公平、開放和促進信息自由流動的原則。robots.txt則是根據爬蟲協議確定的原則而設置的具體文件，其設置應遵循該原則。具有市場支配地位的企業不能濫用爬蟲協議，從而損害市場競爭。

從不正當競爭角度而言，即使搜索引擎服務與內容服務具有競爭關系，但在搜索引擎忽略內容服務商在其robots.txt設置的禁止抓取條款的行為性質上，如果robots.txt內容嚴重違反了誠實信用原則和公認的商業道德，限制某一搜索的蜘蛛程序，則違背了公平、合理和開放的原則。如果要求其他搜索引擎服務商遵守這樣有失公平合理的文本文件，顯然會違背robots協議的精神，同時也與搜索引擎的信息定位服務以及互聯網的公平、開放和促進信息自由流動的原則精神格格不入。反之，如果認定搜索引擎忽略不公平的robots.txt中禁止性規定而抓取相應內容構成不正當競爭，顯然也違背了爬蟲協議確立的公平、開放和促進信息自由流動的原則。使用蜘蛛程序訪問一個對公眾開放的網頁收集信息的行為未必滿足侵害動產中損害的條件。

從壟斷行為角度而言，具有市場支配地位的網站通過其設置的robots.txt，拒絕某一搜索引擎蜘蛛程序抓取其內容，可構成拒絕許可，最終破壞市場競爭的機制；它對條件相同的蜘蛛程序同意抓取其網站內容而拒絕某一搜索蜘蛛的抓取，實行差別待遇，可構成歧視交易。

This paper starts from the legal nature of robots exclusion protolol, analyses its content and distinguishes it from a robots.txt which is set under the said protocol. From the perspective of antiunfair competition law, a robots.txt with exclusion clauses may go against to the free and open spirit of the said Protocol, and thereby violates the principle of good faith and the generally accepted business ethics. From the perspective of antitrust law, a service provider with a dominant market position may conduct monopolistic behaviors if they use a robots.txt with exclusion clauses to refuse to trade with others or apply discriminatory treatments to a trading party with equal standing without any justifi able reasons.

search engine; robots exclusion protocol; industry practice; competition relationship; monopolistic behavior

楊華權，法學博士，北京理工大學法學院碩士生導師，中關村知識產權法律保護研究院研究員