爬蟲協議構成拒絕交易和歧視待遇的條件分析

關鍵詞 爬蟲協議 反壟斷法 拒絕交易 差別待遇

作者簡介：楊舒婷，中國科學院大學公共政策與管理學院，碩士研究生，研究方向：經濟法。

中圖分類號：D920.4 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?文獻標識碼：A ? ? ? ? ? ?? ? ? ? ? ?DOI：10.19387/j.cnki.1009-0592.2020.04.031

爬蟲協議是網站所有者利用robots.txt文檔，設置搜索引擎機器人爬行其網絡的指令。互聯網經濟的繁榮帶來了大量的數據，而對數據的掌握成為了互聯網平臺經營者發展業務的關鍵保障。由此，網站與搜索引擎之間的溝通就變得尤為重要。作為互聯網數據爭奪的經典案例，百度公司訴奇虎公司不正當競爭案不僅在《反不正當競爭法》領域引起了廣泛討論，也為研究《反壟斷法》對互聯網平臺爬蟲協議的規制提供了新的思考。網站所有者排斥搜索引擎企業的機器人爬取其網站的一些內容，往往在特定的相關市場占有市場支配地位，所以這種排斥爬行的行為是否違反反壟斷法是值得研究的問題。若要深入了解搜索引擎與網站所有者之間的爭議，仍然要從爬蟲協議入手。

一、爬蟲協議的含義和性質

爬蟲協議，也稱為機器人協議（robots協議）。搜索引擎利用蜘蛛程序索引網站內容，垃圾郵件發送者也利用網絡機器人掃描獲取網頁上的電子郵箱地址，此外這種程序還有很多其他用途。 爬蟲協議是指網站所有者利用robots.txt文檔，向網絡機器人給出網站指令（instructions）的協議。由于爬蟲協議的主要目的是明確排除網絡機器人爬行的信息，甚至有的爬蟲協議還會設置拒絕機器人爬行的搜索引擎名單，所以機器人協議也被稱為拒絕機器人協議（robots exclusion protocol）。其工作原理是：當一個機器人想要訪問一個網站的統一資源定位符（URL），如http：//www.examp le.com/welcome.html時，它會首先檢查http：//www.example.com/robots.txt這個地址，會發現“User-agent： *”或“Disallow： /”。其中，“User-agent：*”是說這個部分適用于所有的機器人，“Disallow：/”則告訴機器人不應該訪問這個網站的所有網頁。需要注意兩點：一是機器人能忽略爬蟲協議，尤其是惡意的機器人能掃描網站的安全漏洞，收集電子郵箱地址的垃圾郵件商也不理會爬蟲協議;二是爬蟲協議文檔還是公開的文檔，任何人都能看到一個網站所有者不希望機器人爬取的部分。爬蟲協議本質上是一個事實標準（de-facto standard），并且不為任何標準組織所擁有。 從技術上看，爬蟲協議不具備強制實施的可行性，即爬蟲協議不能通過技術手段阻止網絡機器人爬行網頁。換言之，即使爬蟲協議文本明示了禁止網絡機器人爬取的內容，搜索引擎企業的爬取機器人也可以僅僅憑借“無視”，就可以輕易地使這種禁止失去效果。

2012年11月1日，國內多家搜索引擎服務企業發起簽署了一份由中國互聯網協會予以發布的《互聯網搜索引擎服務自律公約》。該自律公約中第7條約定，提供搜索服務的企業要“遵循國際通行的行業慣例與商業規則，遵守機器人協議（robots協議）。”這說明，關于網頁內容爬取規則的標準，爬蟲協議是一種互聯網行業國際通行的行業慣例和商業規則，搜索引擎企業應當遵守。

綜上，一方面，作為事實標準的爬蟲協議，是互聯網行業國際通行的行業慣例和商業規則，搜索引擎企業應當遵循;另一方面，網站所有者設定Robots，應當遵循促進信息自由流動的原則，力求網絡信息公平和開放，不應當使用不合理的手段限制搜索引擎爬取網站的內容，更不能通過設定Robots限制和排斥競爭。

二、爬蟲協議構成拒絕交易的條件

反壟斷法意義上的拒絕交易，泛指一切有可能排除、限制競爭的拒絕交易形式。它既包括直接拒絕交易，也包括變相拒絕交易;既包括拒絕與競爭對手進行交易，也包括拒絕與非競爭對手進行交易;既包括中斷交易，也包括拒絕與新的交易對象交易。

在互聯網環境下，互聯網平臺經營者擁有可以自由設置“拒絕進入”的能力，極易觸及拒絕交易的底線。筆者前文在分析協議內容本身是否違法的時候也提到過，爬蟲協議中設置拒絕被爬取是否構成拒絕交易行為，需要按照拒絕交易行為的構成要件進一步討論。

（一）相關市場的界定

在曾經較為傳統的實體市場里，能夠根據產品的性能、用途等不同來區分市場，不同用途、不同功能的產品之間的邊界也比較容易區分。而在以數據資源為重心的互聯網市場中，因為數據產品的技術、業務特征等相似，不同產品之間的功能界定比較困難，例如搜索引擎與社交網站之間的產生內容爬取糾紛，相關市場的界定就沒有了清晰的標準，使用供給替代法、需求替代法、SSNIP（假定壟斷者測試）等傳統方法也可能會界定結果不夠完美。

在百度訴奇虎案中，百度是大眾熟知的搜索引擎服務商，但引發訴訟的是奇虎對百度搜索引擎下的內容欄目的不當爬取行為，那么在界定本案相關市場的時候，就不能單憑百度和奇虎是搜索引擎服務提供商來界定相關市場，而是針對雙方之間存在競爭關系的市場進行具體區分。而且在目前的互聯網經營活動中，數據往往成為平臺競爭的核心要素，因此，經營者面臨的風險從傳統單邊市場中單一的風險變成了雙邊市場條件下多樣的競爭風險。而且，網絡效應會使用戶的選擇產生拉大競爭者之間的差距的效果，并可能因此形成新的市場壁壘，對市場競爭帶來損害。

（二）行為人是否具有市場支配地位

判斷網站經營者是否具備市場支配地位，首先要看經營者在相關市場中的份額，我國現行《反壟斷法》第十九條也列舉了判斷經營者具有市場支配地位的條件。互聯網平臺經營者與傳統經營者的經營方式的不同，帶來了對其市場份額準確判斷的難度。由于濫用市場支配地位的壟斷行為，首先必須具備有效的市場支配能力，但互聯網平臺帶來的市場是一個多元化的、信息不平衡且極其復雜的市場，在互聯網經濟中占據很大的支配地位要具備的不僅僅是獲利數額大，還要有龐大的、屬于自己的且能夠支配的網絡資源。比如在網站所有者擁有的用戶信息數據、用戶上傳的內容資源等，由于這些原因，對執法機構判斷一個互聯網企業是否具有市場支配地位也增加了許多難度。

一方面，倘若設置爬蟲協議的網站所有者不具備市場支配地位，那么即使此爬蟲協議中存在不正當競爭內容，亦不能當然認定其robots協議違反《反壟斷法》。另一方面，如果是不具備市場支配地位的企業，即使在設置爬蟲協議時拒絕搜索引擎就某項內容進行爬取，那么對市場的影響都比較微小，因此，也不需要從競爭法角度去考慮它的違法性問題，那么此行為并不能對網絡環境下的競爭市場帶來嚴重的排除、限制競爭的效果。只有占據大量市場份額的，在某個相關領域里達到壟斷地位的企業，競爭法才要對其經營行為進行規制。

有觀點認為，即使百度擁有了“百度貼吧”“百度知道”“百度百科”等龐大的數據庫，但是這也僅僅是互聯網中文內容的一小部分，更何況近年來360、搜搜（SoSo）、必應（Bing）等搜索引擎紛紛建立自己的內容數據庫，百度的內容絕對無法達到市場支配地位所需的二分之一的比例，因此百度并未占據互聯網中文內容的市場支配地位。

綜上，如果拒絕抓取是具有市場支配地位的經營者拒絕其他經營者爬取其網絡平臺內容的行為。那么，該行為在反壟斷法上是違法行為，構成拒絕交易。

（三）拒絕抓取行為是否損害市場競爭

一般而言，只有當市場主體濫用合同自由原則對競爭造成的損害超過合同自由本身受到限制的損害的程度時，法律才會對合同自由原則加以一定的限制。在判斷這一程度時，通常用“合理原則”來考察拒絕交易行為，即只有當拒絕交易造成的損害超過對市場的有利影響，反壟斷法才會對此加以限制。

如果網絡平臺經營者在其網站的爬蟲協議中針對某一或者某幾個搜索引擎的搜索范圍進行限制，使其不能像其他搜索引擎一樣爬取內容，則該爬蟲協議具有不正當性，與此同時，如果網站所有者通過設定Robots針對性地拒絕搜索引擎爬取的行為損害了市場競爭，那么，網站所有者滿足具有一定的市場支配地位且實施拒絕爬取并沒有正當理由，它的行為就滿足了拒絕交易的構成要件。

如果設置robots.txt協議的網絡平臺所有者拒絕抓取的內容是其他搜索引擎所應當共享的，且居于核心地位的信息，那么使成立不久的中小型新型搜索引擎無法生存，這無疑是對市場競爭帶來嚴重損害，所以應當認為其內容具有違法性，這就是“核心必要設施”的理論。由于傳統經濟學的影響，在司法實踐中，運用“必需設備理論”進行裁判的案例也有很多，例如，微軟案、AMD訴Intel、人人訴百度等等。事實上，前述案例更加說明，對現有的網絡平臺經營者壟斷案件、不正當競爭案件辦理的困難之處往往來源于互聯網經濟本身的特殊屬性，它不同于傳統市場的特性亦更加使得互聯網行業容易呈現出寡頭壟斷，對市場競爭產生不良影響。

三、爬蟲協議構成差別待遇的條件

梳理上文所述百度訴奇虎案的例子，筆者發現，搜索引擎拒絕抓取的行為也有可能構成另一典型的濫用市場支配地位的行為——差別待遇。在《反壟斷法》中，差別待遇也被稱為歧視交易，從法條定位看，要構成差別待遇和拒絕交易的條件有著一部分共同點，它們都要求行為人具有市場支配地位，并且行為人缺乏合理的理由，不同點在于拒絕交易和差別待遇的行為特征。所以要認定搜索引擎企業是否存在差別待遇的行為，還是要遵循上文提到的步驟，先進行市場支配地位的判斷，再分析具體行為。那么我們在此假設該企業具有市場支配地位后，進行下一步：

（一） 交易條件對比

此處依舊以百度公司訴奇虎公司一案為例。百度作為打出“最大的中文搜索引擎”品牌宣言的網站經營者，經過多年的運營和積累，不僅具有信息龐大的百度網頁資源，還有其網站下子欄目“百度知道”“百度百科”等一批專門分類的信息資源。按照奇虎公司所說，百度在設置其主網站和子網站腳本Robots時，拒絕了奇虎旗下搜索引擎的爬取，卻允許了其他國內主流搜索引擎的爬取，那么在信息流通的環節確實對奇虎公司特殊設置了不同于其他搜索引擎的條件，百度承認了該設置行為。即使后來百度聲稱是奇虎的搜索引擎具有不規范的爬取行為，可是其自身設置了針對性的攔截，另奇虎無法獲得主流資源，而其他搜索引擎又能夠借由爬取百度的資源壯大自身，那么百度的行為不僅是差別待遇，且能夠在一定程度上損害競爭。

（二）是否缺乏正當理由

在上文的概述中筆者了解到，網站運營方可以通過對其腳本的編輯來達到對其他爬取信息方的授權和限制。那么在使用這一功能時，網站經營者既可以設置為拒絕某一特定的搜索引擎的爬取，也可以設置為對某一些搜索引擎開放的同時對其他一些搜索引擎不開放。正如上文提到的百度訴奇虎案，正是因為百度公司在百度貼吧、百度百科百度知道等站點的Robots協議中僅對360的爬蟲程序進行了限制，而對谷歌、搜狗等蜘蛛程序卻允許訪問的行為，激化了百度公司與奇虎公司之間的矛盾。當時，百度公司對此的解釋是：只是禁止了不規矩的、存在潛在安全風險的爬蟲，但是對于這個理由，百度并未能提供有力的證據支撐。

綜上，根據《反壟斷法》的規定，差別待遇的情形不僅要求經營者具有市場支配地位，同時還需要同時滿足缺乏正當理由、交易條件存在差別兩個條件，由此看來，百度公司的行為不僅缺乏正當理由，并且對其他同樣作為搜索引擎的企業設置了不同的爬取條件，確實有著差別對待的嫌疑。

四、結語

互聯網行業正在蓬勃發展，無論是搜索引擎、購物網站、在線旅游平臺或者其他功能性網站，它們的經營都與互聯網的算法技術、爬蟲協議、數據等無不相關。互聯網平臺經營者和網民都需要一個安全、平衡且不失活力的網絡競爭市場，而如今數據帶來的競爭優勢越來越明顯，競爭相關的法律、政策卻也在逐漸暴露出它的滯后性。目前，國家市場監管總局就《反壟斷法》修訂草案公開征求意見。對于此次修訂，征求意見稿明確了互聯網壟斷相關規定，新提出了認定互聯網平臺經營者具有市場支配地位的一些因素。我們期待新的《反壟斷法》能夠保持舊法對于反壟斷的工具作用，依舊以網民權益為價值目標，成為有效引導互聯網平臺經濟健康發展的規范，以求解決目前爬蟲協議帶來的新的壟斷相關問題。

注釋：

https：//www.robotstxt.org/.2020年2月15日訪問。

https：//www.robotstxt.org/robotstxt.html.2020年2月15日訪問。

http：//www.isc.org.cn/hyzl/hyzl/listinfo-25501.html.2020年2月25日訪問。

張志偉.中國互聯網企業拒絕交易行為的反壟斷法律規制探討[J].江西財經大學學報，2015（3）：121-128.

王文敏.互聯網競爭中設置爬蟲協議黑名單的定性——由“百度與360大戰”引發的思考[J].研究生法學，2014，29（3）：50-57.

楊華權.論爬蟲協議對互聯網競爭關系的影響[J].知識產權，2014（1）.