互聯網競爭關系下的爬蟲協議研究

2018-04-19 08:24:20高祖瑞

法制與社會 2018年7期

關鍵詞行業慣例競爭關系一般條款爬蟲協議

作者簡介：高祖瑞，武漢大學法學院經濟法2015級研究生，研究方向：競爭法與知識產權法。

中圖分類號：D922.29 文獻標識碼：A DOI：10.19387/j.cnki.1009-0592.2018.03.038

互聯網行業是當代社會經濟規模發展最為迅速的產業之一，競爭法律制度的構建對于規范和促進互聯網產業的發展具有重要的意義。對于正處于飛速發展的互聯網行業來講，傳統意義上的競爭法對于新型的競爭關系的規制已經顯出自己的局限和不適。在技術更加復雜，法律尚未全面細致規定的行業背景下，競爭者采取爬蟲協議的行為往往會涉及到不正當競爭行為和壟斷行為。此外，知識產權的私有性與市場的自由競爭在爬蟲協議的適用中也存在相關的價值沖突。那么，爬蟲協議的行為到底如何界定？行業慣例能否為爬蟲協議提供價值沖突時的解決之道？如何確定在新型競爭關系下適用爬蟲協議的合理性標準？在此背景下，認真對待爬蟲協議行為背后的價值理念和運作邏輯，并深入發掘互聯網行業的競爭關系，無疑具有重要的意義。

一、爬蟲協議背景下的互聯網競爭

互聯網市場是典型的創新型市場。當前互聯網市場下競爭主體日益增多，市場競爭愈演愈烈，市場結構在知識化浪潮的席卷下正逐步向更為“高精尖”的方向發展。同時，互聯網行業也正經歷著從自由競爭時代向壟斷競爭時代的轉折，在某些領域已經出現了寡頭壟斷，基于商業模式模仿的同質化競爭助長了不正當競爭行為和濫用市場支配地位行為，損害了市場競爭秩序，破壞了市場競爭。然而，由于互聯網市場與傳統市場有著更為顯著的差別，在互聯網競爭中出現了新的特征。

（一）法律規則的滯后性與互聯網經濟的創新性

互聯網經濟是速度型經濟，借助于信息的快速傳輸，經濟活動的節奏大大加快，產品與技術更新周期縮短，創新速度加快。這也使得互聯網行業的競爭手段層出不窮，競爭內容復雜多變。但是，法律作為規范，其內容又是抽象的、概括的、定型的，制定出來之后有一定的穩定性。法律對于不斷變化的社會生活的涵蓋性和適應性不可避免地存在一定限度。這就使得國家制定的法律難以規定互聯網競爭中的具體行為，因此就需要法律一定的一般條款對互聯網競爭進行一定的兜底保護。所以，我們可以發現在互聯網競爭中，行業慣例發揮著更加活躍的作用，法律往往在具體個案中對所適用的行業慣例加以確認。

（二）競爭行為的模糊性與技術手段的多樣性

在反壟斷案件中，對互聯網行業中的相關市場難以給出一個清晰的市場邊界。同樣，互聯網行業的競爭行為也難以給出一個清楚的界定。另外，互聯網行業中的競爭和傳統市場中的價格競爭相比，也更具有隱蔽性和復雜性。這使得各種保護手段層出不窮，保護的方式也更加多樣。互聯網行業中的限制交易、拒絕交易、競價排名、點擊欺詐等行為都比比傳統市場中要更難認定。而與之相關的經營者和消費者所受到的損失也是并不明顯或現階段難以衡量的。所以，互聯網行業本身的諸多行業慣例也充當了保護措施的技術手段。那么，對于這些競爭行為和技術手段，法律都需要在具體個案中加以認定，并為整個互聯網行業監管提供參考意見。

（三）網站內容的安全性和網絡信息的流動性

在互聯網行業中，用戶的訪問點擊是衡量一個門戶網站是否成功的重要標志。一方面，網站所有者上傳自己獨創、歸納、收集、整合的信息資源來吸引用戶的訪問點擊并以此來擴大自己的市場。另外一方面，由于互聯網內的信息資源是自由流通的，其它相關網站很容易對其內容進行復制并提供鏈接，也可能導致網站系統難以承受大量的用戶人群造成嚴重后果。在網絡領域，公民自由獲取信息的利益與作者對作品廣泛傳播的利益在某些情況下會形成統一，但與作品傳播者有償傳播的利益卻背道而馳。所以出于基于網站安全考慮所采取的技術措施使得網站的所有者決定了網站內容信息的流動程度，在一定程度上是需要進行合理考量，來平衡作品傳播者與作者、公眾及搜索引擎商的利益沖突。

這些互聯網競爭中的新常態使得法院往往依據行業慣例或者商業道德來判斷行為的合理性。在百度訴奇虎360一案中，爭議的焦點就在于奇虎公司違反爬蟲協議的行為是否違反法律法規的相關規定。由于本案的行為明顯不屬于《反不正當競爭法》所規定的各類具體不正當競爭行為，所以要使得《反不正當競爭法》在本案中得以適用，只能根據其一般條款來進行考量，判斷奇虎公司違反爬蟲協議的抓取行為是否違反公認的商業道德，進而被認定為不正當競爭行為。那么，我們首先需要對爬蟲協議本身具有較為清晰的認識，并對其法律性質進行認定和了解。

二、爬蟲協議的法律認定

爬蟲協議具體是指互聯網站的所有者根據該協議可以設置一個禁止其它搜索引擎對本網站信息抓取的一個指令。目前為止，在認定爬蟲行為的法律效力上還存在著一些爭議，在不同國家的案件中也有著不同的判決。在eBay案中，法院是以網站可能遭受的超負荷損害的危險為依據責令禁止搜索。在Field訴Google一案中，法院根據原告明知爬蟲協議可以有效控制訪問為依據推定原告進行了默示許可，但這種推定并不是法院本身賦予了爬蟲協議法律效力，而只是在該案中作為證明默示許可的一種證據。更為重要的是，在比利時Copiepress、SAJ、Assucopie三大機構訴谷歌一案，法院以版權的排他性保護為依據認為爬蟲協議不代表默示許可。根據對這三個案件進行的梳理，筆者認為在爬蟲協議的法律適用中應當包含以下幾個方面：

一是爬蟲協議構成網絡環境下版權人可以采取有效控制訪問的技術措施，或者是對搜索引擎的告知行為。由于該協議不是一個強制性標準，也不具有強制執行力，所以違反爬蟲協議而強行提供被拒絕網頁內容的行為只能在商業道德的范疇內進行評價。

二是爬蟲協議本身不具有法律效力，但是法院可以將其作為一種證據來認定相關的行為。在雙方都明知的情況下，網站內容提供者未設置爬蟲協議的行為可能會被推定為默示許可，搜索引擎商違反爬蟲協議的行為可能會被認定為惡意行為。

三是門戶網站對于爬蟲協議的設置應當合理的標準進行，重點應該放在網站的流量平衡和系統壓力之上。因為爬蟲抓取本身并不會給網站帶來危害，反而用戶對檢索到網站內容越多，也將會為網站帶來更多的用戶。因此，在對適度的搜索引擎商開放以及更全面地被搜索引擎檢索存在著平衡。

四是具有市場支配地位的互聯網信息提供者設置爬蟲協議在一定程度上不利于互聯網信息的自由流動，也可能會導致其它依賴信息提供的競爭者難以進入相關市場。所以不合理的爬蟲協議在一定程度上也會構成壟斷行為。

三、爬蟲協議對競爭關系的影響

（一）爬蟲協議在不正當競爭行為中的認定

在民商事關系中，“法無明文禁止即允許”是私法領域內的一條重要的原則。而在百度訴奇虎360一案中，原告主張被告的不正當競爭行為正是依據《反不正當競爭法》第2條第1款中關于商業道德的規定。所以在缺乏法律對具體行為規定下，爬蟲協議能否通過法律對于商業道德的解釋來適用反不正當競爭法應該是我們討論的重點。

通常，不正當競爭行為是指以違背誠實信用和公平競爭商業慣例的手段從事市場交易的行為。《保護工業產權巴黎公約》第10條第2款規定，凡在工商業活動中違反誠實的習慣做法的競爭行為，構成不正當競爭行為。在對該條款的解釋中，在認定某一行為是否構成不正當競爭行為，不限于在請求被保護的成員國所存在的誠實的習慣做法，而且也必須考慮國際貿易中形成的誠實的習慣的做法。在這一條款和其司法解釋中，認為一個國家公認的行業慣例構成該國所習慣的商業道德。當然，這種行業慣例所適用為商業道德的前提在于其是在從事市場競爭所必須遵守的最近的行為規范。當然，如果僅僅是以行業慣例為理由，判斷具體行為是否違反了《不正當競爭法》也并不合理，法律對商業道德的認定也應當有所限制。根據最高人民法院在審理“海帶配額”一案中指出反不正當競爭法意義上的誠實信用更多的是根據特定商業領域和個案情形來判斷是否屬于公認的商業道德。

根據以上資料，我們可以發現不能籠統地將行業慣例視為商業道德，因為市場上存在很多并不“良好”的行業規則。2005年歐盟《不正當商業行為指令》規定的就是需要考慮“良好的商業慣例。同樣，巴黎公約和世界知識產權組織的《反不正當競爭示范法》也將不正當競爭界定為違反“誠實”慣例的行為。所以，筆者認為要使得行業慣例與公認的商業道德相契合，應當包含以下幾個方面：

1. 行業慣例應當首先符合商業道德的標準，屬于特定行業領域普遍認知和接受的標準，具有一般性和公認性。當然，這種一般和公認的程度應當以該行業從業人員的普遍注意力為標準。

2. 行業慣例并不是認定不正當競爭行為的決定性標準，最終應該還是最后落實到反不正當競爭法上進行判斷。正如同德國聯邦最高法院在處理FSA訴Kodex一案中指出：“違反行業自律規則可以作為認定不正當競爭行為的證據，但不具有決定意義，而應該是作為法律的反不正當競爭法來判斷是否構成不正當行為” 。

3.判斷是否屬于一個良好的行業慣例應當從其處理不同利益訴求的沖突中入手。反不正當競爭法保護的是競爭者、消費者以及社會公益，競爭行為正當性的一個重要的標準就是行為本身是否符合反不正當競爭法所保護的利益。社會公共利益原則是競爭法的一項重要原則，要求參與競爭活動的個人、法人和其他組織不得違反社會公共利益。在立法目的上，公共利益原則意味著競爭法不僅僅處理競爭者之間的關系，維護競爭者的正當權益，還應該考慮廣泛的利益關系，特別是保護消費者的利益。所以，在確定行業慣例是否具有正當性的問題上，判斷行業慣例是否恰當的處理好競爭主體間的利益平衡是最重要的標準。

（二）爬蟲協議在壟斷行為中的認定

相關市場的界定是反壟斷法執行的前提條件，并且直接影響到案件的最終結果。在反壟斷法中，判斷一個具體行為是否構成壟斷行為應當首先判斷其是否具有市場支配地位。因此，對于經營者濫用市場支配地位行為的規制，應當首先明確經營者競爭的市場范圍，進行相關市場的界定。

根據《反壟斷法》第12條和國務院反壟斷委員會2009年發布的《關于相關市場界定的指南》的規定，“相關市場是指經營者在一定時期內就特定商品或者服務（以下統稱商品）進行競爭的商品范圍和地域范圍”。互聯網產業根據其行業特點大致可以分為兩種類型：一種是互聯網技術發展所產生的新興行業，例如搜索引擎、即時通訊等；另一種就是基于互聯網技術所拓展銷售渠道的傳統商品，例如電子商務。本文所研究的對象爬蟲協議主要應用于搜索引擎的領域之中，屬于互聯網科技發展所帶來的信息市場。由于，互聯網經濟具有較強的網絡效應，而網絡效應易導致正反饋的發生。當用戶對某類網站受歡迎的程度超過了一定程度，將會形成一定的粘著效應，使得該網站的瀏覽人群進一步擴大并獨占市場。這使得一旦該網站進行排他性的設置，禁止相關搜索引擎提供鏈接訪問，將可能迅速的減少使用該搜索引擎的用戶，從而不利于市場的競爭。

根據《反壟斷法》第17條第2款的規定，“本法所稱市場支配地位，是指經營者在相關市場內具有能夠控制商品價格、數量或者其他交易條件，或者能夠阻礙、影響其他經營者進入相關市場能力的市場地位”。在互聯網市場中，大型的門戶網站往往占據了大量的信息資訊，并依托客戶端等產品集聚了大量的用戶群體，導致在一定程度上影響了搜索引擎市場的準入。同時，這些企業也往往自身研發搜索引擎產品并投入使用，所以不能簡簡單單把互聯網服務商和搜索引擎商的相關市場給簡單割裂開來。在《反壟斷法》第17條中規定的幾類濫用市場支配行為中，“拒絕交易”與爬蟲協議的適用中密切相關，因此筆者重點討論這一行為。

拒絕交易又稱抵制行為，即在沒有正當理由的情況下拒絕出售商品或提供服務。根據合同自由的原則，處于市場經濟環境下的企業當然有權挑選與自己進行交易的對象。但是，具有市場支配地位的企業由于在一定程度上可以影響相關市場內商品的價格、數量等其它交易條件，使得它的決定將會對相關市場內的競爭狀態產生至關重要的作用。所以，法律賦予了具有市場支配地位的企業更為特殊的責任。在實踐中，具有市場支配地位的企業如果憑借自己壟斷經營的地位在未經消費者同意并且擅自中斷自己服務的情況下，將會損害其它經營者的利益和市場競爭秩序，而且支配企業也可能將支配地位擴展到另一市場，鞏固和加強自己的壟斷地位。

一般而言，只有當市場主體濫用合同自由原則對競爭造成的損害超過合同自由本身受到限制的損害的程度時，法律才會對合同自由原則加以一定的限制。在判斷這一程度時，通常用“合理原則”來考察拒絕交易行為，即只有當拒絕交易造成的損害超過對市場的有利影響，反壟斷法才會對此加以限制。在爬蟲協議的相關案例中，一些具有市場支配地位的企業在爬蟲協議中拒絕相關搜索引擎的抓取，例如百度這一類網站內容數量和提供的總體服務可能超過我國所占比例的15%，如果百度拒絕某一搜索引擎進行訪問，意味著相當于中國互聯網內容的15%為搜索盲區。如果百度拒絕訪問的這些內容在短期內無法尋找到替代性的商品，無疑會對市場競爭造成嚴重的打擊。同時，百度設置各個環節的robot文件明確排除360搜索，意味著百度明顯在打擊競爭對手，消滅競爭對手。

其次，在衡量拒絕理由的合理性時，除了需要分析支配企業的情況，也應當判斷被許可方自身的情況，對于后者的認定更應該從企業本身的信譽和業績入手。同樣在該案中，百度禁止360的抓取數量相較于百度每天訪問量無疑也是很小的，不會對其服務器本身帶來巨大的影響和故障。而且這些被禁止的內容同樣也是在互聯網上公開發表的內容，其它任何搜索引擎都可以公開的訪問，不涉及任何保密或隱私的信息。所以，360對百度網站訪問抓取并不會對網站造成嚴重的影響，還可以為其帶來客觀的訪問量。

四、結語

互聯網行業的新常態以及新型的競爭對我國競爭法的適用提出了新的挑戰，在法律對具體行為正式作出回應之前，行業慣例充當了一定的作用，并依托法律的一般條款進行認定。當然，行業慣例可以與法律一樣作為平衡不同利益訴求的工具，但也只能夠作為一種參考性的標準，在具體的判決中，還是應當引入到法律中，根據立法目的認定行業慣例是否為一個良好的行業慣例。此外，一個開放、自由、流通的信息網絡需要信息交流的便捷和暢通，一個創新、高速、專業的互聯網經濟也更需要依托對科技的投入和知識產權的保護。所以，在互聯網新型競爭關系下，合理平衡各方利益的行業慣例才可以被稱為良好的行業慣例。

注釋：

中華人民共和國工業和信息化部發布的《我國互聯網市場競爭現狀與問題分析》.http：//www.miit.gov.cn/n11293472/n11293832/n15214847/n15218234/15475341.html.

王先林主編.中國反壟斷法實施熱點問題研究.法律出版社.2011.334，324.

張文顯主編.法理學.法律出版社.2007.300.

范長軍.行業慣例與不正當競爭.法學家.2015（5）.

eBay， Inc.v.Biddcr's Ed}；c，Inc.，100 F.Supp.2d 1058（N.D.Ca1.2000）.

張金平.有關爬蟲協議的國外案例評析.電子知識產權.2012（12）.

此案一審判決書英文版.http：//www.groklaw.nct/articlcbasic.php？story=20070726 152837334.

楊華權、曲三強.論爬蟲協議的法律性質.法律適用.2013（4）.

博登浩森著.段瑞林、湯宗舜譯.保護工業產權巴黎公約指南（附英文譯本）.中國人民大學出版社.2003.97.

張平.違反爬蟲協議能否適用反不正當競爭法一般條款.人民法院報.2013年6月5日，第7版.

范長軍.行業慣例與不正當競爭行為.法學家.2015（5）.86.