有關爬蟲協議的國外案例評析

文 / 張金平

在我國3B 大戰中，爬蟲協議的法律性質受到多方關注，且爭議頗多。本文從有關爬蟲協議的國外案例入手，分析不同國家法院對爬蟲協議的法律定性，發現這些國家對爬蟲協議案件的審理中，都審查了爬蟲協議與版權法規則的關系，或正面認定特定爬蟲協議構成版權法意義上的技術措施，或反面認為數字環境下版權人不采取爬蟲協議可構成默示（版權）許可，抑或認為爬蟲協議不具備版權法意義。盡管這些國外案例的判決并不相同，但對于網絡市場和網絡法律秩序都在發展中的我國來說，仍具有重要的參考意義。

在最近的“3B 大戰”中，爬蟲協議的法律性質成為重要焦點：它是搜索行業的技術標準？是合同法上的協議？還是具有其他法律意義？本文將分析國外有關爬蟲協議的案例，以期能夠為我們準確定位爬蟲協議的法律性質有所助益。

一、爬蟲協議概述

爬蟲協議的概念，源自于英文的“Robots.txt”或“Robot Exclusion Standard”，國內又譯為“爬蟲規則”、“機器人協議”等【1】。爬蟲協議，最早由馬丁·科斯特于1994 年3 月6 日提出，其目的是控制爬蟲程序1.爬蟲是一個計算機術語，指代那些在英特網間爬動并從各種網頁中搜集信息的計算機程序和自動化腳本。搜索引擎商是爬蟲的主要使用者，黑客以及一些網頁信息搜集者也常常使用爬蟲。大量訪問網站，減少網絡堵車。按照馬丁·科斯特的設想，爬蟲協議本身并不是網站所有人與網站用戶之間達成的協議，而是網站所有人單方面采取的一種排除爬蟲訪問的標準（即Robot Exclusion Standard），而且他對Robots.txt 方案的更通俗的稱呼是爬蟲訪問控制政策（Access Policy）【2】。因此，把Robots.txt 或Robot Exclusion Standard 譯成“爬蟲協議”并不嚴謹，但國內基本上已經將之習慣性地稱為“爬蟲協議”，本文也沿用該說法。在1994 年6 月30 日舉行的爬蟲郵件組論壇（The Robots Mailing List）上，爬蟲協議得到了大部分爬蟲設計者和愛好者的認可【2】。此以后，爬蟲協議被廣泛應用，搜索引擎如最早的Altavista、Infoseek、Yahoo 以及后來的Google 都基本遵循這一協議【3】。

要想排除爬蟲，方法是在超文本傳送協議（HTTP）的本地網頁地址（URL，又稱“統一資源定位符”）中建立一個純文本的Robots.txt 文檔，如“http://www.example.com/robots.txt”，詳細寫明爬蟲的訪問政策。在內容上，爬蟲協議的構成一般分為兩個部分，一是User-agent 值，用于設置所要允許或禁止的搜索引擎；另一個是Allow 或Disallow 值，用于設置特定搜索引擎所能訪問或禁止訪問的哪些內容。下面舉兩個例子[2]：

例1. 禁止所有搜索引擎訪問網站的任何部分

User-agent: *

Disallow: /

例2. 除了“cybermapper”的爬蟲外，任何其他爬蟲禁止訪問任何以“/cyberworld/map/”地址開始的網頁。

User-agent: *

Disallow: /cyberworld/map/

# Cybermapper knows where to go.

User-agent: cybermapper

Disallow:

按照上述方法設置后，爬蟲協議就可以在任何萬維網服務器中執行，而且一旦設置，爬蟲要訪問該網站，首先需要檢索該爬蟲協議，以確定自己的訪問權限，據此進行下一步操作：或者停止訪問，或者按照協議要求進行全部或部分訪問。

不過，該設置也有一個缺點：只有網頁所有者才能設置爬蟲協議，使用該網頁的其他人并無法進行設置【2】。

然而，爬蟲協議并不是一個標準機構指定的官方標準。因此，爬蟲協議沒有官方機構進行強制執行，也就無法保證現在和以后的爬蟲會遵守它。但是，爬蟲協議是大多數爬蟲設計者為萬維網社區提供的一個保護萬維網服務器免受爬蟲騷擾性訪問的通行做法【3】。2008年，美國印第安大學的兩個研究生曾經就爬蟲協議的使用情況作了一個調查。根據他們的調查，在當時萬維網上22%的網頁使用了爬蟲協議，而且以“.gov”為頂級域名的網頁基本上使用了爬蟲協議【4】。

二、國外爬蟲協議的法律性質

到目前為止，還沒有哪個國家的法律規定爬蟲協議必須得到遵守，或者規定爬蟲協議構成網頁所有者與爬蟲使用者之間達成的有法律效力的合同。不過，近幾年國外幾個案件涉及到了爬蟲協議的法律糾紛，不同國家的法院或者同一國家的不同法院對于爬蟲協議的法律性質有不同的認識。

從美國eBay v. Bidder's Edge 案判決看來，違反爬蟲協議的訪問行為是一種主觀上具有惡意和客觀上會造成不良影響的行為。

（一）美國法院判決：違反爬蟲協議是一種惡意行為，也可能構成規避版權人采取的有效控制其版權作品訪問的技術措施 ，不采取爬蟲協議還可能構成默示許可

據現有公開資料顯示，美國有兩起案例的判決直接涉及爬蟲協議，有兩起案件間接涉及爬蟲協議。

1．eBay v. Bidder's Edge 案【3】

在該案中，eBay 是電子交易網站，用戶使用該網站進行電子交易必須注冊，并且同意《eBay 用戶協議》。其中，該協議規定任何人在事前未經eBay 的明確書面授權，不得使用爬蟲程序監視和收集其網頁內容。另外，eBay 網使用爬蟲協議，并通過IP 地址跟蹤技術來監測爬蟲是否遵守該協議，如果未遵守則進行屏蔽。Bidder's Edge（下稱BE）是一個提供一站式拍賣搜索的服務提供商，其數據庫搜集包括eBay 在內的電子交易網站大量的拍賣信息，從而使其用戶免于去不同電子交易網站進行單獨的搜索，但其本身并不提供電子交易服務。1999 年4 月24 日，eBay 口頭同意BE 在接下來的90 天內使用爬蟲搜集其網頁信息，但雙方對搜索方法存有爭議而未達成書面協議。1999 年9 月，eBay 電話要求BE 停止提供其網站的交易信息，BE 也按要求停止了。但隨后，BE 發現其他從事相同業務的其他網站仍然可以提供eBay 的交易信息，因此BE 在1999 年11月2 日召開新聞發布會，聲明其恢復提供eBay 的交易信息。eBay 與 BE 協商未果2，遂提起訴訟，要求法院禁止BE 提供其交易信息。3. eBay 僅要求法院發出禁令，并未請求損害賠償。

加州北區法院羅納德·懷特法官在判斷是否發出臨時禁令時，主要審查BE 的強行訪問行為是否可能侵害eBay 的合法權益，以及如果不發出禁令是否會造成eBay 的不可挽回的損害。eBay 主張由于BE 的行為相當于每天發出10 萬個爬蟲軍團搜查其網站的交易信息，造成其系統的超負荷。懷特法官認為該主張還不足以認定BE 的行為會造成不可挽回的損失，因為用戶還可正常訪問eBay 的網站并進行交易。繼而，eBay 主張，如果放任BE 的行為，將會慫恿其他與BE 從事同樣業務的公司肆無忌憚地搜索eBay 的交易系統，將致使eBay 因系統癱瘓或數據丟失而遭受不可挽回的損失。BE 并未強烈反對eBay 由于系統運行能力的下降和數據丟失會導致eBay 的經濟利益損失和客戶聲譽損失，懷特法官認為這些損失是不可挽回的，因為它們既難以估算，也難以彌補，故以此發出禁令救濟是恰當的【3】。

另外，對于eBay 允許其他公司的爬蟲程序訪問其網站是否構成歧視的問題，懷特法官指出：“eBay 主張的不可挽回的損失是假如允許被爬蟲程序繼續惡意訪問，將會鼓勵頻繁而無節制的爬蟲訪問直到造成其系統的不可挽回的損失。這里并沒有證據證明eBay 有歧視性地許可其訪問者。相反，eBay更像是在作謹慎的選擇，以選擇數量有限的遵守其許可協議的一站式網站（即與

2. 雖然eBay 可以通過IP 地址跟蹤技術來屏蔽來自BE 的爬蟲訪問，但BE 改用代理服務器的方式調用爬蟲訪問eBay 網站，由于代理服務器具有隱藏IP 地址等功能，此時再用IP 地址屏蔽，就容易擴大屏蔽的范圍。BE 從事同樣業務的網站）。”【3】最后，懷特法官同意了原告的訴求，向BE 發出了臨時禁令。4. 該案后來以和解結案。據eBay 的代理律師透露，BE 同意停止使用爬蟲訪問eBay 網站并支付一定的補償金。

因此，至少從本案來看，違反爬蟲協議的訪問行為是一種主觀上具有惡意和客觀上會造成不良影響的行為。

2．Healthcare Advocates, Inc. v. Harding, Earley,Follmer&Frailey 案【5】

在該案中，原告Healthcare Advocates 公司是一個醫療咨詢機構，協助其客戶處理就醫問題。被告Harding 是一家知識產權律師事務所。案件起因是原告Healthcare Advocates公司起訴其競爭對手侵犯其商標權和商業秘密，而該競爭對手委托了被告Harding律所的律師作為代理律師，被告為了調查案件事實，在2003 年7 月9 日至14 日期間，使用網絡檔案網（www.archive.org）提供的工具“時光機”（Wayback Machine）來訪問原告的網站，截取網頁快照，并將這些快照打印出來用于商標侵權訴訟中。在本案中，原告認為被告使用時光機規避其技術措施（即爬蟲協議），違反了千禧年數字版權法（DMCA）。

值得注意的是，案外人網絡檔案網是一家非營利性機構，它使用爬蟲在互聯網上收集各類信息，然后將收集到的網頁快照以時間先后制成檔案，并免費提供各大網站的網頁快照；對于不愿被收集的網站可用爬蟲協議等方法要求網絡檔案網不得收集。由于原告在2003年7 月7 日之前并未使用爬蟲協議，所以網絡檔案網保存了原告在此之前的網頁快照。按照網絡檔案網的政策，本來這些收集的網頁快照不得再向公眾提供，但由于網站系統故障的原因卻向被告予以提供。但原告認為被告并沒有遵守爬蟲協議，規避了其技術措施。

2007 年7 月20 日，賓夕法尼亞東區法院法官羅伯特·凱利法官認為：涉案的措施是爬蟲協議。目前還沒有法院確認該協議通常構成DMCA 意義上的、控制訪問的有效技術措施。該協議本身并不能等同于電子密碼保護或者加密密碼。然而，在本案中，當所有通過時光機運行的系統正常運行時，Healthcare Advocate網站正確編寫的爬蟲協議的設置，就起到了阻止用戶訪問其網頁快照的作用。而能訪問的唯一途徑是Healthcare Advocate 從其網站上移除該爬蟲協議。因此，在這種情況下，爬蟲協議構成一個有效控制Healthcare Advocate訪問的技術措施。這樣的認定僅適用于本案，而不應擴大解釋為爬蟲協議都可以構成DMCA 意義上的控制版權作品訪問的技術措施【5】。

盡管凱利法官認為該案中爬蟲協議構成版權法意義上的有效控制版權作品訪問的技術措施，但是本案中被告之所以能夠訪問到原告網站上的內容并不是因為被告繞過了該技術措施，而僅僅是因為網絡檔案網的系統故障造成的。故凱利法官駁回了原告有關被告繞過其技術措施的主張。無論如何，該判決首先確立了爬蟲協議有可能構成版權法意義上的有效控制版權作品訪問的技術措施。

Healthcare Advocates, Inc. v. Harding, Earley, Follmer&Frailey 案 中，盡管凱利法官認為爬蟲協議構成版權法意義上的有效控制版權作品訪問的技術措施，但是本案中被告之所以能夠訪問到原告網站上的內容并不是因為被告繞過了該技術措施，而僅僅是因為網絡檔案網的系統故障造成的。故凱利法官駁回了原告有關被告繞過其技術措施的主張。

3．Field v. Google等間接涉及爬蟲協議的案件【6】【7】

在美國，有幾起搜索引擎服務提供商版權侵權案件間接涉及爬蟲協議，法院對涉案的原告采取或未采取爬蟲協議也有一定的法律評價。在Field v. Google案中，原告菲爾德將其作品放置在自己開設的網站上，并使用爬蟲協議允許所有的搜索引擎進行訪問和檢索，而被告谷歌使用“網頁快照”（snapshot）5. 網頁快照與縮略圖在形成技術上基本相同，二者都是搜索引擎的爬蟲定期抓取的網頁內容的檢索版本，用戶通過搜索引擎可以看到二者，但這些內容并不是被檢索網頁的實時內容；二者的不同點是前者主要針對文字性網頁內容，后者主要針對圖像性網頁內容。的形式將原告的網頁內容緩存于系統并向公眾提供，原告主張被告的上述行為構成版權侵權。內華達地區法院注意到，原告主張谷歌版權直接侵權并不是因為其使用爬蟲抓取、復制并緩存，而是因為當谷歌用戶點擊緩存鏈接時，用戶從谷歌電腦系統中下載了原告享有版權的作品的網頁快照。因此，法院認為原告所主張的侵權復制行為并不是谷歌的行為，而是用戶的行為，谷歌在這個過程中是被動的，沒有用戶的請求，該侵權復制件并不會產生并發送給用戶，因此谷歌的這種行為并不構成版權侵權。另外，在該案訴訟中，谷歌提出默示許可和違反禁止反言等抗辯。對于谷歌的默示許可抗辯，法院指出，原告在庭審中已經承認自己清楚搜索行業的標準機制，他可以使用“不得檢索”標簽方法6. 但這里未明確列舉爬蟲協議。來告知谷歌不得使用網頁快照，盡管如此，原告還是選擇不使用上述方法，他這樣做，完全知道谷歌會據此認為允許以網頁快照的形式向公眾提供。因此，法院認為原告的上述行為可以合理地解釋為默示許可谷歌對原告作品以網頁快照的形式向公眾提供，故判決谷歌有資格（因為谷歌被訴行為已經認定不侵權）提出默示許可抗辯。對于禁止反言抗辯，法院指出谷歌應該證明四點7. 法院指出，違反禁止反言是指原告如果曾幫助或引誘被告侵權，或者通過默示或不作為等行為給予支持，仍主張維權。法院要求谷歌證明四點：一是菲爾德知道谷歌涉嫌侵權；二是菲爾德希望谷歌信賴其（默示或不作為的）行為，或者致使谷歌有權利相信菲爾德是希望這樣的；三是谷歌忽視了事實的真相；四是谷歌不利地相信了菲爾德的行為。，對于第二點要求，法院認為，菲爾德本可以通過“不得存檔”標簽或設置適當要求的爬蟲協議8. 不同于法院有關默示許可抗辯的判理，法院這里明確提出了爬蟲協議。但在技術上來看，設置恰當的爬蟲協議或標簽都可以告知搜索引擎不得對其網頁內容進行存檔。來告知谷歌不得提供網頁快照；相反，他選擇了沉默，而且知道他的沉默會被谷歌自然而然地解釋為許可其使用網頁快照，因此菲爾德的默示，尤其是在他知道該模式的后果的情況下，滿足禁止反言的第二個因素【6】。綜合該案法院對谷歌默示許可和禁止反言兩大抗辯的認定來看，內華達地區法院雖然沒有直接去評價爬蟲協議的法律性質，但明確認為版權人可以采取適當的（本案菲爾德采取的是全部許可的）爬蟲協議或“不得存檔”的標簽都能起到告知谷歌不得緩存其版權作品的效果，而如果版權人知道這兩個技術手段有這個效果仍不采取時，就可以構成默示許可，或者綜合其他因素認定版權人后續向搜索引擎服務提供商提出侵權主張時違反禁止反言規則。

另外，在同樣涉及網頁快照的Parker v. Yahoo,Microsoft 案中，賓夕法尼亞地區法院沿襲Field v.Google 案的判決，認為版權人帕克未采取恰當的爬蟲協議或標簽來告知雅虎或微軟不得緩存其版權作品，據此兩被告可以推理出帕克知道并鼓勵其搜索引擎進行檢索和緩存，故帕克的行為構成默示許可【7】。

Field v. Google 等間接涉及爬蟲協議的案件中，法院均認為版權人可以采用適當的爬蟲協議或者“不得存檔”標簽從而起到告知谷歌不得緩存其版權作品的效果，而如果版權人知道這兩個技術手段有這個效果仍不采取時，就可以構成默示許可。

（二）比利時法院判決：網絡環境下未使用爬蟲協議等技術措施不代表版權人的默示許可【8】【9】

2006 年1 月，谷歌在比利時開展了免費了“谷歌新聞”服務，這些新聞內容是谷歌使用爬蟲程序從比利時各大網站抓取的內容，并緩存于其服務器中。其中，這些內容包括了比利時Copiepresse、SAJ 和 Assucopie三大機構的版權作品。這三大機構認為谷歌新聞并不是一個簡單的新聞搜索服務，而是一個書面新聞門戶網站，而且谷歌在未獲得版權人許可的前提下復制并向公眾提供其版權作品，故起訴谷歌版權侵權。在訴訟過程中，谷歌提出了兩個重要的侵權抗辯：一是網絡環境下，出版商可以選擇采取全球通行的爬蟲協議等技術措施9. 谷歌還列出了另外一種與爬蟲協議產生同樣效果的技術措施，即meta-tags。來告知其訪問政策，然而其并未選擇這樣做，這說明他們明確，或者至少默示同意他們的網頁可以被索引并可通過緩存鏈接進行訪問；二是谷歌認為一方面網絡環境下版權人可以非常簡單避免谷歌的爬蟲訪問其網站，從而阻止其搜索引擎緩存版權人的作品，也就不會造成其作品出現在谷歌新聞中；另一方面是谷歌不可能向所有其搜索引擎訪問的網頁所有人進行聯系并獲得授權，因此這三大機構提供版權侵權訴訟構成權利濫用【8】。

2007 年2 月15 日，布魯塞爾初審法院認為，版權是一種排他性的專有權，在內容上包括了復制權和傳播權，使用他人版權作品必須事先獲得版權人的同意，谷歌搜索引擎訪問他人作品后將其緩存，而且緩存的內容在其服務器內保存很長一段時間，該行為構成版權法意義上的復制；另外，將其搜索引擎緩存的內容繼而在谷歌新聞服務中向公眾提供構成版權法意義上的傳播，這兩個行為都未得到版權人的許可，故構成版權侵權。對于谷歌的默示許可抗辯，初審法院認為有兩點理由可以反駁谷歌的抗辯，一是版權是排他性專有權，使用他人版權作品須事前獲得授權；二是谷歌新聞并不僅僅是援引他人作品，而是大量復制作品的標題和摘要并向公眾提供。因此，谷歌的默示許可抗辯并不成立。至于谷歌的權利濫用抗辯，初審法院認為，對于版權人是否構成權利濫用，不僅要考慮版權人的行為，也要考慮侵權人谷歌自身的行為，如果不考慮谷歌必須事先獲得授權的行為，那至少要考慮谷歌有必要采取措施停止侵權、減少損失；因此，考慮到谷歌在三大機構提起版權訴訟并要求停止侵權后，谷歌自行停止了繼續侵權的情況，作為版權人的三大機構并沒有證據證明其濫用了權利【8】。綜合上述及其他原因，初審法院發出了停止侵權的禁令。谷歌不服，提起上訴。

德國有關爬蟲協議的案例也引起熱議，其訴訟歷經一審、二審和再審，最后德國聯邦最高法院認為，原告對其作品享有排他性專有權，谷歌未經許可以縮略圖的形式使用其作品，并不屬于著作權法意義上的合理使用，侵犯了原告的著作權。而在網絡環境下，原告知道可以輕易采取卻不采用爬蟲協議，則可推定其默示許可谷歌以縮略圖形式使用其作品。

2011年5月5日，布魯塞爾上訴法院駁回谷歌上訴，基本維持了一審判決，但縮小了禁令的適用范圍（從停止所有谷歌網站使用限縮到停止谷歌的“google.be”和“google.com”網站）。對于谷歌的默示許可理由（即未采取爬蟲協議等技術措施），上訴法院仍然強調版權是排他性權利，版權的標準規則是使用須先獲得版權人授權，因此，正確的選擇與谷歌所謂的技術措施選擇恰恰相反，即應當遵守版權的標準規則【9】。換句話說，在比利時，法院并不反對版權人可以選擇采取爬蟲協議作為一種控制爬蟲訪問作品的技術措施，但是根據版權的標準規則，如果版權人不采取爬蟲協議，并不代表版權人明示，或至少默示許可他人使用其作品。

（三）德國法：網絡環境下著作權人不采取爬蟲協議技術措施可構成默示許可【10】【11】

2005 年，德國一名視覺藝術家起訴谷歌著作權侵權，理由是谷歌未經許可在其搜索引擎上提供她享有著作權的圖片的縮略圖（Thumbnail）。不過，原告將她的藝術品放到自己的網站上時，并未在其網站上設置爬蟲協議。

一審法院確認了原告對其圖片的版權，但認為谷歌使用縮略圖并非侵權行為，理由是原告將其圖片放在網頁上就可以推定其默示許可他人使用。法院的判決理由是：

一方面，網絡上充斥著各種信息，區分重要信息和不重要信息的問題是普遍存在的，為了解決這個問題，網民極度依賴搜索引擎提供的服務。另一方面，任何人在網絡上開設自己的網站，無非是要自己的網站受到他人的關注。由于縮略圖比言詞更為重要，它們在搜索引擎中的出現對于網站所有人而言也是具有重要意義的。法院因此認同這樣的觀點：版權人將其作品在網絡環境下免費提供，就默許對其作品檢索時的必要復制。

著作權人沒有顯著的利益去禁止那些自己免費提供的圖片的縮略圖（使用）。由于網頁所有人固有的利益是吸引盡可能多的人關注其網站，那么，作為著作權人的網頁所有人必須默示許可后續的所有促進其網頁訪問的行為。如果不同意，他可以在其網頁的源程序中設置命令（即前面提到的爬蟲協議）來禁止他人訪問【10】。

然而，一審法院的上述判決引起了很大的爭議：一是在德國法下默示許可是非常罕見的著作權侵權例外；二是德國著作權法明確了在一定限度內的著作權侵權例外，在適用例外的目的限度內是可以自由使用作品，但超過該必要限度就屬于侵權。搜索引擎并不一定要使用縮略圖才能提供搜索服務，著作權人也就沒有必要默示許可搜索引擎使用其作品。基于上述原因，原告提起了上訴。

二審法院維持了一審判決，但其并不認同一審法院的默示許可理由，而采用了禁止反言規則。二審法院認為，原告主張其版權是構成權利濫用，因為她曾（積極地）使用策略來優化搜索引擎對其網頁的檢索，例如她不斷優化其網頁的META 標簽。10. META 標簽用來描述一個HTML 網頁文檔的屬性，例如作者、日期和時間、網頁描述、關鍵詞、頁面刷新等。由于她通過自己的積極行為來吸引爬蟲程序，因此其主張谷歌侵犯其著作權構成“反言”（venire contra factum proprium）。

盡管禁止反言的理由比默示許可好一點，但原告仍然不服，向德國聯邦最高法院提起再審。德國聯邦最高法院認為，原告對其作品享有排他性專有權，谷歌未經許可以縮略圖的形式使用其作品，并不屬于著作權法意義上的合理使用，侵犯了原告的著作權。但是原告作為著作權人，在網絡環境下，如果其不愿其網站上的作品被搜索引擎檢索到，那她可以很簡單地采取技術措施不讓爬蟲訪問，但她沒有這樣做，這就說明她已經默示許可谷歌等搜索引擎可以縮略圖的形式使用其作品，故谷歌的行為并不侵權【11】。

三、結論

爬蟲協議是1994 年以來網站所有人一貫采取的爬蟲訪問控制政策。而且，從各國有關爬蟲協議的案件判決來看，網站所有人在作為版權人的情況下是否采取爬蟲協議具有重要的版權法意義：美國法院在eBay 案中雖然沒有明確認定爬蟲協議是版權法中的技術措施，但指出違背爬蟲協議的訪問是一種可能導致“無節制”因而必須加以禁止的行為；美國法院在Healthcare 案中明確判決爬蟲協議在該案中構成版權法中的有效控制作品訪問的技術措施；美國法院在Field 和Parker 案中認為版權人在知道爬蟲協議作用的情況下不采取恰當的爬蟲協議可認定為默示許可搜索引擎服務提供商以網頁快照的形式使用其作品，甚至在Field 案法院認為版權人后續提起版權侵權訴訟違反了禁止反言規則；比利時法院并不排斥版權人在網絡環境下采取爬蟲協議來控制爬蟲訪問其作品，但根據版權作品使用必先授權的標準規則，版權人可以選擇不采取爬蟲協議，且不采取該措施也不構成默示許可，后續提起侵權訴訟也不構成權利濫用；而德國法院認為爬蟲協議是版權人在網絡環境下保護其版權的一個很簡單的措施，如果不采取該措施就意味著默示許可他人的訪問。盡管這些判決存在差別，但都明示或者至少暗示爬蟲協議構成網絡環境下版權人可以采取的有效控制訪問的技術措施，或者至少肯定了設置恰當的爬蟲協議可以向搜索引擎服務提供商起到告知（是否允許復制）的作用。因此，至少在上述幾個國家，網絡環境下爬蟲協議的版權法意義不得否認，更不能無視。

【1】百度百科.爬蟲協議[G/OL][2012-12-16].http://baike.baidu.com/view/1280732.htm.

【2】Martijn Koster. A Standard for Robot Exclusion[C/OL](1994-06-30)[2012-12-16].http://www.robotstxt.org/orig.html.

【3】eBay, Inc. v. Bidder's Edge, Inc., 100 F. Supp. 2d 1058 (N.D. Cal. 2000).

【4】Smitha Ajay and JaliyaEkanayake, Analysis of the Usage Statistics of Robots Exclusion Standard[J/OL][2012-12-07].http://grids.ucs.indiana.edu/ptliupages/publications/IADISConferenceRobtoExclusion.pdf.

【5】Healthcare Advocates, Inc. v. Harding, Earley, Follmer&Frailey, 497 F. Supp. 2d 627 (E.D. Pa. 2007).

【6】Field v. Google, 412 F. Supp. 2d 1106 (D. Nev. 2006).

【7】Parker v. Yahoo!, Inc., 2008 U.S. Dist. LEXIS 74512 (E.D. Pa. Sep. 26, 2008).

【8】The Decision of the Court of First Instance in Brusselson Copiepresse v. Google[R/OL](2007-07-26)[2012-12-16].http://www.groklaw.net/articlebasic.php?story=20070726152837334.

【9】Philippe Laurent. Copiepresse SCRL & alii v. Google Inc. In its decision of 5 May 2011, the Brussels Court of Appeal confirms the prohibitory injunction order banning Google News and Google’s “in cache” function[J]. 542 Computer Law & Security Review, 27: 5.

【10】LG Erfurt. Urteil vom 15.03.2007 - Az. 3 O 1108/05 [R/OL][2012-12-16]. http://medien-internet-und-recht.de/volltext.php?mir_dok_id=615.

【11】BGH. Pressemitteilung Nr. 152/11 vom 29.9.2011[R/OL][2012-12-16].http://juris.bundesgerichtshof.de/cgi-bin/rechtsprechung/document.py?Gericht=bgh&Art=en&sid=63d8905a55b4685df3eb6eae67ba3e41&nr=59857&pos=0&anz=1.