違反robots協議之商業大數據抓取行為的類型及其法律規制

余瑋

(中國計量大學 浙江杭州 310000)

1 引言

2016年中共中央辦公廳、國務院辦公廳印發的《國家信息化發展戰略綱要》指出“：信息資源日益成為重要的生產要素和社會財富。”在當今社會，商業數據在企業的競爭環境中扮演著愈發重要的角色，商業數據已不僅僅作為商業往來過程中信息的記載形式而存在，更是在提高互聯網經濟體競爭力、加強互聯網經濟體市場優勢地位的過程中起到不可或缺的作用。

與此同時，社會生活中與數據有關的糾紛有隨之上升的趨勢。robots協議作為互聯網企業之間約束對方數據訪問與抓取行為的重要約定，在法院據此以《反不正當競爭法》來判定抓取行為是否構成違法的過程中有著重要影響。然而由于互聯網商業經濟的發展速度遠快于該領域的立法進程，相關法律法規當前尚處于滯后狀態。根據現有判決來看，法院往往會依據《反不正當競爭法》對涉案主體的行為是否具有不正當性作出判斷。通常認為若數據控制主體對部分網頁內容設置了robots協議，那么原則上對該部分內容的抓取行為就具有不正當性因而構成不正當競爭，若數據控制主體沒有設置robots協議，則抓取行為原則上不構成不正當競爭。然而，互聯網領域所涉商業數據種類以及侵權方式各有不同，robots協議雖然在幫助法院裁判的過程中具有一定的作用，但究其本質其不具有法律效力。robots協議對于法院案件裁判的影響力有多大，抓取方無視robots協議進行商業數據抓取的行為或商業數據控制方事先為了反抓取而設robots協議的行為是否構成不正當競爭，當前并無統一規則予以參考。因此若要認定數據抓取或反抓取的行為具有違法性，還需具體結合被訴方的行為手段、數據本身的類型以及獲取數據后的具體使用行為進行個案判定，直接以robots協議的有無作為涉數據案件的裁判依據的做法尚值得商榷。本文擬通過對當前涉robots協議的典型案件進行分析，提煉出涉商業數據糾紛案件的共性，以期使互聯網商事主體對自身的抓取與反抓取行為有更為清晰的指引和參考。同時，嘗試對司法裁判過程中出現的疑點與爭點提出新的主張與建議，為解決實務中的爭議提供新的思路。

2 robots協議限制下的案件類型探析

robots協議最早是內容網站為了避免搜索引擎抓取無效內容，同時也為了保護內容網站的信息安全與涉密隱私而單方制定的，事先無需征得對方同意。同時該協議只是單方約定與提示，技術上并無防止其他網站抓取的效力。隨著互聯網環境的日趨復雜，當前數據信息的抓取與被抓取已不僅僅存在于互聯網內容網站與搜索引擎之間，互聯網企業間與聚焦網絡爬蟲相關的案件日趨增加。其中一部分案件的特征便是在robots協議存在的情況下，一些互聯網企業不顧robots協議提示，依舊對數據內容網站的數據進行抓取。在此類案件中，法院是否可以據此直接認定數據抓取方構成不正當競爭，數據內容網站是否有可能為了惡意限制其他互聯網企業的正常運營，進而針對某一企業專門設置robots協議來禁止合理正當的互聯網企業間的信息流通？在與robots協議有關的數據糾紛案件中，對于抓取方而言，抓取行為與使用行為是手段與目的之間的關系，對于數據控制方而言，設置robots協議與限制其他企業抓取是手段與目的之間的關系。同時由于互聯網環境的復雜性，不宜直接認定抓取方略過robots協議提示的數據抓取行為構成不正當競爭，而應通過使用行為的目的是否正當，有無對數據控制方造成損害等情形進行具體分析。本文通過對此類案件進行進一步分析，以加深理論與司法實踐中人們對于存在robots協議限制的案件認知。

2.1 robots協議限制具有正當性的情形

在互聯網企業競爭過程中，數據控制方往往會出于某些因素的考量而禁止其他互聯網企業對自己網站的部分內容進行抓取，這類禁止行為或出于合理的理由，或出于限制競爭對手的目的，或者是為了搶奪商業流量及潛在客戶的需要。即使數據控制方事先對其他網絡主體的抓取行為進行過限制，法院在裁判過程中也不應以存在限制協議為由就認為數據抓取行為構成侵權，只有當數據控制企業的限制行為具有合理性的時候，抓取者忽視協議的要求徑直抓取的行為才有可能構成不正當競爭。因此對于合理性事由的認定，成為判斷抓取行為是否具有不正當性的重要因素。本文認為，若涉案數據屬于用戶的隱私信息、個人信息，或者是商業秘密，或屬于衍生數據，對于這三類數據通過robots協議進行事前保護通常具有一定的合理性。數據控制平臺的該種限制行為并不違反互聯網互聯互通與信息共享的原則，此類限制行為不應被認定為具有不正當性。此時商業數據抓取方的抓取行為通常會被法院認定為構成不正當競爭。例如對于涉及商業用戶隱私的數據或涉及用戶個人信息的數據，若數據抓取方未征得用戶同意，忽視robots協議的限制并直接通過技術手段從平臺獲取此類商業數據進行同質化競爭，便構成不正當性。同時對于構成商業秘密的數據以及經原始數據搜集分析后形成的衍生商業數據而言，由于這類數據系企業投入較多人力物力成本，數據經過長時間積累才得以形成，此類商業數據對于企業的經營與發展具有較大的幫助，企業往往對此享有受競爭法保護的財產性權益，因此企業通過設置robots協議禁止他方主體抓取該類數據的做法合情合理，此時他方主體若擅自抓取上述數據并對數據控制企業造成損失的，則構成不正當競爭。當然，除上述三種數據類型以外，若企業出于維護自身網站正常運行的需要或出于社會公共利益的需要考慮，對抓取行為的限制也同樣具有合理性，前者如商事網站為了正常運營秩序而排除其他網站的爬蟲多次重復惡意的訪問干擾以避免自身網站癱瘓，后者如鐵路購票網站基于社會公共利益考慮而對自動搶票軟件的爬蟲進行的抓取限制。

2.2 robots協議限制無正當性的情形

在涉案數據屬于用戶隱私信息數據、商業秘密類數據或衍生數據的情況下，數據控制方使用robots協議對該類數據進行保護可被認定為具有合理性。但由于當前互聯網企業間競爭模式的多樣化，以及商業數據越發具有經濟與商業競爭上的雙重價值，部分企業為了保護其他對己方有利的商業數據或是從自身商業策略角度出發，對于上述數據以外的商業數據也會采取設置robots協議的方式向數據抓取方表明自己不愿意將數據被互聯網爬蟲抓取的態度。然而，robots協議在出現初期便是以數據共享為目的，為了促進高效的信息流通，避免數據抓取者抓取到無用的信息而設置的，其默認語言是允許抓取，因此從robots協議最初設立的意圖角度而言，企業通過設置robots協議的方式進行市場競爭屬于robots協議運用過程中的例外情形。但在近些年國內外相關判決案件中，亦有案例承認數據控制企業可以通過robots協議的方式對自身數據作出一定安排，屬于企業自主經營權的一部分。例如某案例中微博通過robots協議對今日頭條的抓取行為作出限制，法院在最終判決中承認了微博的這一自主經營權，值得注意的是，法院在該案的一審階段作出了與二審截然相反的判決。因此，企業對其商事數據進行抓取上的限制行為是否具有正當性，是企業自主經營權的體現還是對互聯網互聯共享原則的違反，這些問題值得進一步探究。本文認為，企業對用戶的隱私數據或信息數據、商業秘密以及衍生數據的限制可被認定為具有正當性，屬于合理理由的限制。但對于上述數據以外普通數據的抓取行為進行限制的，由于違背了互聯網數據共享與流通的原則，以及企業間自主采取針對性限制措施的方式會擾亂互聯網競爭秩序進而損害普通用戶使用互聯網的便利性，這類限制數據抓取的行為應屬于無正當性的robots協議限制情形。關于“無正當性”的認定，作者對此作廣義理解，即除上述具有正當性三種情形以外的其他情形，均認定為不具有正當性的情形，具體可根據限制方主觀方面是否惡意將限制行為區分為“數據控制者惡意限制情形”以及“其他無正當性的限制抓取情形”，本文將在下文對這兩種情形具體展開論述。

2.2.1 數據控制企業惡意限制情形

對于隱私數據、商業秘密數據、衍生數據以外的商業數據，若數據控制方對抓取行為的限制具有惡意的情形且損害了抓取方的合法利益，則數據控制方的限制行為應受到法律規制。然而對于“惡意”的認定，可通過雙方主體是否具有同業競爭關系，是否為了達到市場壟斷效果，有無損害其他企業的目的以及是否具有違反《反不正當競爭法》的行為這幾個方面進行考量。典型案例如百度通過設置robots白名單的方式對360引擎的抓取行為進行限制，由于兩者同為搜索引擎服務企業，雙方具有同業競爭關系，百度為了自身企業的發展，在已允許當時國內外主流搜索引擎抓取其信息的情況下，針對性地對360網站的抓取行為進行限制。由于兩者具有同業競爭關系，百度對360網站的限制行為可被認為具有歧視性，該行為將降低360用戶的使用體驗，限制360搜索引擎的發展進而穩固百度方自身的市場競爭地位。對于整個互聯網環境而言，若所有互聯網企業均為了企業自身利益而任意對其他互聯網企業的抓取行為進行限制，必將影響整個互聯網領域信息流通的效率性和便捷性。因此百度的限制行為不具有正當合理的理由，損害了360搜索引擎的市場競爭利益，對360搜索引擎造成了損害，擾亂了公平的市場競爭秩序，符合具有惡意的限制情形，應受到競爭法的規制。同時，數據控制企業對抓取行為采取限制措施的正當性和抓取方突破限制后抓取使用行為的正當性應當分別評價。此時在數據控制方具有過錯的情形下，數據抓取方突破數據控制企業的惡意限制，對所抓取的數據進行合理合法使用的行為，可被認定為存在正當性，抓取行為不構成不正當競爭。但若數據抓取方抓取數據后具有不正當的使用行為，對數據控制企業造成損害的則仍需要進行賠償，例如在上述案例中，百度對360公司不當抓取、鏈接的行為提出了訴訟主張，法院也對該主張予以了支持。

同時需要說明的是，爭議雙方是否具有同業競爭關系只是判斷數據控制企業限制行為是否惡意的參考因素而非必備要素，在某些情形下，即使企業雙方并無同業競爭關系，數據控制企業出于自身利益而對其他企業的抓取行為進行惡意限制的，只要對其他企業構成損害，依舊屬于侵權行為，應受到法律的規制。

2.2.2 其他無正當性的限制抓取情形

通常，在數據控制方為了限制其他企業發展，或為獲得市場壟斷地位而惡意設定限制數據抓取措施的情形下，可較為清晰地將上述情形認定為具有不正當性。但若是某數據控制企業在采取限制抓取的措施時既無主觀上的惡意限制情形，又不存在具有正當性的合理理由，此時該限制行為是否具有不正當性？限制行為是否應受到《反不正當競爭法》的規制？對此值得探析。在微博與今日頭條訴訟中，一二審法院作出了截然相反的判決，其中二審法院認定微博的限制行為屬于企業的經營自治行為而具有正當性，不構成不正當競爭，但在一審的判決中，法院對微博方限制抓取行為的不正當性的論述同樣具有說服力。本文認為，造成一二審判決截然相反的原因在于微博方的限制行為雖然存在一定的不合理性，但該不合理尚不足以達到應受《反不正當競爭法》規制的程度，這也是二審法院能得以推翻一審法院判決的原因所在。

該類限制抓取行為的惡意若尚未達到應受《反不正當競爭法》規制的高度，則不應通過《反不正當競爭法》來進行規制，但由于該種限制其他主體進行抓取的情形依舊具有一定的不正當性，因此本文將此類情形一并列入“無正當性的robots協議限制情形”項下進一步展開討論。對于無正當性的原因，筆者將結合微博訴今日頭條一案展開論述。第一，從互聯網互聯互通層面考量，除涉及內部商業秘密、敏感數據以及客戶隱私信息外，對于來自用戶的普通信息，網站不應當進行限制。否則若任一數據控制方都能對自身的普通商業數據進行限制的話，最終會擾亂互聯網市場開放共享的環境，同時也將影響普通消費者獲取信息的便捷性。第二，數據控制主體對他人數據抓取行為的限制應具有合理理由，如自身數據屬于商業秘密，涉及用戶的個人信息或隱私，或是對自身戰略布局有重要影響的衍生數據，則通過robots協議進行限制具有合理性。微博與今日頭條案件中的數據屬于公開數據類型，因此其限制數據的行為不具有合理性。第三，微博方主張其針對今日頭條設置robots協議的原因是其認為今日頭條是不受歡迎者，今日頭條曾經的多項侵權行為均可表明微博對其限制存在合理性，但今日頭條一方抓取數據后不合理使用的行為不代表微博方事前的限制行為具有合理性，該種限制類似于互聯網企業間所采取的自力救濟，通過主體間的限制以保護自身數據權益，但互聯網數據控制企業自身對于數據被抓取后的使用行為究竟屬于合理使用、創新行為抑或是構成實質性替代難以有準確的界定，私自設限的行為會阻礙數據創新與合理使用的數據抓取者，同時各數據控制主體在通過robots協議進行“自力救濟”時對于數據抓取方是否構成侵權行為的認定標準各有不同，因此互聯網主體間的“自力救濟”行為將擾亂互聯網數據環境。第四，從該案判決“字節跳動公司認可其在微夢創科公司設置上述限制聲明后，仍然使用‘Toutiaospider’網絡機器人抓取了新浪微博的內容”可知，微博并未能事實上限制今日頭條的抓取行為。如前文所述robots協議的主要作用僅是起到一個通知的作用，即告知爬蟲軟件哪些數據允許被爬取，哪些數據是數據控制者不希望被爬取的。該告示并無阻礙惡意爬蟲抓取數據的強制力，數據抓取方依舊可以忽視告知的存在而對數據進行抓取。微博作為數據控制方，其設置的robots協議在事實上并不能真正阻礙惡意的數據抓取者的數據抓取行為。第五，根據北京市海淀區人民法院的(2017)京0108民初24530號民事判決可知，微博方對于字節跳動公司將抓取到的微博內容直接用于“微頭條”的這一行為向法院提起訴訟并獲得了法院支持，由此可見，通過對數據抓取后的使用行為的規制，便足以彌補數據控制方受損之權益，而無需自行另設robots協議對數據的流通共享構成限制。

綜上所述，數據控制主體若認為數據抓取方抓取數據后的使用行為損害了其經營利益，可通過法律途徑要求數據抓取方停止抓取行為并請求損害賠償，數據控制主體通過robots協議對抓取行為設限不僅事實上無法阻止他方主體的抓取行為，同時此類叢林法則式的“自力救濟”還會造成網絡競爭秩序的混亂，數據流通的阻礙最終會損害普通用戶的利益，因此對于主觀并無惡意的對普通數據設robots協議的限制抓取行為，存在一定的不合理之處。對于該類數據的保護通過法院對數據抓取后的違法使用行為要求賠償即為已足，私自設robots協議的保護方式對于阻止數據抓取行為的發生并無明顯效用。

在上述數據控制方主觀不具有惡意的對自身數據設置robots協議的情形下，還應討論在此情形下造成損失的責任分配問題。若數據抓取者在數據抓取后惡意使用上述數據，則數據使用者的使用行為因具有可責性可能受到《反不正當競爭法》的規制，而作為robots協議設定方的數據控制者，則不構成不正當競爭。典型案例如微博訴今日頭條案件中，今日頭條抓取數據后的使用行為被認定為構成不正當競爭，而微博的限制行為未被認為構成不正當競爭。另一情形為假若數據抓取方對數據進行抓取后以合理使用或創新使用為目的，此時若robots協議限制行為對數據抓取方造成損害的，則承擔一定的賠償責任，若未造成損害，則無需承擔責任。

3 結語

當前，商業數據和信息對于經濟社會的推動作用日益凸顯，與此同時，商業數據在流通過程中所面臨的多主體及其所涉及的復雜利益關系，給當前的司法帶來一定的困境。在通過《反不正當競爭法》對糾紛進行裁判時，應在肯定企業享有數據權益的前提下，為商業數據的流轉與運用留下充分的空間，在對數據控制企業的經營利益進行保護的同時，還需兼顧到消費者利益和公共利益。既要保護數據收集開發主體的投入，又要防止數據控制方對數據做出壟斷，以鼓勵和促進數據流通和創新。因此，法院在裁判時不能僅因違反robots協議限制徑認定抓取行為違法，還應當從商業數據的種類、數據抓取行為對原告利益所造成的損害、被告獲取數據的行為手段、數據控制方設置robots協議的主觀意圖等方面綜合考量。法院的判決應當是一種平衡的藝術，對上述因素的考量，便是對保護數據的收集整理投入、促進數據流通共享、激勵數據創新使用等問題的平衡，最終提升社會的總體福利。