論企業間數據爬取及其行為邊界

黎晉宇

（中國政法大學，北京 100088）

伴隨著互聯網、大數據、云計算等的迅猛發展，數據已經成為基礎戰略資源，是與土地、勞動、知識并駕齊驅的關鍵生產要素[1]。國家已經在《中華人民共和國國民經濟和社會發展第十四個五年規劃和2035 年遠景目標綱要》中提出：“迎接數字時代，激活數據要素潛能……以數字化轉型整體驅動生產方式、生活方式和治理方式變革”。對企業來說，越多的數據意味著經營者可以提供更好的服務、獲得更多的利潤。在此背景下，企業間利用網絡爬蟲等技術手段爬取數據的行為越來越普遍，并且在中美兩個互聯網大國內引發了一系列糾紛。法律上，數據的控制和共享之價值取向應該如何選擇，用技術手段爬取其他企業數據的行為，以及對這種爬取行為在Robots 協議中進行限制又如何評價，已成為我們正在面臨的問題。

目前學界對于數據爬取問題的研究非常之多，比較有代表性的學者如許可教授，他認為“至少在非合意的數據流通中，數據產權并不是必需的……與其汲汲于數據產權，不如改弦易轍，轉向權益權衡”[1]；劉繼峰教授同樣注重權益均衡的問題，認為“正確認識數據爬取中的權益沖突與平衡，明確數據爬取行為違法性判定因素……達到社會整體利益的最大化”[2]；李揚教授強調了對數據分類探討的重要性，認為“厘清企業數據的內涵與外延，探討企業數據與其他類型數據之間的差異，是對企業數據權益制度構建及爭端定紛止爭的有益探索”[3]；丁曉東教授很重視數據的公共屬性和流通價值，認為“數據作為新時代的石油的類比……只強調了數據日益增長的財產權屬性，而沒有反映數據的公共屬性。強化企業數據權益的合理保護，有利于促進數據的開放與共享。”[4]可以說，學界目前對數據爬取問題已經有了一些基本的共識，如對從“權利界定”到“權益均衡”，厘清數據的概念，劃分數據類型，重視數據的開放和共享價值，等等。然而，對于侵權的“紅線”之劃定，討論仍需深入。

應當認為，在不侵害國家安全、個人隱私、商業秘密等其他法益，且不會造成消費者誤認，也不會造成被爬取的企業經營困難的情況下，企業間的數據爬取以及反爬取行為不應該被認定為不正當競爭。

一、企業間數據爬取的基本含義

數據是一個跨學科的概念，在法學界對數據問題進行研究的時候，若不注意數據之概念，會很容易落入尷尬的境地：法學的“數據”不同于理工科的“數據”，最終所做之研究成空中樓閣。對“數據”與“信息”之區分，對“企業數據”的概念和“數據爬取”及“反數據爬取”的概念之厘清，是研究數據爬取問題的開始和基礎。

（一）數據和信息的區分

數據的概念，在學界并不統一。各學科近年逐漸形成了形式說、內容說和分層說等理論觀點[5]。形式說認為，數據是一種由比特（bit）方式來呈現信息內容的二進制代碼[6]。內容說認為，數據是一種以電子化或數字化手段記錄的，可為人類所感知的信息①。分層說認為，數據包括可讓人感知信息的數據內容層，和用比特（bit）的方式呈現信息的數據符號層，以及作為數據載體的物理層[7]。數據作為被爬取的對象在形式上表現為比特（bit），但是正是其可以為人感知到的信息內容給企業創造了價值。從此意義上看，分層說最為貼合事實。信息指具有實際內容意義的知識，其內容需借助一定形式的媒介表達，有抽象性和公共性[8]。

由此，數據和信息應當區分開。二者區別之首先體現在性質，信息是本體，數據是載體。其次，二者可以在依存關系上區分開，信息不一定依賴數據來傳遞，數據也不一定形成有效的信息。再次，二者因為范疇不同，所以運行規律也不同：信息遵循社會傳播學的規律；而數據具有工具性之面向。但因現代社會數據技術之高度發展，數據成了信息的主要傳播方式，這也是二者的聯系所在[9]。因此，不能將數據和信息混同，認為保護了企業信息的同時也保護了企業的數據，二者應予區分[10]。

（二）對企業數據之理解

現行法律并沒有對企業數據作出規定，也沒有賦予其原權。《中華人民共和國民法典》（簡稱《民法典》）第一百二十七條僅僅框架性地將數據納入了私法保護的范疇。學界對與企業數據的概念更是鮮有探究，許多學者直接適用“企業數據”之概念論述問題，但是忽視了“企業數據”本身之辨析。有注意到這個問題的學者認為，企業數據構成要件包括 “企業的實質性投資”與“企業數據的經濟價值”兩方面，企業數據是基于企業投入包括人力、物力、財力在內的大量的實質性的投資的基礎上，所生成的具有經濟價值的數據[3]。這種觀點沒有脫離數據權屬的窠臼，企業有自己的“投入”，就可以主張對數據的“財產權”，這是物權和知識產權的思維，美國已經不再這樣思考數據爬取問題了。

有學者認為數據是一種新型財產權[11]。如果是權利，則必定有歸屬。對于數據的歸屬問題，學界有平臺所有、個人所有、個人與平臺共有、公眾所有和國家所有等觀點[1]，不一而足。由于數據本身具有較高的流通性，企業控制的數據共享給其他用戶、企業或者國家后，數據的歸屬便會模糊，因此很難從現行的法律上進行判斷。但是，企業對其數據的控制是一種事實。企業數據是企業在事實上控制的數據，企業數據可以是企業在生產經營數據中生成、存儲和處理的數據，包括元數據、引用數據、主數據、企業結構數據、交易活動數據、交易審計數據等[1]。這樣可以避免數據經流動后造成的權屬不清，造成當事人權利與義務混亂的問題。比如甲公司通過經營獲得了一批用戶的數據，然后乙公司通過甲公司的公開頁面獲得了這些用戶數據，那么這些用戶的數據應該歸屬于甲公司還是乙公司？抑或是兩個公司都對這些數據有權利？甲公司如果有權利，那么乙公司是不是有義務不獲取甲公司頁面的用戶數據？如果是，則不合常理和現實；如果不是，那么甲公司的相對人的義務又是什么？可以看到，劃定數據權屬很可能造成自相矛盾的后果。但是如果把企業對數據的控制看成是一個事實，再從各方行為出發對數據相關的行為進行“權益均衡”的判斷，則至少可以避免前述矛盾并解決問題。

（三）企業數據爬取與反爬取

所謂“數據爬取”（又稱“data scraping”或“data crawling”）是指用軟件從被稱為數據庫（data host）的網頁（website）中獲取內容。數據爬取可以通過程序（programs），又被稱為機器人（bots），提取海量數據，為特定的目的而匯編和過濾之[12]。近年來，人們對網上機器人的使用量一直在上升。在2016 年，機器人已經占據超過一半的互聯網交通量，而在2013 年這個數字僅有20%[13]。數據爬取行為并不總是會被數據庫發覺到，所以某些別有用心的人會利用數據爬取的方式惡意地盜取個人信息、商業秘密等。因此，互聯網業內出現了一系列反數據爬取的措施。

其一是Robots協議。這是網站所有者根據自身需要在網站程序開頭或開發者協議（OpenAPI接口等）下寫入Robots.txt 文件，載明該網站中禁止爬蟲抓取的網頁，在爬蟲程序訪問網站時對其進行“允許”或“不允許”的提示。通常來說，遵守協議的爬蟲會首先讀取要爬取網站的robots.txt文件，對于禁止訪問的數據不予收集[2]。這是一種“君子協議”，爬取者可以由其意愿決定是否遵守這種協議。盡管如此，該協議在互聯網行業內仍然得到了普遍的遵守，中國互聯網協會于2012 年發布，同年12 家中國互聯網公司簽署的《互聯網搜索引擎服務自律公約》的第七條也對Robots 協議的效力表示了認可。但學界和司法實踐對于Robots 協議的效力尚無定論，有認為Robots 協議體現了商業道德和行業慣例因而予以尊重②，也有認為Robots協議給予了被爬取者更高的支配地位，不利于數據的自由共享和流通，因而不完全認可。后者認為，對于爬取的正當性判斷，應從原告利益合法性和受保護性出發判斷相關行為的市場效果，結合商業道德標準所作出的判斷進行論證[14]。

其二是爬蟲識別技術。爬蟲技術是模仿用戶瀏覽的方式訪問網頁，爬蟲識別技術就是利用IP檢測、Cookie 檢測、接口頻率控制等訪問識別技術，設置網絡訪問頻率的最高值。若訪問頻率達到設定的最高值，已經遠遠超出一般用戶訪問所能及之頻率，則會觸發禁止訪問等保護機制，從而有效限制“爬蟲”。爬蟲識別技術還有HTTP 請求信息驗證、建立用戶軌跡模型、用戶畫像等，都對“爬蟲”有防御作用[2]。

二、對數據爬取行為法律規制的路徑選擇與價值取向

解決數據爬取問題的困境在于：一方面，數據的自由流動有利于促進社會整體利益。一些企業通過數據爬取，已經催生出新的業態，如中國的脈脈公司以及美國的hiQ 公司。若過度保護企業對其數據的控制，很可能會造成“贏者通吃”的局面，不利于激發市場活力，最終阻礙創新和發展。而另一方面，在競爭的市場環境下，新進入市場的企業通過數據爬取，可以輕易獲得其他企業通過多年慘淡經營得到的數據及競爭優勢，這頗有“搭便車”的嫌疑。放任數據爬取行為會打擊經營者間通過競爭獲得數據的積極性，刺激企業通過數據爬取，搭上強者的便車，輕易獲得競爭優勢，最后損害市場主體的競爭權益，造成“劣幣驅除良幣”的局面。從全球層面來看，中美兩個互聯網大國都仍在探索該問題的出路。美國在嘗試了“侵入動產”等路徑后，開始依賴《計算機欺詐與濫用法案》（Computer Fraud and Abuse Act Violation，簡稱CFAA）的解釋與適用來解決數據爬取的問題。中國則是一直適用的《中華人民共和國反不正當競爭法》（簡稱《反不正當競爭法》）對數據爬取進行規制，一般將數據爬取行為評價為不正當競爭。需要注意的是，在解釋于適用《反不正當競爭法》的時候，若解決不當，使得調整數據爬取的法律變成中國版的“紅旗法案”，阻礙新型產業的發展，可能會導致中國在與美國的競爭中落后。走出困境的關鍵在于劃定數據爬取合法的邊界。該邊界應明確，既要能保證數據共享，又要保證競爭權益。

（一）數據爬取行為法律規制的路徑選擇

1. 侵入動產

美國財產法中的侵入動產（trespass to chattels）也曾適用于數據爬取案件。所謂“侵入動產”，即當對他人持有的財產進行故意傷害或干涉時，對行為人施加法律責任。加利福尼亞北區聯邦法院曾在eBay, Inc. v. Bidder's Edge, Inc.案中，認定Bidder's Edge 的數據爬取行為使得eBay 排除他人進入自身計算機系統的權利被侵犯，構成侵入動產③。

現在不管是美國還是中國，對數據或者計算機系統類推適用財產法（或物權法）中的內容已經難以達成共識，其原因就在于數據的流通屬性使其很難被認定為一種單純的財產或傳統意義上的物。正如李揚教授所認為的，與一般有體物財產存在不同，企業數據的一般性特征主要體現在企業數據的電子信息性、無形性、客觀上的非獨占性以及非物質損耗性[3]。

2. 合同違約

美國法項下的合同違約（breach of contract）的請求基礎來自于網站與用戶的“使用協議”（terms of use）。協議里若規定用戶不得爬取數據，而用戶卻作出了爬取的行為，則網頁經營者可以據此對用戶提出合同違約之訴。需要注意的是，若“使用協議”的鏈接出現在網頁的非常難以察覺之處（如網頁最底端），網頁經營者則要證明用戶明知或應知前述協議的條款存在。若“使用協議”是需要用戶勾選或閱讀以繼續運行操作的，網頁經營者很可能會勝訴[12]。

而在中國法項下，數據爬取問題很難在《中華人民共和國民法典》合同編框架內解決。首先經營者并沒有義務在“用戶使用協議”或“隱私政策”中對數據爬取進行限制，這就導致很多“用戶使用協議”和“隱私政策”中并沒有對此進行明確規定。其次由于爬取行為很多時候是由第三方實施，而在用戶與經營者之間的協議中沒有對此進行規定，即便有規定也難以對第三方有效力，這是合同的相對性決定的。如B 站的《嗶哩嗶哩隱私政策》④就只約定了用戶與B站之間使用Cookie技術的協議，沒有提及任何第三方。

3.著作權侵權

用著作權侵權的路徑解決數據爬取問題似乎并不可行。數據本身并不像是一種“表達”，這就滿足不了著作權法適用的前提條件。在美國，侵犯著作權（Copyright Violation）的請求僅在一小部分數據爬取的案件中會贏得訴訟，前提是被爬取的內容具有可版權性。在美國，The Associated Press就曾經告Meltwater 爬取其新聞文章，構成著作權侵權。美國紐約南區的聯邦法院認定被告Meltwater 沒有合理使用的事實，從而認定其敗訴⑤。

《中華人民共和國著作權法》要適用于數據爬取問題也需要被爬取的數據具有可版權性，否則將難以對爬取者主張權利，這頗有“隔靴搔癢”的感覺。由于知識產權法在數據爬取問題上的局限性，中美法院基本都沒有對該類問題適用知識產權法，而出現這種問題的原因是（盡管有爭議）數據本身不是知識產權。更何況，人們對數據權利本身的底層邏輯（其含義甚至存在的合理性）沒有清晰的認識。

4.《計算機欺詐與濫用法案》

針對數據爬取問題，美國適用的法律是《計算機欺詐與濫用法案》（CFAA）。在eBay, Inc. v. Bidder's Edge, Inc.案中，該法律原本是將 “未經授權進入計算機，或者超越了權限，而因此在受保護的計算機中獲得信息” 的行為入罪化，以此來保護美國政府的計算機系統；但是CFAA 也保留了民事路徑的可能，它允許“任何基于違反這一條款遭受損失的人”享有提起民事訴訟的權利。從CFAA 文義上看，這樣的民事權利的訴權沒有擴展到所有CFAA 的內容，但是其限制“至少5 000美元的損失作為訴訟的前提條件”是很容易達到的[15]。于是民事上的企業間數據爬取問題開始適用CFAA，并且美國的法律界也有意將這一條解釋成對數據爬取民事案件的適用法。CFAA 經過多次修改后已經可以用于保護私人“州際貿易和外國貿易中被保護的計算機”，這使得CFAA 成為解決數據爬取問題的適用法[12]。從司法實踐上可以證實這一點，在eBay, Inc. v. Bidder's Edge, Inc.之后，CFAA 的第一個發展階段，是CFAA 開始對“授權”進行擴張解釋，任何違反了技術上或合同上的限制都被解釋成“未經授權”。第二個階段是對“進入”限縮解釋，將“進入”（access）和“使用”（use）區分開，只認定前者可以被訴；并且“未經授權”也只限于了技術上的限制。第三個階段是CFAA 對這類案件的適用：網絡經營者向某訪問者“撤回”（revoke）進入計算機系統的權利以對訪問者造成“使用限制”（use restriction），如果該訪問者仍然進入經營者的計算機系統，那么經營者對該訪問者享有CFAA項下主張的權利[15]。

但是在hiQ v. LinkedIn 案是對第三階段的背離。2017 年，因領英發函要求hiQ 停止爬取領英用戶公開數據的行為，hiQ 控訴領英涉嫌濫用市場支配地位實施壟斷。而領英則回應稱，hiQ 在非授權的情況下，通過技術手段抓取平臺上的用戶公開數據嚴重威脅用戶隱私。美國地方法院和上訴法院初步支持原告hiQ，發出了針對被告LinkedIn 的禁令。法院認為，hiQ 在無法獲取相關信息的情況下可能會面臨停業，讓領英等公司自由支配公共用戶數據，有可能造成損害公共利益的“信息壟斷”。2021 年6 月14 日，美國最高法院面對領英的上訴，要求第九巡回法院參照United States v. Van Buren案，以“即便爬取方以不當目的獲取數據庫的信息，其并沒有超過被爬取方授權的訪問數據庫的權限”為由，認定hiQ 不構成《計算機欺詐和濫用法》下的欺詐行為進行重審⑥。

該案縮小了第三階段的“撤回理論”，原因是即便領英發函要求hiQ 停止爬取行為，hiQ 還是可以像任何不特定人一樣爬取剩余的任何公開信息。美國最高法院的這一判決在美國學界引起了一定的討論，有學者認為兩案并不一樣。其一，從事實層面看，hiQ v. LinkedIn案關注出于不正當目的對公開信息之“進入”（access），而United States v. Van Buren 案關注經授權后的個人出于不正當目的對私人數據庫的使用（use）。其二，從法律層面看，hiQ v. LinkedIn 案關注“未經授權進入計算機”之禁止，而United States v. Van Buren 案依賴CFAA對“超越授權的進入”之禁止范圍[15]。

我們可以從美國法項下的路徑概括出幾個重要的信息：第一是美國法律界對于數據爬取問題也仍然處于爭論的狀態，如果我國盲目照搬美國的調整方式，可能會導致我國將其問題一并移植過來。第二是美國司法實踐對數據爬取行為的違法性認定標準從嚴格走向了寬松。從eBay, Inc.v. Bidder's Edge, Inc.案以“侵入動產”為由判決Bidder’s Edge 的數據爬取行為構成違法，到hiQ v. LinkedIn 案適用CFAA 判決hiQ 不構成超過權限，可以看出美國司法實踐的價值取向是從控制走向共享的。第三是對于數據爬取問題美國法有對CFAA 的路徑依賴，試圖將CFAA 從公法調整、解釋到民法領域，從保護政府信息安全的公共領域轉到私主體之間糾紛的私領域。這正是美國法調整的負擔之所在，CFAA 在制定之初沒有意圖調整企業間數據爬取行為，如今欲要達成目的，就只能拘泥于其對舊法條和舊判例的解釋論，這對我國而言是不可取的。第四是CFAA 并不賦予當事人權利，而是從行為——如“未經授權進入計算機”或“超越授權進入”——作為切入點解決問題。正如許可教授所說，美國已經從Bidder’s Edge v.eBay 案的“權利界定”轉向為“權益均衡”[1]，這與我國適用《反不正當競爭法》，從當事人的行為入手，權衡當事人各方和不特定第三人等的利益著手解決數據爬取問題是一致的。

企業間數據爬取是在中國互聯網經濟發展中自發出現的新問題，相比于照抄美國的CFAA，中國問題應該有中國方案，中國法院一直適用《反不正當競爭法》第二條對該類問題進行調整，如字節跳動訴微夢案和新浪訴脈脈案、愛奇藝訴千杉、悅觀公司案。《反不正當競爭法》之所以相對其他法律能夠比較合理、有效地解決企業間數據爬取問題，是因為《反不正當競爭法》并不賦權，但是注重行為。企業控制用戶數據是一個事實，而爬取或反爬取用戶數據是一種行為。《反不正當競爭法》不創設或者保護某個權利，但是會讓不正當競爭的行為承擔法律后果，從而避免陷入數據“權利化”的窠臼之中。正如孔祥俊所認為的那樣，不正當競爭行為的認定重點在于，對競爭行為進行多因素的利益平衡與比較，以此確定競爭行為是否正當[16]。《反不正當競爭法》的這種分析范式與數據本身的特點非常契合。如前所述，數據本身是以比特（bit）的形式使得人們可以感知其內容，而比特（bit）是在流動的，因此對數據賦權是違反數據流通屬性的做法。但是注重當事人的行為，就可以規避這種問題。

但是《反不正當競爭法》一般條款的適用是需要解釋的，在解釋的過程中，會因為價值取向的不同而出現不同的解釋路徑。我國的數據爬取案件在司法實踐中同樣也走出了一條從控制到共享的路徑，我國的數據爬取第一案：新浪訴脈脈案中，兩審法院都維持了脈脈構成不正當競爭的判決，此后的類似案件法院一般都會判決爬取方構成不正當競爭，而拐點就在字節跳動與微夢的不正當競爭糾紛案中。該案中一審法院判決爬取方微夢公司構成不正當競爭，但是在二審法院改判微夢公司不構成不正當競爭。法院不再是“單向化”地依據Robots協議保護被爬取方。二審法院北京市高級人民法院的說理正確地指出了Robots協議本身并不因為其自主經營權而獲得正當性⑦。這相比美國CFAA 的路徑有一個優勢：即不再拘泥于法律文本對爬取方“是否經過授權”的評價，而是關注行為本身（不管是數據爬取行為還是反爬取行為）的正當性。

（二）數據爬取行為法律規制的價值取向

從數據主義的角度來說，要提高系統效率有以下四種方式：增加處理器數量、增加處理器種類、增加處理器之間的連接、增加現有連接的流通自由度。舉例說，10 個有貿易連接的城市，產出的經濟、科技與社會創新通常會高于10 個孤立的城市。但如果數據無法自由流通，僅僅連接處理器也不會有什么用處。10 個城市的道路上若滿是劫匪，商人難以通行，這條路的作用也會大打折扣[17]。對數據爬取行為進行合理的規制可以增加處理器之間的連接和數據流通的自由度，提高系統效率，激發經濟、科技與社會創新的活力。過于放任則可能構成不正當競爭。

從美國法對數據爬取行為規制的路徑選擇演變可以看出其價值取向的演變。美國對數據爬取問題最早適用的規則是“侵入動產”，認定爬取方違法。在最近的hiQ 與領英的糾紛中，美國最高法院要求第九巡回法院在重審中適用CFAA 判決hiQ 不構成超過權限，可見美國對數據爬取行為法律規制的價值取向是從控制走向共享的。字節跳動與微夢的不正當競爭糾紛案也同樣見證了我國的法律規制價值取向從控制轉向了共享。該案判決微夢不構成不正當競爭，是重大的進步，體現出司法實踐對數據爬取問題的進一步認識。這個判決綜合考慮了消費者利益、競爭者利益和市場競爭秩序等因素，認為Robots協議的限制“違背互聯網互聯、互通、共享、開放的精神”，體現出了數據共享的價值取向，用一個Robots 協議“建起高墻”的行為不再具有正當性了。

從中美兩國的路徑演變來說，可以看到“互聯、互通、共享、開放”已經成為對企業間數據爬取問題的價值取向。但是這不代表一切數據爬取行為都是被允許的，數據爬取行為也可能被評價為不正當，其邊界應該予以確定。

三、《反不正當競爭法》框架下數據爬取行為的認定

要在《反不正當競爭法》框架下劃定明確的數據爬取行為的合法性認定標準，需要首先考慮數據爬取行為的類型，然后確定經營者主體和競爭關系，結合法條，綜合考慮經營者利益、消費者利益和市場秩序等因素后，明確在《反不正當競爭法》框架下合法的數據爬取行為類型。

（一）經營者身份及競爭關系的認定

要適用《反不正當競爭法》，首先要確定主體為經營者。我國判定經營者身份的標準是“行為標準論”，即以是否有市場生產經營活動為標準作為認定經營者的判斷依據[2]。具體體現在《反不正當競爭法》，第二條第三款。在數據爬取的語境下，只要有從事生產經營活動，不論該主體是否從事互聯網相關業務，都應該被認定為經營者。

其次是競爭關系的確定。在互聯網行業迅猛發展的今天，各個互聯網企業提供的商品和服務的交叉之處越來越多，很多業務不再是非此即彼的關系。以“嗶哩嗶哩”為例，它是一個為分享用戶上傳的視頻為主要業務的平臺，但是并不能說與它有競爭關系的經營者就只能是“AcFun”等視頻創作分享平臺。我們可以看到虎牙、斗魚等直播平臺，抖音、快手等短視頻平臺，優酷、愛奇藝等綜合視頻平臺，甚至一些漫畫平臺的業務都會有跟“嗶哩嗶哩”相交叉之處。事實告訴我們，互聯網企業之間的競爭行為究其本質最后都可以轉化為數據的競爭[18]。因此，在判斷互聯網平臺間的競爭關系時，業務差異壁壘應該予以打破。我國司法實踐已經采用了廣義競爭關系的解釋，即不將競爭關系狹義地理解為經營同類商品（服務）或者替代商品（服務）經營者間的同業競爭關系⑧。在經營者之間，任何為爭取自身交易機會，增強自身競爭優勢，而可能導致他人競爭優勢減弱的行為，都是具有競爭關系的表現[2]。

（二）《反不正當競爭法》商業道德視角下的數據爬取行為的分類規制

在市場主體的經營和復雜的實踐中，數據爬取現象十分普遍，各類主體都會進行數據爬取。比如，知識產權代理商爬取國家知識產權局官方網站上的商標、專利數據，以方便其管理、促進其服務；再如，一些投資人爬取新聞中特定的時事內容以做投資分析等。企業之間更是如此。但是究竟什么樣的競爭行為是不正當的？很多學者留意到了Robots 協議的效力問題，若Robots 協議有效則根據爬取方是否違反Robots協議來判斷是否構成不正當競爭。但Robots 協議的反數據爬取行為也可能是沒有正當理由損害了其他經營者利益，且無益于市場競爭秩序。因此要明確的是，Robots 協議本身不是判斷爬取行為正當與否的關鍵標準。正如北京市高級人民法院在微夢創科與字節跳動不正當競爭糾紛二審民事判決書中所說的那樣，“本案被訴行為應被認定為行使企業自主經營權的行為，但這并不意味著對于互聯網企業所設置的任何Robots 協議均能夠基于企業自主經營權而當然地認定其具有正當性”。另外，我們對于各類數據爬取行為應當加以區分，分清哪些類型的數據爬取行為是正當的，哪些不正當，否則將難以對數據爬取的邊界進行準確的劃定。

1.爬取之數據是否公開

此處的公開數據是指開放給任何不特定第三人，使其可以在其選定的時間地點知悉的數據。典型的公開數據如時事新聞。非公開數據則是指數據權屬人有意不讓其他不特定人知悉，且采取了限制措施的數據。典型的非公開數據有商業秘密、個人隱私、國家秘密等。對于非公開數據的爬取應該在其合法性上予以否定，不僅因為這種行為在《反不正當競爭法》框架內可能會侵犯到經營者利益和消費者利益（如侵犯商業秘密已經構成《反不正當競爭法》第九條所規定的不正當競爭行為了），還因為這種行為已經違反了其他法律，如《中華人民共和國刑法》（簡稱《刑法》）等。然而對于公開數據的爬取應該予以準許。其原因首先在于，對公開數據的爬取，其結果跟人工手動復制粘貼數據無異，只是用技術手段使得數據的獲取更為方便。其次，現行法也傳遞出允許公開數據爬取的立法精神。《中華人民共和國個人信息保護法》（簡稱《個人信息保護法》）第十三條、第二十七條，以及《民法典》第一千零三十六條都已經明確該精神。自然人的信息（如昵稱、個性簽名、言論等內容）可以通過其與企業經營者之間的用戶隱私協議授權企業公開，并進行合理處理，那么“舉輕以明重”，受保護力度更小的經營者信息（如企業名稱、時事要聞、商品和服務的信息），當然也可以受到保護。

在《反不正當競爭法》的分析范式下，市場經營者對其他經營者的公開數據爬取不會導致消費者利益受損。擁有更多數據的經營者可以給消費者帶來更好的服務。公開的數據也不會被認為是商業秘密，若經營者將信息公之于眾，則那些信息不符合商業秘密的“保密性”，可以認為公開的數據都不受到商業秘密的保護。如果經營者在Robots 協議中禁止其他主體對公開數據進行爬取，可能會陷入利益衡量“單向化”的陷阱，阻礙數據的流通。除非有下文提到的其他情況，則應當認為設置限制的經營者違反商業道德，構成不正當競爭。

2.爬取數據之目的是否正當

實踐中數據爬取的目的十分多樣。有一種非常普遍的情況是，市場主體爬取互聯網大企業的頁面信息，并將這些信息用于自身的宣傳、服務上，足以使得一般公眾產生混淆，誤以為該市場主體與某互聯網企業有關聯。或者如字節跳動公司直接將微夢公司經營的“微博”APP上的部分用戶發表的言論爬取到自己的產品“今日頭條”上，直接將其他經營者的數據毫無更改地用于自身的宣傳和服務，使得用戶誤以為用戶的言論就是在今日頭條上發表的。這種情況下，數據就是服務或商品，具有財產性權利，將他人的這類數據直接用于自身營利活動，無異于竊取他人商品用于營利，是“食人而肥”“不勞而獲”的行為。這已經違反了商業道德，應當進行違法性評價，而不論其爬取的數據是否公開，或者是否造成了被爬取者的經營負擔。可以適用于該問題的法律不止《反不正當競爭法》（第二條和第六條），還有《中華人民共和國著作權法》《中華人民共和國商標法》等知識產權法。

但是還有一種爭議較大的，也是最值得注意的情況。經營者爬取數據是為了對其進行加工，促進其服務質量。典型的例子是美國的hiQ 訴領英案。其中的數據分析公司hiQ Labs 爬取知名職業社交公司領英公司上的公開數據，通過數據科學和機器學習方法為企業人力資源部門提供員工行為評測服務。如果hiQ 被禁止從領英爬取數據，那么hiQ 的服務質量無疑會斷崖式地下滑。該種行為并沒有對消費者利益造成損害，反而會促進對消費者的服務質量。對于被爬取數據的經營者而言，雖然其數據被爬取，但是經過爬取者對被爬取數據的加工，爬取者用于產品的數據，已經不能再等同于被爬取者的數據，這是融合了爬取者的勞動后被賦予了新的價值的數據，因此不應該認為這會侵犯經營者利益。另外，這種行為也沒有危害市場秩序。反而，若將該種行為視為不正當競爭，則會造成“贏者通吃”的局面，阻礙競爭和新興產業的發展，不利于中國在信息革命的浪潮中脫穎而出。因此，在中國的《反不正當競爭法》框架下，不應當將其視為違反商業道德、構成不正當競爭。

3.爬取行為是否影響到被爬取者的經營

網絡經營者的服務器能夠承受的訪問量是有限的，如果在短時間內用戶的訪問數量過多，就可能造成網頁卡頓的難題。數據爬取行為就有可能因其過大的訪問量給被爬取者的服務器造成壓力。對于消費者來說，經營者的服務質量下降，服務體驗不好。對于被爬取的經營者來說，自身服務質量的下降造成的損失并不是出于自身的原因，而是出于第三方爬取的原因。對于第三方爬取者來說，自身獲得了爬取的數據，還以低成本使得被爬取方經營質量下降，降低了被爬取方的競爭力。這損害的是經營者的正當經營行為和消費者的選擇機會，若放任不管，會使得整個市場都如此惡性競爭，無疑會損害市場秩序。因此，這種行為是違背了商業道德的，應予以否定評價。同理，經營者對這種影響到自身經營的數據爬取行為實施反爬取措施，不應評價為不正當競爭。

類似情況在美國曾經發生過，在eBay, Inc v.Bidder’s Edge, Inc.案中，eBay 每天承受Bidder’s Edge 的爬蟲軟件超過十萬次的訪問，給自己的服務器造成了巨大的壓力。服務器的運行壓力也會給消費者的使用帶來不便。該案事實提出于eBay, Inc v.Bidder’s Edge, Inc.中當事人向法院提起禁制令的時候，這也可能是學界對其關注較低的原因。然而，這是實踐中已經發生過的問題，應當引起我們的注意。

4.爬取的數據是否經過授權

爬取的數據是否需經授權，人們的認識并不統一。美國的hiQ 訴LinkedIn 一案判決允許第三方訪問平臺上的公開用戶數據，而不需要經過用戶的知情或允許。中國則相反，在新浪訴脈脈案中，法院判決脈脈抓取微博平臺上的微博用戶信息構成不正當競爭，并提出了針對公開用戶數據的抓取需要依據的“用戶授權+平臺授權+用戶授權”的三重授權原則[2]。

如前所述，沒有法律將數據的原權賦予人們，數據的歸屬問題亦是眾說紛紜。以爬取的數據是否經過授權為界限判定行為的正當性，基礎不牢，其實也犯下了將數據“權利化”的錯誤。況且，數據的價值在于流通，若如新浪訴脈脈案中的法院判決那樣，對爬取增設過多的限制，無疑等同于殺死公開用戶數據的爬取行為，對數據爬取普遍存在的互聯網行業內的經營者都弊大于利，不利于產業的發展。所以，在注重行為是否侵害正當競爭利益的《反不正當競爭法》的視角下，爬取的數據是否經過授權，不應當作為考慮構成不正當競爭的因素之一。當然，保護用戶信息是保證消費者權益的依據。對于數據未經授權而被爬取，侵害了消費者用戶的個人信息的，可以適用《個人信息保護法》解決糾紛。

5.爬取的數據來源是否合法

爬取數據平臺上來源不合法的數據會不會構成不正當競爭是一個有爭議的問題。企業事實上控制了數據，而爬取數據是一種行為。《反不正當競爭法》所關注的，是爬取行為是否損害了競爭利益。數據來源的違法性不能成為爬取行為的違法性，二者應予以分別對待，數據來源違法不當然導致爬取者的行為構成不正當競爭。在面對司法中的案件時，仍然考慮商業道德等因素。

如果爬取者明知數據來源不合法律的要求（如侵害了國家機密等），仍然惡意爬取，則已經落入其他法律（如《刑法》等）范圍內，可用其他法律評價爬取者的行為。當然，對這種惡意爬取的行為設置反爬取措施也無可厚非，不應認定為違反商業道德、構成不正當競爭。

結語

中國和美國是面臨企業間數據爬取問題的主要國家，這與兩國均為世界上主要互聯網大國的國情相關。在中美競爭愈加激烈的大背景下，中國要想贏得此次競爭，需要創新。在企業間數據爬取有可能形成新業態的合理預期下，要對此現象進行合理引導。在不侵害國家安全、個人隱私、商業秘密等其他法益，且爬取公開數據不會造成消費者誤認，也不會造成被爬取的企業經營困難的情況下，企業間數據爬取不應該被認定為不正當競爭。同理，對上述數據爬取行為采取反數據爬取措施，便構成不正當競爭。這樣的邊界劃定有利于企業經營者間的競爭，有利于消費者的選擇，符合社會公共利益，應該是引導之方向。

注釋：

① Uniform Commercial Code, § 1-201(b)(31)。

② 見北京市高級人民法院，百度在線網絡技術（北京）有限公司等與北京奇虎科技有限公司不正當競爭糾紛二審民事判決書，案號：（2017）京民終487號。

③ 見eBay, Inc. v. Bidder's Edge, Inc., 100 F. Supp. 2d 1067 (N.D. Cal. 2000)。

④ 詳見https://www.bilibili.com/blackboard/privacy-pc.html?spm_id_from=888.45316.b_4d624c59654b4e544f5347.1。

⑤ 見Associated Press v. Meltwater U.S. Holdings, Inc., 931 F. Supp. 2d 537, 541 (S.D.N.Y. 2013)。

⑥ 見LinkedIn Corp. v. hiQ Labs, Inc., 2021 U.S. LEXIS 2997, 141 S. Ct. 2752, 210 L. Ed. 2d 902, 89 U.S.L.W. 3419, 2021 WL 2405144。

⑦ 見北京市高級人民法院，北京微夢創科網絡技術有限公司與北京字節跳動科技有限公司不正當競爭糾紛二審民事判決書，案號：（2021）京民終281號。

⑧ 見上海市浦東新區人民法院，北京愛奇藝科技有限公司與上海千杉網絡技術發展有限公司、悅觀網絡技術（上海）有限公司其他不正當競爭糾紛一審民事判決書，案號：（2015）浦民三（知）初字第143號。