李延超+李民

2014年8月7日，北京市第一中級(jí)人民法院就百度訴奇虎360違反Robots協(xié)議、不正當(dāng)競(jìng)爭(zhēng)糾紛一案做出一審判決。判決認(rèn)為，被告奇虎360的行為違反了《反不正當(dāng)競(jìng)爭(zhēng)法》相關(guān)規(guī)定，應(yīng)賠償原告百度經(jīng)濟(jì)損失及合理支出共計(jì)70萬(wàn)元，同時(shí)駁回百度其他訴訟請(qǐng)求。該案通過(guò)司法判決的方式確立了Robots協(xié)議這一技術(shù)協(xié)議、技術(shù)規(guī)范的法律效力，具有里程碑意義。

Robots協(xié)議在中國(guó)的實(shí)踐和發(fā)展

Robots協(xié)議是一個(gè)約定搜索引擎和內(nèi)容網(wǎng)站關(guān)系的協(xié)議，全稱(chēng)為“網(wǎng)絡(luò)爬蟲(chóng)排除標(biāo)準(zhǔn)”（Robots Exclusion Protocol），也稱(chēng)為爬蟲(chóng)協(xié)議、爬蟲(chóng)規(guī)則、機(jī)器人協(xié)議等，從技術(shù)實(shí)操來(lái)說(shuō)，它是一種存放于網(wǎng)站根目錄下的編碼文本文件。

Robots協(xié)議不是國(guó)際標(biāo)準(zhǔn)，也不是行業(yè)規(guī)范，但因其符合了內(nèi)容網(wǎng)站、搜索引擎、網(wǎng)民等各方的利益，促進(jìn)了互聯(lián)網(wǎng)的有序發(fā)展，已成為國(guó)際互聯(lián)網(wǎng)界因共識(shí)形成的道德約束，可謂是“君子協(xié)定”。

筆者走訪了互聯(lián)網(wǎng)業(yè)界的資深人士和法律專(zhuān)家，在他們看來(lái)，自獨(dú)立搜索引擎技術(shù)產(chǎn)生至今，Robots協(xié)議在中國(guó)的實(shí)踐和發(fā)展大體經(jīng)歷了三個(gè)階段。

第一階段：門(mén)戶網(wǎng)站時(shí)期。業(yè)界也習(xí)慣將這一時(shí)期稱(chēng)為Web1.0時(shí)期，這一時(shí)期是互聯(lián)網(wǎng)發(fā)展的初期，網(wǎng)上內(nèi)容整體較少，以人民網(wǎng)、新華網(wǎng)、千龍網(wǎng)、新浪、搜狐、網(wǎng)易、TOM網(wǎng)、中華網(wǎng)等新聞門(mén)戶網(wǎng)站為代表的內(nèi)容提供商占據(jù)著主導(dǎo)地位。當(dāng)時(shí)的大部分網(wǎng)站，特別是門(mén)戶網(wǎng)站，更愿意選擇站內(nèi)搜索來(lái)呈現(xiàn)自身海量信息中網(wǎng)民需要的內(nèi)容，搜索引擎運(yùn)營(yíng)商處于弱勢(shì)地位。

此時(shí)的Robots協(xié)議，更多是照顧內(nèi)容提供網(wǎng)站的利益，由內(nèi)容提供網(wǎng)站就哪些內(nèi)容可被抓取向搜索引擎運(yùn)營(yíng)商提要求。而搜索引擎網(wǎng)站為了能更多地抓取內(nèi)容網(wǎng)站的內(nèi)容，甚至提供免費(fèi)站內(nèi)搜索技術(shù)和服務(wù)。

第二階段：搜索信息時(shí)期?；ヂ?lián)網(wǎng)的海量信息成就了搜索引擎。隨著互聯(lián)網(wǎng)的發(fā)展，搜索引擎逐步成為網(wǎng)民查詢(xún)信息的一個(gè)高效工具，同時(shí)也成為網(wǎng)站建設(shè)中針對(duì)“用戶使用網(wǎng)站的便利性”所提供的必要功能。毋庸置疑，無(wú)論是直接搜索還是站內(nèi)搜索，高效的檢索可以讓用戶更加快速準(zhǔn)確地找到目標(biāo)信息，從而更有效地促進(jìn)信息傳播，促進(jìn)產(chǎn)品（服務(wù)）銷(xiāo)售。

這一時(shí)期，可以說(shuō)是搜索引擎和內(nèi)容提供網(wǎng)站之間的“蜜月期”，也是相互利用、相互促進(jìn)期，在世界網(wǎng)民人數(shù)高速增長(zhǎng)和互聯(lián)網(wǎng)走出第一次泡沫期的背景下，雙方都得到了發(fā)展，各自都獲得了經(jīng)濟(jì)利益，自然鮮有矛盾和分歧。

在此期間，搜索引擎的話語(yǔ)權(quán)逐步建立。搜索引擎為了爬蟲(chóng)省事，已可以向內(nèi)容網(wǎng)站提出要求，如把網(wǎng)站地圖通過(guò)Robots協(xié)議標(biāo)出來(lái)，以方便爬蟲(chóng)抓取的時(shí)候通過(guò)地圖就知道哪個(gè)頻道、哪些內(nèi)容是最新最快的，就不會(huì)把網(wǎng)站內(nèi)容全部抓走，而只抓它認(rèn)為有價(jià)值的東西。同時(shí)，爬蟲(chóng)通過(guò)Robots協(xié)議可以屏蔽一些網(wǎng)站中比較大的文件，如：圖片、音樂(lè)、視頻等，節(jié)省服務(wù)器帶寬，還可以屏蔽站點(diǎn)的一些死鏈接。

第三階段：搜索入口時(shí)期。以技術(shù)革命為代表的互聯(lián)網(wǎng)在信息傳播上不可逆轉(zhuǎn)地進(jìn)入Web2.0時(shí)代，信息爆炸和個(gè)性化需求使網(wǎng)民越來(lái)越依賴(lài)從搜索引擎開(kāi)始互聯(lián)網(wǎng)之旅。特別是國(guó)外以Google為代表、國(guó)內(nèi)以百度為代表的搜索引擎服務(wù)商把搜索變成了一種成功的商業(yè)模式，搜索引擎不僅能提供信息檢索，同時(shí)也成為了互聯(lián)網(wǎng)入口和流量分發(fā)器。此外，互聯(lián)網(wǎng)企業(yè)還發(fā)現(xiàn)，對(duì)網(wǎng)民搜索行為的深度分析，對(duì)于進(jìn)一步制定更為有效的網(wǎng)絡(luò)營(yíng)銷(xiāo)策略和產(chǎn)品的銷(xiāo)售具有十分重要的價(jià)值。

這一切，對(duì)于流量就是生命線的內(nèi)容網(wǎng)站來(lái)說(shuō)，與搜索引擎的關(guān)系徹底產(chǎn)生逆轉(zhuǎn)：一是做內(nèi)容的網(wǎng)站多，同質(zhì)化情況嚴(yán)重，希望搜索引擎抓??；二是搜索成為重要入口，流量好處巨大。搜索引擎一定程度上決定了網(wǎng)民去哪看什么，內(nèi)容網(wǎng)站在形式上開(kāi)始依賴(lài)于搜索引擎。搜索處于絕對(duì)強(qiáng)勢(shì)。搜索引擎不再那么顧慮內(nèi)容網(wǎng)站的想法，反正網(wǎng)上有那么多一樣的內(nèi)容，搜索引擎開(kāi)始有了自己的爬蟲(chóng)算法和排序，不是什么都抓，甚至產(chǎn)生了一些公司專(zhuān)門(mén)幫助內(nèi)容網(wǎng)站做SEO（搜索結(jié)果優(yōu)化），以便網(wǎng)站內(nèi)容和搜索引擎更友好，更容易被抓取、被推薦。

Robots協(xié)議的判例及爭(zhēng)議

由于Robots協(xié)議較好地規(guī)范了搜索引擎和內(nèi)容網(wǎng)站之間的利益和關(guān)系，在很長(zhǎng)的時(shí)間里，世界范圍內(nèi)鮮有因Robots協(xié)議產(chǎn)生的訴訟及較大爭(zhēng)議。目前，能通過(guò)網(wǎng)上搜索查詢(xún)到的案例也只有以下不多的幾例：

BE違規(guī)抓取eBay案。2000年，美國(guó)加州北部的聯(lián)邦地方法院在著名的“eBay VS BE”案中，第一次引用Robots協(xié)議對(duì)案件進(jìn)行裁定。BE（Bidders Edge）成立于1997年，是專(zhuān)門(mén)提供拍賣(mài)信息的聚合網(wǎng)站，BE利用爬蟲(chóng)抓取來(lái)自eBay等各個(gè)大型拍賣(mài)網(wǎng)站的商品信息，放在自己的網(wǎng)站上供用戶瀏覽，并獲得可觀的網(wǎng)站流量。雖然eBay早已設(shè)置了Robots協(xié)議，禁止BE爬蟲(chóng)的抓取，但BE卻無(wú)視這個(gè)要求。原因很簡(jiǎn)單，BE網(wǎng)站69%的拍賣(mài)信息均來(lái)自eBay， 如停止抓取eBay內(nèi)容，意味著B(niǎo)E將損失至少三分之一的用戶。

2000年2月，eBay一紙?jiān)V狀將BE告上聯(lián)邦法庭。三個(gè)月后，受理此案的美國(guó)聯(lián)邦法官裁定BE侵權(quán)成立。法官認(rèn)為：“eBay 的網(wǎng)站內(nèi)容屬于私有財(cái)產(chǎn)，eBay有權(quán)通過(guò)Robots協(xié)議對(duì)其進(jìn)行限制。違規(guī)抓取的行為無(wú)異于“對(duì)于動(dòng)產(chǎn)的非法侵入”，并據(jù)此做出裁決。法官并沒(méi)有對(duì)Robots協(xié)議的效力做出認(rèn)定，而是將動(dòng)產(chǎn)侵害原則適用到互聯(lián)網(wǎng)領(lǐng)域，這一案例在當(dāng)時(shí)引發(fā)了美國(guó)互聯(lián)網(wǎng)產(chǎn)業(yè)乃至社會(huì)的廣泛討論，成為當(dāng)時(shí)網(wǎng)絡(luò)侵權(quán)案的標(biāo)志性案例，也是與Robots協(xié)議有關(guān)的最著名案例。

淘寶禁止百度抓取爭(zhēng)議。2008年9月8日下午，針對(duì)百度即將推出與其競(jìng)爭(zhēng)的C2C業(yè)務(wù)，淘寶網(wǎng)以杜絕不良商家欺詐為由，宣布屏蔽搜索引擎百度。淘寶表示，通過(guò)對(duì)不同搜索引擎進(jìn)行不同程度的屏蔽，可以杜絕不法商家利用競(jìng)價(jià)排名、搜索優(yōu)化等手段騙取消費(fèi)者信任，并對(duì)優(yōu)秀賣(mài)家進(jìn)行鼓勵(lì)。據(jù)淘寶網(wǎng)當(dāng)時(shí)提供的統(tǒng)計(jì)數(shù)據(jù)，80%以上的消費(fèi)者投訴源于極少數(shù)不良商家。這些不良商家的主要手段之一就是：通過(guò)技術(shù)或商業(yè)手段，優(yōu)化通用搜索的頁(yè)面結(jié)果，獲得較高排名騙取消費(fèi)者點(diǎn)擊。通過(guò)屏蔽部分搜索引擎，可以最大限度地避免消費(fèi)者上當(dāng)受騙。百度遵守Robots協(xié)議，爬蟲(chóng)不再抓取淘寶網(wǎng)數(shù)據(jù)。endprint

Twitter、Facebook禁止谷歌抓取實(shí)時(shí)信息?；ヂ?lián)網(wǎng)的本質(zhì)中即包含技術(shù)革命、自由精神及挑戰(zhàn)權(quán)威性，在搜索引擎贏得互聯(lián)網(wǎng)時(shí)代的同時(shí)，也埋下其被挑戰(zhàn)和顛覆的種子?；ヂ?lián)網(wǎng)Web2.0終于盼來(lái)了新時(shí)代，他們的代表就是微博和社交網(wǎng)站。以Twitter、Facebook為代表的新型內(nèi)容網(wǎng)站，在其發(fā)展初期自然也需要借力于搜索引擎，但當(dāng)其閉環(huán)內(nèi)容達(dá)到一個(gè)量級(jí)時(shí)，特別是網(wǎng)民在Twitter、Facebook中可以瀏覽到足夠需求的信息時(shí)，這時(shí)已不再需要搜索引擎網(wǎng)站作為入口，而只需站內(nèi)搜索即可。

2011年7月，Twitter不再允許Google抓取其實(shí)時(shí)信息，這甚至導(dǎo)致了Google的一款產(chǎn)品Google+的衰亡。表面原因很簡(jiǎn)單，如Google聲明所說(shuō)，“自從2009年10月起，我們就與Twitter達(dá)成協(xié)議，將在搜索中整合特殊內(nèi)容，這份協(xié)議7月2日將到期。盡管我們將無(wú)法獲得來(lái)自Twitter的特殊信息，不過(guò)公開(kāi)抓取的Twitter信息還是可以搜索的，也可以在Google上找到。”而根本原因，正如筆者分析，Twitter已足夠強(qiáng)大，已無(wú)需搜索引擎為其提供信息入口和推廣，而搜索引擎仍需要內(nèi)容。如果Google還想抓取Twitter實(shí)時(shí)信息，恐怕必須付錢(qián)了。

無(wú)獨(dú)有偶，轉(zhuǎn)眼的2012年，社交網(wǎng)站巨頭Facebook也果斷禁止谷歌對(duì)其數(shù)據(jù)進(jìn)行抓取。谷歌CEO拉里·佩奇多次公開(kāi)表達(dá)對(duì)Facebook的不滿，指責(zé)其拿用戶當(dāng)人質(zhì)。其實(shí)，谷歌CEO的惱羞成怒是有道理的，F(xiàn)acebook不允許谷歌抓取的理由——考慮用戶隱私權(quán)是不成立的。但卻允許雅虎納入來(lái)自Facebook的搜索結(jié)果。谷歌與Facebook競(jìng)爭(zhēng)的優(yōu)勢(shì)是搜索引擎，一旦Facebook推出社交化的搜索引擎，谷歌在搜索引擎的霸主地位就將終結(jié)。這當(dāng)然也正是Facebook對(duì)谷歌封閉的考慮。如拉里·佩奇所說(shuō)，“Facebook只是不愿意與我們合作?！?/p>

以上三個(gè)案例可以看出，在世界互聯(lián)網(wǎng)范圍內(nèi)，也存在大致的搜索引擎和內(nèi)容網(wǎng)站關(guān)系的三個(gè)時(shí)期，也可以說(shuō)Robots協(xié)議的三個(gè)階段，與國(guó)內(nèi)的不同也只是所經(jīng)歷時(shí)間的長(zhǎng)短和對(duì)規(guī)則的敬畏、誠(chéng)信的自覺(jué)、利益的分配的微妙差別?？梢钥吹?，在第一階段和第二階段，Robots協(xié)議下的搜索引擎與內(nèi)容網(wǎng)站間的利益關(guān)系是完全正向的，本質(zhì)是互利的，所以搜索引擎間沒(méi)有因Robots協(xié)議產(chǎn)生任何官司。隨著搜索引擎逐漸具備內(nèi)容能力并最終占據(jù)絕對(duì)強(qiáng)勢(shì)地位，再到社交網(wǎng)站和微博的崛起，搜索引擎和內(nèi)容網(wǎng)站間利益分化，搜索引擎間的矛盾不可避免。

在以市場(chǎng)為主導(dǎo)的互聯(lián)網(wǎng)產(chǎn)品競(jìng)爭(zhēng)中，只有真正符合網(wǎng)民需求，推動(dòng)互聯(lián)網(wǎng)發(fā)展的應(yīng)用和服務(wù)才能最終獲得市場(chǎng)，實(shí)現(xiàn)企業(yè)的經(jīng)濟(jì)利益最大化。無(wú)論是靠Robots協(xié)議或者某一協(xié)調(diào)條款來(lái)維護(hù)既得利益，還是靠打擦邊球、利用灰色地帶，終將被市場(chǎng)所淘汰，被網(wǎng)民所拋棄。endprint