内容提要：从爬虫协议的法律性质出发，研究了爬虫协议的内容，区分了爬虫协议以及根据爬虫协议制定的robots.txt。从反不正当竞争法角度而言，设置排斥性条款的robots.txt可能违背爬虫协议的自由和公平精神，从而违反公认的商业道德和诚实信用原则。从反垄断法角度而言，如果没有合理理由，具有市场支配地位的服务商利用robots.txt进行拒绝交易和歧视对待行为，可构成垄断行为。
关键词：搜索引擎　爬虫协议　行业惯例　竞争关系　垄断行为
Abstract: This paper starts from the legal nature of robots exclusion protolol, analyses its content and distinguishes it from a robots.txt which is set under the said protocol. From the perspective of antiunfair competition law, a robots.txt with exclusion clauses may go against to the free and open spirit of the said Protocol, and thereby violates the principle of good faith and the generally accepted business ethics. From the perspective of antitrust law, a service provider with a dominant market position may conduct monopolistic behaviors if they use a robots.txt with exclusion clauses to refuse to trade with others or apply discriminatory treatments to a trading party with equal standing without any justifiable reasons.
Key Words: search engine; robots exclusion protocol; industry practice; competition relationship; monopolistic behavior
　　互联网经济是知识经济向纵深发展的高级阶段。当前，互联网市场竞争主体日益增多，竞争日趋激烈，细分市场格局高度集中。互联网行业正经历着从自由竞争时代向垄断竞争时代的转折，在某些领域已经出现了寡头垄断，基于商业模式模仿的同质化竞争助长了不正当竞争行为和滥用市场支配地位行为，[1]损害了市场秩序，破坏了正常竞争。因此，对互联网行业垄断行为和不正当竞争行为要高度重视。
　　北京市第一中级人民法院于2013年2月8日正式受理，并于同年10月16日开庭审理了北京百度网讯科技有限公司、百度在线网络技术（北京）有限公司（以下合称“百度公司”）诉北京奇虎科技有限公司（以下简称“奇虎公司”）基于搜索引擎领域里robots协议（即Robots Exclusion Protocol，网络爬虫排除标准，亦称爬虫协议、爬虫规则、机器人协议、蜘蛛协议等）的不正当竞争纠纷一案。[2]该案是百度公司与奇虎公司相互争夺搜索引擎市场网络资源的商业竞争[3]在诉讼领域的延续，引起了广泛关注。此案一出，robots协议的法律性质面临正式的司法认定，它对互联网竞争关系的影响以及应如何完善该协议迫切需要进一步的研究。
　　在该案中，百度公司诉称其依据国际互联网行业规则即robots协议设置robots.txt文件，但奇虎公司违反该规则，其所推出的360搜索服务违规抓取百度公司经营的百度网站（http://www.baidu.com）及百度知道（http://zhidao.baidu.com）、百度百科（http://baike.baidu.com）、百度贴吧（http://tieba.baidu.com）等多个栏目的内容，生成“网页快照”复制件存储于其自身服务器中，当用户点击相应搜索结果的链接时，直接向网民提供该“网页快照”以替代百度公司向网民提供相应服务。[4]奇虎公司则表示，robots.txt仅仅是指导和提示搜索引擎蜘蛛程序“善意的提示性txt文件”，既不是法规或标准，也不是合约，因而不存在违法与不违法的问题。[5]
　　从竞争法角度而言，此案对互联网领域的竞争关系提出了新课题、新挑战。为此，需要从robots.txt文本文件入手，研究robots协议的法律性质，[6]明确与搜索引擎相关的不正当竞争行为与垄断行为，以期规范互联网产业的发展。
一、爬虫协议对不正当竞争认定的影响
　　不管是国内还是国外的法院，尽管判决结果存在差别，但对robots协议的性质的认识还比较一致，即：从权利人角度而言，robots.txt是网络环境下权利人依据robots协议采取的控制访问的技术手段，或者至少肯定了设置恰当的robots.txt可以向搜索引擎蜘蛛程序起到告知（是否允许复制）的作用；[7]从搜索引擎蜘蛛程序角度而言，公平、合理的robots.txt应该得到尊重和遵守，忽略robots.txt的禁止性规定而抓取网站相关内容，则可能构成恶意行为。从这个意义上来讲，中外法院认定robots协议构成搜索行业的惯例方面是比较一致的。不过，这些案例仅仅是认定robots协议可以作为行业惯例，但是并没有任何判例对根据robots协议设立的robots.txt的公平性、合理性进行评定，也没有任何案例对搜索引擎蜘蛛程序忽略不公平的robots.txt的禁止性规定而抓取网页的行为性质作出评定。如果仅仅是简单认定robots协议可以作为行业惯例，但罔顾设定robots.txt的不公平、不合理之处，从而对案件作出简单的裁定，显然过于武断。
　　在认定不正当竞争案件时，当事人之间是否具有竞争关系往往是构成不正当竞争行为的要件之一。当事人之间如果不具有竞争关系，就不会构成不正当竞争行为。因此，首先确定当事人之间是否具有竞争关系具有举足轻重的作用。
（一）竞争关系
　　竞争将在竞争者之间产生一定的竞争关系，存在竞争关系是竞争法得以调整竞争者关系的前提和基础。“竞争关系是取得经营资格的平等市场主体之间在竞争过程中形成的社会关系。认定不正当竞争，除了要具备一般民事侵权行为的构成要件以外，还要注意审查是否存在竞争关系。存在竞争关系是认定构成不正当竞争的条件之一。”[8]对于竞争关系，学界区分为广义竞争关系和狭义竞争关系，认为：“反垄断法所要求的竞争关系是严格意义上的竞争关系，或者说狭义的竞争关系；反不正当竞争法上的竞争关系是一种广义的竞争关系。”[9]从狭义上而言，竞争关系的主体限于同一相关市场上的经营者之间，非同一相关市场上的经营者之间不存在竞争关系。从广义上来说，竞争关系的主体还包括经营不相同业务的经营者，如果该经营者的行为违背了《反不正当竞争法》第2条规定的竞争原则，也可以认定相互间存在竞争关系。[10]
（二）与robots.txt相关的网络环境下的竞争关系
　　robots.txt是存放于网站根目录下的ASCII编码的文本文件，它通常告诉搜索引擎蜘蛛程序在此网站中可以抓取和禁止抓取的内容。因此，与robots.txt最直接相关的网站，就是提供搜索引擎服务的网站以及提供内容服务的网站。与此相关的竞争就是在它们之间展开，不过其中一方必定是搜索引擎服务提供者。
1．搜索引擎服务之间的竞争
　　搜索引擎是指“根据一定的策略、运用特定的计算机程序从互联网上搜集信息，在对信息进行组织和处理后，为用户提供检索服务，将用户检索相关的信息展示给用户的系统。”[11]如果没有搜索引擎，就难以对无序的网络信息资源进行检索、交接和共享乃至深层次的开发利用，形成信息孤岛。搜索引擎技术的目的就是要消除信息孤岛，实现互联网上所有资源的全面连通。搜索引擎是用户访问互联网的向导，搜索引擎能够根据用户输入的关键词，全面、迅速地将用户需要的信息从海量的互联网信息中拣选出来并提供给用户。
　　搜索引擎按其工作方式主要可分为三种：全文搜索引擎（Full Text Search Engine）、目录索引类搜索引擎（Search Index/Directory）和元搜索引擎（Meta Search Engine）。搜索引擎按照其搜索范围又可分为站内搜索、分类导航搜索和全网搜索。
　　按照狭义竞争关系的分析，同类产品极易产生竞争关系，尤其对于消费者无需重复消费的产品和服务，这样的竞争是明显的。在搜索引擎服务商之间，搜索服务本身具有同一性，即为用户提供搜索结果的整合排序，不同搜索平台在这个过程中是彼此独立的，用户选择是排他的。因此，同类搜索引擎服务商之间的竞争关系明朗，例如全网全文搜索之间存在竞争关系的有百度（Baidu）、google、Bing、360搜索、搜狗搜索等。
　　另外，不同类型搜索引擎之间也具有竞争关系。不同类型的搜索引擎往往存在叠加使用的情况，用户可能在全网搜索出相关网站后，并不能立刻链接到检索的具体信息，而是需要再进入网站进行分类导航或者站内搜索，以使搜索结果更准确，这时候，不同类型的搜索引擎并不是排他的，相反，小范围垂直搜索或站内搜索反而成为通用搜索的推广客户，彼此合作关系胜过竞争关系。但随着不同产品的革新和完善，各类搜索引擎将更加完善，垂直搜索引擎正在逐渐蚕食通用搜索的市场份额，竞争将日趋明显。
2．搜索引擎服务与提供内容服务之间的竞争
　　互联网内容提供商（Internet Content Provider，ICP）是向广大用户综合提供互联网信息业务和增值业务的运营商，如新浪、搜狐、163等。按服务对象和提供的信息内容等划分，ICP主要包括网上媒体运营商、数据库运营商、信息咨询商和信息发布代理商。网上媒体运营商主要通过免费为上网用户提供信息服务来聚集消费者，普通用户通过自己的浏览器输入媒体运营商Web网址，进入其服务网站即可获得媒体运营商所提供的信息，这些免费的信息服务包括新闻、Internet上的信息目录分类、Internet上的网页和网站搜索、个人的个性化信息服务配置、聊天室和分类广告等。数据库运营商是通过互联网将按专业领域分类的各种统计数据、文献书目和论文期刊等提供给用户，用户在网上凭会员用户名和密码进入数据库运营商的Web网站，提交自己要查询信息的各种要求，数据库运营商将使用用户指定的通信方式，将检索信息结果返回给用户。信息咨询商主要是为企业提供战略规划和决策咨询服务。信息发布代理商的业务是在传统的信息中介代理在Internet上展开代理撮合的全新业务方式。[12]
　　搜索引擎提供信息定位服务，达到互联网的互联互通。因此，搜索信息的全面性是搜索引擎应当满足的最基本也最重要的要求，而搜索的快速、搜索结果顺序编排合理以及尽量减少和屏蔽搜索结果中的垃圾信息及风险网站等则是搜索引擎在全面性基础之上需要达到的更高的要求。互联网内容服务就是为用户提供各种信息，包括国内外的政治、经济、文化、体育、生活、娱乐等信息，具体表现为文字、图片、文档、音频、视频等，不仅可以在线浏览，而且在一定条件下可以提供下载。有了搜索引擎服务，可以帮助用户快速访问互联网内容服务。从这个意义上说，搜索引擎服务商与互联网内容提供商并不是具有直接竞争关系的经营者。
（三）基于robots.txt的不正当竞争行为的认定
　　竞争的本质是市场主体争取交易机会或者获取交易上竞争优势的活动。所谓不正当竞争行为，就是经营者采取不正当手段争取交易机会的行为。
1．搜索引擎服务与提供内容服务的竞争关系
　　在百度公司诉奇虎公司案件中，尽管双方都是搜索引擎服务提供商，但该案争议的焦点不在于百度搜索与360搜索两种服务之争，而在于百度公司提供的内容服务与360搜索引擎服务之间的争端。这是确定竞争关系时首先需要明确的。
　　如前所述，搜索引擎服务商与互联网内容提供商并不是具有直接竞争关系的经营者。但是，反不正当竞争法上的不正当竞争行为不必是经营同类或者替代商品的对方经营者争夺交易机会的行为，而是以不正当手段谋取竞争优势或者破坏他人竞争优势的行为，也即是以不正当方式与竞争对手或者其他经营者直接或者间接争夺交易机会的行为，竞争关系就是由此产生的损害与被损害的关系。[13]据此，竞争关系可以归为三种基本的类型：同业经营者之间的竞争关系、为自己或者他人争取交易机会而产生的竞争关系以及因破坏他人竞争优势而产生的竞争关系。第一种类型是狭义上的竞争关系；后两种类型是广义上的竞争关系。
　　从狭义上而言，从百度公司诉奇虎公司的案件事实和当初发生的客观情况来看，奇虎公司是作为搜索引擎服务商而不是作为内容服务商出现的；百度公司尽管也是搜索引擎服务商，但在该案中，其主要作用在于提供内容服务，如百度知道、百度百科、百度文库、百度贴吧、百度旅游等，而不是提供搜索服务。这些内容网站与百度自身的搜索服务无关。因此，在该案中，双方提供的服务不同，二者之间不具有替代关系。
　　从广义上说，尽管搜索引擎服务商与互联网内容提供商并不是同业经营者，双方之间不存在直接竞争关系，但如果存在谋取竞争机会、破坏对方竞争优势的行为，违反了商业道德和行业惯例，就可以认为双方之间存在竞争关系。这是从广义角度来理解的。目前我国司法实践也是从这个角度来理解不正当竞争行为中的竞争关系。
2．区分作为商业惯例的爬虫协议与具体的robots.txt
　　在民商法领域，法律所未规定者，可依习惯处理。《保护工业产权巴黎公约》第10条之2款规定，凡在工商业活动中违反诚实的习惯做法的竞争行为，构成不正当竞争行为。在对该条款的权威解释中，在认定某一行为是否构成不正当竞争，不限于在请求保护的该成员国所存在的诚实的习惯做法，而且也必须考虑国际贸易中形成的诚实的习惯做法。[14]我国《反不正当竞争法》第2条也要求经营者在市场交易中，应当遵循自愿、平等、公平、诚实信用原则，遵守公认的商业道德。已经有学者指出，不管是国际通用的技术标准或行业惯例，还是自愿性的规范或者基于商业道德和行业惯例的自律规则，都应当得到法律的支持，在不正当竞争案件中，可以适用反不正当竞争法的一般条款。爬虫协议就属于上述的一种情形。[15]爬虫协议主要基于安全与隐私的原因而建立：“（1）搜索技术应服务于人类，尊重信息提供者的意愿，并维护其隐私权；（2）网站有义务保护其使用者的个人信息和隐私权不被侵犯。”[16]作为一种行业惯例，在搜索行业中已得到经常的遵循，从而使人有理由期望它在有争议的交易中也将得到遵守。[17]
　　值得注意的是，作为行业惯例的爬虫协议与具体的robots.txt并非同一概念，但将二者混淆的大有人在，如“Robots协定[18]是搜索引擎在抓取网站信息时要遵守的一个规则，是国际互联网界通行的道德规范。网站主人通过Robots协议明示自动抓取程序，服务器上什么内容可以被抓取，什么内容不可以被抓取。”“如果不遵循Robots协议，将会破其业界信任，使得网站不愿意被抓取的内容被搜索引擎索引，最终伤害用户的利益。”[19]即使搜索引擎服务与内容服务具有竞争关系，在不正当竞争行为的认定上，还需进一步区分爬虫协议以及具体的robots.txt文本本身。可以说，网站是通过robots.txt文本文件实现爬虫协议，爬虫协议确定了robots.txt需要遵循的原则。作为一种行业惯例，爬虫协议具体内容应该是：
　　（1）设置了robots.txt语法规则；
　　（2）确定蜘蛛程序访问的范围并置放于站点根目录下，作为蜘蛛程序访问该站点的第一个文件；
　　（3）确立了公平、开放和促进信息自由流动的原则。
　　爬虫协议作为一种行业惯例，体现了一定的商业道德，其被遵循的应该是上述原则和精神。但是，如果将作为一种行业惯例的爬虫协议混同于某一具体的robots.txt，则完全混淆了一般与个别的界限。不遵守爬虫协议是一个概念，不遵守某一个具体的robots.txt又是另外一个概念，不能混同。
3．含有拒绝交易、歧视对待内容的robots.txt与商业道德的关系