robots协议引发的案件：微博对头条设置唯一黑名单，二审改判微博胜诉

周公观娱 2021-10-21 投诉

阅读数：2853

文/刘彦伶

互联网世界为了实现信息互联共通的目的，并未划分明显的楚河汉界。各个平台以robots协议为工具，让数据实现在平台间的自由流动。

但数据信息是互联网平台的核心资源，因此各平台间有关robots协议的诉讼之战也常常一触即发。

10月8日，北京高院在假期结束的第一天便做出一项判决，原本一审认定微博构成不正当竞争的案件，北京高院二审改判，认为不正当竞争的主张不成立，微博获得胜诉。

1 裁判要点

· 通过robots协议对网络机器人进行限制并不当然违背互联网行业的商业道德。

· 非搜索引擎场景应用与搜索引擎不同，因此在对非搜索引擎网络机器人通过robots协议进行限制时，不宜当然地借用对于搜索引擎进行限制的规则。

· 《互联网搜索引擎服务自律公约》仅可作为搜索引擎服务行业的商业道德，而不能成为互联网行业通行的商业道德。

· robots协议的合法性，应结合协议设置方与被限制方所处的经营领域和经营内容、被限制的网络机器人应用场景、协议的设置对其他经营者、消费者以及竞争秩序的影响等多种因素进行综合判断。

2 微博 vs 头条robots协议引发的纠纷

互联网公司之间的战争总是开始得高深莫测。2017年，头条认为微博在m．weibo．cn网站的robots．txt文件中，仅针对“今日头条”进行限制，阻止“今日头条”的网络机器人（ToutiaoSpider）抓取微博平台中对公众和其他所有网络机器人完全公开并可以自由访问的网站内容，这项行为违反了互联网行业公认的商业道德，构成不正当竞争。

什么是robots协议？

原本各个网站所产生的信息和数据并不共享，但是互联网世界为实现信息的自由流动，允许搜索引擎网站在其他网站上抓取信息、生成介绍链接。帮助用户增加信息获取途径，通过搜索引擎获得更多网站的信息。

而在此过程中，被抓取数据的网站可能因为频繁的抓取行为导致服务器无法正常运行，也可能被抓取于网络用户无用的后台信息或者隐私信息等。

为了解决上述问题，robots协议应运而生。robots协议也叫robots.txt，是一种存放于网站根目录下的编码的文件，它的功能是告诉网络搜索引擎的漫游器（又称网络机器人），此网站中的哪些内容是不应被搜索引擎的漫游器获取的，哪些是可以被漫游器获取的。它最早起源于1994年，由一些网络机器人的设计者和爱好者在论坛上形成的文档《机器人排除标准》（《A Standardfor Robot Exclusion》）演变而来。

robots协议的默认语言是允许抓取，除非在协议中明确设置不能被抓取的数据目录，或者不能对其实施抓取行为的网络机器人，否则皆默认为允许任何搜索引擎抓取任何数据。

在本案中，微博就在其robots协议里仅排除“今日头条”的网络机器人（ToutiaoSpider）一个主体。今日头条不被允许在微博平台抓取任何数据，这才成为本案的导火索，头条据此提起对微博的不正当竞争之诉。

本案微博robots协议的内容

一审判决

实质上，robots协议的存在就是以数据开放为目的，排除为例外。并且，行业协会也支持信息开放，抵制不合理的抓取限制。

早在2012年，我国多家头部互联网公司就共同签署《互联网搜索引擎服务自律公约》，约定互联网站所有者设置robots协议应遵循公平、开放和促进信息自由流动的原则，限制搜索引擎抓取应有行业公认合理的正当理由。该项公约内容也被视为商业道德的参考标准。

因此，本案一审判决认为，微博对头条设置唯一黑名单的行为影响“今日头条”的使用，破坏公平竞争秩序，也违背开放信息的原则，违反行业公认的商业道德，构成不正当竞争：

影响了网络用户对其所选择的 ‘今日头条’客户端的正常使用，且在一定程度上迫使存在相关信息检索需求的网络用户只能通过其他平台获取相关信息。……此种针对性的限制措施显然与行业公认的robots协议公平、开放和促进信息自由流动原则不符，与互联网行业普遍遵从的开放、平等、分享、协作的互联网精神相悖，不利于维护公平参与、理性竞争的互联网市场竞争环境。

一审判决似乎在理，那么二审为何会改判微博胜诉呢？

3 二审为何改判？

微博与头条的案件并不是个例，早在2012年百度和奇虎360就曾因为百度公司robots协议未对360开放白名单而起诉百度不正当竞争，并且该案最终一审、二审均认定百度公司设置robots协议构成不正当竞争。（参见北京市高级人民法院(2017)京民终487号民事判决书）

有意思的是，百度与360案的案件事实及起诉-审理-判决过程跨越了《自律公约》的通过，因此法院在判决中甚至表示，《自律公约》签署之后，百度公司明知奇虎公司要求其允许抓取百度相关网站的网页内容，但始终未允许360搜索引擎的抓取，属于歧视措施，违反诚实信用原则和商业道德。

同样是由北京高院做出的二审判决，看似相同的案件却得到相反的结果，究竟是为什么？

（1）头条“微头条”并非搜索引擎，互联网的互通共享不是本案的商业道德

原来两案的不同之处，也是微博vs头条案二审改判的主要原因，即抓取数据的“微头条”平台不是搜索引擎，其抓取的数据也使用于该非搜索引擎，不应当以《互联网搜索引擎服务自律公约》的规定作为商业道德之参考。

由于非搜索引擎场景应用的网络机器人，已经不像搜索引擎那样当然地对公众利益，以及互联网的互联、互通、共享、开放的精神产生影响，因此在对这些网络机器人通过robots协议进行限制时，不宜当然地借用对于搜索引擎进行限制的规则。也就是说，《互联网搜索引擎服务自律公约》仅可作为搜索引擎服务行业的商业道德，而不能成为互联网行业通行的商业道德。

（2）robots协议对其他经营者、消费者的无影响

Robots协议仅仅是网站设置的规范性文档，不具备命令的功能，只作为网络机器人的行为指引而存在。本案中，头条公司也承认，虽然存在限制性robots协议，但是头条依然对微博平台的数据进行了抓取和使用。

而微博也针对头条对数据的使用行为另行起诉，该案中微博依然获得胜诉，头条被认定为不正当竞争，并被判决赔偿微博2100万元。

因此，微博虽然设置robots协议，但并未对头条的抓取行为产生影响。

对于消费者而言，即使头条平台被禁止抓取相关数据，用户依然可以通过微博获取内容，robots协议未对消费者造成损害。在综合考虑多项因素后，二审法院撤销了一审判决，认为微博设置robots协议系行使其企业的自主经营权，不构成不正当竞争。

互联互通vs网站经营者自主经营

虽然本案最终认定微博系在行使其自主经营权，设置robots协议限制抓取并非不正当竞争，但是“互联互通”依然是当下互联网领域的关键词。

工信部今年7月启动了为期半年的互联网行业专项整治行动，重点整治无正当理由屏蔽外部网址链接的情况。认为无正当理由限制网址链接的识别、解析、正常访问，影响了用户体验，也损害了用户权益，扰乱了市场秩序。同时，9月13日的国新办新闻发布会上工信部新闻发言人表示，工信部采取了多种形式进一步帮助企业认识到，互联互通是互联网行业高质量发展的必然选择，让用户畅通安全使用互联网也是互联网行业的努力方向。