Robots协议乃是互联网垄断的潜规则

Robots背后的潜规则

最近，Robot协议又被拿来说事儿，有人说360违反Robot协议抓取搜索引擎搜索结果，还有人说着会引起行业大乱，随后似乎又有几个不知名的小网站随声附和。不过反驳之说，似乎只见诸文字，真对360搜索反感的网站倒还真没见到。

Robots协议是什么?在百科网站里的定义，robot协议(也称为爬虫协议、爬虫规则、机器人协议等)也就是robots.txt，网站通过robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。

当搜索蜘蛛访问站点时，它会首先检查网站根目录下是否存在Robots.txt。如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。

Robot协议对于小白用户并不重要，之前也并不广为人知。最近和Robots相关的新闻都发生在电子商务网站，之前有两个：一个是京东屏蔽一淘的蜘蛛，另一个是淘宝屏蔽百度的蜘蛛。现在，3B大战闹得很凶，很多人把Robot协议拿出来说事儿。

而在我看来，Robot充其量是互联网江湖规矩、“潜规则”而已。

Robot协议不是行业标准，只是“搜索引擎的家规”。

Google是互联网江湖的大佬，Robots的发展恰恰与Google的发展密不可分。

当年，谷歌凭借搜索引擎飞速发展，可很多大型网站原有的商业模式遭到了严重的破坏。为了维护自身的利益，一些欧美大网站联合起来与Google谈判，要求Google必须做到“有所为有所不为”，于是就有了“Robots协议”。

对于这份所谓的Robots协议，很多企业并不买账。毕竟，这只是谷歌自己制定的规范，并不是各大搜索厂商的共识或统一的协议，也从来没有任何一家国内搜索引擎服务商公开承诺遵守Robots协议或签署类似协议或声明。 所以，在很多人眼里，充其量是谷歌的“家规”。

而事实上，这个由搜索引擎制定的协议，只会规定如何与网址分享内容，绝对不会对于搜索引擎不利的条款。伴随搜索引擎的发展，Robots协议朝着相反的法相发展：

Robots协议目的是为了限制谷歌，但最终却帮助Google和百度这样的垄断企业遏制了后起的竞争者。因为，Google当年在制定这个协议时，特意留下了后门，即：协议中不仅包括是否允许搜索引擎进行搜索的内容，还包括允许谁和不允许谁进行搜索内容。Google和百度在实现了垄断地位之后，就利用这些排斥性规则挡住了后来的进入者。

这样看来，Robots协议是互联网的一份“不平等条约”“垄断条款”。

值得一提的是，尽管Robot造成了搜索引擎的霸权与垄断，但当年制定条款的初衷却非常值得我们尊重。Robot制定的两个原则是：

1、搜索技术应服务于人类，尊重信息提供者的意愿，并维护其隐私权;

2、网站有义务保护其使用者的个人信息和隐私不被侵犯。

现在，我们由Robot最初的两个初衷，却得到得到两个与众不同的答案：

抓取搜索页面无罪

既然，Robot协议的初衷是为了保护“信息提供的隐私”“最终信息提供者的意愿”，那么对于在搜索引擎结果中，再次抓取的行为则无罪可言：

搜索引擎的结果被抓取，实质上是经过了两次Robot。那么，如果第一次Robot是完全符合协议，保护了信息者的隐私，那么在已经保护了隐私的搜索结果里，再次检索，又怎能破坏隐私呢?

愿意把信息提供给百度的站长们，无非是希望访问用户增加、网站流量增加。那么，增加一个新的搜索引擎，检索其内容，为其带来更多流量和用户的时候，难道不是最大程度地满足信息提供者的意愿吗和需求?

所以，那些担心百度搜索结果被抓取的人们，或许你们是对百度太没信心了，你们太过于担心百度搜索结果中有“隐私”了!

搜索引擎有资格独占搜索结果么?

那么，百度能否以站长自居也使用Robot协议，拒绝其他搜索引擎的检索呢?显然不能。

对于Robot有人打了个比方：

如果将网站视为酒店里的一个房间，robots.txt就是主人在房间门口悬挂的“请勿打扰”或“欢迎打扫”的提示牌。这个文件告诉来访的搜索引擎哪些房间可以进入和参观，哪些房间因为存放贵重物品，或可能涉及住户及访客的隐私而不对搜索引擎开放。

如果房间代表是每个站长的权利，百度所抓取的内容就是整个酒店，事实上它并也没这个资格，因为搜索引擎是不生产内容的，所以，充其量百度是小区的物业。那么，物业有没有资格在大门口放一块“请勿打扰”的牌子呢?显然不能!因为，它代表不了站长，就像小区物业没法干涉你的好朋友去你家串门一样。

而且，搜索引擎不是制造内容和生产内容的网站，它不是内容的生产者(百度社区产品不在此讨论范围)，就像物业一样，它只是一个托管者而已，它无权干扰和干涉它所检索的网站被更多的搜索引擎检索，更无权干涉搜索领域的后起之秀为中小网站带来更多的用户和流量。

所以，那些拿Robot协议说事儿的人们，请想想Robots的初衷是什么?是为了保护站长、内容的生产者，而不是保护搜索引擎。而现在，Robots已经变成“搜索引擎家规”和行业垄断的潜规则，这些搜索垄断巨头可对流量的垄断和控制力，正让让中小网站岌岌可危。

所以，笔者认为Robots最缺的，不是违反设立初衷去保护日益强悍的搜索引擎，而是对搜索引擎自身的制约。而要想最好最大程度地保护站长，只有让更多搜索引擎充分竞争，打破搜索引擎垄断，才能最大程度让利给站长，也是最快和最可行互联网和谐之路。