淘宝 封住baidu的蜘蛛了吗？    

2008-09-13 08:27 金色海洋（jyk）  阅读(3150)  评论(22) 编辑 收藏    

祝大家月饼节快乐！

 

     首先祝大家月饼节快乐！

     

     由于一开始没有弄清楚robots.txt和robot.txt，造成了一些错误，感谢“那山那人那狗 [未注册用户] ”的提醒。所以对原来的内容进行了一下修改。

     前几天看见博友写文章说淘宝封了baidu的蜘蛛，用http://www.taobao.com/robots.txt 这个地址查看了robots.txt 文件内容，确实是不允许baidu的蜘蛛了，其他二级域名里的 robots.txt 文件，比如 http://store.taobao.com/robots.txt 也禁止了baidu的蜘蛛。robots.txt 内容是（如下），

User-agent: Baiduspider
Disallow: /

User-agent: baiduspider
Disallow: /

 

     那么过了好几天了，我们再来看baidu 里面的收录情况，打开baidu，输入site:www.taobao.com ，第一条就是9月12日的快照。 再输入 site:taobao.com 第四条就是9月13日的快照。第一页有8条九月份的快照。这样看来，根本就没有限制住！

下面是截图：

---

 

 

     我到网上查了一下robots.txt文件的格式，http://www.baidu.com/search/robots.html 这里是baidu对robots.txt的解释，有一点值得注意一下。

     “baiduspider通常每天访问一次网站的robots.txt文件，您对robots所做的修改，会在48小时内生效。需要注意的是，robots.txt禁止收录以前百度已收录的内容，从搜索结果中去除可能需要数月的时间。”
     

     现在baidu已经收录了 约22,500,000篇 网页，这些网页什么时候会被去除呢？“需要数月”。

 

      感谢 那山那人那狗 [未注册用户] 的提醒，确实是把网址给弄错了，其实这个网址是从http://www.cnblogs.com/dingxue/archive/2008/09/09/1287262.html 这里第四楼拷贝过来的。被害了，呵呵。

不过，http://store.taobao.com/robot.txt  这个地址确实有内容，导致了我的误解。

 

    

• 分类            心情驿站
•