Web网站如何查看搜索引擎蜘蛛爬虫的行为

简介


本文给大家介绍Linux/Nginx如何查看搜索引擎蜘蛛爬虫的行为,清楚蜘蛛的爬行情况对做SEO优化有很大的帮助。需要的朋友通过本篇文章学习下吧


摘要

做好网站SEO优化的第一步就是首先让蜘蛛爬虫经常来你的网站进行光顾,下面的Linux命令可以让你清楚的知道蜘蛛的爬行情况。


下面我们针对nginx服务器进行分析,日志文件所在目录  /usr/local/nginx/logs/access.log 


access.log这个文件记录的应该是最近一天的日志情况,首先请看看日志大小,如果很大(超过50MB)建议别用这些命令分析,因为这些命令很消耗CPU,或者更新下来放到分析机上执行,以免影响网站的速度。


Linux shell命令


1. 百度蜘蛛爬行的次数

cat /var/log/nginx/access.log | grep Baiduspider | wc

最左面的数值显示的就是爬行次数。


Web网站如何查看搜索引擎蜘蛛爬虫的行为


2. 百度蜘蛛的详细记录(Ctrl C可以终止)

cat /var/www/log/nginx/access.log | grep Baiduspider


也可以用下面的命令:

cat /var/log/nginx/access.log | grep Baiduspider | tail -n 10
cat /var/log/nginx/access.log | grep Baiduspider | head -n 10

只看最后10条或最前10条,这用就能知道这个日志文件的开始记录的时间和日期。


3. 百度蜘蛛抓取首页的详细记录

cat /var/log/nginx/access.log | grep Baiduspider | grep “GET / HTTP”

百度蜘蛛好像对首页非常热爱每个钟头都来光顾,而谷歌和雅虎蜘蛛更喜欢内页。


4. 百度蜘蛛派性记录时间点分布

cat /var/log/nginx/access.log | grep “Baiduspider ” | awk ‘{print $4}'


5. 百度蜘蛛爬行页面按次数降序列表

cat /var/log/nginx/access.log | grep “Baiduspider ” | awk ‘{print $7}' | sort | uniq -c | sort -r


文中的Baiduspider 改成Googlebot都可以查看谷歌的数据,鉴于大陆的特殊性,大家应该对百度的log更为关注。


附:(Mediapartners-Google)Google adsense蜘蛛的详细爬行记录

cat access.log | grep Mediapartners

Mediapartners-Google是什么呢?Google adsense广告之所以能与内容相关,因为每个包含着adsense的广告被访问后,很快就有个Mediapartners-Google蜘蛛来到这个页面,所以几分钟后再刷新就能显示相关性广告了,真厉害啊!


Linux下nginx如何启用网站日志,查看蜘蛛爬虫


默认的路径是你安装时候指定的

如果用的LNMP之类的安装包

你可以在SHELL下

where is nginx

找到相应的路径之后

在NGINX下的CONF文件夹里看配置文件,日志文件如果记录了话,在配置文件里有路径的!


总结!我想学***了!


上一篇:使用Varnish为web网站加速


下一篇:多模式日志数据流的实时加工与集散