robots.txt文件使用方法的详细介绍

robots.txt文件在网站根目录中就能找到,其主要用处就是当搜索引擎访问网站的时候,告诉它网站中哪些页面可以被抓取,哪些禁止抓取,也可以通过它来屏蔽页面来达到集中权重的作用。

1、网站设置robots.txt文件的原因

禁止搜索引擎蜘蛛抓取无效页面,集中权值到主要页面和设置访问权限保护网站安全。可用域名加robots.txt查询网站是否有robots.txt 文件,如:http://www.qzgi.cn/robots.txt

robots.txt文件使用方法的详细介绍

2、robots.txt文件怎么写?

首先要认识User-agent、Disallow、Allow是什么意思:

User-agent表示定义哪个搜索引擎,如User-agent:Baiduspider,定义百度蜘蛛;

Disallow表示禁止访问;

Allow表示运行访问;

通过以上三个命令,可以组合多种写法,允许哪个搜索引擎访问或禁止哪个页面,且对字母大小有限制,文件名必须为小写字母,所有的命令第一个字母需大写,其余的小写。且命令之后要有一个英文字符空格。

3、robots.txt文件放在哪里?

robots.txt文件需要用FTP打开网站后台上传到网站根目录。

4、什么时候需要使用robots.txt文件

首先是无用页面,如联系我们、用户协议等页面对搜索引擎优化来说作用不大,此时可用Disallow命令禁止这些页面被搜索引擎蜘蛛抓取;其次就是动态页面,好处就是集中权值,提高网站安全性;最后就是后台页面。

本文源自:老齐SEO《robots.txt文件使用方法的详细介绍

上一篇:基于MPC的WMR点镇定-极坐标系下


下一篇:爬虫~概念知识