攻防世界-robots

攻防世界-robots

题目描述:X老师上课讲了Robots协议,小宁同学却上课打了瞌睡,赶紧来教教小宁Robots协议是什么吧。

 

robots协议也叫robots.txt(统一小写)是一种存放于网站根目录下的ASCII编码的文本文件,它通常告诉网络搜索引擎的漫游器(又称网络蜘蛛),此网站中的哪些内容是不应被搜索引擎的漫游器获取的,哪些是可以被漫游器获取的。因为一些系统中的URL是大小写敏感的,所以robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下。

注意:写爬虫爬取网站的信息的时候一定要注意看robots协议,要不然一不小心爬取别人的隐秘内容是一定程度违反信息安全法的。

 

robots.txt应放置于网站的根目录下。所以我们可以访问网址的:/robots.txt

访问:http://111.200.241.244:35564/robots.txt

攻防世界-robots

 

然后再根据提示访问:f1ag_1s_h3re.php文件

访问:http://111.200.241.244:35564/f1ag_1s_h3re.php

攻防世界-robots

得到flag

 

声明:

本文仅限于大家技术交流和学习,严谨读者利用本博客的所有知识点进行非法操作。如果你利用文章中介绍的技术对他人造成损失,后果由您自行承担,感谢您的配合,

作者创作不容易,请大家点赞支持一下。谢谢各位读者大老爷。

上一篇:centos下JDK的卸载与安装


下一篇:反爬方案总结