题目描述:X老师上课讲了Robots协议,小宁同学却上课打了瞌睡,赶紧来教教小宁Robots协议是什么吧。
robots协议也叫robots.txt(统一小写)是一种存放于网站根目录下的ASCII编码的文本文件,它通常告诉网络搜索引擎的漫游器(又称网络蜘蛛),此网站中的哪些内容是不应被搜索引擎的漫游器获取的,哪些是可以被漫游器获取的。因为一些系统中的URL是大小写敏感的,所以robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下。
注意:写爬虫爬取网站的信息的时候一定要注意看robots协议,要不然一不小心爬取别人的隐秘内容是一定程度违反信息安全法的。
robots.txt应放置于网站的根目录下。所以我们可以访问网址的:/robots.txt
访问:http://111.200.241.244:35564/robots.txt
然后再根据提示访问:f1ag_1s_h3re.php文件
访问:http://111.200.241.244:35564/f1ag_1s_h3re.php
得到flag
声明:
本文仅限于大家技术交流和学习,严谨读者利用本博客的所有知识点进行非法操作。如果你利用文章中介绍的技术对他人造成损失,后果由您自行承担,感谢您的配合,
作者创作不容易,请大家点赞支持一下。谢谢各位读者大老爷。