robots协议

Robots协议，全称为“网络爬虫排除标准”(Robots Exclusion Protocol)，是互联网上用于指导搜索引擎蜘蛛如何抓取和访问网站的一种协议。网站可以通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取，从而保护敏感信息和数据，确保用户隐私不被得犯。

如果ctf中考到了这个在我浅薄的认知里，这应该考的比较基础，查看一下robots协议在访问对应的文档就可以获取flag。

例题

攻防世界Training-WWW-Robots
1：访问靶场

2：查看robots协议

3：访问对应文件