爬虫日记之robots协议

robots协议,是什么东西,就是一些正规的网站,它都有这个协议,我们在爬取东西的时候要遵循他这个协议,就是他会规定,这个网站里的什么你是可以爬取的,什么你是不能爬取的,这是大家约定俗成的

但是这有什么卵用,我要爬你还管我,你要爬你还在意这个,我让你别爬你就不爬了吗?只要别拿来做商业用途,而且访问量不大,不会对对方服务器造成伤害的话,随!便!爬!

大不了就坐牢,几年后我还爬你网站。

上一篇:攻防世界 web 进阶区 刷题记录


下一篇:Robots 爬虫协议