robots协议,是什么东西,就是一些正规的网站,它都有这个协议,我们在爬取东西的时候要遵循他这个协议,就是他会规定,这个网站里的什么你是可以爬取的,什么你是不能爬取的,这是大家约定俗成的
但是这有什么卵用,我要爬你还管我,你要爬你还在意这个,我让你别爬你就不爬了吗?只要别拿来做商业用途,而且访问量不大,不会对对方服务器造成伤害的话,随!便!爬!
大不了就坐牢,几年后我还爬你网站。
2024-03-27 07:53:09
robots协议,是什么东西,就是一些正规的网站,它都有这个协议,我们在爬取东西的时候要遵循他这个协议,就是他会规定,这个网站里的什么你是可以爬取的,什么你是不能爬取的,这是大家约定俗成的
但是这有什么卵用,我要爬你还管我,你要爬你还在意这个,我让你别爬你就不爬了吗?只要别拿来做商业用途,而且访问量不大,不会对对方服务器造成伤害的话,随!便!爬!
大不了就坐牢,几年后我还爬你网站。
下一篇:Robots 爬虫协议