python爬虫遵守规则
按照爬虫规模分类
注意：
针对爬取全网，python不提供第三方库。
爬虫可能会带来的问题
1.骚扰问题
2.法律问题
3.隐私泄露问题
受限于编写水平和目的，网络爬虫可能会给web服务器带来巨大的资源开销。
一般网站对爬虫的限制以及如何遵守
来源审查：
这种方法需要维护人员技术上的支持。
Robots协议：
不是强制性要求，违反可能会承担法律责任。
通过上述语法对不同代理，制定不同规范。
比如查看百度：
https://www.baidu.com/robots.txt
(截取了一部分)
最后
类人行为可不参考Robots协议，比如一个小时去浏览一次，而不是疯狂刷次数，对服务器的运行不会有过大影响。
截图来自北理工爬虫mooc