前言
经过一段时间摸索爬虫，现在对python 爬虫整个知识框架进行一个总结
一、Python 爬虫知识架构图
- 我将爬虫技术分为两个业务场景，一个是静态页面数据，另一个是有ajax、js动态加载之后的网页数据
- 爬虫技术我将之分为两大类，一类为网页URL处理与下载技术（urlib、requests、selenium等），另一类为数据数据解析技术（re、lxml、bs4、selenium等）
- 为了方便、快速开发网络爬虫，对底层url处理与数据处理进行高层次封装，引出scripy框架。基于框架开发，方便、省力。
二、Python 爬虫
1. 爬虫基础技术
urllib库博客： https://blog.csdn.net/qq_40494873/article/details/120406457
requests库博客：https://blog.csdn.net/qq_40494873/article/details/120774560
re模块博客：https://blog.csdn.net/qq_40494873/article/details/120797490?spm=1001.2014.3001.5502
lxml库博客：https://blog.csdn.net/qq_40494873/article/details/121195003
bs4模块博客：
selenium模块博客：
2.爬虫框架技术
scripy库博客：
总结
提示：这里对文章进行总结：
例如：以上就是今天要讲的内容，本文仅仅简单介绍了pandas的使用，而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。