1:urllib python自带
2:re python自带
3:requests pip install requests
4:selenium 需要依赖chromedriver
(selenium目前有版本限制:https://blog.csdn.net/qq_36625806/article/details/81463872)
下载地址:https://download.csdn.net/my
安装方式:解压后 python setup.py install -->>添加到环境变量path中
5:chromedriver 下载地址:https://download.csdn.net/download/qq_36625806/10589319
放到python安装目录中即可。
6:phantomjs *面浏览器,相当于一个网页控制台
下载地址:https://download.csdn.net/download/qq_36625806/10589328
将bin目录配置到环境变量的path中
7:xlml pip install lxml
或访问:https://pypi.python.org/pypi/lxml 下载
8:beautifulsoup pip install beautifulsoup4 (网页解析库,依赖xlml)
9:pyquery pip install pyquery (网页解析库,语法跟jquery完全一致)
官方api:https://pythonhosted.org/pyquery/api.html
10:pymysql pip install pymysql (操作mysql的库)
11:pymongo pip install pymongo (操作Mongodb数据库)
12:redis pip install redis (操作redis)
13:flask pip install flask (代理)
14:django pip install django (python前端框架)
官网:https://www.djangoproject.com
15:jupyter pip install jupyter (记事本,可以在线运行代码)
安装jupyter如果遇到超时的问题,用以下命令安装:
pip install jupyter --timeout 30000
jupyter安装成功后,在命令行输入 :jupyter notebook启动
浏览器会自动打开jupyter
ctrl+回车 运行代码
b 换新行