python写网络爬虫的环境搭建

网上找了好多资料,都不全,通过资料的整理,包括自己的测试,终于把环境打好了,真是对于一个刚接触爬虫的人来说实属不易,现在分享给大家,若有不够详细之处,希望各位网友能补充。

第一步,下载python,

这里有一个巨坑,python2.x与python3.x变化实在是太大,博主开始用的python2.7,后来发现很多模块版本太新,根本没办法使用,兼容性出了问题,索性把python2.7给卸了,然后下了python3.4,如果你习惯了用python2.x,就不要轻易升级,如果你是刚学python,建议还是安装3.x版本。还有就是注意python是64位还是32位。

python写网络爬虫的环境搭建

第二步,环境变量设置,由于会使用python命令,所以最好还是设一个

桌面计算机—>右键“属性”—>点击“高级系统设置”—>高级属性里点击“环境变量”—>在系统变量里path中添加python安装目录。

第三步,下载一个合适的idl(代码编辑器),python自带的idle实在是太水了,对于一个项目来说,根本满足不了需求,只能做简单的测试。现在成熟的idl很多,博主使用的是Pycharm,觉得挺好用的,其他的不了解,你们可以尝试装机试试。

python写网络爬虫的环境搭建

python写网络爬虫的环境搭建

第四步,下载Beautiful Soup,

Beautiful Soup是一个非常流行的python模块,这个模块可以解析网页,并提供定位内容的便捷接口,对于Beautiful Soup的介绍,大家在网上都能查到,博主就不浪费时间了。对于python3.x必须安装Beautiful Soup4,其他版本可能安装不了。

下载后解压到Python安装目录下

python写网络爬虫的环境搭建python写网络爬虫的环境搭建

打开cmd编辑器,进入到beautifulsoup文件夹内

执行

setup.py build

然后执行

setup.py install

这样 Beautiful Soup模块就顺利的安装到了python3.4里

第五步,下载lxml库,lxml是Python语言里和XML以及HTML工作的功能最丰富和最容易使用的库。这一步博主真是走了好多弯路,先是下载lxml的版本不匹配,再是pip版本太低,弄了好久终于解决了。

在资源库里下载:http://www.lfd.uci.edu/~gohlke/pythonlibs/,这里lxml有好多版本:

python写网络爬虫的环境搭建python写网络爬虫的环境搭建

cp27代表是python2.7,cp34代表python3.4,amd64是64位的系统,不加代表32位。大家一定要对号入座,版本下错就惨了,就像博主我。。。

下载后把它放进python的安装目录下,此操作与Beautiful Soup一样,这样主要是为了方便管理。在cmd命令里,先执行“python -m pip install wheel”,安装wheel,成功后在python目录下的Lib\site-packages,能查看到wheel文件夹,代表安装成功。

然后安装lxml,“python -m pip install 你的lxml的路径(D:\workapps\python3.4.4\lxml-3.6.4-.....)”,如果提示你pip版本太低,则先更新pip(pip是一个安装和管理 Python 包的工具),命令行输入“python
-m pip upgrade pip”,升级完成后,再次安装lxml,就完成了。最后打开Pycharm,测试程序OK!!!

python写网络爬虫的环境搭建

附上淘宝网页抓取测试代码:

python写网络爬虫的环境搭建

python写网络爬虫的环境搭建

本文转载于://bbsmax.ikafan.com/static/L3Byb3h5L2h0dHBzL2Jsb2cuY3Nkbi5uZXQvdTAxMTEzOTExNy9hcnRpY2xlL2RldGFpbHMvNTI3ODg3ODU=.jpg

上一篇:第二百九十九天 how can I 坚持


下一篇:设计模式之单例模式-C++