软件工程阅读笔记(一)之Python网络爬虫

  在王老师给我们发布作业之后,我看到Python爬虫,但是Python基础语法我还不会。所以我在图书馆里借了一本Python网络爬虫教程。

所谓网页解析器,简单地说就是用来解析HTML网页的工具,它主要用于从HTML网页信息中提取需要的、有价值的数据和链接。在Python中解析网页主要用到正则表达式、Lxml库、Beautiful Soup这三种工具。

一是正则表达式。正则表达式描述了一种字符串匹配的模式。可以用来检查一个串是否含有某种子串,将匹配的子串替换或者从某个串中取出符合某个条件的子串等。正则表达式的优点是基本能用正则表达式来提取想要的所有信息,效率比较高,但缺点也很明显——正则表达式不是很直观,写起来比较复杂。

二是Lxml库。这个库使用的是XPath语法,同样是效率比较高的解析库。Xpath是一门在XML文档中查找信息的语言。XPath可用来在XML文档中对元素和属性进行遍历。XPath比较直观易懂,配合Chrome浏览器或Firefox浏览器,写起来非常简单,它的代码速度运行快且健壮,一般来说是解析数据的最佳选择。

三是Beautiful Soup。Beautiful Soup是一个可以从HTML或XML文件中提取数据的Python库。它能够通过我们喜欢的转换器实现惯用的文档导航、查找。Beautiful Soup编写效率高,能帮程序员节省数小时甚至数天的工作时间。Beautiful Soup比较简单易学,但相比Lxml和正则表达式,解析速度慢很多。

上一篇:Python爬漫画(GUI)


下一篇:小白学 Python 爬虫(21):解析库 Beautiful Soup(上)