python网络爬虫入门(二)

刚去看了一下,18年2月份写了第一篇关于爬虫的文章(仅仅介绍了使用requests库去获取HTML代码),一年多之后看来很稚嫩也没有多少参考的意义,但没想着要去修改它,留着也是一个回忆吧。至少证明着我是有些许进步的,愿你也是一样!

下面是它的姊妹篇,介绍使用requests和bs4(BeautifulSoup)库来爬取静态网页中的信息。


爬虫从黑盒的角度来看,就是给出网页的链接,输出你想要的信息的一段程序。大概会涉及这几个步骤:

python网络爬虫入门(二)

1. 使用requests+re正则

单纯使用requests库来做,需要会写正则表达式,这里借助之前的那篇 爬取猫眼Top100榜单 来讲。

第一步——获取HTML代码

一般使用requests库get()方法,这里封装成为一个函数

 def get_one_page(url):
try:
headers = {
'user-agent':'Mozilla/5.0'
}
# use headers to avoid 403 Forbidden Error(reject spider)
response = requests.get(url, headers=headers)
if response.status_code == 200 :
return response.text
return None
except RequestException:
return None

第二部——分析页面HTML代码,写正则表达式,提取信息

先来看页面

python网络爬虫入门(二)

分析它的HTML,我目前需要排名、片名、主演、上映时间和评分信息。

python网络爬虫入门(二)

可以看到,榜单中每一个电影条目都在一组<dd></dd>标签中,而且所需的信息也很明确,我们来写正则,正则的关键在于找好独一无二的参照(已在途中方格标出)

re_text =

'<dd>.*?board-index.*?>(\d+)<.*?<a.*?title="(.*?)"'
+'.*?data-src="(.*?)".*?</a>.*?star">[\\s]*(.*?)[\\n][\\s]*</p>.*?'
+'releasetime">(.*?)</p>.*?integer">(.*?)</i>.*?'
+'fraction">(.*?)</i>.*?</dd>'
 def parse_one_page(html):
pattern = re.compile('<dd>.*?board-index.*?>(\d+)<.*?<a.*?title="(.*?)"'
+'.*?data-src="(.*?)".*?</a>.*?star">[\\s]*(.*?)[\\n][\\s]*</p>.*?'
+'releasetime">(.*?)</p>.*?integer">(.*?)</i>.*?'
+'fraction">(.*?)</i>.*?</dd>', re.S)
items = re.findall(pattern, html)
return items

先编译正则表达式成为pattern,然后在页面中findall符合条件的信息。这样就会将正则表达式匹配到的所有信息,以一个列表的形式返回。

第三部——持久化存储数据

我所做的实践由于数据量较小,目前都是采用excel(*.xlsx)来存储。需要用到一个openpyxl库,自行安装即可,它的使用教程有很多,不是我所述的主要内容,烦请自行学习。

已经爬到的数据

python网络爬虫入门(二)

注意:上面所讲的是获取一个页面(含20条信息,该榜单有100条,势必会有分页),所以URL肯定需要替换,但是肯定是有规律的(具体的看这篇博客吧 猫眼top100

2. 使用bs4(BeautifulSoup)筛选器

使用bs4库,需要先自己安装一下。

所谓筛选器,即相当于我们上面正则表达式中的“参考”,即:锚点。通过筛选器,可以非常方便的获取页面当中的信息。下面讲一个例子,就明白了。

栗子:

获取博客园新闻板块第一条的新闻title,先来瞧瞧HTML和selector。

python网络爬虫入门(二)

代码:

 # -*- coding: utf-8 -*-
# @Author : yocichen
# @Email : yocichen@126.com
# @File : test_bs4.py
# @Software: PyCharm
# @Time : 2019/11/15 10:23 import requests
from bs4 import BeautifulSoup
import lxml url = 'https://www.cnblogs.com/news/'
headers = {
'user-agent':'Mozilla/5.0'
}
# 获取HTML
html = requests.get(url, headers=headers)
# 解析HTML
soup = BeautifulSoup(html.text, 'lxml')
# 筛选器筛选信息
selector = '#post_list > div:nth-child(2) > div.post_item_body > h3 > a'
res = soup.select(selector)
print('博客园新闻板块第一条title\n', res[0].string)

结果:

python网络爬虫入门(二)

可以看到,获取selector十分简单,chrome浏览器或者其他浏览器也有支持,这样一来就避免了去写繁杂的正则表达还写不出来的窘境。

最终的持久化存储过程,同上,不再赘述。


后记

python爬虫入门篇就此结束了,爬虫深入的话还涉及到防止反爬,以及爬取动态页面等问题,有机会的话会再学习再写一篇。

以上内容其实是对我最近所学所做的总结,如果你从中也有些许收获,不妨点个“推荐”吧!

上一篇:【转】64位Ubuntu 16.04搭建嵌入式交叉编译环境arm-linux-gcc过程图解


下一篇:javascript – 提供跨站点内容 – JSONP,iframe还是其他什么?