刚去看了一下，18年2月份写了第一篇关于爬虫的文章（仅仅介绍了使用requests库去获取HTML代码），一年多之后看来很稚嫩也没有多少参考的意义，但没想着要去修改它，留着也是一个回忆吧。至少证明着我是有些许进步的，愿你也是一样！
下面是它的姊妹篇，介绍使用requests和bs4(BeautifulSoup)库来爬取静态网页中的信息。
爬虫从黑盒的角度来看，就是给出网页的链接，输出你想要的信息的一段程序。大概会涉及这几个步骤：
1. 使用requests+re正则
单纯使用requests库来做，需要会写正则表达式，这里借助之前的那篇 爬取猫眼Top100榜单 来讲。
第一步——获取HTML代码
一般使用requests库get()方法，这里封装成为一个函数
def get_one_page(url):
try:
headers = {
'user-agent':'Mozilla/5.0'
}
# use headers to avoid 403 Forbidden Error(reject spider)
response = requests.get(url, headers=headers)
if response.status_code == 200 :
return response.text
return None
except RequestException:
return None
第二部——分析页面HTML代码，写正则表达式，提取信息
先来看页面
分析它的HTML，我目前需要排名、片名、主演、上映时间和评分信息。
可以看到，榜单中每一个电影条目都在一组<dd></dd>标签中，而且所需的信息也很明确，我们来写正则，正则的关键在于找好独一无二的参照（已在途中方格标出）
re_text =
'<dd>.*?board-index.*?>(\d+)<.*?<a.*?title="(.*?)"'
+'.*?data-src="(.*?)".*?</a>.*?star">[\\s]*(.*?)[\\n][\\s]*</p>.*?'
+'releasetime">(.*?)</p>.*?integer">(.*?)</i>.*?'
+'fraction">(.*?)</i>.*?</dd>'
def parse_one_page(html):
pattern = re.compile('<dd>.*?board-index.*?>(\d+)<.*?<a.*?title="(.*?)"'
+'.*?data-src="(.*?)".*?</a>.*?star">[\\s]*(.*?)[\\n][\\s]*</p>.*?'
+'releasetime">(.*?)</p>.*?integer">(.*?)</i>.*?'
+'fraction">(.*?)</i>.*?</dd>', re.S)
items = re.findall(pattern, html)
return items
先编译正则表达式成为pattern，然后在页面中findall符合条件的信息。这样就会将正则表达式匹配到的所有信息，以一个列表的形式返回。
第三部——持久化存储数据
我所做的实践由于数据量较小，目前都是采用excel(*.xlsx)来存储。需要用到一个openpyxl库，自行安装即可，它的使用教程有很多，不是我所述的主要内容，烦请自行学习。
已经爬到的数据
注意：上面所讲的是获取一个页面（含20条信息，该榜单有100条，势必会有分页），所以URL肯定需要替换，但是肯定是有规律的（具体的看这篇博客吧 猫眼top100 ）
2. 使用bs4(BeautifulSoup)筛选器
使用bs4库，需要先自己安装一下。
所谓筛选器，即相当于我们上面正则表达式中的“参考”，即：锚点。通过筛选器，可以非常方便的获取页面当中的信息。下面讲一个例子，就明白了。
栗子：
获取博客园新闻板块第一条的新闻title，先来瞧瞧HTML和selector。
代码：
# -*- coding: utf-8 -*-
# @Author : yocichen
# @Email : yocichen@126.com
# @File : test_bs4.py
# @Software: PyCharm
# @Time : 2019/11/15 10:23 import requests
from bs4 import BeautifulSoup
import lxml url = 'https://www.cnblogs.com/news/'
headers = {
'user-agent':'Mozilla/5.0'
}
# 获取HTML
html = requests.get(url, headers=headers)
# 解析HTML
soup = BeautifulSoup(html.text, 'lxml')
# 筛选器筛选信息
selector = '#post_list > div:nth-child(2) > div.post_item_body > h3 > a'
res = soup.select(selector)
print('博客园新闻板块第一条title\n', res[0].string)
结果：
可以看到，获取selector十分简单，chrome浏览器或者其他浏览器也有支持，这样一来就避免了去写繁杂的正则表达还写不出来的窘境。
最终的持久化存储过程，同上，不再赘述。
后记
python爬虫入门篇就此结束了，爬虫深入的话还涉及到防止反爬，以及爬取动态页面等问题，有机会的话会再学习再写一篇。
以上内容其实是对我最近所学所做的总结，如果你从中也有些许收获，不妨点个“推荐”吧！