昨今两天,学习了基本的爬虫,感觉很不错,写下分享分享!!!
首先,大家都关心的问题,学习爬虫需要具备什么知识呢??大致如下:
- python的基础知识(函数的定义、列表的操作、文件操作、正则表达式)难度:***
- python额外知识(BeautifulSoup、requests、re(正则表达式))
- html+css的基础知识(类选择器、id选择器以及dom)难度:******
然后就是做应该爬虫的基本流程:
- 明确自己的目标,在哪个网站爬取什么数据
- 分析单个页面中所需数据的获取规律
- 将规律提炼成函数
- 循环遍历获取数据
- 保存数据
- 分析数据
比如,假设我们的任务如下:
通过这张图片我们可以获得至少两个很重要的信息:
- 目标网站
- 目标数据
接下来就是如何去制作爬虫,故,我们要去学习相关的工具:
- BeautifulSoup(https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/)
- requests(https://cn.python-requests.org/zh_CN/latest/)
然后,我们就可以对单个页面的数据进行分析了。例如:http://www.youtx.com/chengdu/page1/
首先我们在浏览器中输入地址:
然后,我们可以(这里以chrome浏览器为例)按下F12,得到下面的画面:
然后,我们点击那个箭头:
然后,选取我们想看的部分,比如:
我们就先点击刚刚那个箭头,然后点击那个地方,得到如下:
图中箭头所指即使该租房的主要信息页面,然后,我们就点进去看看:
这儿就是我们爬虫最主要的操作空间了,我们所需要的许多信息都是从这里获取的
还是上面说的那样,我们先按F12,然后点击箭头,然后点击我们关注的那个地方,比如说:
我们可以通过观察html页面知道它的位置,然后,接下来的一步就是我们怎样去找到它,如果我们仔细观察,就会发现下面的信息:
我们可以发现,它是位于class为housemessage的li的下面的,于是我们知道,如果我们要获取那个内容,就要先获取那个li标签再获得内容。
在css中我们知道,一个类选择器可以对应着多个标签,但是一个id选择器则只能对应一个标签,于是,我们需要知道该类选择器作用于那些标签,于是,我们可以用下面的方法做(涉及js)
然后:
我们发现刚好只有一个,可省下了不少事情。
通过上面的分析,于是我们知道了一个大致的思路:在html中获取类名为housemessage的元素 ——>获取需要的值。
那么问题来了,我们如何得到html页面,且如何获取元素呢,获取元素后我们如何获取它的值呢???
这里,我们就需要开始使用bs4模块和requests模块了。
以www.baidu.com为例:
# 第一步 导包
import requests
from bs4 import BeautifulSoup
# 第二步 获取目标网页的源代码
source = requests.get('www.baidu.com')
# 这里我们可以看看source具有哪些方法和属性
print(dir(source))
print(source.__dict__)
# 第三步 美化源代码
soup = BeautifulSoup(source.text, 'html.parser')
# 看看效果
print(soup.prettify())
# 第四步 获取标签
print(soup.select(xxxx))
# 第五步 获取标签的值
print(soup.select(xxx).__dict__['contents'])
通过以上,我们就可以在一个页面中获取我们想要的数据了,那么多个页面爬取也就简单了,可以去寻找每一个页面的规律,通过上面的方法,遍历获取每个页面中理解,打开,获取数据,也可以是继续获取连接,一步步深入。
以下就是完成上述任务的代码,可以参考参考,若有不足,请指正!!!谢谢!!!
# -*- coding:UTF-8 -*-
"""
Created on 2020/12/19 16:40
@author : Jonny Jiang
"""
import requests
import re
from bs4 import BeautifulSoup
import csv
import sys
import time
def get_info(url):
content = requests.get(url)
soup = BeautifulSoup(content.text, 'html.parser')
housepercity = None # 市
housedistrict = None # 区
house_area = None # 面积
bedroom_num = 0 # 卧室数量
bathroom_num = 0 # 卫生间数量
house_style = None # 房屋户型
amount = None # 宜住人数
today_price = None # 今日价格
owner = None # 租房人
money = None # 是否收取押金
days = None # 最短入住天数
score = 0 # 总体评价
result = []
# 市区匹配表达式
addr_1_p = "housepercity = (.+);"
addr_2_p = "housedistrict = (.+);"
housepercity = re.findall(re.compile(addr_1_p), soup.prettify())[0]
housedistrict = re.findall(re.compile(addr_2_p), soup.prettify())[0]
house_area = re.findall('\d+', soup.select('.housemessage span')[2].contents[0])[0]
bedroom_num = re.findall('\d+', soup.select('.housemessage span')[-3].contents[0])
if not bedroom_num:
bedroom_num = 0
else:
bedroom_num = bedroom_num[0]
bathroom_num = re.findall('\d+', soup.select('.housemessage span')[1].contents[0])
if not bathroom_num:
bathroom_num = 0
else:
bathroom_num = bathroom_num[0]
house_style = (bedroom_num, bathroom_num)
amount = re.findall('\d+', soup.select('.housemessage span')[-3].contents[0])[0]
today_price = soup.select('.part-two p span')[0].__dict__.get('contents')[1]
owner = soup.select(".left a")[0].__dict__['attrs']['title']
money = soup.select('.dsection-4 span')[-4].__dict__['contents'][0][1:]
days = soup.select('.dsection-4 span')[2].__dict__['contents'][0][0]
score_s = soup.select('.sec-1 div')[0].get('class')
score_int = {'one': 1, 'two': 2, 'three': 3, 'four': 4, 'five': 5, 'half': 0.5}
tmp = ''
if len(score_s) > 1:
for s in score_s[1][:-4]:
tmp += s
if tmp in score_int:
score += score_int[tmp]
tmp = ''
result = [housepercity, housedistrict, house_area, house_style, amount, today_price, owner, money, days, score]
return result
def main():
page_url = 'http://www.youtx.com/chengdu/page{}/'
# 保存文件名
filename = 'test.csv'
# 开始写入
# filename = sys.argv[1]
f = open(filename, 'w+', encoding='utf-8')
csv_writer = csv.writer(f)
csv_writer.writerow(['市', '区', '房屋面积', '房屋户型', '宜住人数', '当日出租价格', '租房人', '是否收取押金', '最短入住时间', '总体评价'])
try:
for i in range(1, 33):
now_url = page_url.format(i)
page = requests.get(now_url)
soup = BeautifulSoup(page.text, 'html.parser')
url_markups = soup.select('#results>ul>li')
for url_markup in url_markups:
url = url_markup.a.get('href')
print(url)
next_page = url
result = get_info(next_page)
print(result)
csv_writer.writerow(result)
time.sleep(0.5)
finally:
# 结束写入
f.close()
if __name__ == '__main__':
main()