初识爬虫——游天下 租房信息

昨今两天,学习了基本的爬虫,感觉很不错,写下分享分享!!!

首先,大家都关心的问题,学习爬虫需要具备什么知识呢??大致如下:

  • python的基础知识(函数的定义、列表的操作、文件操作、正则表达式)难度:***
  • python额外知识(BeautifulSoup、requests、re(正则表达式))
  • html+css的基础知识(类选择器、id选择器以及dom)难度:******

然后就是做应该爬虫的基本流程:

  1. 明确自己的目标,在哪个网站爬取什么数据
  2. 分析单个页面中所需数据的获取规律
  3. 将规律提炼成函数
  4. 循环遍历获取数据
  5. 保存数据
  6. 分析数据

比如,假设我们的任务如下:
初识爬虫——游天下 租房信息

通过这张图片我们可以获得至少两个很重要的信息:

  1. 目标网站
  2. 目标数据

接下来就是如何去制作爬虫,故,我们要去学习相关的工具:

  1. BeautifulSoup(https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/)
  2. requests(https://cn.python-requests.org/zh_CN/latest/)

然后,我们就可以对单个页面的数据进行分析了。例如:http://www.youtx.com/chengdu/page1/

首先我们在浏览器中输入地址:
初识爬虫——游天下 租房信息

然后,我们可以(这里以chrome浏览器为例)按下F12,得到下面的画面:
初识爬虫——游天下 租房信息

然后,我们点击那个箭头:
初识爬虫——游天下 租房信息

然后,选取我们想看的部分,比如:
初识爬虫——游天下 租房信息
我们就先点击刚刚那个箭头,然后点击那个地方,得到如下:
初识爬虫——游天下 租房信息

图中箭头所指即使该租房的主要信息页面,然后,我们就点进去看看:
初识爬虫——游天下 租房信息
这儿就是我们爬虫最主要的操作空间了,我们所需要的许多信息都是从这里获取的
还是上面说的那样,我们先按F12,然后点击箭头,然后点击我们关注的那个地方,比如说:
初识爬虫——游天下 租房信息
我们可以通过观察html页面知道它的位置,然后,接下来的一步就是我们怎样去找到它,如果我们仔细观察,就会发现下面的信息:
初识爬虫——游天下 租房信息
我们可以发现,它是位于class为housemessage的li的下面的,于是我们知道,如果我们要获取那个内容,就要先获取那个li标签再获得内容。
在css中我们知道,一个类选择器可以对应着多个标签,但是一个id选择器则只能对应一个标签,于是,我们需要知道该类选择器作用于那些标签,于是,我们可以用下面的方法做(涉及js)
初识爬虫——游天下 租房信息
然后:
初识爬虫——游天下 租房信息
我们发现刚好只有一个,可省下了不少事情。
通过上面的分析,于是我们知道了一个大致的思路:在html中获取类名为housemessage的元素 ——>获取需要的值。
那么问题来了,我们如何得到html页面,且如何获取元素呢,获取元素后我们如何获取它的值呢???
这里,我们就需要开始使用bs4模块和requests模块了。

以www.baidu.com为例:

# 第一步 导包
import requests
from bs4 import BeautifulSoup

# 第二步 获取目标网页的源代码
source = requests.get('www.baidu.com')
# 这里我们可以看看source具有哪些方法和属性
print(dir(source))
print(source.__dict__)

# 第三步 美化源代码
soup = BeautifulSoup(source.text, 'html.parser')
# 看看效果
print(soup.prettify())

# 第四步 获取标签
print(soup.select(xxxx))

# 第五步 获取标签的值
print(soup.select(xxx).__dict__['contents'])

通过以上,我们就可以在一个页面中获取我们想要的数据了,那么多个页面爬取也就简单了,可以去寻找每一个页面的规律,通过上面的方法,遍历获取每个页面中理解,打开,获取数据,也可以是继续获取连接,一步步深入。

以下就是完成上述任务的代码,可以参考参考,若有不足,请指正!!!谢谢!!!

# -*- coding:UTF-8 -*-
"""
Created on 2020/12/19 16:40

@author : Jonny Jiang
"""


import requests
import re
from bs4 import BeautifulSoup
import csv
import sys
import time

def get_info(url):
    content = requests.get(url)
    soup = BeautifulSoup(content.text, 'html.parser')
    housepercity = None  # 市
    housedistrict = None  # 区
    house_area = None  # 面积
    bedroom_num = 0 # 卧室数量
    bathroom_num = 0 # 卫生间数量
    house_style = None  # 房屋户型
    amount = None  # 宜住人数
    today_price = None  # 今日价格
    owner = None  # 租房人
    money = None  # 是否收取押金
    days = None  # 最短入住天数
    score = 0  # 总体评价
    result = []

    # 市区匹配表达式
    addr_1_p = "housepercity = (.+);"
    addr_2_p = "housedistrict = (.+);"

    housepercity = re.findall(re.compile(addr_1_p), soup.prettify())[0]
    housedistrict = re.findall(re.compile(addr_2_p), soup.prettify())[0]
    house_area = re.findall('\d+', soup.select('.housemessage span')[2].contents[0])[0]
    bedroom_num = re.findall('\d+', soup.select('.housemessage span')[-3].contents[0])
    if not bedroom_num:
        bedroom_num = 0
    else:
        bedroom_num = bedroom_num[0]
    bathroom_num = re.findall('\d+', soup.select('.housemessage span')[1].contents[0])
    if not bathroom_num:
        bathroom_num = 0
    else:
        bathroom_num = bathroom_num[0]
    house_style = (bedroom_num, bathroom_num)
    amount = re.findall('\d+', soup.select('.housemessage span')[-3].contents[0])[0]
    today_price = soup.select('.part-two p span')[0].__dict__.get('contents')[1]
    owner = soup.select(".left a")[0].__dict__['attrs']['title']
    money = soup.select('.dsection-4 span')[-4].__dict__['contents'][0][1:]
    days = soup.select('.dsection-4 span')[2].__dict__['contents'][0][0]
    score_s = soup.select('.sec-1 div')[0].get('class')
    score_int = {'one': 1, 'two': 2, 'three': 3, 'four': 4, 'five': 5, 'half': 0.5}
    tmp = ''
    if len(score_s) > 1:
        for s in score_s[1][:-4]:
            tmp += s
            if tmp in score_int:
                score += score_int[tmp]
                tmp = ''
    result = [housepercity, housedistrict, house_area, house_style, amount, today_price, owner, money, days, score]

    return result


def main():
    page_url = 'http://www.youtx.com/chengdu/page{}/'

    # 保存文件名
    filename = 'test.csv'
    # 开始写入
    # filename = sys.argv[1]
    f = open(filename, 'w+', encoding='utf-8')
    csv_writer = csv.writer(f)
    csv_writer.writerow(['市', '区', '房屋面积', '房屋户型', '宜住人数', '当日出租价格', '租房人', '是否收取押金', '最短入住时间', '总体评价'])

    try:
        for i in range(1, 33):
            now_url = page_url.format(i)
            page = requests.get(now_url)
            soup = BeautifulSoup(page.text, 'html.parser')
            url_markups = soup.select('#results>ul>li')
            for url_markup in url_markups:
                url = url_markup.a.get('href')
                print(url)
                next_page = url
                result = get_info(next_page)
                print(result)
                csv_writer.writerow(result)
                time.sleep(0.5)
    finally:

        # 结束写入
        f.close()


if __name__ == '__main__':
    main()
上一篇:Tomcat简介及安装


下一篇:Beautiful Soup (一)