爬虫系列3：Requests+Xpath 爬取租房网站信息并保存本地

2023-08-08 18:02:22

数据保存本地

【抓取】：参考前文爬虫系列1：https://www.cnblogs.com/yizhiamumu/p/9451093.html

【分页】：参考前文爬虫系列2：https://www.cnblogs.com/yizhiamumu/p/10267721.html

【保存】：参考前文爬虫系列3：https://www.cnblogs.com/yizhiamumu/p/10270926.html

【动态】：参考前文爬虫系列4：https://www.cnblogs.com/yizhiamumu/p/10272977.html

小猪短租是一个租房网站，上面有很多优质的民宿出租信息，下面我们以成都地区的租房信息为例，来尝试爬取这些数据。

小猪短租（成都）页面：http://cd.xiaozhu.com/

1.爬取租房标题

按照惯例，先来爬下标题试试水，找到标题，复制xpath。

多复制几个房屋的标题 xpath 进行对比：

//[@id="page_list"]/ul/li[1]/div[2]/div/a/span //[@id="page_list"]/ul/li[2]/div[2]/div/a/span //*[@id="page_list"]/ul/li[3]/div[2]/div/a/span 瞬间发现标题的 xpath 只在

后序号变化,于是，秒写出爬取整页标题的 xpath：

//*[@id=“page_list”]/ul/li/div[2]/div/a/span

还是固定的套路，让我们尝试把整页的标题爬下来:

小猪在IP限制方面比较严格,代码中务必要加入 sleep() 函数控制爬取的频率

顺着标题的标签网上找，找到整个房屋信息标签， xpath 对比如下：

//[@id=“page_list”]/ul/li #整体 //[@id=“page_list”]/ul/li/div[2]/div/a/span #标题

你应该知道该怎么来改代码了吧，写一个循环：

file=s.xpath(‘//*[@id=“page_list”]/ul/li’)

for div in file:

  title=div.xpath("./div[2]/div/a/span/text()")[0]



写文件时，我们主要用到 with open() 语句:

with open(name,mode,encoding) as file：

  file.write()

  # 注意，with open() 后面的语句有一个缩进

name：包含文件名称的字符串，比如：‘xiaozhu.txt’;
mode：决定了打开文件的模式,只读/写入/追加等;
encoding：表示我们要写入数据的编码，一般为 utf-8 或者 gbk ;
file：表示我们在代码中对文件的命名。

# http://cd.xiaozhu.com/

# 主题 + 分页 + 保存本地

from lxml import etree

import requests

import time 

with open('C:/Users/Administrator/Desktop/comment15.txt','w',encoding='utf-8') as f:

    for a in range(1,7):

        url = 'http://cd.xiaozhu.com/search-duanzufang-p{}-0/'.format(a)

        data = requests.get(url).text

        s=etree.HTML(data)

        titles = s.xpath('//*[@id="page_list"]/ul/li')

        time.sleep(7)

        for div in titles:

            title = div.xpath("./div[2]/div/a/span/text()")[0]

            price = div.xpath("./div/div[1]/span[1]/i/text()")[0]

            scribe = div.xpath("./div[2]/div/em/text()")[0].strip()

            pic = div.xpath("./a/img/@lazy_src")[0]

            print("{} {} {} {}".format(title,price,scribe,pic))

            f.write("{} {} {} {}\n".format(title,price,scribe,pic))

打印结果预览：

温馨浪漫情侣度假—民谣里贝壳帐篷 1580 整套出租/1室0厅/1张床/宜住2人 https://image.xiaozhustatic1.com/12/51,0,26,19200,1800,1199,8068737f.jpg

含早/成都东站2号地铁-肯派之家13-101 298 独立单间/1张床/宜住2人 https://image.xiaozhustatic1.com/12/12,0,6,4561,1800,1202,9e891d09.jpg

芗吟民宿-《竹坞》成都太古里市井中的隐世桃源 777 整套出租/4室2厅/4张床/宜住8人 https://image.xiaozhustatic1.com/12/51,0,96,19302,1800,1202,f6740069.jpg

37楼夜景超美 樓頂空中花園俯瞰成都 298 整套出租/2室1厅/1张床/宜住2人 https://image.xiaozhustatic1.com/12/15,0,16,29629,1800,1200,70a3953b.jpg

【晔艳】东客站-巨屏投影地铁直达太古里m 200 整套出租/1室0厅/1张床/宜住2人 https://image.xiaozhustatic1.com/12/51,0,28,18056,1800,1201,404b7ef3.jpg

春熙路/太古里/英伦风两居/地铁直达宽窄巷子 288 整套出租/2室1厅/2张床/宜住4人 https://image.xiaozhustatic1.com/12/16,0,77,34616,1800,1200,0ebc6521.jpg

【几末】空间几何/地铁100米/一居/桐梓林 258 整套出租/1室1厅/1张床/宜住2人 https://image.xiaozhustatic1.com/12/51,0,9,23389,1800,1202,5754c402.jpg

春熙路地铁口&宽窄巷&莫兰迪复古&两居跃层 338 整套出租/2室1厅/2张床/宜住4人 https://image.xiaozhustatic1.com/12/51,0,60,843,1800,1200,168035ac.jpg

新房特惠川师东站三圣乡34号爱情公寓轻奢浪漫 208 整套出租/1室0厅/1张床/宜住2人 https://image.xiaozhustatic1.com/12/15,0,27,12717,1800,1200,f21ab62c.jpg

【白鹿】春熙路武侯祠/九眼桥/宽窄巷子套一 159 整套出租/1室1厅/1张床/宜住2人 https://image.xiaozhustatic1.com/12/12,0,86,14671,1498,1000,c5c55bb2.jpg

【初醒】成都市中心盐市口春熙路太古里IFS 198 整套出租/1室1厅/1张床/宜住2人 https://image.xiaozhustatic1.com/12/14,0,20,24457,1800,1202,485c365f.jpg

【花韵】舒适大床房/春熙路宽窄巷子文殊院地铁 188 整套出租/1室0厅/1张床/宜住2人 https://image.xiaozhustatic1.com/12/18,0,97,13909,1800,1200,31083987.jpg

【一厘一景】武侯祠锦里&近地铁口&近天府广场 188 整套出租/1室1厅/1张床/宜住2人 https://image.xiaozhustatic1.com/12/51,0,13,1739,1800,1200,87f65e79.jpg

漫时光•宽窄巷子•.春熙路.太古里 188 整套出租/1室0厅/1张床/宜住2人 https://image.xiaozhustatic1.com/12/15,0,52,2877,1800,1200,8a7ff4b7.jpg

【洛丽塔】美拍网红/泡泡池网红/太古里/春熙 208 整套出租/1室0厅/1张床/宜住2人 https://image.xiaozhustatic1.com/12/17,0,10,10978,1800,1200,7b571573.jpg

柒❤️田螺姑娘❤️北欧套一近八宝街/宽窄巷子 288 整套出租/1室1厅/1张床/宜住2人 https://image.xiaozhustatic1.com/12/14,0,92,21587,1800,1202,c2122770.jpg

【馥绿轻奢】春熙路/2号线/牛市口/高端物业 198 整套出租/1室0厅/1张床/宜住2人 https://image.xiaozhustatic1.com/12/51,0,60,8059,1800,1200,e971ed29.jpg

〖美居〗免费接送机 复式二房 近机场 商圈 228 整套出租/2室1厅/2张床/宜住4人 https://image.xiaozhustatic1.com/12/14,0,31,9446,1800,1200,93a5e7d1.jpg

春熙路太古里宽窄巷子北欧.杜夫公寓913 168 整套出租/1室0厅/1张床/宜住2人 https://image.xiaozhustatic1.com/12/16,0,44,41422,1800,1202,3876b7a0.jpg

画途美宿|S4火车东站巨幕投影凯德广场地铁旁 198 整套出租/1室0厅/1张床/宜住2人 https://image.xiaozhustatic1.com/12/15,0,24,5683,1800,1200,c4787970.jpg

宽窄巷子/复古小木屋大一居 228 整套出租/1室1厅/1张床/宜住2人 https://image.xiaozhustatic1.com/12/51,0,19,15728,1800,1200,98637263.jpg

新上线优惠❣️【夕替·伊人】少女心｜超大投影 218 整套出租/1室0厅/1张床/宜住2人 https://image.xiaozhustatic1.com/12/15,0,95,1036,1800,1200,38232cbf.jpg

【甜梦】宽窄巷子 锦里  地铁 吃货* 198 整套出租/1室1厅/2张床铺/宜住4人 https://image.xiaozhustatic1.com/12/12,0,72,18081,1800,1200,28f9bcf3.jpg

◣简▪奢◥∽地铁4号线旁原木风度假、商旅套房 269 整套出租/2室1厅/3张床铺/宜住6人 https://image.xiaozhustatic1.com/12/14,0,86,24588,1800,1200,5adb64d9.jpg



by【一只阿木木】

码农公寓

数据保存本地

1.爬取租房标题

小猪在IP限制方面比较严格,代码中务必要加入 sleep() 函数控制爬取的频率

相关文章