0. 建立housePro的scrapy爬虫框架
# 1. 在终端输入,建立housePro项目
scrapy startproject housePro
# 2. 进入housePro
cd housePro
# 3. 建立爬虫文件
scrapy genspider house www.xxx.com
# 4. 执行程序
scrapy crawl house
1. 用scrapy爬取网站信息
li_list = response.xpath('//div[@class="list_wrap"]/ul') for li in li_list: li = li.xpath('./li//h1/a/text()').extract() # 要用extract()函数提取data数据 print(li)